特許ウォッチ

公開番号2025134647
公報種別公開特許公報(A)
公開日2025-09-17
出願番号2025027586
出願日2025-02-25
発明の名称トランスフォーマー加速装置およびその動作方法
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06N 3/063 20230101AFI20250909BHJP(計算;計数)
要約【課題】本開示は、複数の入力トークンに基づいて出力トークンを生成するトランスフォーマーを実行するトランスフォーマー加速装置に関する。
【解決手段】本開示の実施例に係る第1複数のデコーダーレイヤーおよび第2複数のデコーダーレイヤーを含むトランスフォーマーを実行するトランスフォーマー加速装置は、第1複数のデコーダーレイヤーに対応する第1複数のウエイトマトリックス、および第2複数のデコーダーレイヤーに対応する第1複数のキーバリューベクトルペアを保存する第1メモリバンクアレイ、および第2複数のデコーダーレイヤーに対応する第2複数のウエイトマトリックス、および第1複数のデコーダーレイヤーに対応する第2複数のキーバリューベクトルペアを保存する第2メモリバンクアレイを含むことができる。
【選択図】図13

特許請求の範囲【請求項１】
第１複数のデコーダーレイヤーおよび第２複数のデコーダーレイヤーを含むトランスフォーマーを実行するトランスフォーマー加速装置において、
前記第１複数のデコーダーレイヤーに対応する第１複数のウエイトマトリックス、および前記第２複数のデコーダーレイヤーに対応する第１複数のキーバリューベクトルペアを保存する第１メモリバンクアレイ、および
前記第２複数のデコーダーレイヤーに対応する第２複数のウエイトマトリックス、および前記第１複数のデコーダーレイヤーに対応する第２複数のキーバリューベクトルペアを保存する第２メモリバンクアレイを含むトランスフォーマー加速装置。
続きを表示（約 1,600 文字）【請求項２】
前記第１複数のウエイトマトリックスに基づいて前記第１複数のキーバリューベクトルペアを演算し、前記第２複数のウエイトマトリックスに基づいて前記第２複数のキーバリューベクトルペアを演算する第１プロセシング回路をさらに含む請求項１に記載のトランスフォーマー加速装置。
【請求項３】
前記第１複数のキーバリューベクトルペアに基づいて前記第２複数のデコーダーレイヤーに対するアテンション演算を行い、前記第２複数のキーバリューベクトルペアに基づいて前記第１複数のデコーダーレイヤーに対するアテンション演算を行う第２プロセシング回路をさらに含む請求項２に記載のトランスフォーマー加速装置。
【請求項４】
前記第１複数のデコーダーレイヤーの個数および前記第２複数のデコーダーレイヤーの個数は、互いに対応する請求項１に記載のトランスフォーマー加速装置。
【請求項５】
前記第１複数のデコーダーレイヤーおよび前記第２複数のデコーダーレイヤーの順序は、互いに交互である請求項３に記載のトランスフォーマー加速装置。
【請求項６】
前記第１複数のウエイトマトリックスおよび前記第１複数のキーバリューベクトルペアの容量の合計は、前記第２複数のウエイトマトリックスおよび前記第２複数のキーバリューベクトルペアの容量の合計に対応する請求項１に記載のトランスフォーマー加速装置。
【請求項７】
前記第１複数のキーバリューベクトルペアは、
外部装置から提供された第１トークンストリームに対応する第１複数のキーベクトル、および
前記第１トークンストリームに対応する第１複数のバリューベクトルを含み、
前記第２複数のキーバリューベクトルペアは、
前記第１トークンストリームに対応する第２複数のキーベクトル、および
前記第１トークンストリームに対応する第２複数のバリューベクトルを含む請求項１に記載のトランスフォーマー加速装置。
【請求項８】
前記第１複数のキーバリューベクトルペアは、
前記外部装置から提供された第２トークンストリームに対応する第３複数のキーベクトル、および
前記第２トークンストリームに対応する第３複数のバリューベクトルをさらに含み、
前記第２複数のキーバリューベクトルペアは、
前記第２トークンストリームに対応する第４複数のキーベクトル、および
前記第２トークンストリームに対応する第４複数のバリューベクトルをさらに含む請求項７に記載のトランスフォーマー加速装置。
【請求項９】
前記第１複数のキーベクトル、前記第１複数のバリューベクトル、前記第２複数のキーベクトル、および前記第２複数のバリューベクトルそれぞれの容量は、前記第１メモリバンクアレイおよび前記第２メモリバンクアレイに含まれたメモリバンクの一つのメモリセルローの容量より小さい請求項７に記載のトランスフォーマー加速装置。
【請求項１０】
第１入力トークンに対応する第１アクティベーションベクトルに基づいて動作するトランスフォーマー加速装置において、
第１複数のウエイトマトリックスを保存する第１メモリバンクアレイ、
前記第１入力トークンに対する第１複数の先行トークンにそれぞれ対応する第１複数の先行キーバリューベクトルペアを保存する第２メモリバンクアレイ、
前記第１アクティベーションベクトルおよび前記第１複数のウエイトマトリックスに基づいて第１キーバリューベクトルペアを生成する第１プロセシングユニット、および
前記第１キーバリューベクトルペアおよび前記第１複数の先行キーバリューベクトルペアに基づいて第１アテンション演算を行う第２プロセシングユニットを含むトランスフォーマー加速装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、複数の入力トークンに基づいて出力トークンを生成するトランスフォーマーを実行するトランスフォーマー加速装置に関する。より詳細には、本開示は、オートリグレッション（ａｕｔｏ－ｒｅｇｒｅｓｓｉｏｎ）方式で出力トークンを生成するトランスフォーマーを実行するトランスフォーマー加速装置およびその動作方法に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
トランスフォーマー加速装置は、複数の入力トークンに基づいて出力トークンを生成する。例えば、トランスフォーマー加速装置は、複数の入力トークンに基づいてトランスフォーマーを実行し、複数の入力トークンに後続するのに適した第１出力トークンを生成することができる。
【０００３】
トランスフォーマーは、オートリグレッション方式で動作することができる。例えば、トランスフォーマーは、複数の入力トークンと共に第１出力トークンをさらに使用して、複数の入力トークンおよび第１出力トークンに後続するのに適した第２出力トークンを生成することができる。すなわち、トランスフォーマーは、複数のイテレーション（ｉｔｅｒａｔｉｏｎ）にわたって順次動作することができ、各イテレーションを通じて生成された結果を次のイテレーションの入力として使用することができる。
【０００４】
トランスフォーマーは、複数のイテレーションにわたって様々な類型のデータを再使用することができる。例えば、トランスフォーマーは以前のイテレーションで使用されたデータを次のイテレーションで再活用することができる。しかし、トランスフォーマーが再使用されるデータを保存して読み出す方式が最適化されない場合、再使用されるデータの保存および読み出しによってトランスフォーマー加速装置の動作にボトルネックが発生し得る。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示は、前述された技術的課題を解決するためのものである。より詳細には、本開示の目的は、最適化された方式でトランスフォーマーが再使用するデータを保存および読み出すように実現されたトランスフォーマー加速装置、およびその動作方法を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の実施例に係る第１複数のデコーダーレイヤーおよび第２複数のデコーダーレイヤーを含むトランスフォーマーを実行するトランスフォーマー加速装置は、前記第１複数のデコーダーレイヤーに対応する第１複数のウエイトマトリックス、および前記第２複数のデコーダーレイヤーに対応する第１複数のキーバリューベクトルペアを保存する第１メモリバンクアレイ、および前記第２複数のデコーダーレイヤーに対応する第２複数のウエイトマトリックス、および前記第１複数のデコーダーレイヤーに対応する第２複数のキーバリューベクトルペアを保存する第２メモリバンクアレイを含むことができる。
【０００７】
本開示の実施例に係る第１入力トークンに対応する第１アクティベーションベクトルに基づいて動作するトランスフォーマー加速装置は、第１複数のウエイトマトリックスを保存する第１メモリバンクアレイ、前記第１入力トークンに対する第１複数の先行トークンにそれぞれ対応する第１複数の先行キーバリューベクトルペアを保存する第２メモリバンクアレイ、前記第１アクティベーションベクトルおよび前記第１複数のウエイトマトリックスに基づいて第１キーバリューベクトルペアを生成する第１プロセシングユニット、および前記第１キーバリューベクトルペアおよび前記第１複数の先行キーバリューベクトルペアに基づいて第１アテンション演算を行う第２プロセシングユニットを含むことができる。
【０００８】
本開示の実施例に係る複数のメモリバンクアレイを含むトランスフォーマー加速装置の動作方法は、第１入力トークンに基づいて第１アクティベーションベクトルを生成するステップ、前記複数のメモリバンクアレイのうち一つの第１メモリバンクアレイから第１複数のウエイトマトリックスを読み出すステップ、前記第１複数のウエイトマトリックスおよび前記第１アクティベーションベクトルに基づいて第１キーバリューベクトルペアを生成するステップ、前記複数のメモリバンクのうち一つであり、前記第１メモリバンクアレイとは異なる第２メモリバンクアレイに前記第１キーバリューベクトルペアを保存するステップ、前記第１キーバリューベクトルペアに基づいて第２アクティベーションベクトルを生成するステップ、および前記第２アクティベーションベクトルに基づいて前記第１入力トークンに対応する第１出力トークンを生成するステップを含むことができる。
【図面の簡単な説明】
【０００９】
本開示の実施例に係るトランスフォーマー加速装置を示すブロック図である。
【００１０】
図１のトランスフォーマー加速装置をより詳細に示すブロック図である。
（【００１１】以降は省略されています）

関連特許