特許ウォッチ

公開番号2025073072
公報種別公開特許公報(A)
公開日2025-05-12
出願番号2024155446
出願日2024-09-10
発明の名称マトリックス乗算器およびそれを含むマトリックス乗算装置の動作方法
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06F 17/16 20060101AFI20250501BHJP(計算;計数)
要約【課題】より速く少ない演算量でマトリックス乗算を行うマトリックス乗算器を提供する。
【解決手段】マトリックス乗算器100は、第1入力ベクトルと複数の量子化スケール係数に基づいて第1スケーリングされた入力ベクトルを生成する入力ベクトルスケーラ、入力ベクトルに基づいて第1固定小数点スケーリングされた入力ベクトルを生成する第1データ型変換器、入力ベクトルと第1複数の量子化符号値に基づいて第1固定小数点出力エレメントを生成する第1プロセッシングエレメント及び第1固定小数点スケーリングされた入力ベクトルと第2複数の量子化符号値に基づいて第2固定小数点出力エレメントを生成する第2プロセッシングエレメントを含むプロセッシングエレメントアレイ並びに第1/第2固定小数点出力エレメントのデータ型を変換して第1/第2出力エレメントを生成し、該エレメントを含む第1出力ベクトルを出力する第2データ型変換器を含む。
【選択図】図1
特許請求の範囲【請求項１】
第１入力ベクトルおよび複数の量子化スケール係数に基づいて第１スケーリングされた入力ベクトルを生成する入力ベクトルスケーラ；
前記第１スケーリングされた入力ベクトルに基づいて第１固定小数点スケーリングされた入力ベクトルを生成する第１データ型変換器；
前記第１固定小数点スケーリングされた入力ベクトルおよび第１複数の量子化符号値に基づいて第１固定小数点出力エレメントを生成する第１プロセッシングエレメント、および前記第１固定小数点スケーリングされた入力ベクトルおよび第２複数の量子化符号値に基づいて第２固定小数点出力エレメントを生成する第２プロセッシングエレメントを含むプロセッシングエレメントアレイ；および
前記第１固定小数点出力エレメントおよび第２固定小数点出力エレメントのデータ型をそれぞれ変換して第１出力エレメントおよび第２出力エレメントを生成し、前記第１出力エレメントおよび第２出力エレメントを含む第１出力ベクトルを出力する第２データ型変換器を含むマトリックス乗算器。
続きを表示（約 2,200 文字）【請求項２】
前記入力ベクトルスケーラは：
第２入力ベクトルおよび前記複数の量子化スケール係数に基づいて第２スケーリングされた入力ベクトルをさらに生成するように構成され、
前記第１データ型変換器は：
前記第２スケーリングされた入力ベクトルに基づいて第２固定小数点スケーリングされた入力ベクトルを生成するようにさらに構成され、
前記プロセッシングエレメントアレイは：
前記第２固定小数点スケーリングされた入力ベクトルおよび前記第１複数の量子化符号値に基づいて第３固定小数点出力エレメントを生成する第３プロセッシングエレメント、および前記第２固定小数点スケーリングされた入力ベクトルおよび前記第２複数の量子化符号値に基づいて第４固定小数点出力エレメントを生成する第４プロセッシングエレメントをさらに含み、
前記第２データ型変換器は：
前記第３固定小数点出力エレメントおよび第４固定小数点出力エレメントのデータ型をそれぞれ変換して第３出力エレメントおよび第４出力エレメントを生成し、前記第３出力エレメントおよび第４出力エレメントを含む第２出力ベクトルを出力するようにさらに構成される、請求項１に記載のマトリックス乗算器。
【請求項３】
前記第１プロセッシングエレメントおよび第２プロセッシングエレメントは前記プロセッシングエレメントアレイの第１プロセッシングエレメントロウに配置され、
前記第３プロセッシングエレメントおよび第４プロセッシングエレメントは前記プロセッシングエレメントアレイの第２プロセッシングエレメントロウに配置される、請求項２に記載のマトリックス乗算器。
【請求項４】
前記第１プロセッシングエレメントおよび第３プロセッシングエレメントは前記プロセッシングエレメントアレイの第１プロセッシングエレメントカラムに配置され、
前記第２プロセッシングエレメントおよび第４プロセッシングエレメントは前記プロセッシングエレメントアレイの第２プロセッシングエレメントカラムに配置される、請求項２に記載のマトリックス乗算器。
【請求項５】
前記第１固定小数点スケーリングされた入力ベクトルの次元（ｄｉｍｅｎｓｉｏｎ）は、前記第１入力ベクトルの次元のＲ倍であり、（但し、Ｒは２以上の整数）
前記第２固定小数点スケーリングされた入力ベクトルの次元は、前記第２入力ベクトルの次元のＲ倍である、請求項２に記載のマトリックス乗算器。
【請求項６】
前記第１入力ベクトルの次元、前記第２入力ベクトルの次元、前記第１出力ベクトルの次元、および前記第２出力ベクトルの次元は互いに同一である、請求項５に記載のマトリックス乗算器。
【請求項７】
前記第１データ型変換器は：
前記第１スケーリングされた入力ベクトルに含まれている第１複数のスケーリングされた入力エレメントそれぞれの指数（ｅｘｐｏｎｅｎｔｓ）のうちの最も大きい第１指数を抽出する第１指数抽出回路；
前記第２スケーリングされた入力ベクトルに含まれている第２複数のスケーリングされた入力エレメントそれぞれの指数のうちの最も大きい第２指数を抽出する第２指数抽出回路；
前記第１指数に基づいて前記第１複数のスケーリングされた入力エレメントそれぞれのデータ型を固定小数点に変換して、前記第１固定小数点スケーリングされた入力ベクトルを生成する第１データ型変換回路；および
前記第２指数に基づいて前記第２複数のスケーリングされた入力エレメントそれぞれのデータ型を固定小数点に変換して、前記第２固定小数点スケーリングされた入力ベクトルを生成する第２データ型変換回路を含む、請求項２に記載のマトリックス乗算器。
【請求項８】
前記第２データ型変換器は：
前記第１指数に基づいて前記第１固定小数点出力エレメントおよび第２固定小数点出力エレメントのデータ型を浮動小数点に変換し、
前記第２指数に基づいて前記第３固定小数点出力エレメントおよび第４固定小数点出力エレメントのデータ型を浮動小数点に変換するようにさらに構成される、請求項７に記載のマトリックス乗算器。
【請求項９】
前記第１出力エレメントおよび第２出力エレメントの指数部（ｅｘｐｏｎｅｎｔｐａｒｔ）は前記第１指数に対応し、そして
前記第３出力エレメントおよび第４出力エレメントの指数部は前記第２指数に対応する、請求項８に記載のマトリックス乗算器。
【請求項１０】
前記第１プロセッシングエレメントは：
前記第１固定小数点スケーリングされた入力ベクトルに含まれている第１複数の固定小数点スケーリングされた入力エレメント、および前記第１複数の量子化符号値それぞれの積を累積して前記第１固定小数点出力エレメントを生成するように構成され、
前記第２プロセッシングエレメントは：
前記第２固定小数点スケーリングされた入力ベクトルに含まれている第２複数の固定小数点スケーリングされた入力エレメント、および前記第２複数の量子化符号値それぞれの積を累積して前記第２固定小数点出力エレメントを生成するように構成される、請求項２に記載のマトリックス乗算器。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は半導体装置に関するものである。より詳しくは、本開示はマトリックスの乗算を行うマトリックス乗算器、および／またはそれを含むマトリックス乗算装置に関するものである。
続きを表示（約 2,900 文字）【背景技術】
【０００２】
最近、人工知能技術が発展するにつれて、人工知能モデルの演算量が急激に増加している。これにより、人工知能モデルの駆動時間を短縮させるための多様な技術が研究されている。
【０００３】
一般に、人工知能モデルの動作時間の大部分はマトリックス乗算（ｍａｔｒｉｘｍｕｌｔｉｐｌｉｃａｔｉｏｎ）に使用される。例えば、人工知能モデルは、入力マトリックスおよびウェイトマトリックスの乗算を行って出力マトリックスを演算する動作に大部分の駆動時間を使用することになる。これにより、ＢＣＱ（ＢｉｎａｒｙＣｏｄｉｎｇＱｕａｎｔｉｚａｔｉｏｎ）などのような、入力マトリックスおよびウェイトマトリックスの乗算をより少ない演算量で行うための多様なアルゴリズムが研究されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本開示は前述の技術的課題を解決するためのものである。より詳しくは、本開示の目的は、より速い速度およびより少ない演算量でマトリックス乗算を行うように構成された、マトリックス乗算器およびそれを含むマトリックス乗算装置を提供することにある。
【課題を解決するための手段】
【０００５】
本開示の実施形態によるマトリックス乗算器は、第１入力ベクトルおよび複数の量子化スケール係数に基づいて第１スケーリングされた入力ベクトルを生成する入力ベクトルスケーラ、前記第１スケーリングされた入力ベクトルに基づいて第１固定小数点スケーリングされた入力ベクトルを生成する第１データ型変換器、前記第１固定小数点スケーリングされた入力ベクトルおよび第１複数の量子化符号値に基づいて第１固定小数点出力エレメントを生成する第１プロセッシングエレメント、および前記第１固定小数点スケーリングされた入力ベクトルおよび第２複数の量子化符号値に基づいて第２固定小数点出力エレメントを生成する第２プロセッシングエレメントを含むプロセッシングエレメントアレイ、および前記第１固定小数点出力エレメントおよび第２固定小数点出力エレメントのデータ型をそれぞれ変換して第１出力エレメントおよび第２出力エレメントを生成し、前記第１出力エレメントおよび第２出力エレメントを含む第１出力ベクトルを出力する第２データ型変換器を含むことができる。
【０００６】
本開示の実施形態によるマトリックス乗算器は、第１入力エレメントおよび第１複数の量子化スケール係数に基づいて第１複数のスケーリングされた入力エレメントを生成し、第２入力エレメントおよび第２複数の量子化スケール係数に基づいて第２複数のスケーリングされた入力エレメントを生成する入力ベクトルスケーラ、前記第１複数のスケーリングされた入力エレメントに基づいて第１複数の固定小数点スケーリングされた入力エレメントを生成し、前記第２複数のスケーリングされた入力エレメントに基づいて第２複数の固定小数点スケーリングされた入力エレメントを生成する第１データ型変換器、複数の量子化符号値に基づいて、前記第１複数の固定小数点スケーリングされた入力エレメントおよび第２複数の固定小数点スケーリングされた入力エレメントを累積して、第１固定小数点出力エレメントを生成する第１プロセッシングエレメント、および前記第１固定小数点出力エレメントのデータ型を変換して第１出力エレメントを生成する第２データ型変換器を含むことができる。
【０００７】
本開示の実施形態によるマトリックス乗算装置の動作方法は、外部装置から第１～第Ｎウェイトを受信する段階、前記第１～第Ｎウェイトをバイナリコーディング量子化（ＢＣＱ；ｂｉｎａｒｙｃｏｄｉｎｇｑｕａｎｔｉｚａｔｉｏｎ）して、第１～第（Ｎ×Ｒ）量子化符号値および第１～第（Ｎ×Ｒ）量子化スケール係数を生成する段階、前記外部装置から第１～第Ｎ入力エレメントを受信する段階、前記第１～第（Ｎ×Ｒ）量子化スケール係数に基づいて前記第１～第Ｎ入力エレメントをスケーリングして、第１～第（Ｎ×Ｒ）スケーリングされた入力エレメントを生成する段階、および前記第１～第（Ｎ×Ｒ）量子化符号値に基づいて前記第１～第（Ｎ×Ｒ）スケーリングされた入力エレメントを累積して生成された第１出力エレメントを出力する段階を含むことができる。
【０００８】
本開示の実施形態例による外部からウェイトマトリックスおよび第１入力ベクトルを受信するマトリックス乗算装置は、前記ウェイトマトリックスをバイナリコーディング量子化して複数の量子化符号値および複数の量子化スケール係数を生成するＢＣＱ回路、および前記複数の量子化符号値および前記複数の量子化スケール係数に基づいて、前記第１入力ベクトルおよび前記ウェイトマトリックスの積に対応する第１出力ベクトルを演算するマトリックス乗算器を含み、前記マトリックス乗算器は前記複数の量子化スケーリング値に基づいて前記第１入力ベクトルをスケーリングして、第１スケーリングされた入力ベクトルを生成する入力ベクトルスケーラ、前記第１スケーリングされた入力ベクトルに基づいて、第１固定小数点スケーリングされた入力ベクトルを生成する第１データ型変換器、前記複数の量子化符号ベクトルおよび前記第１固定小数点スケーリングされた入力ベクトルに基づいて、第１固定小数点出力ベクトルを演算するプロセッシングエレメントアレイ；および前記第１固定小数点出力ベクトルのデータ型を変換して前記第１出力ベクトルを生成する第２データ型変換器を含むことができる。
【０００９】
本開示の実施形態によるｎ－次元入力ベクトルおよび‘ｎｂｙｍ’次元を有するウェイトマトリックスを受信しｍ－次元出力ベクトルを出力するマトリックス乗算装置は、前記ウェイトマトリックスに基づいて、‘ｎｂｙｍ’次元を有する第１～第Ｒ量子化符号マトリックス、および前記第１～第Ｒ量子化符号マトリックスの互いに異なるロウにそれぞれ対応する第１～第（ｎ×Ｒ）量子化スケール係数を生成するＢＣＱ（ｂｉｎａｒｙｃｏｄｉｎｇｑｕａｎｔｉｚａｔｉｏｎ）回路、前記第１～第（ｎ×Ｒ）量子化スケール係数に基づいて、前記ｎ－次元入力ベクトルのエレメントをスケーリングする入力ベクトルスケーラ、および複数のプロセッシングエレメントを含むプロセッシングエレメントアレイを含み、前記複数のプロセッシングエレメントそれぞれは、前記第１～第Ｒ量子化符号マトリックスに基づいてスケーリングされた前記入力ベクトルのエレメントを累積して前記ｎ－次元出力ベクトルに含まれている互いに異なる出力エレメントを出力するように構成される。
【発明の効果】
【００１０】
したがって、本開示の実施形態によれば、マトリックス乗算器の演算量を減少させることができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許