特許ウォッチ

公開番号2025115357
公報種別公開特許公報(A)
公開日2025-08-06
出願番号2024181481
出願日2024-10-17
発明の名称乗算および累積(MAC)演算器およびこれを含む行列乗算器
出願人三星電子株式会社,Samsung Electronics Co.,Ltd.,ネイバーコーポレーション,NAVER Corporation
代理人弁理士法人ITOH
主分類G06F 17/16 20060101AFI20250730BHJP(計算;計数)
要約【課題】乗算および累積(MAC)演算器およびこれを含む行列乗算器を提供する。
【解決手段】本開示の実施例による行列乗算器は、第1入力行列と複数のスケール係数(scale factor)とに基づいてスケーリングされた入力行列を生成する入力ベクトルスケーラと、スケーリングされた入力行列のデータタイプを固定小数点に変換し、固定小数点入力行列を生成する第1データタイプ変換器と、固定小数点入力行列および複数のバイナリ(binary)ベクトルを受信し、固定小数点入力行列および複数のバイナリベクトルに基づいて固定小数点出力行列を生成し、第1入力行列および第2入力行列を受信し、第1入力行列および第2入力行列に基づいて第1出力行列を生成する乗算および累積演算器アレイと、固定小数点出力行列のデータタイプを浮動小数点に変換し、第2出力行列を生成する第2データタイプ変換器とを含む。
【選択図】図1

特許請求の範囲【請求項１】
第１入力行列と複数のスケール係数（ｓｃａｌｅｆａｃｔｏｒ）とに基づいてスケーリングされた入力行列を生成する入力ベクトルスケーラと、
前記スケーリングされた入力行列のデータタイプを固定小数点に変換し、固定小数点入力行列を生成する第１データタイプ変換器と、
前記固定小数点入力行列および複数のバイナリ（ｂｉｎａｒｙ）ベクトルを受信し、前記固定小数点入力行列および前記複数のバイナリベクトルに基づいて固定小数点出力行列を生成し、前記第１入力行列および第２入力行列を受信し、前記第１入力行列および前記第２入力行列に基づいて第１出力行列を生成する乗算および累積演算器アレイと、
前記固定小数点出力行列のデータタイプを浮動小数点に変換し、第２出力行列を生成する第２データタイプ変換器と
を含む行列乗算器。
続きを表示（約 2,200 文字）【請求項２】
外部から前記第２入力行列と、重み（ｗｅｉｇｈｔ）行列としての前記複数のスケール係数および前記複数のバイナリベクトルとを受信し、前記入力ベクトルスケーラに前記複数のスケール係数を順次に提供し、前記乗算および累積演算器アレイに前記第２入力行列と前記複数のバイナリベクトルとを順次に提供し、前記乗算および累積演算器アレイおよび前記第２データタイプ変換器を制御する第１信号を提供する入力パーサ（ｉｎｐｕｔｐａｒｓｅｒ）
をさらに含む、請求項１に記載の行列乗算器。
【請求項３】
前記乗算および累積演算器アレイは、
前記第１入力行列の第１入力ベクトルおよび前記第２入力行列の第１入力ベクトルを受信し、前記固定小数点入力行列の第１固定小数点入力ベクトルおよび前記複数のバイナリベクトルの第１バイナリ値を受信する第１乗算および累積演算器を含む、
請求項２に記載の行列乗算器。
【請求項４】
前記第１乗算および累積演算器は、
第１レベルの第１信号に基づいて、前記複数のバイナリベクトルの第１バイナリ値と前記第１固定小数点入力ベクトルに対する乗算演算を行い、前記固定小数点出力行列の第１固定小数点出力エレメントを生成し、
前記第１レベルとは異なる第２レベルの第１信号に基づいて、前記第１入力行列の第１入力ベクトルと前記第２入力行列の第１入力ベクトルに対する乗算演算を行い、前記第１出力行列の第１出力エレメントを生成する、
請求項３に記載の行列乗算器。
【請求項５】
前記第１データタイプ変換器は、
前記スケーリングされた入力行列の第１のスケーリングされた入力ベクトルを受信する第１データタイプ変換回路を含み、
前記第１データタイプ変換回路は、前記第１のスケーリングされた入力ベクトルに含まれている第１の複数のスケーリングされた入力エレメントそれぞれの指数（ｅｘｐｏｎｅｎｔｓ）のうち最も大きい第１指数を抽出し、前記第１指数に基づいて前記第１の複数のスケーリングされた入力エレメントそれぞれのデータタイプを固定小数点に変換する、請求項２に記載の行列乗算器。
【請求項６】
前記第２データタイプ変換器は、
前記固定小数点出力行列の第１固定小数点出力ベクトルと前記第１レベルの第１信号とを受信し、前記第１指数に基づいて前記第１固定小数点出力ベクトルに含まれている第１の複数の固定小数点出力エレメントそれぞれのデータタイプを浮動小数点に変換する、請求項５に記載の行列乗算器。
【請求項７】
第１データタイプの第１データ、および前記第１データタイプとは異なる第２データタイプの第２データの仮数データを受信し、第１信号に基づいて前記第１データを出力し、前記第１信号とは異なる第２信号に基づいて前記第２データの仮数データを出力する第１マルチプレクサと、
複数のバイナリ値を受信し、前記複数のバイナリ値のうち第１バイナリ値と前記第１データとを論理積演算する第１論理積演算部と、
前記第１論理積演算部の出力データを加算し、前記第１データタイプの第１出力データを出力する加算器と
を含むＭＡＣ演算器。
【請求項８】
前記第１論理積演算部は、前記第２データタイプの第３データの仮数データをさらに受信し、前記第３データの仮数データの第１ビット値と前記第２データの仮数データとを論理積演算し、
前記加算器は、前記第２データタイプの第２出力データの仮数データを出力する、請求項７に記載のＭＡＣ演算器。
【請求項９】
前記第１出力データと前記第２出力データとを受信し、前記第１信号に基づいて前記第１出力データを出力し、前記第２信号に基づいて前記第２出力データを出力する第２マルチプレクサ
をさらに含む、請求項８に記載のＭＡＣ演算器。
【請求項１０】
外部メモリから第１入力ベクトルおよび第２入力ベクトルを受信し、前記外部メモリから重みベクトルとして複数のスケール係数と複数のバイナリベクトルとを受信するデータバッファと、
前記複数のスケール係数および前記複数のバイナリベクトルを受信し、第１レベルの第１信号と共に前記複数のスケール係数および前記複数のバイナリベクトルを出力し、前記第２入力ベクトルを受信し、前記第１レベルとは異なる第２レベルの第１信号と共に前記第２入力ベクトルを出力する入力パーサと、
前記第１入力ベクトルと前記複数のスケール係数に対する乗算演算とに基づいて第１のスケーリングされた入力ベクトルを生成する入力ベクトルスケーラと、
前記第１のスケーリングされた入力ベクトルを受信し、前記第１のスケーリングされた入力ベクトルに含まれている第１の複数のスケーリングされた入力エレメントそれぞれの指数のうち第１指数を抽出し、前記第１指数に基づいて前記第１のスケーリングされた入力ベクトルのデータタイプを固定小数点に変換する第１データタイプ変換器と、
前記第１レベルの第１信号を受信すると、前記複数のバイナリベクトルのバイナリ値に基づいて前記第１のスケーリングされた入力ベクトルを累積演算し、固定小数点出力行列を生成するＭＡＣ演算器と
を含む行列乗算器。

発明の詳細な説明【技術分野】
【０００１】
開示内容は、乗算および累積演算器およびこれを含む行列乗算器に関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
人工知能（ＡｒｔｉｆｉｃｉａｌＩｎｔｅｌｌｉｇｅｎｃｅ）の一分野であるディープラーニング（ＤｅｅｐＬｅａｒｎｉｎｇ）は、複雑なデータのパターンを認識し、精巧な予測を可能にする。一般に、ディープラーニングは、学習用データを活用してニューラルネットワークモデルを学習させる学習段階（ｔｒａｉｎｉｎｇ）と、学習が完了したニューラルネットワークモデルに新たなデータを入力して出力を得る推論段階（ｉｎｆｅｒｅｎｃｅ）とで構成される。このようなディープラーニングの動作時間の大部分は行列乗算（ｍａｔｒｉｘｍｕｌｔｉｐｌｉｃａｔｉｏｎ）にかかる。
【０００３】
一方、ディープラーニングは、一般に、ＧＰＵ（ＧｒａｐｈｉｃＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）またはＮＰＵ（ＮｅｕｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）のような汎用プロセッサを用いて実行可能である。最近は、モバイルまたはＩｏＴ（ｉｎｔｅｒｎｅｔｏｆｔｈｉｎｇｓ）応用機器にディープラーニング技術を内蔵する傾向が加速化していて、ディープラーニングが要求する大量の演算能力を小さい半導体に実現する技術が必要である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
一実施例は、小さい半導体に実現可能に構成された乗算および累積演算器（ＭＡＣ、ＭｕｌｔｉｐｌｉｃａｔｉｏｎａｎｄＡｃｃｕｍｕｌａｔｉｏｎ）およびこれを含む行列乗算器を提供する。
【０００５】
一実施例は、１つのハードウェアで実現されて、複数の入力行列に対する乗算演算と入力行列および重み行列に対する乗算演算を行うように構成された乗算および累積（ＭＡＣ）演算器およびこれを含む行列乗算器を提供する。
【課題を解決するための手段】
【０００６】
一実施例による行列乗算器は、第１入力行列と複数のスケール係数（ｓｃａｌｅｆａｃｔｏｒ）とに基づいてスケーリングされた入力行列を生成する入力ベクトルスケーラと、前記スケーリングされた入力行列のデータタイプを固定小数点に変換し、固定小数点入力行列を生成する第１データタイプ変換器と、前記固定小数点入力行列および複数のバイナリ（ｂｉｎａｒｙ）ベクトルを受信し、前記固定小数点入力行列および前記複数のバイナリベクトルに基づいて固定小数点出力行列を生成し、前記第１入力行列および第２入力行列を受信し、前記第１入力行列および前記第２入力行列に基づいて第１出力行列を生成する乗算および累積演算器アレイと、前記固定小数点出力行列のデータタイプを浮動小数点に変換し、第２出力行列を生成する第２データタイプ変換器とを含むことができる。
【０００７】
一実施例によるＭＡＣ演算器は、第１データタイプの第１データ、および前記第１データタイプとは異なる第２データタイプの第２データの仮数データを受信し、第１信号に基づいて前記第１データを出力し、前記第１信号とは異なる第２信号に基づいて前記第２データの仮数データを出力する第１マルチプレクサと、複数のバイナリ値を受信し、前記複数のバイナリ値のうち第１バイナリ値と前記第１データとを論理積演算する第１論理積演算部と、前記第１論理積演算部の出力データを加算し、前記第１データタイプの第１出力データを出力する加算器とを含むことができる。
【０００８】
一実施例による行列乗算器は、外部メモリから第１入力ベクトルおよび第２入力ベクトルを受信し、前記外部メモリから重みベクトルとして複数のスケール係数と複数のバイナリベクトルとを受信するデータバッファと、前記複数のスケール係数および前記複数のバイナリベクトルを受信し、第１レベルの第１信号と共に前記複数のスケール係数および前記複数のバイナリベクトルを出力し、前記第２入力ベクトルを受信し、前記第１レベルとは異なる第２レベルの第１信号と共に前記第２入力ベクトルを出力する入力パーサと、前記第１入力ベクトルと前記複数のスケール係数に対する乗算演算とに基づいて第１のスケーリングされた入力ベクトルを生成する入力ベクトルスケーラと、前記第１のスケーリングされた入力ベクトルを受信し、前記第１のスケーリングされた入力ベクトルに含まれている第１の複数のスケーリングされた入力エレメントそれぞれの指数のうち第１指数を抽出し、前記第１指数に基づいて前記第１のスケーリングされた入力ベクトルのデータタイプを固定小数点に変換する第１データタイプ変換器と、前記第１レベルの第１信号を受信すると、前記複数のバイナリベクトルのバイナリ値に基づいて前記第１のスケーリングされた入力ベクトルを累積演算し、固定小数点出力行列を生成するＭＡＣ演算器とを含むことができる。
【図面の簡単な説明】
【０００９】
一実施例による行列乗算器のブロック図である。
図１の重み行列（ＷＭ）を説明するための図である。
データフォーマットとして浮動小数点データを説明するための図である。
乗算および累積演算器を説明するための図である。
図４の仮数演算部の動作方法を説明するための図である。
図１の行列乗算器の構成を示すブロック図である。
一実施例による入力ベクトルスケーラのブロック図である。
図７の入力ベクトルスケーリング回路の動作を説明するための図である。
一実施例による第１データタイプ変換器のブロック図である。
図９の第１データタイプ変換器が指数を抽出する方法を説明するための図である。
図１０の第１データタイプ変換器が抽出した指数に基づいて、受信された入力ベクトルのデータタイプを固定小数点に変換する動作方法を説明する図である。
一実施例による乗算および累積演算器アレイのブロック図である。
一実施例による乗算および累積演算器の動作方法を説明するための図である。
一実施例による乗算および累積演算器の動作方法を説明するための図である。
一実施例による乗算および累積演算器の動作方法を説明するための図である。
一実施例による乗算および累積演算器の仮数演算部のブロック図である。
一実施例による乗算および累積演算器のブロック図である。
一実施例による第２データタイプ変換器の動作を説明するための図である。
一実施例によるニューラルプロセッシングシステムを示すブロック図である。
一実施例によるマルチヘッドアテンションを説明するための例示図である。
図２０のスケール内積アテンションを説明するための例示図である。
【発明を実施するための形態】
【００１０】
以下、添付した図面を参照して、本発明の実施例について、本発明の属する技術分野における通常の知識を有する者が容易に実施できるように詳しく説明する。しかし、本発明は種々の異なる形態で実現可能であり、ここで説明する実施例に限定されない。
（【００１１】以降は省略されています）

関連特許