特許ウォッチ

公開番号2025122963
公報種別公開特許公報(A)
公開日2025-08-22
出願番号2024018728
出願日2024-02-09
発明の名称情報処理装置およびプログラム
出願人日本放送協会
代理人個人,個人,個人,個人
主分類G06F 40/44 20200101AFI20250815BHJP(計算;計数)
要約【課題】処理性能を向上させるためにポジショナルエンコーディングの扱い方を改善した情報処理装置(トランスフォーマーモデル)およびそのプログラムを提供する。
【解決手段】情報処理装置が、入力データに基づいて中間データを求めるエンコーダー部と、前記中間データに基づいて出力データを求めるデコーダー部と、を備える。エンコーダー側マルチヘッドアテンション層は、ポジショナルエンコーディングを作用させた前記入力データをクエリー(Q)およびキー(K)として入力し、ポジショナルエンコーディングを作用させていない前記入力データをバリュー(V)として入力する。デコーダー側マルチヘッドアテンション層は、ポジショナルエンコーディングを作用させた出力済み出力データをクエリー(Q)およびキー(K)として入力し、ポジショナルエンコーディングを作用させていない出力済み出力データをバリュー(V)として入力する。
【選択図】図2
特許請求の範囲【請求項１】
入力データに基づいて中間データを求めるエンコーダー部と、
前記入力データにポジショナルエンコーディングを作用させる第１ポジショナルエンコーディング作用部と、
前記中間データに基づいて出力データを求めるデコーダー部と、
前記デコーダー部が出力した出力済み出力データにポジショナルエンコーディングを作用させる第２ポジショナルエンコーディング作用部と、
を備える情報処理装置であって、
前記エンコーダー部は、
ポジショナルエンコーディングを作用させた前記入力データをクエリー（Ｑ）およびキー（Ｋ）として入力し、ポジショナルエンコーディングを作用させていない前記入力データをバリュー（Ｖ）として入力し、前記クエリー（Ｑ）と前記キー（Ｋ）との類似度による前記バリュー（Ｖ）の重み付き和のデータを求めるエンコーダー側マルチヘッドアテンション層と、
前記エンコーダー側マルチヘッドアテンション層から出力されるデータを基にフィードフォワードネットワークの処理を行うエンコーダー側フィードフォワード層と、
を備え、
前記デコーダー部は、
ポジショナルエンコーディングを作用させた前記出力済み出力データをクエリー（Ｑ）およびキー（Ｋ）として入力し、ポジショナルエンコーディングを作用させていない前記出力済み出力データをバリュー（Ｖ）として入力し、前記クエリー（Ｑ）と前記キー（Ｋ）との類似度による前記バリュー（Ｖ）の重み付き和のデータを求めるデコーダー側マルチヘッドアテンション層と、
前記エンコーダー側フィードフォワード層から出力される前記中間データをバリュー（Ｖ）およびキー（Ｋ）として入力し、前記デコーダー側マルチヘッドアテンション層から出力されるデータをクエリー（Ｑ）として入力し、前記クエリー（Ｑ）と前記キー（Ｋ）との類似度による前記バリュー（Ｖ）の重み付き和のデータを求めるクロスアテンション層と、
前記クロスアテンション層から出力されるデータを基にフィードフォワードネットワークの処理を行うエンコーダー側フィードフォワード層と、
を備える、
情報処理装置。
続きを表示（約 1,600 文字）【請求項２】
前記デコーダー部は、
前記エンコーダー側フィードフォワード層から出力される前記中間データにポジショナルエンコーディングを作用させる第３ポジショナルエンコーディング作用部と、
前記デコーダー側マルチヘッドアテンション層から出力されるデータにポジショナルエンコーディングを作用させる第４ポジショナルエンコーディング作用部と、
をさらに備え、
前記クロスアテンション層は、
ポジショナルエンコーディングを作用させていない前記中間データをバリュー（Ｖ）として入力し、
ポジショナルエンコーディングを作用させた前記中間データをキー（Ｋ）として入力し、
前記デコーダー側マルチヘッドアテンション層から出力されるデータであってポジショナルエンコーディングを作用させたデータをクエリー（Ｑ）として入力する、
請求項１に記載の情報処理装置。
【請求項３】
入力データと、出力データの正解である正解データと、の対である学習データに基づいて、前記学習データに含まれる前記入力データに基づいて推定された出力データである推定データと、前記学習データに含まれる前記正解データとの差に基づく誤差逆伝播を行うことにより、内部のパラメーターを更新するように構成した、
請求項１に記載の情報処理装置。
【請求項４】
前記入力データは、原言語文のトークン列のデータであり、
前記出力データは、前記原言語文に対応する目的言語文のトークン列のデータである、
請求項１に記載の情報処理装置。
【請求項５】
入力データに基づいて中間データを求めるエンコーダー部と、
前記入力データにポジショナルエンコーディングを作用させる第１ポジショナルエンコーディング作用部と、
前記中間データに基づいて出力データを求めるデコーダー部と、
前記デコーダー部が出力した出力済み出力データにポジショナルエンコーディングを作用させる第２ポジショナルエンコーディング作用部と、
を備える情報処理装置としてコンピューターを機能させるプログラムであって、
前記エンコーダー部は、
ポジショナルエンコーディングを作用させた前記入力データをクエリー（Ｑ）およびキー（Ｋ）として入力し、ポジショナルエンコーディングを作用させていない前記入力データをバリュー（Ｖ）として入力し、前記クエリー（Ｑ）と前記キー（Ｋ）との類似度による前記バリュー（Ｖ）の重み付き和のデータを求めるエンコーダー側マルチヘッドアテンション層と、
前記エンコーダー側マルチヘッドアテンション層から出力されるデータを基にフィードフォワードネットワークの処理を行うエンコーダー側フィードフォワード層と、
を備え、
前記デコーダー部は、
ポジショナルエンコーディングを作用させた前記出力済み出力データをクエリー（Ｑ）およびキー（Ｋ）として入力し、ポジショナルエンコーディングを作用させていない前記出力済み出力データをバリュー（Ｖ）として入力し、前記クエリー（Ｑ）と前記キー（Ｋ）との類似度による前記バリュー（Ｖ）の重み付き和のデータを求めるデコーダー側マルチヘッドアテンション層と、
前記エンコーダー側フィードフォワード層から出力される前記中間データをバリュー（Ｖ）およびキー（Ｋ）として入力し、前記デコーダー側マルチヘッドアテンション層から出力されるデータをクエリー（Ｑ）として入力し、前記クエリー（Ｑ）と前記キー（Ｋ）との類似度による前記バリュー（Ｖ）の重み付き和のデータを求めるクロスアテンション層と、
前記クロスアテンション層から出力されるデータを基にフィードフォワードネットワークの処理を行うエンコーダー側フィードフォワード層と、
を備える、
プログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置およびプログラムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
近年における情報処理の手法として、トランスフォーマー（Transformer）モデルが広く用いられている。トランスフォーマーモデルが用いられるのは機械翻訳処理を含む自然言語処理が多いが、トランスフォーマーモデルの用途は自然言語処理には限らない。トランスフォーマーモデルを用いて自然言語翻訳を行う場合、文章内における語順の情報が重要である。トランスフォーマーモデルにおいて、語順の情報は、ポジショナルエンコーディング（PE、Positional Encoding）と呼ばれるベクトルとして表現される。
【０００３】
つまり、語順（文章内における位置）の情報は、トランスフォーマーモデルへの入力に埋め込まれる。位置情報を埋め込む方法は、２種類に大別される。第１の方法は絶対的ポジショナルエンコーディング（Absolute PE）であり、第２の方法は相対的ポジショナルエンコーディング（Relative PE）である。絶対的ポジショナルエンコーディングでは、着目する単語に依存することなく、各単語の絶対的な位置（１，２，３，・・・）を表すベクトルを、単語のベクトルにたし合わせる。相対的ポジショナルエンコーディングでは、着目する単語からの相対的な距離（・・・，－２，－１，０，１，２，・・・）を表すベクトルを、単語のベクトルにたし合わせる。これら２種類の位置情報の埋め込みを比較すると、相対的ポジショナルエンコーディングのほうが性能がよいと言われる。特に、トランスフォーマーモデルへの入力が長文である場合には、相対的ポジショナルエンコーディングの性能がよいと言われる。ただし、相対的ポジショナルエンコーディングの場合にはより多くの計算量を必要とすることなどから、絶対的ポジショナルエンコーディングの使用例も多い。
【０００４】
非特許文献１において、トランスフォーマーモデルが提案されている。また、非特許文献１の中では、ポジショナルエンコーディングも提案されている。
【０００５】
非特許文献２は、学習用データに出現しないような、より長い文を翻訳する場合の翻訳性能について分析している。また、非特許文献２は、Relative PEの性能が良いことを報告している。
【０００６】
図７は、従来技術によるトランスフォーマーモデル（情報処理装置９９）の概略機能構成を示す機能ブロック図である。このトランスフォーマーモデルの機能構成自体は既に周知であると言ってよい。図示するように、トランスフォーマーモデル（情報処理装置９９）は、エンコーダー部１０とデコーダー部６０とを含んで構成される。また、トランスフォーマーモデル（情報処理装置９９）は、入力エンコーディング部１１と、加算部１２と、出力エンコーディング部６１と、加算部６２とを含む。
【０００７】
図示するように、従来技術によるトランスフォーマーモデルにおいては、加算部１２が、入力エンコーディング部１１からの出力に、ポジショナルエンコーディング（ＰＥ）を加算し、その結果をエンコーダー部１０への入力とする。また、加算部６２が、出力エンコーディング部６１からの出力に、ポジショナルエンコーディング（ＰＥ）を加算し、その結果をデコーダー部６０への入力とする。つまり、加算部１２からの出力値は、マルチヘッドアテンション部１３の、Ｖ（value，バリュー）、Ｋ（key，キー）、およびＱ（query，クエリー）のすべての入力の値となっている。また、同様に、加算部６２からの出力値は、マスク付きマルチヘッドアテンション部６３の、Ｖ（バリュー）、Ｋ（キー）、およびＱ（クエリー）のすべての入力の値となっている。
【先行技術文献】
【非特許文献】
【０００８】
Ashish Vaswani，Noam Shazeer，Niki Parmar，Jakob Uszkoreit，Llion Jones，Aidan N. Gomez，Lukasz Kaiser，Illia Polosukhin，Attention Is All You Need，arXiv:1706.03762，２０１７年．
Jan Rosendahl，Viet Anh Khoa Tran，Weiyue Wang，Hermann Ney，Analysis of Positional Encodings for Neural MachineTranslation，In Proceedings of the 16th International Conference on Spoken Language Translation，Hong Kong，Association for Computational Linguistics，２０１９年．
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従来技術によるトランスフォーマーモデルでは、マルチヘッドアテンション部（Multi-Head Attention）への３つの入力のすべてにポジショナルエンコーディングをたし込んでいる。３つの入力とは、前述のとおり、Ｖ（value，バリュー）、Ｋ（key，キー）、およびＱ（query，クエリー）である。しかしながら、この従来技術の方法では、マルチヘッドアテンション部からの出力に、ポジショナルエンコーディング由来のベクトルがより多く出力されてしまうという問題がある。マルチヘッドアテンション部からの出力であるベクトルは、最終的には、どの単語を出力するかを決めるためのものであり、本来はそれほど多くのポジショナルエンコーディング由来のベクトルは不要なはずである。
【００１０】
本発明は、上記の課題認識に基づいて為されたものであり、トランスフォーマーモデル内でのポジショナルエンコーディングの扱いを改善しようとするものである。つまり、処理性能（翻訳の場合には翻訳性能）を向上させるためにポジショナルエンコーディングの扱い方を改善した情報処理装置（トランスフォーマーモデル）およびそのプログラムを提供しようとするものである。
【課題を解決するための手段】
（【００１１】以降は省略されています）

関連特許