特許ウォッチ

公開番号2025127515
公報種別公開特許公報(A)
公開日2025-09-02
出願番号2024024238
出願日2024-02-21
発明の名称情報処理装置、情報処理方法およびプログラム
出願人沖電気工業株式会社
代理人個人,個人,個人
主分類G06N 3/08 20230101AFI20250826BHJP(計算;計数)
要約【課題】より高い性能を有するニューラルネットワークを学習によって生成する。
【解決手段】入力データと、第1のニューラルネットワークとに基づいて、前記入力データの埋め込み表現を出力し、前記埋め込み表現と、前記第1のニューラルネットワークの後段に接続された第2のニューラルネットワークとに基づいて、所定のタスクに係る推論結果である第1の推論結果を出力し、前記埋め込み表現と、前記第1のニューラルネットワークの後段に接続された第3のニューラルネットワークとに基づいて、前記入力データの種類に係る推論結果である第2の推論結果を出力し、前記第1の推論結果と、前記第2の推論結果とに基づいて、評価結果を出力し、前記評価結果に基づいて、前記第1のニューラルネットワークの重みパラメータの一部または全部と前記第3のニューラルネットワークの重みパラメータの一部または全部を更新する。
【選択図】図1
特許請求の範囲【請求項１】
入力データと、第１のニューラルネットワークとに基づいて、前記入力データの埋め込み表現を出力する第１の処理部と、
前記埋め込み表現と、前記第１のニューラルネットワークの後段に接続された第２のニューラルネットワークとに基づいて、所定のタスクに係る推論結果である第１の推論結果を出力する第２の処理部と、
前記埋め込み表現と、前記第１のニューラルネットワークの後段に接続された第３のニューラルネットワークとに基づいて、前記入力データの種類に係る推論結果である第２の推論結果を出力するデータ種判別部と、
前記第１の推論結果と、前記第２の推論結果とに基づいて、評価結果を出力する評価部と、
前記評価結果に基づいて、前記第１のニューラルネットワークの重みパラメータの一部または全部と前記第３のニューラルネットワークの重みパラメータの一部または全部を更新する更新部と、
を備える、情報処理装置。
続きを表示（約 1,100 文字）【請求項２】
前記更新部は、前記評価結果に基づいて、前記第２のニューラルネットワークの重みパラメータの一部または全部を更新する、
請求項１に記載の情報処理装置。
【請求項３】
前記更新部は、前記評価結果に基づく誤差逆伝播法により、前記第１のニューラルネットワークの重みパラメータの一部または全部と前記第３のニューラルネットワークの重みパラメータの一部または全部を更新する、
請求項１に記載の情報処理装置。
【請求項４】
前記第３のニューラルネットワークの前段、かつ、前記第１のニューラルネットワークの後段に、勾配反転層が接続されており、
前記勾配反転層は、前記評価結果に基づく誤差逆伝播法により算出される勾配に負の係数を乗算することにより、前記勾配の正負を反転させる、
請求項３に記載の情報処理装置。
【請求項５】
前記評価部は、前記第１の推論結果に基づいてタスク評価結果を算出し、前記第２の推論結果に基づいてデータ種評価結果を算出し、前記タスク評価結果と前記データ種評価結果とに基づいて前記評価結果を算出する、
請求項１に記載の情報処理装置。
【請求項６】
前記評価部は、前記入力データの埋め込み表現に基づいて、前記データ種評価結果に乗算される重みを制御する、
請求項５に記載の情報処理装置。
【請求項７】
前記評価部は、前記入力データとは同種のデータの埋め込み表現と、前記入力データの埋め込み表現との類似度である、同種データ間の埋め込みの類似度に対する、前記入力データとは異種のデータの埋め込み表現と、前記入力データの埋め込み表現との類似度である、異種データ間の埋め込み表現の類似度の相対値が大きいほど、前記重みを大きくする、
請求項６に記載の情報処理装置。
【請求項８】
前記相対値は、前記異種データ間の埋め込み表現の類似度の総和に対する、前記同種データ間の埋め込みの類似度の総和の割合である、
請求項７に記載の情報処理装置。
【請求項９】
前記相対値は、前記異種データ間の埋め込み表現の類似度の最大値に対する、前記同種データ間の埋め込みの類似度の最大値の割合である、
請求項７に記載の情報処理装置。
【請求項１０】
前記相対値は、前記異種データ間の埋め込み表現の類似度の総和から、前記同種データ間の埋め込みの類似度の総和を差し引いた差分である、
請求項７に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関する。
続きを表示（約 1,400 文字）【背景技術】
【０００２】
ニューラルネットワークは、学習によって様々な問題に対する高い性能を獲得する。ここで、ニューラルネットワークによる学習手法として、種々の手法が知られている（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００３】
Haotian Liu、他3名、"Improved Baselines with Visual Instruction Tuning"、[online]、［令和6年2月8日検索］、インターネット＜https://arxiv.org/abs/2310.03744＞
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、より高い性能を有するニューラルネットワークが学習によって生成されることが望まれる。
【０００５】
そこで、本発明は、かかる問題点を解決すべく提案されたものであり、より高い性能を有するニューラルネットワークを学習によって生成することを可能とする技術が提供されることが望まれる。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、入力データと、第１のニューラルネットワークとに基づいて、前記入力データの埋め込み表現を出力する第１の処理部と、前記埋め込み表現と、前記第１のニューラルネットワークの後段に接続された第２のニューラルネットワークとに基づいて、所定のタスクに係る推論結果である第１の推論結果を出力する第２の処理部と、前記埋め込み表現と、前記第１のニューラルネットワークの後段に接続された第３のニューラルネットワークとに基づいて、前記入力データの種類に係る推論結果である第２の推論結果を出力するデータ種判別部と、前記第１の推論結果と、前記第２の推論結果とに基づいて、評価結果を出力する評価部と、前記評価結果に基づいて、前記第１のニューラルネットワークの重みパラメータの一部または全部と前記第３のニューラルネットワークの重みパラメータの一部または全部を更新する更新部と、を備える、情報処理装置が提供される。
【０００７】
前記更新部は、前記評価結果に基づいて、前記第２のニューラルネットワークの重みパラメータの一部または全部を更新してもよい。
【０００８】
前記更新部は、前記評価結果に基づく誤差逆伝播法により、前記第１のニューラルネットワークの重みパラメータの一部または全部と前記第３のニューラルネットワークの重みパラメータの一部または全部を更新してもよい。
【０００９】
前記第３のニューラルネットワークの前段、かつ、前記第１のニューラルネットワークの後段に、勾配反転層が接続されており、前記勾配反転層は、前記評価結果に基づく誤差逆伝播法により算出される勾配に負の係数を乗算することにより、前記勾配の正負を反転させてもよい。
【００１０】
前記評価部は、前記第１の推論結果に基づいてタスク評価結果を算出し、前記第２の推論結果に基づいてデータ種評価結果を算出し、前記タスク評価結果と前記データ種評価結果とに基づいて前記評価結果を算出してもよい。
（【００１１】以降は省略されています）

関連特許