特許ウォッチ

公開番号2025091191
公報種別公開特許公報(A)
公開日2025-06-18
出願番号2023206304
出願日2023-12-06
発明の名称事前学習装置、方法およびプログラム
出願人株式会社東芝
代理人弁理士法人鈴榮特許綜合事務所
主分類G06T 7/00 20170101AFI20250611BHJP(計算;計数)
要約【課題】タスクの種類に関わらず事前学習の精度を向上させる事前学習装置、方法及びプログラムを提供する。
【解決手段】事前学習装置100は、変換部と、データ拡張部と、第1処理部と、第2処理部と、更新部を備える。変換部は、入力画像を変換して変換画像を生成する。データ拡張部は、変換画像を生成する方法とは異なる方法に基づいて変換画像から第1拡張画像および第2拡張画像を生成する。第1処理部は、第1拡張画像を第1特徴抽出器に入力して第1特徴量を計算する。第2処理部は、第2拡張画像を第2特徴抽出器に入力して第2特徴量を計算する。更新部は、第1特徴量と第2特徴量に基づいて、第1特徴抽出器及び第2特徴抽出器の少なくとも一方のパラメータを更新する。
【選択図】図1
特許請求の範囲【請求項１】
入力画像を変換して変換画像を生成する変換部と、
前記変換画像を生成する方法とは異なる方法に基づいて前記変換画像から第１拡張画像および第２拡張画像を生成するデータ拡張部と、
前記第１拡張画像を第１特徴抽出器に入力して第１特徴量を計算する第１処理部と、
前記第２拡張画像を第２特徴抽出器に入力して第２特徴量を計算する第２処理部と、
前記第１特徴量と前記第２特徴量に基づいて、前記第１特徴抽出器及び前記第２特徴抽出器の少なくとも一方のパラメータを更新する更新部と、
を備える、事前学習装置。
続きを表示（約 960 文字）【請求項２】
前記変換部は、前記入力画像の局所構造が維持され、かつ、前記入力画像の大域構造が変形された画像を前記変換画像として生成する、
請求項１に記載の事前学習装置。
【請求項３】
前記変換部は、前記入力画像を２つ以上の解像度の画像に変換し、各解像度の前記入力画像から切り出された部分画像に摂動を付加した摂動部分画像を生成し、解像度が異なる前記摂動部分画像の重み付け加算によって加算後の部分画像を生成し、前記入力画像の対応する位置の部分画像を前記加算後の部分画像で置換することで前記変換画像を生成する
請求項２に記載の事前学習装置。
【請求項４】
前記変換部は、前記入力画像に対してアフィン変換を実行することにより、前記変換画像を生成する、
請求項２に記載の事前学習装置。
【請求項５】
前記変換部は、前記入力画像に対して調整済みパラメータに基づく変換を実行することにより、前記変換画像を生成する、
請求項２に記載の事前学習装置。
【請求項６】
前記データ拡張部は、色変換、剛体変換、フィルタ処理、画像のマスク処理、および画像の切り出し処理のうち１つ以上の処理を実行することにより、前記第１拡張画像及び前記第２拡張画像を生成する、
請求項１に記載の事前学習装置。
【請求項７】
前記変換画像を学習に使用するか否かを判定する判定部をさらに備える、
請求項１に記載の事前学習装置。
【請求項８】
前記判定部は、前記入力画像と前記変換画像との誤差を算出し、当該誤差に基づいて前記変換画像を学習に使用するか否かを判定する、
請求項７に記載の事前学習装置。
【請求項９】
前記判定部は、前記入力画像と前記変換画像の属性を推定し、前記属性が一致するか否かを判定することにより、前記変換画像を使用するか否かを判定する、
請求項７に記載の事前学習装置。
【請求項１０】
前記判定部は、前記変換画像の統計値に基づいて、前記変換画像を学習に使用するか否かを判定する、
請求項７に記載の事前学習装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明の実施形態は、事前学習装置、方法およびプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
画像識別などの画像を対象とするタスクを実行するニューラルネットワークの有効性が確認されている。このようなニューラルネットワークの導入初期や初期検討フェーズでは、教示コストの観点から少数のラベルありデータのみが学習データとして利用可能な場合がある。この場合に有効な方法として、大量のラベルなしデータを用いて教師なし学習による事前学習を行った後、少数のラベルありデータを用いて再学習（ファインチューニング）を行う手法が知られている。しかし、タスクの種類によっては、計測コストなどの原因により大量のデータを収集できない場合や、ラベルなしデータを事前学習に利用できない場合がある。
【０００３】
また、画像の局所構造に着目して学習する性質を利用し、乱数に基づいて生成された人工画像を用いて汎用的なモデルを学習する方法が提案されている。しかし、タスクの種類に応じて適した人工画像が異なるため、タスクの種類に関わらず使用できる汎用的な事前学習方法が求められている。
【先行技術文献】
【特許文献】
【０００４】
特表２０２３－５２３７２６号公報
【非特許文献】
【０００５】
T.R.Shaham、Learning a Generative Model from a Single Natural Image、2019
N.Granot、In Defense of Patches Nearest Neighbors as Single Image Generative Models、2021
I.J.Goodfellow、Generative Adversarial Networks、2014
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする課題は、タスクの種類に関わらず事前学習の精度を向上できる、事前学習装置、方法およびプログラムを提供することである。
【課題を解決するための手段】
【０００７】
このような課題を解決するため、実施形態の事前学習装置は、変換部と、データ拡張部と、第１処理部と、第２処理部と、更新部を備える。変換部は、入力画像を変換して変換画像を生成する。データ拡張部は、前記変換画像を生成する方法とは異なる方法に基づいて前記変換画像から第１拡張画像および第２拡張画像を生成する。第１処理部は、前記第１拡張画像を第１特徴抽出器に入力して第１特徴量を計算する。第２処理部は、前記第２拡張画像を第２特徴抽出器に入力して第２特徴量を計算する。更新部は、前記第１特徴量と前記第２特徴量に基づいて、前記第１特徴抽出器及び前記第２特徴抽出器の少なくとも一方のパラメータを更新する。
【図面の簡単な説明】
【０００８】
第１の実施形態に係る事前学習装置の構成の一例を示す図
第１の実施形態に係る事前学習処理の処理手順を例示するフローチャート
第１の実施形態に係る事前学習処理におけるデータの流れを示す図
第１の実施形態に係る入力画像を変換する処理を説明するための図
第１の実施形態に係る表現学習に関する処理を説明するための図
第２の実施形態に係る事前学習装置の構成の一例を示す図
第２の実施形態に係る事前学習処理の処理手順を例示するフローチャート
第２の実施形態に係る事前学習処理におけるデータの流れを示す図
第２の実施形態の変形例に係る事前学習処理の処理手順を例示するフローチャート
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、事前学習装置、事前学習方法および事前学習プログラムの実施形態について詳細に説明する。以下の説明において、略同一の機能及び構成を有する構成要素については、同一符号を付し、重複説明は必要な場合にのみ行う。
【００１０】
（第１の実施形態）
図１は、第１の実施形態に係る事前学習装置１００の構成の一例を示す図である。事前学習装置１００は、ラベルあり学習データに基づいてニューラルネットワークを学習する学習装置である。ニューラルネットワークは、画像データの入力を受け付けて、画像データの特徴ベクトルを出力する機械学習モデルである。事前学習装置１００は、ネットワーク等を介して、学習データを記録したデータベース等に接続されている。学習データとしては、例えば、多次元の画像データが用いられる。以下、画像データを単に画像と呼ぶ。また、ニューラルネットワークに入力する画像を入力画像と呼ぶ。
（【００１１】以降は省略されています）

関連特許