特許ウォッチ

公開番号2025117553
公報種別公開特許公報(A)
公開日2025-08-12
出願番号2025010620
出願日2025-01-24
発明の名称多重ドメインオブジェクト感知方法及び装置
出願人現代自動車株式会社,HYUNDAI MOTOR COMPANY,起亞株式会社,KIA CORPORATION,亞洲大学校産学協力団
代理人弁理士法人共生国際特許事務所
主分類G06T 7/00 20170101AFI20250804BHJP(計算;計数)
要約【課題】ドメインに関係なく効果的に学習でき、新ドメインのデータに対するオブジェクト検出性能を高められる多重ドメインオブジェクト感知方法及び装置を提供する。
【解決手段】多重ドメインオブジェクト感知装置による感知方法は、教師モデル及び学生モデルを生成するステップ、対象イメージに対して弱い増強が適用されたイメージを教師モデルに入力するステップ、疑似ラベルが予め設定された臨界値未満であるかを判定するステップ、疑似ラベルが臨界値未満であると判定された場合、疑似ラベルに対応するクラスに対してネガティブ学習を行うステップ、対象イメージに対して強い増強が適用されたイメージを学生モデルに入力するステップ、第1予測結果と疑似ラベルとを比較して教師なし損失を計算するステップ、指数移動平均を用いて教師モデルを更新するステップ及び教師モデルを用いて他のドメインのイメージでオブジェクトを感知するステップを含む。
【選択図】図2
特許請求の範囲【請求項１】
プロセッサ及びメモリを含むコンピューティング装置によって行われる、カテゴリーベースのドメイン学習による多重ドメインオブジェクト感知方法であって、
前記プロセッサが、事前学習済みのモデルから教師（ｔｅａｃｈｅｒ）モデル及び学生（ｓｔｕｄｅｎｔ）モデルを生成するステップ、
前記プロセッサが、オブジェクトを感知しようとする対象イメージ（ｔａｒｇｅｔｉｍａｇｅ）に対して弱い増強（ｗｅａｋａｕｇｍｅｎｔａｔｉｏｎ）が適用されたイメージを前記教師モデルに入力するステップ、
前記プロセッサが、前記教師モデルで生成された疑似ラベル（ｐｓｅｕｄｏｌａｂｅｌ）が予め設定された臨界値未満であるかを判定するステップ、
前記疑似ラベルが前記臨界値未満であると判定された場合、前記プロセッサが前記疑似ラベルに対応するクラスに対してネガティブ学習（ｎｅｇａｔｉｖｅｌｅａｒｎｉｎｇ）を行うステップ、
前記プロセッサが、前記対象イメージに対して強い増強（ｓｔｒｏｎｇａｕｇｍｅｎｔａｔｉｏｎ）が適用されたイメージを前記学生モデルに入力するステップ、
前記プロセッサが、前記学生モデルから生成された第１予測結果（ｐｒｅｄｉｃｔｉｏｎ）と前記疑似ラベルとを比較して教師なし損失を計算するステップ、
前記プロセッサが、前記学生モデルで定められた指数移動平均（ｅｘｐｏｎｅｎｔｉａｌｍｏｖｉｎｇａｖｅｒａｇｅ、ＥＭＡ）を用いて前記教師モデルを更新するステップ、及び
前記教師モデルを用いて他のドメインのイメージでオブジェクトを感知するステップ、を含む、ことを特徴とする多重ドメインオブジェクト感知方法。
続きを表示（約 1,600 文字）【請求項２】
前記プロセッサが、前記学生モデルで生成された特徴マップ（ｆｅａｔｕｒｅｍａｐ）を第１識別器に通した後、前記第１予測結果を生成する第１ヘッド（ｈｅａｄ）に伝達するステップをさらに含む、ことを特徴とする請求項１に記載の多重ドメインオブジェクト感知方法。
【請求項３】
前記教師モデルで前記疑似ラベルが前記予め設定された臨界値未満であるかを判定するステップは、
前記プロセッサが、前記疑似ラベルのうち最も高いクラス確率値を有する第１疑似ラベルが前記臨界値未満であるかを判定するステップを含み、
前記ネガティブ学習を行うステップは、
前記第１疑似ラベルが前記臨界値未満であると判定された場合、前記プロセッサが、前記疑似ラベルで前記第１疑似ラベルを除いた残りの中からｋ個（ここで、ｋは、自然数）の疑似ラベルを選定するステップ、及び
前記プロセッサが、前記第１疑似ラベル及び前記ｋ個の疑似ラベルに対応するクラスに対して前記ネガティブ学習を行うステップ、を含む、ことを特徴とする請求項１に記載の多重ドメインオブジェクト感知方法。
【請求項４】
前記ネガティブ学習を行うステップは、
前記プロセッサが、下記の数式によるネガティブ学習損失に基づいて前記ネガティブ学習を行うステップを含む、ことを特徴とする請求項１に記載の多重ドメインオブジェクト感知方法。
TIFF
2025117553000008.tif
15
128
TIFF
2025117553000009.tif
27
168
【請求項５】
前記第１予測結果は、クラス予測値及びバウンディングボックス予測値を含む、ことを特徴とする請求項２に記載の多重ドメインオブジェクト感知方法。
【請求項６】
前記プロセッサが、予め設けられた第２識別器（ｄｉｓｃｒｉｍｉｎａｔｏｒ）に基づいて事前学習を行うステップをさらに含む、ことを特徴とする請求項１に記載の多重ドメインオブジェクト感知方法。
【請求項７】
前記事前学習を行うステップは、
前記プロセッサが、予め設けられたデータセットをバックボーン（ｂａｃｋｂｏｎｅ）に入力して特徴マップ（ｆｅａｔｕｒｅｍａｐ）を生成するステップ、
前記プロセッサが、前記特徴マップを前記第２識別器に通した後、第２予測結果（ｐｒｅｄｉｃｔｉｏｎ）を生成する第２ヘッド（ｈｅａｄ）に伝達するステップ、及び
前記プロセッサが、前記第２予測結果と正解（ｇｒｏｕｎｄｔｒｕｔｈ）とを比較して教師あり損失を計算し、逆転波を通じて重みを更新するステップ、を含む、ことを特徴とする請求項６に記載の多重ドメインオブジェクト感知方法。
【請求項８】
前記事前学習を行うステップは、
予め定められた回数（ｉｔｅｒａｔｉｏｎ）の間、前記事前学習を繰り返して行うステップを含む、ことを特徴とする請求項６に記載の多重ドメインオブジェクト感知方法。
【請求項９】
前記第２予測結果は、クラス予測値及びバウンディングボックス予測値を含む、ことを特徴とする請求項７に記載の多重ドメインオブジェクト感知方法。
【請求項１０】
前記教師モデルを用いて他のドメインのイメージでオブジェクトを感知するステップは、
ＲＧＢイメージに関するＲＧＢドメインで学習済みの前記教師モデルを用いて、ＩＲ（Ｉｎｆｒａｒｅｄ）イメージに関するＩＲドメイン、熱画像イメージに関する熱画像ドメインまたはＬｉＤＡＲ（ＬｉｇｈｔＤｅｔｅｃｔｉｏｎＡｎｄＲａｎｇｉｎｇ）イメージに関するＬｉＤＡＲイメージで前記オブジェクトを感知するステップを含む、ことを特徴とする請求項１に記載の多重ドメインオブジェクト感知方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、カテゴリーベースのドメイン学習による多重ドメインオブジェクト感知方法及び装置に関する。
続きを表示（約 2,300 文字）【背景技術】
【０００２】
ディープラーニングモデルは、オブジェクトを正確に検出するか分類するためにラベル付きのイメージデータを大量で必要とする。しかし、ラベル付きのイメージを収集して製作する過程は、時間的にも費用的にも限界を有する。特に多様なドメインからデータを確保することは一層難しい課題となる。ドメイン適応（ｄｏｍａｉｎａｄａｐｔａｔｉｏｎ）は、このような問題を解決するために提案された技術であって、ラベル付きのソースドメイン（ｓｏｕｒｃｅｄｏｍａｉｎ）とラベル無し対象ドメイン（ｔａｒｇｅｔｄｏｍａｉｎ）間の格差を減らすことを目的とする。一般的にドメイン適応は、ソース及び対象ドメインイメージ全体の特徴マップ（ｆｅａｔｕｒｅｍａｐ）を基準にドメイン間の差を計算して、モデルを学習させる方式で動作する。
【０００３】
しかし、オブジェクト検出分野では、一般的なドメイン適応方法では十分な学習効果を得にくい場合がある。オブジェクト検出分野の場合、オブジェクトのカテゴリーごとに固有の特徴が存在し、ドメイン間差が大きいためである。例えば、同一のオブジェクトでも、ＲＧＢ、ＩＲ（Ｉｎｆｒａｒｅｄ）、熱画像などドメインによってその表現方式が大きく変わり、このような差をモデルが効果的に学習できない可能性が大きい。これによってオブジェクト検出分野では、ドメイン適応の既存の方法論だけでは十分な性能を保障しにくいことがある。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－１４５４０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
解決しようとする一課題は、ドメインに関係なくオブジェクトが有する固有の特徴を効果的に学習することができ、新しいドメインのデータに対するオブジェクト検出性能を高めることができる多重ドメインオブジェクト感知方法及び装置を提供することである。
【課題を解決するための手段】
【０００６】
一実施形態に係る多重ドメインオブジェクト感知方法は、プロセッサ及びメモリを含むコンピューティング装置によって行われる、カテゴリーベースのドメイン学習による多重ドメインオブジェクト感知方法であって、前記プロセッサが、事前学習済みのモデルから教師（ｔｅａｃｈｅｒ）モデル及び学生（ｓｔｕｄｅｎｔ）モデルを生成するステップ；前記プロセッサが、オブジェクトを感知しようとする対象イメージ（ｔａｒｇｅｔｉｍａｇｅ）に対して弱い増強（ｗｅａｋａｕｇｍｅｎｔａｔｉｏｎ）が適用されたイメージを前記教師モデルに入力するステップ；前記プロセッサが、前記教師モデルで生成された疑似ラベル（ｐｓｅｕｄｏｌａｂｅｌ）が予め設定された臨界値未満であるかを判定するステップ；前記疑似ラベルが前記臨界値未満であると判定された場合、前記プロセッサが前記疑似ラベルに対応するクラスに対してネガティブ学習（ｎｅｇａｔｉｖｅｌｅａｒｎｉｎｇ）を行うステップ；前記プロセッサが、前記対象イメージに対して強い増強（ｓｔｒｏｎｇａｕｇｍｅｎｔａｔｉｏｎ）が適用されたイメージを前記学生モデルに入力するステップ；前記プロセッサが、前記学生モデルから生成された第１予測結果（ｐｒｅｄｉｃｔｉｏｎ）と前記疑似ラベルとを比較して教師なし損失を計算するステップ；前記プロセッサが、前記学生モデルで定められた指数移動平均（ｅｘｐｏｎｅｎｔｉａｌｍｏｖｉｎｇａｖｅｒａｇｅ、ＥＭＡ）を用いて前記教師モデルを更新するステップ；及び前記教師モデルを用いて他のドメインのイメージでオブジェクトを感知するステップを含むことができる。
【０００７】
一実施形態で、前記方法は、前記プロセッサが、前記学生モデルで生成された特徴マップ（ｆｅａｔｕｒｅｍａｐ）を第１識別器に通した後、前記第１予測結果を生成する第１ヘッド（ｈｅａｄ）に伝達するステップをさらに含むことができる。
【０００８】
一実施形態で、前記教師モデルで疑似ラベルが予め設定された臨界値未満であるかを判定するステップは、前記プロセッサが、前記疑似ラベルのうち最も高いクラス確率値を有する第１疑似ラベルが前記臨界値未満であるかを判定するステップを含み、前記ネガティブ学習を行うステップは、前記第１疑似ラベルが前記臨界値未満であると判定された場合、前記プロセッサが、前記疑似ラベルで前記第１疑似ラベルを除いた残りの中からｋ個（ここで、ｋは、自然数）の疑似ラベルを選定するステップ；及び前記プロセッサが、前記第１疑似ラベル及び前記ｋ個の疑似ラベルに対応するクラスに対して前記ネガティブ学習を行うステップを含むことができる。
【０００９】
一実施形態で、前記ネガティブ学習を行うステップは、前記プロセッサが、下記の数式によるネガティブ学習損失に基づいて前記ネガティブ学習を行うステップを含むことができる。
TIFF
2025117553000002.tif
15
128
TIFF
2025117553000003.tif
27
168
【００１０】
一実施形態で、前記第１予測結果は、クラス予測値及びバウンディングボックス予測値を含むことができる。
（【００１１】以降は省略されています）

関連特許