特許ウォッチ

公開番号2025121860
公報種別公開特許公報(A)
公開日2025-08-20
出願番号2025009528
出願日2025-01-23
発明の名称分類修正方法及びコンピュータプログラム製品
出願人株式会社NTTドコモ
代理人インフォート弁理士法人
主分類G06T 7/00 20170101AFI20250813BHJP(計算;計数)
要約【課題】コンテキスト情報を利用して不確実な中間結果の予測分類を修正することで、不確実な中間結果に対応する予測分類の正確度を向上させ、最終的な分類の正確度を向上させる。
【解決手段】分類修正方法は、複数のモデルのうちの第1のモデルが第1の入力データについて出力した、複数の中間類別とその信頼度とを含む第1の中間結果に基づいて、前記第1の中間結果の確実性を判断することと、前記第1の中間結果が不確実であると判断された場合、前記第1の入力データを含む入力データセットから前記複数のモデルにより抽出された特徴の統計量が、修正条件を満たすか否かを判断することと、前記統計量が前記修正条件を満たす場合、コンテキスト情報に基づいて、不確実な第1の中間結果に対応する第1の予測分類を修正し、修正後の第1の予測分類とすることと、を含む。
【選択図】図2

特許請求の範囲【請求項１】
複数のモデルのうちの第１のモデルが第１の入力データについて出力した、複数の中間類別とその信頼度とを含む第１の中間結果に基づいて、前記第１の中間結果の確実性を判断することと、
前記第１の中間結果が不確実であると判断された場合、前記第１の入力データを含む入力データセットから前記複数のモデルにより抽出された特徴の統計量が、修正条件を満たすか否かを判断することと、
前記統計量が前記修正条件を満たす場合、コンテキスト情報に基づいて、不確実な第１の中間結果に対応する第１の予測分類を修正し、修正後の第１の予測分類とすることと、を含む、分類修正方法。
続きを表示（約 2,500 文字）【請求項２】
前記コンテキスト情報は、前記複数のモデルが前記入力データセットについて出力した複数の確実な第２の中間結果を含み、
前記コンテキスト情報に基づいて、不確実な第１の中間結果に対応する第１の予測分類を修正することは、
前記複数の確実な第２の中間結果に基づいて、前記入力データセットの第２の予測分類とその信頼度とを算出することと、
前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することと、を含む、請求項１に記載の分類修正方法。
【請求項３】
前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することは、
前記不確実な第１の中間結果のうちの、信頼度の和が予め設定された信頼度閾値より大きい上位ｋ個の中間類別を決定することと、
前記上位ｋ個の中間類別と前記第２の予測分類の信頼度とに基づいて、前記上位ｋ個の中間類別のそれぞれの予測分類を決定することと、
前記上位ｋ個の中間類別に対応する予測分類に前記第２の予測分類が含まれている場合、前記不確実な第１の中間結果が、前記第２の予測分類に対応すると判断すること、を含み、
ただし、ｋは正の整数である、請求項２に記載の分類修正方法。
【請求項４】
前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することは、
前記上位ｋ個の中間類別に対応する予測分類には前記第２の予測分類が含まれていない場合、前記不確実な第１の中間結果が、前記第２の予測分類とは反対タイプの分類、前記上位ｋ個の中間類別のうちの最も高い信頼度の和を有する予測分類、或いは、前記上位ｋ個の中間類別のうちの最も高い信頼度を有する中間類別に対応する予測分類、に対応すると判断することを含む、請求項３に記載の分類修正方法。
【請求項５】
前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することは、
前記不確実な第１の中間結果のうちの、信頼度の和が予め設定された信頼度閾値より大きい上位ｋ個の中間類別を決定することと、
前記上位ｋ個の中間類別と前記第２の予測分類の信頼度とに基づいて、前記上位ｋ個の中間類別のそれぞれの予測分類を決定することと、
前記第２の予測分類と、前記上位ｋ個の中間類別のうちの、２番目に高い信頼度を有する中間類別に対応する予測分類とが同じである場合、前記不確実な第１の中間結果が前記第２の予測分類に対応すると判断することと、
前記第２の予測分類と、前記上位ｋ個の中間類別のうちの、２番目に高い信頼度を有する中間類別に対応する予測分類とが異なる場合、不確実な第１の中間結果が、前記上位ｋ個の中間類別のうちの最も高い信頼度を有する中間類別に対応する予測分類、に対応すると判断することと、を含み、
ただし、ｋは正の整数である、請求項２に記載の分類修正方法。
【請求項６】
前記修正後の第１の予測分類に基づいて、前記入力データセットの最終的な分類を決定することをさらに含む、請求項１から５のいずれか一項に記載の分類修正方法。
【請求項７】
前記複数のモデルの入力データのデータ種類は、ビデオと、画像と、音声と、テキストとの一つである、請求項１から５のいずれか一項に記載の分類修正方法。
【請求項８】
複数組のラベル付きデータに基づいて前記修正条件の規則セットを自己学習し、
前記複数組のラベル付きデータのうちの各組のラベル付きデータは、前記複数のモデルが一つの入力サンプルセットから抽出した特徴の複数の統計量と、前記複数のモデルが当該入力サンプルセットから抽出した特徴に基づいて予測した分類が正確であるか否かのラベルとを含む、請求項１から５のいずれか一項に記載の分類修正方法。
【請求項９】
前記複数組のラベル付きデータに基づいて前記修正条件の規則セットを自己学習することは、
前記複数の統計量のうちの各統計量の連続的属性を離散化し、離散化されたラベル付きデータセットを取得することと、
単一の統計量が対応する離散化条件を満たすものから、ｎ個の統計量が対応する離散化条件を満たすものまでの全ての候補規則を生成することと、
全ての候補規則を、単一の統計量が対応する離散化条件を満たすものからｎ個の統計量が対応する離散化条件を満たすものまでの順で巡回し、当該候補規則に該当するラベル付きデータが、前記離散化されたラベル付きデータセットに含まれているか否かを決定し、
当該候補規則に該当するラベル付きデータが、前記離散化されたラベル付きデータセットに含まれていない場合、当該候補規則を無効の規則であると判断し、
当該候補規則に該当するラベル付きデータが、前記離散化されたラベル付きデータセットに含まれている場合、当該候補規則が誤って分類されたデータのみカバーするか否かを決定し、
当該候補規則が誤って分類されたデータのみカバーする場合、当該候補規則を前記修正条件の規則セットに追加し、当該候補規則によりカバーされたデータを前記離散化されたラベル付きデータセットから取り除き、
当該候補規則が正確に分類されたデータをカバーする場合、当該候補規則を無効の規則であると判断することとを含み、
ただし、前記複数の統計量の数はｎであり、ｎは正の整数である、請求項８に記載の分類修正方法。
【請求項１０】
コンピュータコマンドを含むコンピュータプログラム製品であって、
前記コンピュータコマンドがプロセッサによって実行される場合、請求項１から９のいずれか一項に記載の分類修正方法が実行される、コンピュータプログラム製品。

発明の詳細な説明【技術分野】
【０００１】
本開示は、人工知能分類の分野に関し、特に、分類修正方法及びコンピュータプログラム製品に関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
分類又はスコアリング（ｓｃｏｒｉｎｇ）のような目標を達成するために、複数のモデルを統合して分類する必要があることが多い。その中で、各モデルは、個別で事前トレーニングされることが一般的である。事前トレーニングに用いるデータの不均衡及びタスクの難しさが異なる等の問題点が存在し得るため、あるモデルの性能が相対的に低くなる可能性があり、生成された中間結果の、信頼度レベルが低い場合のエラー率が高く、複数のモデルを統合した最終的な分類の性能が劣化する恐れがある。
【０００３】
例えば、図１は、ビデオ内の人が集中しているか否かを分類する例を示す。図１に示すように、入力されたビデオフレームが一つのモデルにより解析され、解析結果がｓｏｆｔｍａｘ関数により異なる行為類別及びその信頼度に変換される。図１の棒グラフに示すように、棒グラフにおける各項は一つの行為類別を示し、バーの長さは信頼度を示す。そして、最も高い信頼度を有する行為類別が、Ｍａｘ（ｓｏｆｔｍａｘ）関数によりビデオフレームの行為類別として選択される。図１に示したビデオフレーム１０２～１０６に対応する棒グラフにおいては、最も高い信頼度を有する行為類別が、いずれも「スクリーンを見る」であるため、これらのビデオフレームの行為類別が「スクリーンを見る」と決定される。そして、ビデオの複数のビデオフレームの行為類別から、規則（集中力点数は、眠る行為がある場合０、しゃべる行為がある場合０．５、あくびをする行為がある場合０．２５、眠ること及びしゃべること及びあくびをすることがいずれもない場合、スクリーンを見る確率が集中力点数になる）に従って、集中力点数が算出される。図１の例において、ビデオフレームの行為類別が三つとも「スクリーンを見る」ため、最終の集中力点数は、スクリーンを見る確率であり１になる。最後に、集中力点数が閾値により大きいか否かにより、ビデオ内の人が集中しているか否かが判断される。図１に示した閾値が０．７５であるため、集中に誤って分類してしまう。図１のビデオフレーム１０２及び１０４において、人がスクリーンを見ておらず（破線のブロックで表す）、かつ行為類別「スクリーンを見る」の信頼度が低いにもかかわらず、「スクリーンを見る」が、全ての行為類別の中で最も高い信頼度を有するため、この二つのビデオフレーム１０２及び１０４が、「スクリーンを見る」に誤って認識される。ビデオフレーム１０６において、人がスクリーンを見ており（実線のブロックで表す）、かつ「スクリーンを見る」の信頼度が非常に高いため、当該ビデオフレーム１０６、「スクリーンを見る」に正確に認識される。最終的には、ビデオ内のビデオフレームのスクリーンを見る確率が１、閾値である０．７５より大きいので、このビデオ内の人が、集中していると誤って認識されてしまう。これにより、もし途中の行為類別が誤る場合、最終的には、集中しているか否かの判断ミスにつながる可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現在、信頼度レベルが低い結果については、そのまま破棄するのが一般的である。しかしながら、信頼度の低い単一の中間結果は、正確である可能性もあるし、誤っている可能性もある。このような中間結果をそのまま破棄すると、情報の損失が生じ、最終的な分類パフォーマンスに影響を与える。例えば、図１の二つのビデオフレーム１０２及び１０４が破棄された場合、このビデオ内のビデオフレーム１０６の行為結果が「ビデオを見る」であるため、このビデオ内のビデオフレームのスクリーンを見る確率が依然として１であり、ビデオ内の人が集中していると誤って認識される。言い換えれば、信頼度の低い中間結果が誤っている場合、このような信頼度の低い中間結果がそのまま破棄されても、最終的には、集中しているか否かの判断ミスにつながる可能性がある。
【０００５】
上記の問題点に鑑みて、本開示は、分類修正方法及びコンピュータプログラム製品を提供する。
【課題を解決するための手段】
【０００６】
本開示の一態様によれば、複数のモデルのうちの第１のモデルが第１の入力データについて出力した、複数の中間類別とその信頼度とを含む第１の中間結果に基づいて、前記第１の中間結果の確実性を判断することと、前記第１の中間結果が不確実であると判断された場合、前記第１の入力データを含む入力データセットから前記複数のモデルにより抽出された特徴の統計量が、修正条件を満たすか否かを判断することと、前記統計量が前記修正条件を満たす場合、コンテキスト情報に基づいて、不確実な第１の中間結果に対応する第１の予測分類を修正し、修正後の第１の予測分類とすることと、を含む分類修正方法が提供される。
【０００７】
本開示の一実施例によれば、前記コンテキスト情報は、前記複数のモデルが前記入力データセットについて出力した複数の確実な第２の中間結果を含み、前記コンテキスト情報に基づいて、不確実な第１の中間結果に対応する第１の予測分類を修正することは、前記複数の確実な第２の中間結果に基づいて、前記入力データセットの第２の予測分類とその信頼度とを算出することと、前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することと、を含む。
【０００８】
本開示の一実施例によれば、前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することは、前記不確実な第１の中間結果のうちの、信頼度の和が予め設定された信頼度閾値より大きい上位ｋ個の中間類別を決定することと、前記上位ｋ個の中間類別と前記第２の予測分類の信頼度とに基づいて、前記上位ｋ個の中間類別のそれぞれの予測分類を決定することと、前記上位ｋ個の中間類別に対応する予測分類に前記第２の予測分類が含まれている場合、前記不確実な第１の中間結果が、前記第２の予測分類に対応すると判断すること、を含み、ただし、ｋは正の整数である。
【０００９】
本開示の一実施例によれば、前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することは、前記上位ｋ個の中間類別に対応する予測分類には前記第２の予測分類が含まれていない場合、前記不確実な第１の中間結果が、前記第２の予測分類とは反対タイプの分類、前記上位ｋ個の中間類別のうちの最も高い信頼度の和を有する予測分類、或いは、前記上位ｋ個の中間類別のうちの最も高い信頼度を有する中間類別に対応する予測分類、に対応すると判断することを含む。
【００１０】
本開示の一実施例によれば、前記第２の予測分類とその信頼度とに基づいて、前記不確実な第１の中間結果に対応する前記第１の予測分類を修正することは、前記不確実な第１の中間結果のうちの、信頼度の和が予め設定された信頼度閾値より大きい上位ｋ個の中間類別を決定することと、前記上位ｋ個の中間類別と前記第２の予測分類の信頼度とに基づいて、前記上位ｋ個の中間類別のそれぞれの予測分類を決定することと、前記第２の予測分類と、前記上位ｋ個の中間類別のうちの、２番目に高い信頼度を有する中間類別に対応する予測分類とが同じである場合、前記不確実な第１の中間結果が前記第２の予測分類に対応すると判断することと、前記第２の予測分類と、前記上位ｋ個の中間類別のうちの、２番目に高い信頼度を有する中間類別に対応する予測分類とが異なる場合、不確実な第１の中間結果が、前記上位ｋ個の中間類別のうちの最も高い信頼度を有する中間類別に対応する予測分類、に対応すると判断することと、を含み、ただし、ｋは正の整数である。
（【００１１】以降は省略されています）

関連特許