特許ウォッチ

公開番号2025139551
公報種別公開特許公報(A)
公開日2025-09-26
出願番号2025017973
出願日2025-02-05
発明の名称情報処理プログラム、情報処理方法、および情報処理装置
出願人富士通株式会社,ビー.ジー.ネゲブテクノロジーズアンドアプリケーションズリミテッド, アットベン‐グリオンユニバーシティー
代理人弁理士法人酒井総合特許事務所
主分類G06T 7/00 20170101AFI20250918BHJP(計算;計数)
要約【課題】パッチ攻撃を精度よく検出し易くすること。
【解決手段】情報処理装置100は、第1機械学習モデル110を利用して、第1分類結果111を取得する。情報処理装置100は、第2機械学習モデル120を利用して、第2分類結果121を取得する。情報処理装置100は、取得した第1分類結果111と、取得した第2分類結果121とに基づいて、第1フレームを特定する。情報処理装置100は、基準とするいずれかのフレームに対する第1分類結果111で最も確信度が大きい第1クラスを特定する。情報処理装置100は、特定した第1フレームの直前または直後の第2フレームを特定する。情報処理装置100は、第1フレームに対する第1分類結果111での第1クラスの第1確信度と、第2フレームに対する第1分類結果111での第1クラスの第2確信度との関係性が所定の条件を満たす場合に、一連のフレームが不正であると判定する。
【選択図】図1
特許請求の範囲【請求項１】
フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する第１機械学習モデルを利用して、一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第１分類結果を取得し、
フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する、前記第１機械学習モデルとは異なる第２機械学習モデルを利用して、前記一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第２分類結果を取得し、
取得した前記第１分類結果と、取得した前記第２分類結果とに基づいて、前記一連のフレームのうち、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが一致するいずれかのフレームとは前記第１分類結果で最も確信度が大きいクラスが異なり、かつ、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが異なる第１フレームを特定し、
前記いずれかのフレームに対する前記第１分類結果で最も確信度が大きい第１クラスに基づいて、特定した前記第１フレームに対する前記第１分類結果での前記第１クラスの第１確信度と、特定した前記第１フレームの直前または直後に存在する第２フレームに対する前記第１分類結果での前記第１クラスの第２確信度との関係性が所定の条件を満たす場合に、前記一連のフレームが不正であると判定し、前記関係性が前記所定の条件を満たさない場合に、前記一連のフレームが不正ではないと判定する、
処理をコンピュータに実行させることを特徴とする情報処理プログラム。
続きを表示（約 2,000 文字）【請求項２】
前記特定する処理は、
前記第１フレームを複数特定し、
前記判定する処理は、
特定した前記第１フレームのそれぞれについて、前記第１フレームに対する前記第１分類結果での前記第１クラスの第１確信度と、前記第１フレームの直前または直後に存在する第２フレームに対する前記第１分類結果での前記第１クラスの第２確信度との差分絶対値を算出し、算出した前記差分絶対値に関する統計値が閾値以上である場合に、前記一連のフレームが不正であると判定し、前記統計値が前記閾値未満である場合に、前記一連のフレームが不正ではないと判定する、ことを特徴とする請求項１に記載の情報処理プログラム。
【請求項３】
前記判定する処理は、
特定した前記第１フレームのうち、直前または直後に存在する第２フレームとは前記第１分類結果で最も確信度が大きいクラスが異なる前記第１フレームについて、算出した前記差分絶対値を、１より大きい係数で補正した後、前記差分絶対値に関する統計値が閾値以上である場合に、前記一連のフレームが不正であると判定し、前記統計値が前記閾値未満である場合に、前記一連のフレームが不正ではないと判定する、ことを特徴とする請求項２に記載の情報処理プログラム。
【請求項４】
フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する第１機械学習モデルを利用して、一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第１分類結果を取得し、
フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する、前記第１機械学習モデルとは異なる第２機械学習モデルを利用して、前記一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第２分類結果を取得し、
取得した前記第１分類結果と、取得した前記第２分類結果とに基づいて、前記一連のフレームのうち、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが一致するいずれかのフレームとは前記第１分類結果で最も確信度が大きいクラスが異なり、かつ、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが異なる第１フレームを特定し、
前記いずれかのフレームに対する前記第１分類結果で最も確信度が大きい第１クラスに基づいて、特定した前記第１フレームに対する前記第１分類結果での前記第１クラスの第１確信度と、特定した前記第１フレームの直前または直後に存在する第２フレームに対する前記第１分類結果での前記第１クラスの第２確信度との関係性が所定の条件を満たす場合に、前記一連のフレームが不正であると判定し、前記関係性が前記所定の条件を満たさない場合に、前記一連のフレームが不正ではないと判定する、
処理をコンピュータが実行することを特徴とする情報処理方法。
【請求項５】
フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する第１機械学習モデルを利用して、一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第１分類結果を取得し、
フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する、前記第１機械学習モデルとは異なる第２機械学習モデルを利用して、前記一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第２分類結果を取得し、
取得した前記第１分類結果と、取得した前記第２分類結果とに基づいて、前記一連のフレームのうち、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが一致するいずれかのフレームとは前記第１分類結果で最も確信度が大きいクラスが異なり、かつ、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが異なる第１フレームを特定し、
前記いずれかのフレームに対する前記第１分類結果で最も確信度が大きい第１クラスに基づいて、特定した前記第１フレームに対する前記第１分類結果での前記第１クラスの第１確信度と、特定した前記第１フレームの直前または直後に存在する第２フレームに対する前記第１分類結果での前記第１クラスの第２確信度との関係性が所定の条件を満たす場合に、前記一連のフレームが不正であると判定し、前記関係性が前記所定の条件を満たさない場合に、前記一連のフレームが不正ではないと判定する、
制御部を有することを特徴とする情報処理装置。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理プログラム、情報処理方法、および情報処理装置に関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
従来、動画像データのフレーム内で物体が映った領域を認識し、物体を複数のクラスのそれぞれに分類する尤度を表す確信度を算出する機械学習モデルが存在する。ここで、フレーム内に特定のパッチを映すことにより、機械学習モデルの精度を悪化させるパッチ攻撃が存在する。特定のパッチは、敵対的パッチとも呼ばれる。パッチ攻撃によれば、機械学習モデルが算出する、物体を分類することが正解であるクラスに対する確信度が低下し、物体を分類することが誤りであるクラスに対する確信度が増加してしまう。
【０００３】
先行技術としては、例えば、撮影時間範囲内の互いに異なる時刻に撮影範囲内を撮影した複数の画像データのそれぞれを用いて算出された複数の認識スコアを用いて生成された時系列認識スコアに、異常パターンが含まれるか否かを判定するものがある。
【先行技術文献】
【特許文献】
【０００４】
国際公開第２０２２／２６４３３１号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来技術では、パッチ攻撃を精度よく検出することが難しいという問題がある。例えば、機械学習モデルが算出した、物体を分類することが正解であるクラスに対する確信度が低下した原因が、パッチ攻撃であるのか、または、機械学習モデルの特性であるのかを区別することができない。
【０００６】
１つの側面では、本発明は、パッチ攻撃を精度よく検出し易くすることを目的とする。
【課題を解決するための手段】
【０００７】
１つの実施態様によれば、フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する第１機械学習モデルを利用して、一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第１分類結果を取得し、フレーム内の物体を複数のクラスのそれぞれに分類する確信度を算出する、前記第１機械学習モデルとは異なる第２機械学習モデルを利用して、前記一連のフレームのそれぞれに対して、当該フレーム内の物体が分類された２以上のクラスと、当該２以上のクラスのそれぞれの確信度とを対応付けた第２分類結果を取得し、取得した前記第１分類結果と、取得した前記第２分類結果とに基づいて、前記一連のフレームのうち、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが一致するいずれかのフレームとは前記第１分類結果で最も確信度が大きいクラスが異なり、かつ、前記第１分類結果と前記第２分類結果とのそれぞれで最も確信度が大きいクラスが異なる第１フレームを特定し、前記いずれかのフレームに対する前記第１分類結果で最も確信度が大きい第１クラスに基づいて、特定した前記第１フレームに対する前記第１分類結果での前記第１クラスの第１確信度と、特定した前記第１フレームの直前または直後に存在する第２フレームに対する前記第１分類結果での前記第１クラスの第２確信度との関係性が所定の条件を満たす場合に、前記一連のフレームが不正であると判定し、前記関係性が前記所定の条件を満たさない場合に、前記一連のフレームが不正ではないと判定する情報処理プログラム、情報処理方法、および情報処理装置が提案される。
【発明の効果】
【０００８】
一態様によれば、パッチ攻撃を精度よく検出し易くすることが可能になる。
【図面の簡単な説明】
【０００９】
図１は、実施の形態にかかる情報処理方法の一実施例を示す説明図である。
図２は、情報処理システム２００の一例を示す説明図である。
図３は、情報処理装置１００のハードウェア構成例を示すブロック図である。
図４は、情報処理装置１００の機能的構成例を示すブロック図である。
図５は、情報処理装置１００の動作の一例を示す説明図（その１）である。
図６は、情報処理装置１００の動作の一例を示す説明図（その２）である。
図７は、効果の一例を示す説明図である。
図８は、全体処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下に、図面を参照して、本発明にかかる情報処理プログラム、情報処理方法、および情報処理装置の実施の形態を詳細に説明する。
（【００１１】以降は省略されています）

関連特許