特許ウォッチ

公開番号2025158823
公報種別公開特許公報(A)
公開日2025-10-17
出願番号2024061719
出願日2024-04-05
発明の名称情報処理装置およびその制御方法
出願人キヤノン株式会社
代理人弁理士法人大塚国際特許事務所
主分類G06N 3/04 20230101AFI20251009BHJP(計算;計数)
要約【課題】行動認識処理における処理時間や処理負荷を低減する。
【解決手段】学習済みのニューラルネットワーク(NN)を用いて動画像に対する推論処理を行う情報処理装置は、動画像に含まれ時系列で連続するM個のフレームを取得する取得手段と、M個のフレームをNNに入力して特徴量を算出しM個のフレームに含まれる被写体の行動種別を検出する検出手段と、を有する。NNは、時系列で連続するN個(N≧M)のフレームを入力することにより学習されている。NNは、M個のフレームに対して共通の重み係数および/または共通のバイアスを使用して畳み込み演算を行い中間特徴量を導出する畳み込み層を含む。Mの値は、検出手段による検出対象の行動種別を特徴付ける行動単位時間に応じて設定される。
【選択図】図4
特許請求の範囲【請求項１】
学習済みのニューラルネットワーク（ＮＮ）を用いて動画像に対する推論処理を行う情報処理装置であって、
前記動画像に含まれ時系列で連続するＭ個のフレームを取得する取得手段と、
前記Ｍ個のフレームを前記ＮＮに入力して特徴量を算出し前記Ｍ個のフレームに含まれる被写体の行動種別を検出する検出手段と、
を有し、
前記ＮＮは、時系列で連続するＮ個（Ｎ≧Ｍ）のフレームを入力することにより学習されており、
前記ＮＮは、Ｍ個のフレームに対して共通の重み係数および／または共通のバイアスを使用して畳み込み演算を行い中間特徴量を導出する畳み込み層を含み、
前記Ｍの値は、前記検出手段による検出対象の行動種別を特徴付ける行動単位時間に応じて設定される
ことを特徴とする情報処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記ＮＮは、プーリング層を更に含み、
前記プーリング層のプーリングサイズは、該プーリング層の出力する中間特徴量の次元サイズが前記Ｍの値によらず同一となるように調整される
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記Ｍの値は、前記行動単位時間が短い行動種別に対してより小さい値が設定される
ことを特徴とする請求項１に記載の情報処理装置。
【請求項４】
前記検出手段が検出可能な行動種別のラベル数は、前記ＮＮを学習した際の行動種別のラベル数よりも少ない
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記Ｍの値は、前記検出手段による検出対象の複数の行動種別に対応する複数の行動単位時間に含まれる最長の行動単位時間に応じて設定される
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記取得手段は、時間の経過に応じて、新規のフレームを含むＭ個のフレームを順次取得するように構成されており、
前記ＮＮは、前記取得手段により取得された新たなＭ個のフレームに対して順次特徴量を算出するように構成されており、
前記ＮＮにおける特徴量の算出においては、先行する時刻において前記ＮＮにより算出された中間特徴量が参照される
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記動画像のフレームレートは一定であり、
前記Ｍの値は、前記検出手段における１回の検出に対応する検出対象時間を変更することにより決定される
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記検出手段における１回の検出に対応する検出対象時間は一定であり、
前記Ｍの値は、前記動画像のフレームレートを変更することにより決定される
ことを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記動画像に含まれるフレーム画像から該フレーム画像に映る主被写体の骨格グラフのフレームを生成する前処理手段をさらに有し、
前記取得手段は、前記前処理手段により生成されたＭ個のフレームを取得する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
学習済みのニューラルネットワーク（ＮＮ）を用いて動画像に対する推論処理を行う情報処理装置の制御方法であって、
前記動画像に含まれ時系列で連続するＭ個のフレームを取得する取得工程と、
前記Ｍ個のフレームを前記ＮＮに入力して特徴量を算出し前記Ｍ個のフレームに含まれる被写体の行動種別を検出する検出工程と、
を含み、
前記ＮＮは、時系列で連続するＮ個（Ｎ≧Ｍ）のフレームを入力することにより学習されており、
前記ＮＮは、Ｍ個のフレームに対して共通の重み係数および／または共通のバイアスを使用して畳み込み演算を行い中間特徴量を導出する畳み込み層を含み、
前記Ｍの値は、前記検出工程における検出対象の行動種別を特徴付ける行動単位時間に応じて設定される
ことを特徴とする制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、行動認識技術に関するものである。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、画像や動画から対象物を認識する技術が多く研究されている。例えば、人物の顔や人体、物体などを検出する物体認識、画像や動画中の環境や状況などを認識するシーン認識、人物の現在行っている行動を検出する人物行動認識がある。ここで、認識処理の目的を認識タスクと呼び、これらの認識タスクを組み合わせて認識処理を行う場合もある。例えば、畳み込みニューラルネットワーク（ＣＮＮ）では主に画像をターゲットとしている。一方で、グラフを認識するグラフニューラルネットワーク（ＧＮＮ）を用いた研究も盛んである。そして、物体や事象をノードとして、夫々のノードの接続関係（エッジ）を表現したグラフから全体のカテゴリを認識するグラフ識別や、個別のカテゴリを認識するノード識別などがある。
【０００３】
非特許文献１では、画像データから人物骨格の位置を認識し、取得したデータを骨格グラフとしてＧＮＮを適用し行動認識している技術が開示されている。また、特許文献１では、処理負荷軽減という観点から、物体認識に使用する映像のフレームレートを調整する技術が提案されている。
【先行技術文献】
【特許文献】
【０００４】
特開２０２２－１３３５４７号公報
【非特許文献】
【０００５】
S Li, J Yi, YA Farha, J Gall, "Pose Refinement Graph Convolutional Network for Skeleton-based Action Recognition", IEEE Robotics and Automation Letters, vol 6, 2021, p.1028-1035
【発明の概要】
【発明が解決しようとする課題】
【０００６】
行動認識のような認識タスクを処理する認識モデルのサイズは物体認識の認識モデルのサイズよりも大きく処理負荷が大きいという課題がある。そのため、行動認識に要する処理負荷を低減することが望まれている。しかしながら、特許文献１に記載の技術のように映像のフレームレートを調整する場合、処理負荷は低減されるものの、素早い動きを伴う行動に対する認識精度が低下するという問題がある。
【０００７】
本発明は、このような問題に鑑みてなされたものであり、行動認識における処理負荷を低減可能とする技術を提供することを目的としている。
【課題を解決するための手段】
【０００８】
上述の問題点を解決するため、本発明に係る情報処理装置は以下の構成を備える。すなわち、学習済みのニューラルネットワーク（ＮＮ）を用いて動画像に対する推論処理を行う情報処理装置は、
前記動画像に含まれ時系列で連続するＭ個のフレームを取得する取得手段と、
前記Ｍ個のフレームを前記ＮＮに入力して特徴量を算出し前記Ｍ個のフレームに含まれる被写体の行動種別を検出する検出手段と、
を有し、
前記ＮＮは、時系列で連続するＮ個（Ｎ≧Ｍ）のフレームを入力することにより学習されており、
前記ＮＮは、Ｍ個のフレームに対して共通の重み係数および／または共通のバイアスを使用して畳み込み演算を行い中間特徴量を導出する畳み込み層を含み、
前記Ｍの値は、前記検出手段による検出対象の行動種別を特徴付ける行動単位時間に応じて設定される。
【発明の効果】
【０００９】
本発明によれば、行動認識における処理負荷を低減可能とする技術を提供することができる。
【図面の簡単な説明】
【００１０】
行動認識装置のハードウェア構成を示すブロック図である。
行動認識装置の処理の流れを示す図である（第１実施形態）。
ネットワーク構成を示す図である（第１実施形態）。
学習および推論のフローチャートである。
行動種別に依存した単位時間の違いを説明する図である。
演算方法の処理を説明するフローチャートである。
推論時において再計算／参照する特徴量を説明する図である（第１実施形態）。
行動認識装置の処理の流れを示す図である（第２実施形態）。
ネットワーク構成を示す図である（第２実施形態）。
推論時のネットワーク構成を示す図である（第２実施形態）。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許