特許ウォッチ

公開番号2025074025
公報種別公開特許公報(A)
公開日2025-05-13
出願番号2024184519
出願日2024-10-21
発明の名称ビデオ内の手の動きを検出するための装置、方法及びコンピュータプログラム
出願人富士通株式会社
代理人弁理士法人ITOH
主分類G06T 7/60 20170101AFI20250502BHJP(計算;計数)
要約【課題】本発明は、ビデオ内の手の動きを検出するための装置、方法及び記憶媒体を提供する。
【解決手段】装置は、ビデオ内の各フレーム画像における手の3Dキーポイントに関する情報を得るユニットであって、手の3Dキーポイントに関する情報は少なくとも、手の各関節点の3D空間における位置を含む、もの;手の3Dキーポイントに関する情報に基づいて各フレーム画像の手の状態情報を得るユニットであって、手の状態情報は少なくとも、指セグメントの屈曲状態を含む、もの;ビデオの時間フラグメントにおける手の状態情報の変化を得るユニット;及び、手の状態情報の変化及び手の動きに関するルールに基づいて時間フラグメントにおける手の動きを確定するユニットを含む。
【選択図】図2

特許請求の範囲【請求項１】
ビデオ内の手の動きを検出するための装置であって、
前記ビデオ内の各フレーム画像におけるの前記手の３Ｄキーポイントに関する情報を取得する取得ユニットであって、前記手の３Ｄキーポイントに関する情報は少なくとも、前記手の各関節点の３Ｄ空間における位置を含む、取得ユニット；
前記手の３Ｄキーポイントに関する情報に基づいて各フレーム画像の前記手の状態情報を取得する計算ユニットであって、前記手の状態情報は少なくとも、指セグメントの屈曲状態を含む、計算ユニット；
前記ビデオの時間フラグメント内の前記手の状態情報の変化を取得する分析ユニット；及び
前記手の状態情報の変化と、前記手の動きに関するルールとに基づいて、前記時間フラグメント内の前記手の動作を確定する確定ユニットを含む、装置。
続きを表示（約 1,900 文字）【請求項２】
請求項１に記載の装置であって、
前記指セグメントの屈曲状態とは指セグメントの屈曲度合いを指し、
前記計算ユニットは前記手の３Ｄキーポイントに関する情報に基づいて各フレーム画像の指セグメントの屈曲度合いを計算し、
前記分析ユニットは各スライディングウィンドウについて、前記ビデオのスライディングウィンドウ内のマルチフレーム画像の指セグメントの屈曲度合いの傾向を分析し、
複数の連続したスライディングウィンドウのうちの各スライディングウィンドウにおいて指セグメントの屈曲度合いがすべて増加する場合に、前記確定ユニットは複数の連続したスライディングウィンドウの時間長内のビデオが手の掴み動作に関連していると確定する、装置。
【請求項３】
請求項２に記載の装置であって、
前記確定ユニットは前記スライディングウィンドウ内の手の甲の向きの変化が第一閾値よりも大きいかを判断し、第一閾値よりも大きい場合に、動作が掴み動作ではないと確定する、装置。
【請求項４】
請求項２に記載の装置であって、
前記分析ユニットは複数の連続したスライディングウィンドウの時間長内の指セグメントの屈曲度合いのシーケンスの傾きを分析し、
前記傾きが第二閾値よりも大きいときに、前記確定ユニットは前記動作が掴み動作であると確定する、装置。
【請求項５】
請求項１に記載の装置であって、
前記指セグメントの屈曲状態とは指セグメントの屈曲度合いを指し、
前記計算ユニットは前記ビデオのスライディングウィンドウ内のマルチフレーム画像の指の向き、指セグメントの屈曲度合い、及び手の甲の向きを計算し、
前記分析ユニットは前記指の向き、前記指セグメントの屈曲度合い、及び前記手の甲の向きの変化を分析し、
複数の連続したスライディングウィンドウのうちの各スライディングウィンドウの計算結果が、すべて、
指の向きの偏差が増加し；
指セグメントの屈曲度合いの変化が第三閾値よりも小さく；
手の甲の向きの変化が第四閾値よりも小さく；及び
スライディングウィンドウ内の指セグメントの屈曲度合いの平均値が第五閾値よりも大きい
という条件を満たす場合に、前記確定ユニットは複数の連続したスライディングウィンドウの時間長内のビデオが手のひねり動作に関連していると確定する、装置。
【請求項６】
請求項２又は５に記載の装置であって、
前記指セグメントの屈曲度合いが親指以外の４つの指と、付け根の骨格との間の夾角の平均値で表され；又は
前記指セグメントの屈曲度合いが親指以外の４つの指の３つの関節点の屈曲度の和で表され、かつ屈曲度の和を求めるときに、関節点が付け根に近いほど、該関節点の屈曲度の重みが高くなる、装置。
【請求項７】
請求項５に記載の装置であって、
前記指の向きが前記指の所在する平面の法線ベクトルで表され、
前記計算ユニットはスライディングウィンドウ内の各フレーム画像と、初期フレーム画像との間の指の向きの偏差を計算することで指の向きの偏差を取得する、装置。
【請求項８】
請求項３又は５に記載の装置であって、
前記手の甲の向きが手首と、人差し指の付け根とにより形成されるベクトル、及び、手首と、小指の付け根とにより形成されるベクトルの法線方向で表され、
前記手の甲の向きの変化が前記手の甲の向きと、前記手の所在する座標系のｘ軸、ｙ軸及びｚ軸との間の夾角の標準偏差で表される、装置。
【請求項９】
ビデオ内の手の動きを検出するための方法であって、
前記ビデオ内の各フレーム画像における手の３Ｄキーポイントに関する情報を取得し、前記手の３Ｄキーポイントに関する情報は少なくとも、前記手の各関節点の３Ｄ空間における位置を含み；
前記手の３Ｄキーポイントに関する情報に基づいて各フレーム画像の前記手の状態情報を取得し、前記手の状態情報は少なくとも、指セグメントの屈曲状態を含み；
前記ビデオの時間フラグメント内の前記手の状態情報の変化を取得し；及び
前記手の状態情報の変化と、前記手の動きに関するルールとに基づいて、前記時間フラグメント内の手の動作を確定することを含む、方法。
【請求項１０】
コンピュータに、請求項９に記載の方法を実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ビデオ分析（解析）の技術分野に関し、特に、ビデオ内の手の動き（動作）を検出するための装置、方法及びコンピュータプログラムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
手の動きの検出がコンピュータビジョンにおけるよくある課題であり、それは人間とコンピュータのインタラクション、仮想現実、知的生産と生活などの分野で幅広く適用されている。動作検出のためのデータのソースについて言えば、一般的な特徴抽出方法は、シングルフレーム画像からＲＧＢ特徴及び手のキーポイント特徴を空間領域特徴として抽出し、及び連続したマルチフレーム画像からオプティカルフロー特徴を時間領域特徴として抽出することを含む。そのうち、ＲＧＢ特徴は豊富なテクスチャ情報及びシーンのコンテキスト認識（感知）情報を有し、手のキーポイント特徴は比較的強い空間構造制約を有し、手の外観（外表）、照明、視野角（視角）などの要因による干渉を回避できるので、手の動きをより直観的に反映でき、また、オプティカルフロー特徴はフレーム間の動きの形でカメラと観察される手との間の相対運動を伝達する。
【０００３】
近年、ディープニューラルネットワーク技術が絶えずに発展し進歩しているため、それは動作検出の分野では幅広く使用されるようになっている。このような方法の全体的なネットワーク構造は図１に示すとおりである。ディープニューラルネットワークに基づく動作検出は比較的良い検出結果を取得できるが、このような方法は実際の適用シーン（シナリオ）では多くの制限がある。工場における生産プロセスが手の動きの検出技術の一般的な適用シーンの１つであり、生産作業員の手の動きを検出することで、その動きが速度、ワークフロー、姿勢などの面で生産要件を満たしたかを判断できるため、作業員のワーキング効率を向上させることができる。周知のとおり、ディープニューラルネットワークに基づく方法では、モデルを訓練（トレーニング）する前に手の動きのカテゴリ（手動作カテゴリともいう）を定義する必要がある。しかしながら、異なる工場におけるユーザーの関心の手動作カテゴリが異なるため、統一した手動作カテゴリによる定義の方法は異なるユーザーのニーズを満たすことが困難である。異なるユーザーのためにパーソナライズされた手動作カテゴリをそれぞれ定義し、かつ定義された動作に基づいてモデルをそれぞれ訓練する方法を採用すれば、効率の低下及び計算リソースの浪費を来すことがある。また、ユーザーの機密保持要件及びデータ収集条件の制限により、実際の生産シーンではディープニューラルネットワークモデルを訓練するのに十分なデータを収集することが困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、上述の問題のうちの１つ又は複数を解決するための手動作検出装置、方法及びコンピュータプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
本発明の一側面によれば、ビデオ内の手の動きを検出するための装置が提供され、それは、
ビデオ内の各フレーム画像における手の３Ｄキーポイントに関する情報を取得する取得ユニットであって、手の３Ｄキーポイントに関する情報は少なくとも、手の各関節点の３Ｄ空間における位置を含む、もの；
手の３Ｄキーポイントに関する情報に基づいて各フレーム画像の手の状態情報を取得する計算ユニットであって、手の状態情報は少なくとも、指セグメントの屈曲（湾曲）状態を含む、もの；
ビデオの時間フラグメントにおける手の状態情報の変化を取得する分析ユニット；及び
手の状態情報の変化、及び手の動きに関するルール（規則）に基づいて、時間フラグメントにおける手の動きを確定する確定ユニットを含む。
【０００６】
本発明のもう１つの側面によれば、ビデオ内の手の動きを検出するための方法が提供され、それは、
ビデオ内の各フレーム画像における手の３Ｄキーポイントに関する情報を取得し、手の３Ｄキーポイントに関する情報は少なくとも、手の各関節点の３Ｄ空間における位置を含み；
手の３Ｄキーポイントに関する情報に基づいて各フレーム画像の手の状態情報を取得し、手の状態情報は少なくとも、指セグメントの屈曲状態を含み；
ビデオの時間フラグメントにおける手の状態情報の変化を取得し；及び
手の状態情報の変化、及び手の動きに関するルールに基づいて、時間フラグメントにおける手の動きを確定することを含む。
【０００７】
本発明の他の側面によれば、コンピュータプログラムが提供され、それは、コンピュータに、本発明による検出方法を実行させる。
【発明の効果】
【０００８】
本発明による動作検出装置、動作検出方法及びコンピュータプログラムを用いて、指セグメントの屈曲状態をフレームごとに分析し、手の動きのルールを策定することにより、再利用可能な手の動きの検出を実現できる。
【図面の簡単な説明】
【０００９】
ニューラルネットワークに基づく動作検出の全体的なネットワーク構造を示す図である。
本発明の実施例による検出装置の構成図である。
手のキーポイントと指セグメントとの対応関係を示す図である。
本発明の実施例による検出装置が「掴み」動作を検出するプロセスにおける指セグメントの屈曲度合いの変化を示す図である。
本発明の実施例による検出装置が実行する処理を示す図である。
本発明の実施例による検出装置が実行するもう１つの処理のフローチャートである。
もう１つの指セグメントの屈曲度合いの計算を示す図である。
本発明の実施例による検出装置が「ひねり」動作を検出する原理を示す図である。
本発明の実施例による検出方法のフローチャートである。
本発明の実施例による検出装置と方法を実現し得る汎用パーソナルコンピュータの例示的な構成図である。
【発明を実施するための形態】
【００１０】
以下、添付した図面を参照しながら、本発明を実施するための好適な実施例を詳細に説明する。なお、このような実施例は例示に過ぎず、本発明を限定するものではない。
（【００１１】以降は省略されています）

関連特許