特許ウォッチ

公開番号2025140663
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024040195
出願日2024-03-14
発明の名称電子機器、プログラム、及び制御方法
出願人ソフトバンク株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06F 3/01 20060101AFI20250919BHJP(計算;計数)
要約【解決手段】電子機器であって、前記電子機器の操作者の手を被写体として含む撮像データを取得する取得部と、前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測部と、前記スケルトンデータに含まれる前記複数のポイントのうちの2つのジェスチャ認識用ポイントの間の距離と、前記撮像データを撮像した撮像部と前記操作者の手との距離に対応する閾値とに基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識する認識部とを備える、電子機器を提供する。
【選択図】図1
特許請求の範囲【請求項１】
電子機器であって、
前記電子機器の操作者の手を被写体として含む撮像データを取得する取得部と、
前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測部と、
前記スケルトンデータに含まれる前記複数のポイントのうちの２つのジェスチャ認識用ポイントの間の距離と、前記撮像データを撮像した撮像部と前記操作者の手との距離に対応する閾値とに基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識する認識部と
を備える、電子機器。
続きを表示（約 1,600 文字）【請求項２】
前記認識部は、前記撮像部と前記操作者の手との距離が短いほど大きい前記閾値に基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識する、請求項１に記載の電子機器。
【請求項３】
前記認識部は、前記スケルトンデータに含まれる、前記手の親指の先端に対応する第１のジェスチャ認識用ポイントと、前記手の人差指の先端に対応する第２のジェスチャ認識用ポイントとの間の距離と、前記閾値とに基づいて、前記操作者によるジェスチャを認識する、請求項１に記載の電子機器。
【請求項４】
前記認識部は、前記第１のジェスチャ認識用ポイントと前記第２のジェスチャ認識用ポイントとの間の距離が、前記閾値より短くなった場合に、前記操作者がピンチジェスチャを行ったと判定する、請求項３に記載の電子機器。
【請求項５】
前記認識部は、前記操作者が前記ピンチジェスチャを行ったと判定した後、前記ピンチジェスチャが解除されるまでの時間と、前記ピンチジェスチャをしている状態における前記操作者の手の移動量とに基づいて、クリックジェスチャ、スワイプジェスチャ、及びドラッグアンドドロップジェスチャのいずれを前記操作者が行ったかを判定する、請求項４に記載の電子機器。
【請求項６】
前記認識部は、前記第１のジェスチャ認識用ポイントと前記第２のジェスチャ認識用ポイントの距離と、前記閾値と、前記スケルトンデータに含まれる、前記手の人差指の付け根に対応する補助ポイントを基準とした前記第２のジェスチャ認識用ポイントの移動前後の角度とに基づいて、前記操作者によるジェスチャを認識する、請求項３から５のいずれか一項に記載の電子機器。
【請求項７】
前記認識部は、前記撮像データに含まれる複数のフレームから、前記撮像部と前記操作者の手との距離が短いほど大きい間引き率で間引いた後の複数のフレームを対象として、前記２つのジェスチャ認識用ポイントの距離と、前記撮像データを撮像した撮像部と前記操作者の手との距離に対応する閾値とに基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識する、請求項１から５のいずれか一項に記載の電子機器。
【請求項８】
電子機器であって、
前記電子機器の操作者の手を被写体として含む撮像データを取得する取得部と、
前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測部と、
前記スケルトンデータに含まれる前記複数のポイントのうちの、前記手の親指の先端に対応する第１のジェスチャ認識用ポイントと、前記手の人差指の先端に対応する第２のジェスチャ認識用ポイントとの間の距離と、前記手の人差指の付け根に対応する補助ポイントを基準とした前記第２のジェスチャ認識用ポイントの移動前後の角度とに基づいて、前記操作者によるジェスチャを認識する認識部と
を備える電子機器。
【請求項９】
コンピュータを、請求項１から５のいずれか一項に記載の電子機器として機能させるためのプログラム。
【請求項１０】
電子機器によって実行される制御方法であって、
前記電子機器の操作者の手を被写体として含む撮像データを取得する取得段階と、
前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測段階と、
前記スケルトンデータに含まれる前記複数のポイントのうちの２つのジェスチャ認識用ポイントの間の距離と、前記撮像データを撮像した撮像部と前記操作者の手との距離に対応する閾値とに基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識する認識段階と
を備える、制御方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、電子機器、プログラム、及び制御方法に関する。
続きを表示（約 3,200 文字）【背景技術】
【０００２】
特許文献１には、電子機器の操作者の手のスケルトンデータに基づいて、操作者の手の特定の部位の位置を算出し、当該位置に対応するようにカーソル位置を決定する技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特許第７２１３３９６号
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施態様によれば、電子機器が提供される。前記電子機器は、前記電子機器の操作者の手を被写体として含む撮像データを取得する取得部を備えてよい。前記電子機器は、前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測部を備えてよい。前記電子機器は、前記スケルトンデータに含まれる前記複数のポイントのうちの２つのジェスチャ認識用ポイントの間の距離と、前記撮像データを撮像した撮像部と前記操作者の手との距離に対応する閾値とに基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識する認識部を備えてよい。前記電子機器において、前記認識部は、前記撮像部と前記操作者の手との距離が短いほど大きい前記閾値に基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識してよい。前記いずれかの電子機器において、前記認識部は、前記スケルトンデータに含まれる、前記手の親指の先端に対応する第１のジェスチャ認識用ポイントと、前記手の人差指の先端に対応する第２のジェスチャ認識用ポイントとの間の距離と、前記閾値とに基づいて、前記操作者によるジェスチャを認識してよい。前記認識部は、前記第１のジェスチャ認識用ポイントと前記第２のジェスチャ認識用ポイントとの間の距離が、前記閾値より短くなった場合に、前記操作者がピンチジェスチャを行ったと判定してよい。前記認識部は、前記操作者が前記ピンチジェスチャを行ったと判定した後、前記ピンチジェスチャが解除されるまでの時間と、前記ピンチジェスチャをしている状態における前記操作者の手の移動量とに基づいて、クリックジェスチャ、スワイプジェスチャ、及びドラッグアンドドロップジェスチャのいずれを前記操作者が行ったかを判定してよい。前記いずれかの電子機器において、前記認識部は、前記第１のジェスチャ認識用ポイントと前記第２のジェスチャ認識用ポイントの距離と、前記閾値と、前記スケルトンデータに含まれる、前記手の人差指の付け根に対応する補助ポイントを基準とした前記第２のジェスチャ認識用ポイントの移動前後の角度とに基づいて、前記操作者によるジェスチャを認識してよい。前記いずれかの電子機器において、前記認識部は、前記撮像データに含まれる複数のフレームから、前記撮像部と前記操作者の手との距離が短いほど大きい間引き率で間引いた後の複数のフレームを対象として、前記２つのジェスチャ認識用ポイントの距離と、前記撮像データを撮像した撮像部と前記操作者の手との距離に対応する閾値とに基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識してよい。
【０００４】
本発明の一実施態様によれば、電子機器が提供される。前記電子機器は、前記電子機器の操作者の手を被写体として含む撮像データを取得する取得部を備えてよい。前記電子機器は、前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測部を備えてよい。前記電子機器は、前記スケルトンデータに含まれる前記複数のポイントのうちの、前記手の親指の先端に対応する第１のジェスチャ認識用ポイントと、前記手の人差指の先端に対応する第２のジェスチャ認識用ポイントとの間の距離と、前記手の人差指の付け根に対応する補助ポイントを基準とした前記第２のジェスチャ認識用ポイントの移動前後の角度とに基づいて、前記操作者によるジェスチャを認識する認識部を備えてよい。
【０００５】
本発明の一実施態様によれば、コンピュータを、前記電子機器として機能させるためのプログラムが提供される。
【０００６】
本発明の一実施態様によれば、電子機器によって実行される制御方法が提供される。前記制御方法は、前記電子機器の操作者の手を被写体として含む撮像データを取得する取得段階を備えてよい。前記制御方法は、前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測段階を備えてよい。前記制御方法は、前記スケルトンデータに含まれる前記複数のポイントのうちの２つのジェスチャ認識用ポイントの間の距離と、前記撮像データを撮像した撮像部と前記操作者の手との距離に対応する閾値とに基づいて、前記電子機器を操作するための前記操作者によるジェスチャを認識する認識段階を備えてよい。
【０００７】
本発明の一実施態様によれば、電子機器によって実行される制御方法が提供される。前記制御方法は、前記電子機器の操作者の手を被写体として含む撮像データを取得する取得段階を備えてよい。前記制御方法は、前記撮像データに含まれる前記操作者の手に対応する、複数のポイントを含むスケルトンデータを推測する推測段階を備えてよい。前記制御方法は、前記スケルトンデータに含まれる前記複数のポイントのうちの、前記手の親指の先端に対応する第１のジェスチャ認識用ポイントと、前記手の人差指の先端に対応する第２のジェスチャ認識用ポイントとの間の距離と、前記手の人差指の付け根に対応する補助ポイントを基準とした前記第２のジェスチャ認識用ポイントの移動前後の角度とに基づいて、前記操作者によるジェスチャを認識する認識段階を備えてよい。
【０００８】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００９】
電子機器１００の一例を概略的に示す。
電子機器１００の機能構成の一例を概略的に示す。
操作者４０の手２０のスケルトンデータ３０に含まれる複数のポイントの一例について説明するための説明図である。
決定部１２８によるカーソル位置の決定方法について説明するための説明図である。
手２０のスケルトンデータ３０に含まれる複数のポイントから選択された、少なくとも３つのノイズ除去用ポイントについて説明するための説明図である。
認識部１３０によるジェスチャ認識について説明するための説明図である。
認識部１３０によるジェスチャ認識について説明するための説明図である。
撮像部１０２と操作者４０の手２０との距離に対応して、ピンチ認識用閾値を変更することを説明するための説明図である。
認識部１３０によるジェスチャ認識の他の一例について説明するための説明図である。
認識部１３０によるジェスチャ認識におけるノイズ低減処理について説明するための説明図である。
電子機器１００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
【００１０】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
（【００１１】以降は省略されています）

関連特許