特許ウォッチ

公開番号2025141751
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024117932
出願日2024-07-23
発明の名称画像処理装置、画像処理方法、プログラム
出願人キヤノン株式会社
代理人弁理士法人秀和特許事務所
主分類G06T 7/00 20170101AFI20250919BHJP(計算;計数)
要約【課題】撮像画像における特定の物体の領域をより適切に検出可能または推定可能にする技術に寄与する。
【解決手段】画像処理装置は、特定の物体が撮像された第1の撮像画像に基づき、前記特定の物体における複数の特徴点の位置を検出する検出手段と、前記複数の特徴点の位置のうち少なくとも1つの位置と、前記第1の撮像画像または前記特定の物体が撮像された第2の撮像画像とに基づき、前記特定の物体の基準色を決定する決定手段と、前記複数の特徴点の位置に基づき、前記特定の物体の領域として推定される領域である第1の領域を取得する推定手段と、前記第1の領域の各位置の色と前記基準色とが類似するか否かを判定する判定手段と、前記判定手段により前記基準色と類似しないと判定された色の領域を前記第1の領域から除外する調整手段と、を有する。
【選択図】図4
特許請求の範囲【請求項１】
特定の物体が撮像された第１の撮像画像に基づき、前記特定の物体における複数の特徴点の位置を検出する検出手段と、
前記複数の特徴点の位置のうち少なくとも１つの位置と、前記第１の撮像画像または前記特定の物体が撮像された第２の撮像画像とに基づき、前記特定の物体の基準色を決定する決定手段と、
前記複数の特徴点の位置に基づき、前記特定の物体の領域として推定される領域である第１の領域を取得する推定手段と、
前記第１の領域の各位置の色と前記基準色とが類似するか否かを判定する判定手段と、
前記判定手段により前記基準色と類似しないと判定された色の領域を前記第１の領域から除外する調整手段と、
を有することを特徴とする画像処理装置。
続きを表示（約 1,400 文字）【請求項２】
前記調整手段により調整された前記第１の領域に含まれる色の情報を、前記特定の物体の色の情報として特定のテーブルに登録する登録手段をさらに有する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定のテーブルに登録された色の情報に基づき、前記特定の物体が撮像された第３の撮像画像における前記特定の物体を検出する物体検出手段をさらに有する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記物体検出手段が検出した前記特定の物体の領域の深度情報を取得する深度取得手段と、
前記深度取得手段が取得した前記深度情報、前記第３の撮像画像、および仮想物体のモデルに基づき、前記第３の撮像画像と前記仮想物体のモデルとを合成した画像を生成する画像生成手段と、
をさらに有する、
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記登録手段は、前記特定の物体の領域でない領域として推定される領域である第２の領域に含まれる色に基づき、前記特定の物体の色の情報として前記特定のテーブルに登録された色の情報を補正する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第１の撮像画像の深度情報を取得する深度取得手段を有し、
前記推定手段は、前記複数の特徴点の位置と、前記深度取得手段が取得した前記深度情報とに基づき、前記第２の領域を取得する、
ことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記推定手段は、前記複数の特徴点の位置のうち少なくとも１つの位置に基づき、前記特定の物体の領域でない領域として推定される領域である第２の領域を取得し、
前記判定手段は、前記第２の領域の各位置の色と前記基準色が類似するか否かを判定し、
前記調整手段は、前記判定手段により前記基準色と類似すると判定された色の領域を前記第２の領域から除外する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項８】
前記推定手段は、
前記複数の特徴点の位置のうち少なくとも１つの位置に基づき、前記特定の物体におけ
る新たな特徴点の位置を推定し、
前記複数の特徴点の位置と前記推定された新たな特徴点の位置とに基づき、前記第１の領域を取得する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項９】
前記決定手段は、前記複数の特徴点で囲まれた領域における複数の色の集合の色空間における集合の特性を表す基準軸に応じた色を前記基準色として決定し、
前記判定手段は、前記基準軸からの距離が一定の距離未満の色を、前記基準色と類似する色として判定する、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記決定手段は、前記複数の特徴点で囲まれた領域における複数の色の集合の色空間における集合の特性を表す基準曲線に応じた色を前記基準色として決定し、
前記判定手段は、前記基準曲線からの距離が一定の距離未満の色を、前記基準色と類似する色として判定する、
ことを特徴とする請求項１に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、プログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
近年、複合現実（ＭＲ）に関する研究として、仮想空間の情報を現実空間にリアルタイムに重ね合せて利用者に提示する技術の研究が行われている。複合現実では、例えば、撮像装置により撮像された現実空間の画像に、撮像装置の位置姿勢に応じた仮想空間の画像が重畳された合成画像が表示される。
【０００３】
このとき、現実物と仮想物体との位置関係が特定の関係である場合には、撮像画像における特定の現実物（現実物体）の領域に仮想物体を表示しないことにより、物体間の距離感を表現することがある。例えば、ＨＭＤを装着したユーザが現実物（自分の手または工具など）を仮想物体の前にかざした場合に、撮像画像における現実物の領域に仮想物体が描画されなければ、現実物が仮想物体の手前に存在するような表示が可能である。これにより、ユーザは、仮想物体と現実物の位置関係を容易に把握できるため、仮想空間における現実の手または工具を用いた作業を容易に検証できる。
【０００４】
このため、現実物と仮想物体との位置関係を正しく表現するためには、現実物の領域の検出、および現実物の距離計測が必要である。また、ユーザの映像酔いを抑えるために、現実物の領域の検出および距離計測は、リアルタイム（例えば、６０ｆｐｓ程度の頻度）で実施されるとよい。
【０００５】
特許文献１および特許文献２には、色情報を使用して、画像における顔または人体の領域をピクセル単位で抽出する技術が記載されている。特許文献１では、顔の特徴に基づき顔を示す矩形領域を検出して、色ヒストグラムのピーク値から一定の範囲の人の肌の色を抽出する技術が記載されている。また、特許文献２では、人体パーツを認識して、学習済みの識別器によって人体パーツの矩形領域から人の肌の色を抽出する技術が記載されている。
【先行技術文献】
【特許文献】
【０００６】
特開２０１０－１６６２６３号公報
特開２０１６－１０３２４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１および特許文献２では、画像に写る第三者の顔または体の全てが表れており、顔または体の全てを含む矩形領域が検出可能なことを前提としている。一方で、ＭＲにおいて、ＨＭＤを使用する人物の手および腕などの全ての領域が検出可能なことが理想ではある。しかしながら、これらの領域の全てが画像に収まっていることは多くないため、適切な領域が検出されないことがある。
【０００８】
そこで、本発明は、撮像画像における特定の物体の領域をより適切に検出可能または推定可能にする技術に寄与することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の１つの態様は、
特定の物体が撮像された第１の撮像画像に基づき、前記特定の物体における複数の特徴点の位置を検出する検出手段と、
前記複数の特徴点の位置のうち少なくとも１つの位置と、前記第１の撮像画像または前記特定の物体が撮像された第２の撮像画像とに基づき、前記特定の物体の基準色を決定する決定手段と、
前記複数の特徴点の位置に基づき、前記特定の物体の領域として推定される領域である第１の領域を取得する推定手段と、
前記第１の領域の各位置の色と前記基準色とが類似するか否かを判定する判定手段と、
前記判定手段により前記基準色と類似しないと判定された色の領域を前記第１の領域から除外する調整手段と、
を有することを特徴とする画像処理装置である。
【００１０】
本発明の１つの態様は、
特定の物体が撮像された第１の撮像画像に基づき、前記特定の物体における複数の特徴点の位置を検出する検出ステップと、
前記複数の特徴点の位置のうち少なくとも１つの位置と、前記第１の撮像画像または前記特定の物体が撮像された第２の撮像画像とに基づき、前記特定の物体の基準色を決定する決定ステップと、
前記複数の特徴点の位置に基づき、前記特定の物体の領域として推定される領域である第１の領域を取得する推定ステップと、
前記第１の領域の各位置の色と前記基準色とが類似するか否かを判定する判定ステップと、
前記判定ステップにおいて前記基準色と類似しないと判定された色の領域を前記第１の領域から除外する調整ステップと、
を有することを特徴とする画像処理方法である。
【発明の効果】
（【００１１】以降は省略されています）

関連特許