特許ウォッチ

公開番号2025070558
公報種別公開特許公報(A)
公開日2025-05-02
出願番号2023180980
出願日2023-10-20
発明の名称顔形状補正装置、顔形状補正装置の制御方法およびプログラム
出願人キヤノン株式会社
代理人個人
主分類G06T 7/00 20170101AFI20250424BHJP(計算;計数)
要約【課題】顔の形状を推定した場合、当該顔の形状を適切に補正可能な顔形状補正装置、顔形状補正装置の制御方法およびプログラムを提供することを目的とする。
【解決手段】顔形状補正装置としての画像処理装置100は、顔画像を取得する取得手段(制御部11)と、顔画像を入力データとして機械学習を用いることにより、被写体の顔の形状を推定して、その推定顔形状を出力データとして取得する推定手段(制御部11)と、推定顔形状を補正する補正手段(制御部11)とを備える。補正手段は、推定顔形状の補正に必要な第1特徴量を、機械学習でのデータに関する情報に基づいて取得するとともに、推定顔形状の補正に必要な第2特徴量を、推定顔形状に関する情報に基づいて取得して、第1特徴量および第2特徴量に基づいて推定顔形状の補正を行う。
【選択図】図2
特許請求の範囲【請求項１】
被写体の顔が含まれる顔画像を取得する取得手段と、
前記顔画像を入力データとして機械学習を用いることにより、前記被写体の顔の形状を推定して、その推定顔形状を出力データとして取得する推定手段と、
前記推定顔形状を補正する補正手段と、を備え、
前記補正手段は、前記推定顔形状の補正に必要な第１特徴量を、前記機械学習でのデータに関する情報に基づいて取得するとともに、前記推定顔形状の補正に必要な第２特徴量を、前記推定顔形状に関する情報に基づいて取得して、前記第１特徴量および前記第２特徴量に基づいて前記推定顔形状の補正を行うことを特徴とする顔形状補正装置。
続きを表示（約 1,200 文字）【請求項２】
前記第１特徴量は、前記機械学習でのデータが顔画像である場合、該顔画像に含まれる前記顔の目と鼻の頂点との間の距離であり、
前記第２特徴量は、前記推定顔形状の目と鼻の頂点との間の距離であることを特徴とする請求項１に記載の顔形状補正装置。
【請求項３】
前記補正手段は、前記第１特徴量と前記第２特徴量との比に基づいて前記推定顔形状の補正を行うことを特徴とする請求項２に記載の顔形状補正装置。
【請求項４】
前記推定手段は、前記機械学習に、ニューラルネットワークを有する学習済みモデルを用いており、
前記補正手段は、前記顔画像と、前記学習済みモデルで学習された顔画像との間に人種に関する乖離がある場合、前記推定顔形状の補正を行うことを特徴とする請求項２に記載の顔形状補正装置。
【請求項５】
前記第１特徴量は、前記機械学習でのデータが顔画像である場合、該顔画像に含まれる前記顔の目と鼻の頂点との間の距離と、該顔画像に含まれる下唇と顎との間の距離であり、
前記第２特徴量は、前記推定顔形状の目と鼻の頂点との間の距離と、前記推定顔形状の下唇と顎との間の距離であることを特徴とする請求項１に記載の顔形状補正装置。
【請求項６】
前記補正手段は、前記機械学習でのデータである顔画像に含まれる前記顔の目と鼻の頂点との間の距離と、前記推定顔形状の目と鼻の頂点との間の距離との比と、前記機械学習でのデータである顔画像に含まれる下唇と顎との間の距離と、前記推定顔形状の下唇と顎との間の距離との比とに基づいて前記推定顔形状の補正を行うことを特徴とする請求項５に記載の顔形状補正装置。
【請求項７】
前記推定手段は、前記機械学習に、ニューラルネットワークを有する学習済みモデルを用いており、
前記補正手段は、前記顔画像と、前記学習済みモデルで学習された顔画像との間に年齢に関する乖離がある場合、前記推定顔形状の補正を行うことを特徴とする請求項５に記載の顔形状補正装置。
【請求項８】
前記第１特徴量は、前記機械学習でのデータが顔画像である場合、該顔画像に含まれる前記顔の眉と眉弓との間の距離であり、
前記第２特徴量は、前記推定顔形状の眉と眉弓との間の距離であることを特徴とする請求項１に記載の顔形状補正装置。
【請求項９】
前記補正手段は、前記第１特徴量と前記第２特徴量と差に基づいて前記推定顔形状の補正を行うことを特徴とする請求項８に記載の顔形状補正装置。
【請求項１０】
前記推定手段は、前記機械学習に、ニューラルネットワークを有する学習済みモデルを用いており、
前記補正手段は、前記顔画像と、前記学習済みモデルで学習された顔画像との間に性別に関する乖離がある場合、前記推定顔形状の補正を行うことを特徴とする請求項８に記載の顔形状補正装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、顔形状補正装置、顔形状補正装置の制御方法およびプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
機械学習を使用して、被写体の顔の画像から当該顔の形状を推定する技術が知られている。例えば非特許文献１では、ニューラルネットを使用して、多数の顔の画像と、顔の形状との対応関係を学習することにより、例えば顔の表情に関わらず、未知の顔の形状を推定することが可能となる技術が開示されている。そして、この推定された顔形状は、例えばＣＧ制作や画像編集等に使用することができる。
【先行技術文献】
【非特許文献】
【０００３】
ＭａｔａｎＳｅｌａ、ＥｌａｄＲｉｃｈａｒｄｓｏｎ、ＲｏｎＫｉｍｍｅｌ、“ＵｎｒｅｓｔｒｉｃｔｅｄＦａｃｉａｌＧｅｏｍｅｔｒｙＲｅｃｏｎｓｔｒｕｃｔｉｏｎＵｓｉｎｇＩｍａｇｅ－ｔｏ－ＩｍａｇｅＴｒａｎｓｌａｔｉｏｎ”、［online］、２０１７年９月１５日、コーネル大学、［令和５年９月２６日］、インターネット〈https://arxiv.org/abs/1703.10131〉
【発明の概要】
【発明が解決しようとする課題】
【０００４】
機械学習による顔形状の推定では、当該機械学習に使用された顔画像と、学習データとしての顔の形状とに基づいて、未知の顔画像に対応する顔形状が推定される。そのため、学習データから比較的大きく外れた顔画像を入力した場合には、顔形状が正確に推定されないおそれがある。例えば学習データの多くが、彫りの深い顔立ちの多いコーカソイドのデータの場合に、モンゴロイドの顔形状を推定したならば、その推定結果として、一般的なモンゴロイドの顔形状よりも鼻が高く彫りの深い顔立ちの顔形状のデータが出力される。また、学習データの多くが、大人のデータの場合に、子供の顔形状を推定したならば、その推定結果として、一般的な子供の顔形状よりも顎が下に伸び、鼻が高い顔形状のデータが出力される。このように学習データと、当該学習データに基づいて推定されるデータとの間に、正確な推定結果を得るのに影響を及ぼす要因が存在する場合には、一般的には、推定対象となる顔形状に相当する学習データを増やすのが好ましい。なおこの場合、顔形状に相当する学習データを新規に大量に用意するのは非常に手間を要する。
【０００５】
本発明は、上記の課題に鑑みてなされたものである。本発明は、顔の形状を推定した場合、当該顔の形状を適切に補正可能な顔形状補正装置、顔形状補正装置の制御方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の顔形状補正装置は、被写体の顔が含まれる顔画像を取得する取得手段と、前記顔画像を入力データとして機械学習を用いることにより、前記被写体の顔の形状を推定して、その推定顔形状を出力データとして取得する推定手段と、前記推定顔形状を補正する補正手段と、を備え、前記補正手段は、前記推定顔形状の補正に必要な第１特徴量を、前記機械学習でのデータに関する情報に基づいて取得するとともに、前記推定顔形状の補正に必要な第２特徴量を、前記推定顔形状に関する情報に基づいて取得して、前記第１特徴量および前記第２特徴量に基づいて前記推定顔形状の補正を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、顔の形状を推定した場合、当該顔の形状を適切に補正することができる。
【図面の簡単な説明】
【０００８】
第１実施形態に係る顔形状補正装置を画像処理装置に適用した場合のハードウェア構成の一例を示すブロック図である。
画像処理装置で実行される処理を示すフローチャートである。
推定顔形状の側面図である。
撮像装置の構成の一例を示す図である。
第２実施形態における顔の側面図および正面図である。
画像処理装置で実行される処理を示すフローチャートである。
第３実施形態における顔の側面図および正面図である。
画像処理装置で実行される処理を示すフローチャートである。
推定顔形状を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について図面を参照しながら詳細に説明する。しかしながら、以下の各実施形態に記載されている構成はあくまで例示に過ぎず、本発明の範囲は各実施形態に記載されている構成によって限定されることはない。例えば、本発明を構成する各部は、同様の機能を発揮し得る任意の構成のものと置換することができる。また、任意の構成物が付加されていてもよい。また、各実施形態のうちの、任意の２以上の構成（特徴）を組み合わせることもできる。
【００１０】
＜第１実施形態＞
以下、図１～図４を参照して、第１実施形態について説明する。図１は、第１実施形態に係る顔形状補正装置を画像処理装置に適用した場合のハードウェア構成の一例を示すブロック図である。図１に示す画像処理装置１００は、本実施形態ではデスクトップ型またはノート型のパーソナルコンピュータであるが、これに限定されず、例えば、タブレット端末、スマートフォン等であってもよい。画像処理装置１００は、入力部１０、制御部１１、記憶部１３を有し、これらが互い通信可能に接続されている。入力部１０は、画像処理装置１００を使用するユーザが操作可能な操作部と、後述する機械学習による顔形状推定や、その推定結果の補正に必要な情報等を取得するインターフェイス（Ｉ／Ｆ）とを有する。操作部としては、特に限定されず、例えば、マウス、キーボード、ジョイスティック等が挙げられる。
（【００１１】以降は省略されています）

関連特許