特許ウォッチ

公開番号2025140839
公報種別公開特許公報(A)
公開日2025-09-29
出願番号2024040440
出願日2024-03-14
発明の名称画像処理装置、プログラム、及び画像処理方法
出願人ソフトバンク株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06T 1/00 20060101AFI20250919BHJP(計算;計数)
要約【課題】ユーザの動きに追従させたアバターを表示する画像処理装置、プログラム及び画像処理方法を提供する。
【解決手段】画像処理装置100は、ユーザの顔を撮像した撮像データを解析して、ユーザの顔の複数の特徴点のそれぞれの移動方向及び移動速度を含む特徴量を算出する第1算出部と、ユーザの顔の複数の特徴点の少なくとも一部の複数の特徴点のそれぞれの特徴量に、ユーザーの顔の部位に対応する加重値を適用した加重特徴量を算出する第2算出部と、複数の特徴点のそれぞれの加重特徴量に基づいてユーザの顔の動きに合わせて動くアバターを生成するアバター生成部と、撮像データの前記ユーザの顔の部分に、アバター生成部によって生成されたアバターを重畳して表示するよう制御する表示制御部と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
ユーザの顔を撮像した撮像データを解析して、前記ユーザの顔の複数の特徴点のそれぞれの移動方向及び移動速度を含む特徴量を算出する第１算出部と、
前記ユーザの顔の前記複数の特徴点の少なくとも一部の複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出する第２算出部と、
前記ユーザの顔の動きに合わせて動くアバターを生成するアバター生成部であって、前記複数の特徴点のそれぞれの前記加重特徴量に基づいて前記アバターを生成するアバター生成部と、
前記撮像データの前記ユーザの顔の部分に、前記アバター生成部によって生成された前記アバターを重畳して表示するよう制御する表示制御部と
を備える画像処理装置。
続きを表示（約 1,700 文字）【請求項２】
前記第２算出部は、前記少なくとも一部の複数の特徴点のそれぞれの前記特徴量に含まれる前記移動速度に、前記顔の部位に対応する加重値を適用した前記加重特徴量を算出し、
前記アバター生成部は、前記少なくとも一部の複数の特徴点のそれぞれについて、前記加重値が適用された前記移動速度に従って移動させることによって、各部位が変化する前記アバターを生成する、請求項１に記載の画像処理装置。
【請求項３】
前記ユーザの顔の前記複数の特徴点のそれぞれの移動可能範囲を記憶する範囲記憶部
を備え、
前記アバター生成部は、前記少なくとも一部の前記複数の特徴点のそれぞれについて、前記移動可能範囲内で、前記加重値が適用された前記移動速度に従って移動させることによって、各部位が変化する前記アバターを生成する、請求項２に記載の画像処理装置。
【請求項４】
通常モードと、前記ユーザの目を強調する目強調モードとを切り替えるモード管理部
を備え、
前記通常モードが設定されている場合、前記アバター生成部は、前記撮像データに基づいて前記アバターを生成し、
前記目強調モードが設定されている場合、前記第２算出部は、前記ユーザの顔の前記複数の特徴点のうち、前記ユーザの目に対応する複数の特徴点のそれぞれの前記特徴量に、目に対応する加重値を適用した前記加重特徴量を算出し、前記アバター生成部は、前記ユーザの目に対応する前記複数の特徴点の前記加重特徴量を用いて、前記アバターを生成する、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記モード管理部は、前記通常モードと、前記目強調モードと、前記ユーザの表情を強調する表情強調モードとを切り替え、
前記表情強調モードが設定されている場合、前記第２算出部は、前記ユーザの顔の前記複数の特徴点のうち、前記ユーザの目、眉、頬、及び口に対応する複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出し、前記アバター生成部は、前記ユーザの目、眉、頬、及び口に対応する前記複数の特徴点の前記加重特徴量を用いて、前記アバターを生成する、請求項４に記載の画像処理装置。
【請求項６】
通常モードと、前記ユーザの表情を強調する表情強調モードとを切り替えるモード管理部
を備え、
前記通常モードが設定されている場合、前記アバター生成部は、前記撮像データに基づいて前記アバターを生成し、
前記表情強調モードが設定されている場合、前記第２算出部は、前記ユーザの顔の前記複数の特徴点のうち、前記ユーザの目、眉、頬、及び口に対応する複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出し、前記アバター生成部は、前記ユーザの目、眉、頬、及び口に対応する前記複数の特徴点の前記加重特徴量と、前記ユーザの目、眉、頬、及び口以外に対する複数の特徴点の前記特徴量とに基づいて、前記アバターを生成する、請求項１から３のいずれか一項に記載の画像処理装置。
【請求項７】
コンピュータを、請求項１から３のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【請求項８】
コンピュータによって実行される画像処理方法であって、
ユーザの顔を撮像した撮像データを解析して、前記ユーザの顔の複数の特徴点のそれぞれの移動方向及び移動速度を含む特徴量を算出する第１算出段階と、
前記ユーザの顔の前記複数の特徴点の少なくとも一部の複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出する第２算出段階と、
前記ユーザの顔の動きに合わせて動くアバターを生成するアバター生成部であって、前記複数の特徴点のそれぞれの前記加重特徴量に基づいて前記アバターを生成するアバター生成段階と、
前記撮像データの前記ユーザの顔の部分に、前記アバター生成部によって生成された前記アバターを重畳して表示するよう制御する表示制御段階と
を備える画像処理方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、画像処理装置、プログラム、及び画像処理方法に関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
特許文献１には、ユーザの動きに追従させたアバターを表示する技術が記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２３－０９４５４９号公報
【発明の概要】
【課題を解決するための手段】
【０００３】
本発明の一実施態様によれば、画像処理装置が提供される。前記画像処理装置は、ユーザの顔を撮像した撮像データを解析して、前記ユーザの顔の複数の特徴点のそれぞれの移動方向及び移動速度を含む特徴量を算出する第１算出部を備えてよい。前記画像処理装置は、前記ユーザの顔の前記複数の特徴点の少なくとも一部の複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出する第２算出部を備えてよい。前記画像処理装置は、前記ユーザの顔の動きに合わせて動くアバターを生成するアバター生成部であって、前記複数の特徴点のそれぞれの前記加重特徴量に基づいて前記アバターを生成するアバター生成部を備えてよい。前記画像処理装置は、前記撮像データの前記ユーザの顔の部分に、前記アバター生成部によって生成された前記アバターを重畳して表示するよう制御する表示制御部を備えてよい。
【０００４】
前記画像処理装置において、前記第２算出部は、前記少なくとも一部の複数の特徴点のそれぞれの前記特徴量に含まれる前記移動速度に、前記顔の部位に対応する加重値を適用した前記加重特徴量を算出してよく、前記アバター生成部は、前記少なくとも一部の複数の特徴点のそれぞれについて、前記加重値が適用された前記移動速度に従って移動させることによって、各部位が変化する前記アバターを生成してよい。前記画像処理装置は、前記ユーザの顔の前記複数の特徴点のそれぞれの移動可能範囲を記憶する範囲記憶部を備えてよく、前記アバター生成部は、前記少なくとも一部の前記複数の特徴点のそれぞれについて、前記移動可能範囲内で、前記加重値が適用された前記移動速度に従って移動させることによって、各部位が変化する前記アバターを生成してよい。
【０００５】
前記いずれかの画像処理装置は、通常モードと、前記ユーザの目を強調する目強調モードとを切り替えるモード管理部を備えてよく、前記通常モードが設定されている場合、前記アバター生成部は、前記撮像データに基づいて前記アバターを生成してよく、前記目強調モードが設定されている場合、前記第２算出部は、前記ユーザの顔の前記複数の特徴点のうち、前記ユーザの目に対応する複数の特徴点のそれぞれの前記特徴量に、目に対応する加重値を適用した前記加重特徴量を算出し、前記アバター生成部は、前記ユーザの目に対応する前記複数の特徴点の前記加重特徴量を用いて、前記アバターを生成してよい。前記モード管理部は、前記通常モードと、前記目強調モードと、前記ユーザの表情を強調する表情強調モードとを切り替えてよく、前記表情強調モードが設定されている場合、前記第２算出部は、前記ユーザの顔の前記複数の特徴点のうち、前記ユーザの目、眉、頬、及び口に対応する複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出し、前記アバター生成部は、前記ユーザの目、眉、頬、及び口に対応する前記複数の特徴点の前記加重特徴量を用いて、前記アバターを生成してよい。
【０００６】
前記いずれかの画像処理装置は、通常モードと、前記ユーザの表情を強調する表情強調モードとを切り替えるモード管理部を備えてよく、前記通常モードが設定されている場合、前記アバター生成部は、前記撮像データに基づいて前記アバターを生成してよく、前記表情強調モードが設定されている場合、前記第２算出部は、前記ユーザの顔の前記複数の特徴点のうち、前記ユーザの目、眉、頬、及び口に対応する複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出し、前記アバター生成部は、前記ユーザの目、眉、頬、及び口に対応する前記複数の特徴点の前記加重特徴量と、前記ユーザの目、眉、頬、及び口以外に対する複数の特徴点の前記特徴量とに基づいて、前記アバターを生成してよい。
【０００７】
本発明の一実施態様によれば、コンピュータを、前記画像処理装置として機能させるためのプログラムが提供される。
【０００８】
本発明の一実施態様によれば、コンピュータによって実行される画像処理方法が提供される。前記画像処理方法は、ユーザの顔を撮像した撮像データを解析して、前記ユーザの顔の複数の特徴点のそれぞれの移動方向及び移動速度を含む特徴量を算出する第１算出段階を備えてよい。前記画像処理方法は、前記ユーザの顔の前記複数の特徴点の少なくとも一部の複数の特徴点のそれぞれの前記特徴量に、前記顔の部位に対応する加重値を適用した加重特徴量を算出する第２算出段階を備えてよい。前記画像処理方法は、前記ユーザの顔の動きに合わせて動くアバターを生成するアバター生成部であって、前記複数の特徴点のそれぞれの前記加重特徴量に基づいて前記アバターを生成するアバター生成段階を備えてよい。前記画像処理方法は、前記撮像データの前記ユーザの顔の部分に、前記アバター生成部によって生成された前記アバターを重畳して表示するよう制御する表示制御段階を備えてよい。
【０００９】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【００１０】
アバター表示システム１０の一例を概略的に示す。
アバター表示システム１０の他の一例を概略的に示す。
画像処理装置１００の機能構成の一例を概略的に示す。
目の強調について説明するための説明図である。
表情の強調について説明するための説明図である。
画像処理装置１００による処理の流れの一例を概略的に示す。
画像処理装置１００又は通信装置２００として機能するコンピュータ１２００のハードウェア構成の一例を概略的に示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許