特許ウォッチ

公開番号2025115719
公報種別公開特許公報(A)
公開日2025-08-07
出願番号2024010319
出願日2024-01-26
発明の名称処理装置、処理方法、及びプログラム
出願人株式会社Cygames
代理人個人,個人
主分類G06T 13/40 20110101AFI20250731BHJP(計算;計数)
要約【課題】リップシンクを採用した場合に無音になるタイミングで意図しない顔の表情が入ってくる不都合を軽減する。
【解決手段】本開示の処理装置10は、表示制御部11を有する。表示制御部11は、発言するセリフに含まれる各音の出力タイミングに合わせて各音に対応した口の状態にする第1のモーションを描画対象の口に実行させる第1の制御を実行する。また、表示制御部11は、描画対象の口に第1のモーションを実行させている間のセリフの無音開始タイミングよりも所定時間前から、描画対象の口に第2のモーションを加算する。
【選択図】図1
特許請求の範囲【請求項１】
コンピュータを、
発言するセリフに含まれる各音の出力タイミングに合わせて各音に対応した口の状態にする第１のモーションを描画対象の口に実行させる第１の制御を実行する表示制御手段として機能させ、
前記表示制御手段は、
前記描画対象の口に前記第１のモーションを実行させている間のセリフの無音開始タイミングよりも所定時間前から、前記描画対象の口に第２のモーションを加算するプログラム。
続きを表示（約 1,200 文字）【請求項２】
前記表示制御手段は、
複数の口のモーションを所定順に組み合わせた所定のシーケンスに従ったモーションを前記描画対象の口に実行させる第２の制御をさらに実行し、
前記描画対象が所定のセリフを発言することに応じて前記第２の制御から前記第１の制御に切り替え、
前記所定のセリフの前記無音開始タイミングよりも第１の所定時間前から、前記所定のシーケンスに従った口のモーションを前記第２のモーションとして前記描画対象の口に加算し、
前記無音開始タイミング以降の所定のタイミングで前記第１の制御から前記第２の制御に切り替える請求項１に記載のプログラム。
【請求項３】
前記表示制御手段は、
前記第１の制御から前記第２の制御に切り替えるタイミングから第２の所定時間以内に、前記所定のシーケンスにおいて次のモーション切替タイミングが存在する場合、切替後のモーションを前記第２のモーションとして前記描画対象の口に加算し、
前記第１の制御から前記第２の制御に切り替えるタイミングから前記第２の所定時間以内に、前記所定のシーケンスにおいて次のモーション切替タイミングが存在しない場合、切替前のモーションを前記第２のモーションとして前記描画対象の口に加算する請求項２に記載のプログラム。
【請求項４】
前記表示制御手段は、
前記第１の制御から前記第２の制御に切り替える際、前記第１の制御と前記第２の制御の間に、前記描画対象の口を閉じた状態にする制御を実行する請求項２に記載のプログラム。
【請求項５】
前記第２のモーションを加算する処理は、前記無音開始タイミングよりも第１の所定時間前から加算を開始し、前記第２のモーションの割合を徐々に上げていき、前記無音開始タイミング以降の所定のタイミングで前記第２のモーションの割合を１００％にする処理である請求項１に記載のプログラム。
【請求項６】
発言するセリフに含まれる各音の出力タイミングに合わせて各音に対応した口の状態にする第１のモーションを描画対象の口に実行させる第１の制御を実行する表示制御部を有し、
前記表示制御部は、
前記描画対象の口に前記第１のモーションを実行させている間のセリフの無音開始タイミングよりも所定時間前から、前記描画対象の口に第２のモーションを加算する処理装置。
【請求項７】
１つ以上のコンピュータが、
発言するセリフに含まれる各音の出力タイミングに合わせて各音に対応した口の状態にする第１のモーションを描画対象の口に実行させる第１の制御を実行する表示制御工程を実行し、
前記表示制御工程では、
前記描画対象の口に前記第１のモーションを実行させている間のセリフの無音開始タイミングよりも所定時間前から、前記描画対象の口に第２のモーションを加算する処理方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、処理装置、処理方法、及びプログラムに関する。
続きを表示（約 1,300 文字）【背景技術】
【０００２】
ゲーム画面や各種ＵＩ（user interface）画面等においてキャラクタやアバター等が描画されるが、セリフに合わせて口を動かすことで、よりリアルな描画が可能となる。この技術は、「リップシンク」と呼ばれている。関連する技術が特許文献１及び２に開示されている。
【０００３】
特許文献１に開示の技術は、単音節、単語、あるいは文章を発声した唇の動きを動画素片として用意しておき、セリフに対応した動画素片を読み出して映像再生する。そして、当該技術は、２つの動画素片を繋ぎ合わせる部分においては、その２つの動画素片を合成して映像を作成し、作成した映像を挿入する。なお、特許文献１に開示の技術は、セリフに対応した唇の動きを行う２つの動画素片を合成して映像を作成する。
【０００４】
特許文献２に開示の技術は、セリフに合わせた口のモーションの適用率（割合）を調整することで、キャラクタの口に所望のモーションを行わせる。
【先行技術文献】
【特許文献】
【０００５】
特開平１１－２２６０５０
特開２０１９－５７１１６
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明者らは、リップシンクを検討した結果、次のような課題を新たに見出した。
【０００７】
リップシンクを採用した場合、無音になっている間（発言していない間）、キャラクタやアバター等の口は、それに合わせた状態、一般的には口を真一文字に閉じた状態となる。このため、無音になっている間（発言していない間）は、キャラクタやアバター等の顔の表情は比較的固い表情になりがちである。無音のタイミングで意図しない顔の表情が入ってくると、様々な問題が起こり得る。
【０００８】
本開示の目的の一例は、上述した問題を鑑み、リップシンクを採用した場合に無音になるタイミングで意図しない顔の表情が入ってくる不都合を軽減する処理装置、処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
本開示によれば、
コンピュータを、
発言するセリフに含まれる各音の出力タイミングに合わせて各音に対応した口の状態にする第１のモーションを描画対象の口に実行させる第１の制御を実行する表示制御手段として機能させ、
前記表示制御手段は、
前記描画対象の口に前記第１のモーションを実行させている間のセリフの無音開始タイミングよりも所定時間前から、前記描画対象の口に第２のモーションを加算するプログラムが提供される。
【００１０】
また、本開示によれば、
発言するセリフに含まれる各音の出力タイミングに合わせて各音に対応した口の状態にする第１のモーションを描画対象の口に実行させる第１の制御を実行する表示制御部を有し、
前記表示制御部は、
前記描画対象の口に前記第１のモーションを実行させている間のセリフの無音開始タイミングよりも所定時間前から、前記描画対象の口に第２のモーションを加算する処理装置が提供される。
（【００１１】以降は省略されています）

関連特許