特許ウォッチ

公開番号2025099881
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023216859
出願日2023-12-22
発明の名称手話動作処理装置及びプログラム
出願人日本放送協会
代理人弁理士法人鷲田国際特許事務所
主分類G06T 13/40 20110101AFI20250626BHJP(計算;計数)
要約【課題】手話CGアニメーションの生成コストを低減する手話動作処理装置及びプログラムを提供する。
【解決手段】手話動作合成装置10は、手話動作を構成する手話構成要素を選択する手話構成要素選択部122と、選択された手話構成要素に基づいて、予めパーツ化されている手話構成要素パーツモーションデータ又は既知の手話単語に対応する既存のモーションデータを使用して、未知の手話単語に対応する新規モーションデータを生成する新規モーション生成部124と、を備える。
【選択図】図4
特許請求の範囲【請求項１】
手話動作を構成する手話構成要素を選択する選択部と、
選択された前記手話構成要素に基づいて、予めパーツ化されている手話構成要素パーツモーションデータ又は既知の手話単語に対応する既存のモーションデータを使用して、未知の手話単語に対応する新規モーションデータを生成する生成部と、
を備える手話動作処理装置。
続きを表示（約 640 文字）【請求項２】
前記生成部は、前記手話構成要素として選択された手の形及び／又は肩から指までの動作に基づいて、前記予めパーツ化されている手話構成要素パーツモーションデータとして、前記手の形及び／又は前記肩から指までの動作に対応する手話構成要素パーツモーションデータを使用して、前記新規モーションデータを生成する、
請求項１に記載の手話動作処理装置。
【請求項３】
前記生成部は、前記手話構成要素として選択された手の向き及び／又は手の位置に従って、前記新規モーションデータを生成する、
請求項１に記載の手話動作処理装置。
【請求項４】
前記選択部は、手話表記法に従った記号に基づいて、前記手話構成要素を選択する、
請求項１に記載の手話動作処理装置。
【請求項５】
前記生成部は、前記新規モーションデータが生成されると、既存のモーションデータとして前記新規モーションデータを使用する、
請求項１に記載の手話動作処理装置。
【請求項６】
手話動作を構成する手話構成要素を選択することと、
選択された前記手話構成要素に基づいて、予めパーツ化されている手話構成要素パーツモーションデータ又は既知の手話単語に対応する既存のモーションデータを使用して、未知の手話単語に対応する新規モーションデータを生成することと、
を含む処理をコンピュータに実行させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、手話動作処理装置及びプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
コンピュータグラフィックス（ＣＧ：Computer Graphics）アニメーションを用いたリアルタイム手話翻訳技術が利用されている。従来のリアルタイム手話翻訳技術では、まず、音声認識などによりテキスト化した音声言語を、手話ＣＧアニメーションを生成するための手話単語列に翻訳する。次に、手話単語列中の各単語に対応するモーションデータを読み込み、それらを補間することで、文章単位のモーションデータ（文モーションデータとも呼ぶ）を合成（生成）する。そして、文章単位のモーションデータを手話ＣＧモデルで再生することで、手話ＣＧアニメーションを生成する。なお、モーションデータは、モーション（動き）を表現するデータを意味し、映像フレーム毎の複数のポイント（例えば、関節）の回転データ又は回転情報を表す。モーションデータは、適宜、単にモーションで読み替えられてもよい。
【０００３】
手話ＣＧアニメーションを生成するにあたって、入力された手話提示に必要なパラメータに基づいて動き要素（動素）のデータを取り出し、このデータを用いてキャラクタの手指を動かし、手話アニメーションを合成する手法が提案されている（例えば、特許文献１参照）。この手法では、手の形状、手の位置及び手の方向で決定される手の姿を動素と定義し、これらのそれぞれを組み合わせて手話の動作を生成する。この手法によれば、生成できる手話動作の自由度は高いが、動作点ごとに動素を指定してその動作点間を補間することでアニメーション生成するため、手作業を介さないキーフレームアニメーションのような生成結果となる。例えば、円弧動作の軌跡を生成する場合には、３つ以上の状態の設定が必要となり、それらの各状態を動作点としてその間の動きを補間処理で生成するため、動作生成の自由度と引き換えに動作の自然さは低くなる。
【０００４】
また、手話ＣＧアニメーションを生成するにあたって、モーションキャプチャを使用する手法が知られている。モーションキャプチャを使用する場合、収録したフレームレートに応じたフレーム間の補間処理が、アバターで動きを再生する際に発生する。しかしながら、モーションキャプチャデータは、基本的に６０～１２０ｆｐｓ（frame per second）などの高フレームレートで収録されるため、補間による影響がそれほど大きくなく、すべてのフレームの動作点が人間の実際の動きになる。そのため、上述した従来手法を使用した動作生成結果とモーションキャプチャデータを使用した動作生成結果とを比較した場合、自然さや滑らかさにおいては従来手法が劣る。
【０００５】
モーションキャプチャを使用する手法として、手袋型センサインタフェイスで取得した手首から先の手話単語ＣＧパタンについて、肘や肩の関節角度を計算することで指定した位置に提示する手法が提案されている（例えば、特許文献２参照）。しかしながら、本手法においてもアニメーションにおける手首までの各関節の動きについてはすべて算出して生成することになるため、手型のみ再現精度は高いものの、腕や肘の動きも含む全身の関節のモーションキャプチャデータを使用する手法に比べて自然さや滑らかさが劣る結果となる。
【先行技術文献】
【特許文献】
【０００６】
特開平１１－１８４３７０号公報
特開平６－２５１１２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上述したように、モーションキャプチャした手話用のモーションデータの使用により、人間の動きに近い自然な手話動作を再現することが可能となる。一方で、モーションキャプチャは、設備構築や収録データのノイズ除去や欠落箇所の補間などの後処理において、手話ＣＧアニメーションを生成する際のコスト（手話ＣＧアニメーションの生成コスト）が高くなってしまう。
【０００８】
本発明の一態様は、上記に鑑みて、手話ＣＧアニメーションの生成コストを低減することができる技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明の一態様に係る手話動作処理装置は、手話動作を構成する手話構成要素を選択する選択部と、選択された前記手話構成要素に基づいて、予めパーツ化されている手話構成要素パーツモーションデータ又は既知の手話単語に対応する既存のモーションデータを使用して、未知の手話単語に対応する新規モーションデータを生成する生成部と、を備える。
【発明の効果】
【００１０】
本発明の一態様によれば、手話ＣＧアニメーションの生成コストを低減することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許