特許ウォッチ

公開番号2025067727
公報種別公開特許公報(A)
公開日2025-04-24
出願番号2023177926
出願日2023-10-14
発明の名称情報処理方法、情報処理装置、プログラム及び言語能力診断システム
出願人学校法人早稲田大学
代理人弁理士法人アクセル特許事務所
主分類G09B 19/00 20060101AFI20250417BHJP(教育;暗号方法;表示;広告;シール)
要約【課題】ユーザのマルチモーダルな発話データに含まれる多様な言語特徴に基づき言語能力を複数の観点から診断する。
【解決手段】情報処理方法は、言語能力診断システムにおいて情報処理装置が実行する情報処理方法であって、ユーザによる発話を含む入力データを取得する取得処理と、取得した前記入力データから特徴量を抽出する特徴量抽出処理と、抽出した前記特徴量から、任意の指標に基づき前記ユーザの言語能力を計測する言語能力計測処理と、を含み、前記言語能力計測処理は、スコアを算出するスコア計測処理と、前記スコアの根拠を抽出する根拠抽出処理と、を含む。
【選択図】図5
特許請求の範囲【請求項１】
言語能力診断システムにおいて情報処理装置が実行する情報処理方法であって、
ユーザによる発話を含む入力データを取得する取得処理と、
取得した前記入力データから特徴量を抽出する特徴量抽出処理と、
抽出した前記特徴量から、任意の指標に基づき前記ユーザの言語能力を計測する言語能力計測処理と、を含み、
前記言語能力計測処理は、スコアを算出するスコア計測処理と、前記スコアの根拠を抽出する根拠抽出処理と、を含む、
情報処理方法。
続きを表示（約 1,300 文字）【請求項２】
前記情報処理装置は、前記特徴量抽出処理において前記特徴量を抽出する特徴抽出器を少なくとも一つ備えることを特徴とする、
請求項１に記載の情報処理方法。
【請求項３】
前記入力データは、文字情報、音声情報、及び映像情報のうち一以上を備え、
前記特徴量は、前記文字情報、前記音声情報、及び前記映像情報のうち一以上が数値情報に変換されたベクトルを含む、
請求項１に記載の情報処理方法。
【請求項４】
前記特徴量抽出処理は、テキスト特徴、マルチモーダル特徴、語彙難易度特徴、文法誤り特徴、発音特徴、談話特徴、共参照特徴、常識特徴、及び人手設計特徴のすべてまたはいずれかを特徴量として出力する処理を含む、
請求項１に記載の情報処理方法。
【請求項５】
前記スコア計測処理は、前記ユーザの言語能力に関する少なくとも一つ以上の指標に関して前記スコアを計測する処理を含む、
請求項１に記載の情報処理方法。
【請求項６】
前記根拠抽出処理は、前記スコアの根拠を説明する各特徴量の貢献度を抽出する処理を含む、
請求項１に記載の情報処理方法。
【請求項７】
前記根拠抽出処理において抽出された前記スコアの根拠を可視化する可視化部を有し、前記可視化部によって根拠を前記ユーザに視覚的に提示することを特徴とする、
請求項１に記載の情報処理方法。
【請求項８】
ユーザによる発話を含む入力データを取得し、取得した前記入力データから特徴量を抽出する言語特徴抽出部と、
抽出した前記特徴量から、任意の指標に基づき前記ユーザの言語能力を計測する言語能力計測部と、を備え、
前記言語能力計測部は、スコアを計測するスコア計測部と、前記スコアの根拠を抽出する根拠抽出部と、を備える、
情報処理装置。
【請求項９】
コンピュータに、
ユーザによる発話を含む入力データを取得する取得処理と、
取得した前記入力データから特徴量を抽出する特徴量抽出処理と、
抽出した前記特徴量から、任意の指標に基づき前記ユーザの言語能力を計測する言語能力計測処理と、を含み、
前記言語能力計測処理は、スコアを算出するスコア計測処理と、前記スコアの根拠を抽出する根拠抽出処理と、を含む、
情報処理方法を実行させるためのプログラム。
【請求項１０】
ユーザによる発話を含む入力データを取得し、取得した前記入力データから特徴量を抽出する言語特徴抽出部と、
抽出した前記特徴量から、任意の指標に基づき前記ユーザの言語能力を計測する言語能力計測部と、を備え、
前記言語能力計測部は、スコアを計測するスコア計測部と、前記スコアの根拠を抽出する根拠抽出部と、を備える
情報処理装置と、
前記ユーザによる発話を入力するユーザ端末と、を備え、
前記ユーザ端末から入力された前記ユーザによる発話から前記ユーザの言語能力を計測する、
言語能力診断システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、情報処理方法、プログラム及び言語能力診断システムに関する。
続きを表示（約 2,500 文字）【背景技術】
【０００２】
引用文献１には、ユーザの発話音声を音声認識して得られた音素情報をもとに機械学習により、言語のスピーキング習熟度を予測する手法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
米国特許第９９４７３２２号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
第二言語学習を進めていくうえで、学習者（ユーザ）の現状把握のための習熟度評価は欠かせない。第二言語学習では、文法・語彙・発音など習得しなくてはならない項目が無数にあるものの、上記従来技術のように、特定の言語能力（例えば、流暢さ）の計測に特化した特徴量（ピッチや話速、間（ま）の長さなど）をユーザの発話音声から抽出し、その特徴量に基づき習熟度を予測する場合が多い。しかしながら、様々な観点の言語能力（一貫性ややり取りの良さなど）を計測するためには、ユーザの発話時に得られるマルチモーダルな情報（発話データ）に含まれる種々の言語の特徴（言語特徴）を考慮する必要があるため、上記従来技術のように発話音声から抽出した限定的な特徴量だけでは個々の言語能力を正確に診断することが難しい。なお、発話データは入力データともいう。
【０００５】
本発明は、上記の課題を鑑みてなされたものであり、ユーザのマルチモーダルな発話データに含まれる多様な言語特徴に基づき言語能力を複数の観点から診断することを目的とする。
【課題を解決するための手段】
【０００６】
一実施形態によれば、情報処理装置を備える言語能力診断システムが実行する情報処理方法であって、ユーザによる発話を含む入力データを取得する取得処理と、取得した前記入力データから特徴量を抽出する特徴量抽出処理と、抽出した前記特徴量から、前記ユーザによる発話について、任意の指標に基づきスコアを計測する計測処理と、を含み、前記計測処理は、スコアを算出する処理と、前記ユーザの言語能力を診断する処理と、を含む。
【発明の効果】
【０００７】
一実施形態によれば、ユーザのマルチモーダルな入力データに含まれる多様な言語特徴に基づき言語能力を診断することができる。
【図面の簡単な説明】
【０００８】
情報処理システム（１０００）の構成の一例を示す図である。
言語能力診断装置（１）のハードウェア構成の一例を示す図である。
ユーザ端末のハードウェア構成の一例を示す図である。
言語能力診断装置の機能構成の一例を示す図である。
言語能力診断装置の概念の一例を示す図である。
マルチモーダル特徴抽出器の一例を示す図である。
語彙難易度特徴抽出器の一例を示す図である。
発音特徴抽出器の一例を示す図である。
談話特徴抽出器の一例を示す図である。
談話マーカーとクラスとの関係の一例を示す図である。
談話マーカーの一部をマスクした文章の一例を示す図である。
共参照特徴抽出器の一例を示す図である。
共参照関係の一例を示す図である。
スコア計測部によって求められる各指標に対するスコアの一例を示す図である。
正規化の概念の一例を示す図である。
複雑特徴モデルの処理の流れの一例を示す図である。
マルチモーダル特徴エンコーダの処理の流れの一例を示す図である。
マルチモーダル特徴エンコーダ以外のエンコーダの一般的な処理の流れの一例を示す図である。
複雑特徴モデルにおける総合的な習熟度を出力するアンサンブルモデルの処理の流れの一例を示す図である。
単純特徴モデルの処理の流れの一例を示す図である。
レーダーチャートによる可視化の一例を示す図である。
根拠の可視化の一例を示す図である。
根拠の可視化の一例を示す図である。
ユーザ発話に含まれる語彙のCEFRレベルの可視化の一例を示す図である。
文法誤り特徴の可視化の一例を示す図である。
談話特徴の可視化の一例を示す図である。
発音の良さの可視化の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の各実施形態について、添付の図面を参照しながら説明する。なお、各実施形態に係る明細書及び図面の記載に関して、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【００１０】
＜システム構成＞
まず、本実施形態に係る、情報処理システム１０００の概要について説明する。情報処理システム１０００は、第二言語や第三言語等を習得するユーザ、すなわち、言語習得者の機能的言語能力を機械学習等の技術を利用して診断するものである。なお、本発明において、機能的言語能力とは、状況によって与えられた非言語成果を十分かつ適切に達成するための能力（日常生活の具体的な課題を、習得したい言語を通じて、十分かつ適切に達成するための能力）である。ここでは、機能的言語能力を単に言語能力ともいう。なお、機能的言語能力については、（参考文献１）F. Kuiken and I. Vedder,“TASK. Journal on Task-Based Language Teaching and Learning”, Volume 2, Number 1,（オランダ）John Benjamins, Amsterdam, 2022や、（参考文献２）N. Taguchi and Y. Kim, Eds.,“Task-Based Approaches to Teaching and Assessing Pragmatics”, Chap. 11,（アメリカ）, Longmans Green and Co.，2018, Chap. 11, pp. 266-285.を参照されたい。
（【００１１】以降は省略されています）

関連特許