特許ウォッチ

公開番号2025116751
公報種別公開特許公報(A)
公開日2025-08-08
出願番号2024011370
出願日2024-01-29
発明の名称在宅楽器練習用のサーバ端末、再生端末、プログラム、データ処理方法及び楽器練習システム
出願人個人
代理人弁理士法人白坂
主分類G10H 1/00 20060101AFI20250801BHJP(楽器;音響)
要約【課題】楽器練習をする際に、演奏中のミスを検出して授業中の指摘点を再生させる楽器練習システムを提供する。
【解決手段】楽器練習システムは、映像取得端末の第1送信部から送信した映像を受信する第1受信部、第1受信部が受信した映像を、当該映像に含まれる音に応じて自動編集する編集部及び編集部により編集された映像を、再生端末に送信する第2送信部を備えるサーバ端末と、編集された映像を受信する第2受信部、第2受信部から受信した映像を記憶する第2記憶部、練習者が練習している音を録音する録音部及び録音部が録音した音と編集された映像とに基づいて、練習者が練習している音に応じた指導者の音を再生する再生部を備える再生端末と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
練習映像を取得する映像取得端末と、前記練習映像を編集するサーバ端末と、前記サーバ端末から受信した編集済みの練習映像を再生する再生端末とを含む楽器練習システムであって、
前記映像取得端末は、
練習者の演奏している画像及びその音声データと、指導者の指導している画像及びその音声データとを、撮影する第１撮影部と、
前記第１撮影部が撮影した画像及び取得した音声データを記憶する第１記憶部と、
前記第１記憶部に記憶された画像と音声データを含む映像を、サーバ端末に送信する第１送信部と、を備え、
前記サーバ端末は、
前記第１送信部から送信した映像を受信する第１受信部と、
前記第１受信部が受信した映像を、当該映像に含まれる音に応じて自動編集する編集部と、
前記編集部により編集された映像を、前記再生端末に送信する第２送信部と、を備え、
前記再生端末は、
前記編集された映像を受信する第２受信部と、
前記第２受信部から受信した映像を記憶する第２記憶部と、
前記練習者が練習している音を録音する録音部と、
前記録音部が録音した音と前記編集された映像とに基づいて、前記練習者が練習している音に応じた前記指導者の音を再生する再生部と、を備える楽器練習システム。
続きを表示（約 1,300 文字）【請求項２】
前記編集部は、
前記第１受信部が受信した映像から、
前記練習者の音及び前記指導者の演奏の音と発話の音を、それぞれに複数の演奏データ及び発話データごとに抽出し、
前記練習者の演奏中の音の類似度により前記演奏データを自動的にクラスタリングする
ことを特徴とする請求項１に記載の楽器練習システム。
【請求項３】
前記編集部は、更に、
映像の時間帯に基づく前記発話データを、
前記演奏データをクラスタリングしたクラスタに対して対応の発話をそれぞれに振り分け、演奏練習セットとして記憶する第２記憶部を、備える
ことを特徴とする請求項２に記載の楽器練習システム。
【請求項４】
前記再生端末は、
前記練習者からアップロードしたサンプル音を記憶する第３記憶部を含み、
前記第３記憶部に記憶されたサンプル音に基づいて、前記演奏練習セットに応じて前記指導者の発話の音を取り替えさせる
ことを特徴とする請求項３に記載の楽器練習システム。
【請求項５】
前記再生端末は、
前記演奏練習セットに基づいて全体練習時間を設定する設定部を含み、
前記設定部は、更に、練習者の演奏熟練度によって練習時間をそれぞれに設定する
ことを特徴とする請求項３に記載の楽器練習システム。
【請求項６】
前記再生端末は、
前記練習者が演奏している画像及びその音を撮影する第２撮影部と、
前記練習者が正しく演奏するか否かを、前記第２撮影部が撮影した映像に基づいて楽器を演奏している動作及びその音声に基づいて検出する検出部とを、備える
ことを特徴とする請求項３に記載の楽器練習システム。
【請求項７】
前記再生端末は、
正しくない演奏された部分を検出する場合、
前記第２撮影部が撮影した映像と前記演奏練習セットと、の類似度を推定するとともに、当該類似度が所定の閾値以上である場合に、当該演奏練習セットを再生する
ことを特徴とする請求項６に記載の楽器練習システム。
【請求項８】
前記練習者が演奏を練習する前に、前記演奏練習セットに参照するとともに、
当該演奏練習セットを指定して再生する
ことを特徴とする請求項３に記載の楽器練習システム。
【請求項９】
授業映像を受信する第１受信部と、
前記第１受信部が受信した映像を、当該映像に含まれる音に応じて自動編集する編集部と、
前記編集部により編集された映像を、再生端末に送信する第２送信部と、を備えるサーバ端末。
【請求項１０】
授業映像を受信する第１受信ステップと、
前記第１受信ステップから受信した映像を、当該映像に含まれる音に応じて自動編集する編集ステップと、
前記編集ステップにより編集された映像を、再生端末に送信する第２送信ステップと、を実行する
データ処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、練習者が在宅で楽器練習をしている時に、間違った演奏部分を検出し、指導者の指摘を有する編集後の映像を活かして練習者に再指導を行う在宅楽器練習用のサーバ端末、再生端末、プログラム、データ処理方法及び楽器練習システムに関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
近年、楽器の練習者はますます多くなり、練習者は音楽学校や音楽教室などに通って楽器の演奏方法を学んでいる。一般的には、音楽学校や音楽教室などの指導者は、毎回の授業をする前に練習課題を設定し、練習者は練習課題に応えて自宅で曲を演奏して練習する。その後、練習者は、次回の授業において練習した成果を指導者に見せる。この時、指導者は練習者が演奏している問題点を発見し、これに応じて適切な指導を行う。しかし、練習者は授業を受けた後に、自宅で復習しようとしている場合、様々な原因（例えば、授業中における指導者の指摘をきちんと理解できなかったり、自宅で練習のモチベーションが低くなったり、指導された内容を忘れたり）に左右されてしまい、練習者は効率的に練習することができない。
【０００３】
従って、上記の問題を解決するために、練習者向けの在宅練習及び支援システムの開発は不可欠になる。特許文献１では、自発的な行動ベースという人間の特性を用い、音声データを背景音楽(バックグラウンドミュージック)のテンポに合わせたタイミングで自動的に配列する発音練習システムが提案されている。また、特許文献１に開示された発音練習システムは、背景音楽、信号音、模範発音、及びその模範発音に応じた画像に基づいて発音練習機能を提供する。練習者は常に背景音楽が流れている環境の下で、発音の練習をする。一つの実施例としては、当該発音練習システムは複数の模範発音と、その模範発音に対応する映像や画像とを学習内容として記憶する。練習者は発音練習の指示を入力装置に入力し、制御部は記憶された各音声データ（背景音楽、信号音及び模範発音）を読み出して配列する。また、制御部は、練習者に聞かせるための各音声データを背景音楽の拍に重ねて合図音（学習者に予告するための音声信号という）を再生する。当該発音練習システムの制御部は、模範発音と合図を繰り返して再生しながら、その模範発音に対応する配信画像もディスプレイに表示する。この時、練習者は背景音楽のリズムを体感してそのテンポに同期している状態で、模範発音を聞き取りながら、合図音によりオーバーラッピングのタイミングを効果的に予測してもよい。
【０００４】
特許文献２では、練習者が曲を練習する時に支援をするシステムが開示されている。当該練習支援システムにおいて、楽譜データはシステムに記憶され、表示端末を介して楽譜を表示する。また、当該練習支援システムは練習者の演奏データに基づき、楽譜に対応して演奏位置を判定し、指示した任意の位置から音楽を再生することができる。
【先行技術文献】
【特許文献】
【０００５】
特開２０２１－６７８４４号公報
特開２０１３－２００４５５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の特許文献１と特許文献２によると、練習者が楽器演奏をしている際に、練習者自分の演奏データ又は標準演奏データ（即ち、練習の見本としている模範演奏データ、或いは指導者が指導のために使用される演奏データ）を再生して提示するものの、練習者が演奏している時に誤りが出る原因、若しくは誤りが発見された後の直す方法などの記載がない。また、先行技術文献に記載の支援システムはあくまでも、練習者が見本に応えて自分で能動的に練習するということで、練習者は指導者の指摘を受けられないという問題があった。
【０００７】
本開示はこうした課題に鑑みてなされたものであり、練習者が自宅で授業中の映像を用いて反復練習できる楽器練習システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一つの実施態様としては、練習映像を取得する映像取得端末と、練習映像を編集するサーバ端末と、サーバ端末から受信した編集済みの練習映像を再生する再生端末とを含む楽器練習システムであって、映像取得端末は、練習者の演奏している画像及びその音声データと、指導者の指導している画像及びその音声データとを、撮影する第１撮影部と、第１撮影部が撮影した画像及び取得した音声データを記憶する第１記憶部と、第１記憶部に記憶された画像と音声データを含む映像を、サーバ端末に送信する第１送信部と、を備え、サーバ端末は、第１送信部から送信した映像を受信する第１受信部と、第１受信部が受信した映像を、当該映像に含まれる音に応じて自動編集する編集部と、編集部により編集された映像を、再生端末に送信する第２送信部と、を備え、再生端末は、編集された映像を受信する第２受信部と、第２受信部から受信した映像を記憶する第２記憶部と、練習者が練習している音を録音する録音部と、録音部が録音した音と編集された映像とに基づいて、練習者が練習している音に応じた指導者の音を再生する再生部と、を備える。
【０００９】
上記の楽器練習システムにおいて、編集部は、第１受信部が受信した映像から、練習者の音及び指導者の演奏の音と発話の音を、それぞれに複数の演奏データ及び発話データごとに抽出し、練習者の演奏中の音の類似度により演奏データを自動的にクラスタリングすることを特徴としてもよい。
上記の楽器練習システムにおいて、編集部は、更に、映像の時間帯に基づく発話データを、演奏データをクラスタリングしたクラスタに対して対応の発話をそれぞれに振り分け、演奏練習セットとして記憶する第２記憶部を、備えることを特徴としてもよい。
上記の楽器練習システムにおいて、再生端末は、練習者からアップロードしたサンプル音を記憶する第３記憶部を含み、第３記憶部に記憶されたサンプル音に基づいて、演奏練習セットに応じて指導者の発話の音を取り替えさせることを特徴としてもよい。
上記の楽器練習システムにおいて、再生端末は、演奏練習セットに基づいて全体練習時間を設定する設定部を含み、設定部は、更に、練習者の演奏熟練度によって練習時間をそれぞれに設定することを特徴としてもよい。
上記の楽器練習システムにおいて、再生端末は、練習者が演奏している画像及びその音を撮影する第２撮影部と、練習者が正しく演奏するか否かを、第２撮影部が撮影した映像に基づいて楽器を演奏している動作及びその音声に基づいて検出する検出部とを、備えることを特徴としてもよい。
上記の楽器練習システムにおいて、再生端末は、検出部は、正しくない演奏された部分を検出する場合、第２撮影部が撮影した映像と演奏練習セットと、の類似度を推定するとともに、当該類似度が所定の閾値以上である場合に、当該演奏練習セットを再生することを特徴としてもよい。
上記の楽器練習システムにおいて、練習者が演奏を練習する前に、演奏練習セットに参照するとともに、当該演奏練習セットを指定して再生することを特徴としてもよい。
【００１０】
授業映像を受信する第１受信部と、第１受信部が受信した映像を、当該映像に含まれる音に応じて自動編集する編集部と、編集部により編集された映像を、再生端末に送信する第２送信部と、を備えるサーバ端末である。
（【００１１】以降は省略されています）

関連特許