特許ウォッチ

公開番号2025070503
公報種別公開特許公報(A)
公開日2025-05-02
出願番号2023180866
出願日2023-10-20
発明の名称演奏箇所追跡装置及びそのプログラム
出願人日本放送協会
代理人弁理士法人磯野国際特許商標事務所
主分類G10G 1/00 20060101AFI20250424BHJP(楽器;音響)
要約【課題】演奏箇所を正確に追跡でき、奏者の負担が少ない演奏箇所追跡装置を提供する。
【解決手段】演奏箇所追跡装置2は、楽譜画像に楽譜解析処理を施し、演奏箇所追跡用のマーカを生成する楽譜画像解析部11と、奏者画像に演奏動作解析処理を施すことで、奏者が次の音符を演奏したタイミングを検出する演奏動作解析部12と、演奏動作解析部12が検出したタイミングから演奏箇所を判定し、マーカを合成する演奏箇所判定部13と、を備える。
【選択図】図2
特許請求の範囲【請求項１】
楽譜を撮影した楽譜画像と、楽器を演奏している奏者が撮影された奏者画像とを用いて、前記楽譜上の演奏箇所を追跡する演奏箇所追跡装置であって、
前記楽譜画像に楽譜解析処理を施すことで、前記楽譜に含まれる五線譜の座標と、前記楽譜に含まれる音符の座標及び順番とを求め、前記五線譜の座標と前記音符の座標及び順番とに基づいて、演奏箇所追跡用のマーカを生成する楽譜画像解析部と、
前記奏者画像に演奏動作解析処理を施すことで、前記奏者が次の音符を演奏したタイミングを検出する演奏動作解析部と、
前記演奏動作解析部が検出したタイミング及び前記音符の順番から前記奏者が演奏している音符を前記演奏箇所として判定し、判定された前記演奏箇所に前記マーカを合成する演奏箇所判定部と、
を備えることを特徴とする演奏箇所追跡装置。
続きを表示（約 950 文字）【請求項２】
前記楽譜画像解析部は、前記楽譜解析処理として、
前記楽譜画像を２値化することで２値化楽譜画像を生成し、
前記２値化楽譜画像を水平方向に平行移動させた水平移動楽譜画像と前記２値化楽譜画像との論理和により前記五線譜を検出することで、前記五線譜の座標を求め、
前記２値化楽譜画像を垂直方向に平行移動させた垂直移動楽譜画像と前記水平移動楽譜画像と前記２値化楽譜画像との論理和を求め、当該論理和の結果を表す論理和画像から前記五線譜の線間隔で定まる前記音符の玉を検出することで、前記音符の座標を求め、
前記五線譜の座標に基づいて、検出した前記音符の玉を前記楽譜の行ごとに分類して水平方向に並べることで、前記音符の順番を求めることを特徴とする請求項１に記載の演奏箇所追跡装置。
【請求項３】
前記楽譜画像解析部は、前記音符の順番を求める際、各行の先頭に位置する前記音符の玉をト音記号の玉として除外することを特徴とする請求項２に記載の演奏箇所追跡装置。
【請求項４】
前記演奏動作解析部は、前記演奏動作解析処理として、
前記奏者画像に骨格推定処理を施して演奏動作の運動ベクトルを算出し、算出した前記運動ベクトルの方向が反転したタイミングを、前記奏者が次の音符を演奏したタイミングとして検出することを特徴とする請求項１に記載の演奏箇所追跡装置。
【請求項５】
前記楽器は、弦楽器であることを特徴とする請求項１に記載の演奏箇所追跡装置。
【請求項６】
前記楽器は、ヴァイオリンであることを特徴とする請求項１に記載の演奏箇所追跡装置。
【請求項７】
前記楽譜に含まれる所定の音符に対応付けて、カメラの切替先情報を予め保持するカメラ切替先情報保持部と、
前記演奏箇所判定部が判定した演奏箇所及び前記切替先情報に基づいて、前記カメラを切り替えるカメラ切替部と、
をさらに備えることを特徴とする請求項１に記載の演奏箇所追跡装置。
【請求項８】
コンピュータを、請求項１から請求項７の何れか一項に記載の演奏箇所追跡装置として機能させるためのプログラム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、演奏箇所追跡装置及びそのプログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
音楽番組のスイッチングやカメラワークは、楽曲の進行に追従して行われる。ポップスや演歌のように歌詞のある音楽では、歌詞を追跡できるので、スイッチングやカメラワークは比較的容易である。一方、ジャズやクラシックのように歌詞のない音楽では、主に小節や拍のカウント、秒数で曲の進行を把握する必要があり、スイッチングやカメラワークが難しくなる。特にオーケストラの楽曲は楽器の種類が多く、演奏時間が数十分におよぶことも多いため、楽器経験者であっても楽曲の進行を見失うことがある。
【０００３】
そこで、楽譜の演奏箇所を追跡する手法が提案されている。例えば、非特許文献１には、ピアノ等の打鍵情報と視線情報を組み合わせた手法が提案されている。また、非特許文献２には、演奏の揺れを表す確率モデルを用いて、演奏の局所的なテンポを元に演奏位置を予測する手法が提案されている。
【先行技術文献】
【非特許文献】
【０００４】
“視線情報を活用した楽譜追跡システム”、［online］、［令和５年９月６日検索］，インターネット＜URL：https://hiratakelab.jp/%E7%A0%94%E7%A9%B6%E3%83%86%E3%83%BC%E3%83%9E/%E8%AA%8D%E7%9F%A5%E5%BF%83%E7%90%86/%E8%A6%96%E7%B7%9A%E6%83%85%E5%A0%B1%E3%82%92%E6%B4%BB%E7%94%A8%E3%81%97%E3%81%9F%E6%A5%BD%E8%AD%9C%E8%BF%BD%E8%B7%A1%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0/＞
“演奏追跡と自動伴奏システム”、［online］、［令和５年９月６日検索］，インターネット＜URL：https://sakoweb.net/joomla3/research/topics/score-following.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前記した非特許文献１，２に記載の技術では、実際の演奏を収録するので、ホールごとの反響の差や演奏の揺れの影響を受けやすく、演奏箇所を正確に追跡できないことがある。さらに、非特許文献１に記載の技術では、奏者の視線情報を取得するために、奏者の眼球を撮影できる位置にカメラを設置するか、又は、奏者が測定用ゴーグルを装着する必要があり、奏者の負担が大きくなる。
【０００６】
本発明は、演奏箇所を正確に追跡でき、奏者の負担が少ない演奏箇所追跡装置及びそのプログラムを提供することを課題とする。
【課題を解決するための手段】
【０００７】
前記課題を解決するため、本発明に係る演奏箇所追跡装置は、楽譜を撮影した楽譜画像と、楽器を演奏している奏者が撮影された奏者画像とを用いて、楽譜上の演奏箇所を追跡する演奏箇所追跡装置であって、楽譜画像解析部と、演奏動作解析部と、演奏箇所判定部とを備える構成とした。
【０００８】
かかる構成によれば、楽譜画像解析部は、楽譜画像に楽譜解析処理を施すことで、楽譜に含まれる五線譜の座標と、楽譜に含まれる音符の座標及び順番とを求め、五線譜の座標と音符の座標及び順番とに基づいて、演奏箇所追跡用のマーカを生成する。
演奏動作解析部は、奏者画像に演奏動作解析処理を施すことで、奏者が次の音符を演奏したタイミングを検出する。
演奏箇所判定部は、演奏動作解析部が検出したタイミング及び音符の順番から奏者が演奏している音符を演奏箇所として判定し、判定された演奏箇所にマーカを合成する。
【０００９】
このように、演奏箇所追跡装置は、楽譜画像及び奏者画像といった画像を用いるだけで、実際の演奏を収録する必要がない。従って、演奏箇所追跡装置は、ホールごとの反響の差や演奏の揺れの影響を受けず、演奏箇所を正確に追跡できる。
さらに、演奏箇所追跡装置は、奏者の視線情報を利用しなので、奏者の眼球の撮影できる位置にカメラを設置する必要や、奏者が測定用ゴーグルを装着する必要がなく、奏者の負担を軽減できる。
【００１０】
なお、本発明は、コンピュータを前記した演奏箇所追跡装置として機能させるためのプログラムで実現することもできる。
【発明の効果】
（【００１１】以降は省略されています）

関連特許