特許ウォッチ

公開番号2025109422
公報種別公開特許公報(A)
公開日2025-07-25
出願番号2024003293
出願日2024-01-12
発明の名称オンサイト参加システム及びオンサイト参加方法
出願人国立大学法人筑波大学
代理人個人,個人,個人,個人,個人
主分類H04N 7/15 20060101AFI20250717BHJP(電気通信技術)
要約【課題】オンライン参加者のオンサイトにおける存在感の向上を図る。
【解決手段】制御装置は、オンライン参加者視線情報に基づいてオンライン参加者映像を、オンライン参加者がオンサイト内の見る方向を見ているように見せる表示画面に表示させ、ンライン参加者視線情報に基づいて全方位のオンサイト映像から前記見る方向の映像を抽出し、抽出したオンライン参加者別のオンサイト映像をオンサイト音声と共にオンライン参加者の端末へ送信する。オンライン参加者の端末は、オンライン参加者別のオンサイト映像を表示すると共にオンサイト音声を出力する。
【選択図】図1
特許請求の範囲【請求項１】
全方位を撮影可能な撮像部と、
前記撮像部により表示画面が撮影可能であって複数の前記表示画面が向かい合うように多角形の各辺上又は円周上に配置された表示部と、
前記複数の前記表示画面の各々に近接して設けられる複数のスピーカと、
全方位の音声を収音可能な収音部と、
各オンライン参加者の端末と、
制御装置と、を備え、
前記撮像部、前記表示部、前記複数のスピーカ及び前記収音部は、オンサイトに設けられ、
前記制御装置は、オンライン参加者毎に、オンライン参加者の前記オンサイト内の見る方向を示すオンライン参加者視線情報に基づいて、オンライン参加者を示すオンライン参加者映像を、オンライン参加者が前記見る方向を見ているように見せる前記表示画面に表示させ、
前記制御装置は、オンライン参加者毎に、前記オンライン参加者映像を表示させる前記表示画面に近接する前記スピーカからオンライン参加者の音声を出力させ、
前記制御装置は、オンライン参加者毎に、前記オンライン参加者視線情報に基づいて、前記撮像部により撮影された全方位のオンサイト映像から前記見る方向の映像を抽出し、抽出した映像であるオンライン参加者別のオンサイト映像を前記収音部により収音されたオンサイト音声と共にオンライン参加者の端末へ送信し、
オンライン参加者の端末は、前記オンライン参加者別のオンサイト映像を表示すると共に前記オンサイト音声を出力する、
オンサイト参加システム。
続きを表示（約 1,800 文字）【請求項２】
前記制御装置は、
同じ前記見る方向の複数のオンライン参加者が存在する場合に、
隣り合う複数の前記表示画面に分けて当該複数のオンライン参加者の前記オンライン参加者映像を表示させ、
前記隣り合う複数の前記表示画面各々の向きに応じて、前記表示画面に映るオンライン参加者の見え方を前記同じ前記見る方向に合わせるように、前記オンライン参加者映像を回転させて前記表示画面に表示させる、
請求項１に記載のオンサイト参加システム。
【請求項３】
前記表示部は、前記多角形の各辺上又は前記円周上に配置された複数の前記表示画面の外側に、さらに多角形の各辺上又は円周上に配置された複数の前記表示画面を備え、
前記制御装置は、
同じ前記見る方向の複数のオンライン参加者が存在する場合に、
前記同じ前記見る方向の複数のオンライン参加者の前記オンライン参加者映像を、オンライン参加者が前記同じ前記見る方向を見ているように見せる複数の前記表示画面に分けて表示させる、
請求項１に記載のオンサイト参加システム。
【請求項４】
前記制御装置は、前記表示部とは別個に前記オンサイトに設けられた表示画面であって前記撮像部により撮影可能なオンサイト内の表示画面に表示される画像データを各オンライン参加者の端末へ送信し、
オンライン参加者の端末は、前記オンライン参加者別のオンサイト映像内の前記オンサイト内の表示画面の表示領域に重畳させて表示する半透明の表示領域に前記画像データを表示する、
請求項１に記載のオンサイト参加システム。
【請求項５】
前記制御装置は、前記オンライン参加者視線情報を強制的に変更するオンライン参加者視線情報変更指示を受付け、受付けた前記オンライン参加者視線情報変更指示に従って前記制御装置が保持するオンライン参加者視線情報を変更する、
請求項１に記載のオンサイト参加システム。
【請求項６】
前記表示部は、前記多角形の各辺上又は前記円周上に配置された複数の前記表示画面各々について背面側に別個の背面側表示画面を備え、
前記制御装置は、前記オンライン参加者映像が表示される前記表示画面の前記背面側表示画面に、オンライン参加者の後ろ姿を示すオンライン参加者背面映像を表示させる、
請求項１に記載のオンサイト参加システム。
【請求項７】
前記撮像部、前記表示部、前記複数のスピーカ及び前記収音部を備えて移動可能であって遠隔で操縦可能な移動体を設けた、
請求項１に記載のオンサイト参加システム。
【請求項８】
全方位を撮影可能な撮像部と、
前記撮像部により表示画面が撮影可能であって複数の前記表示画面が向かい合うように多角形の各辺上又は円周上に配置された表示部と、
前記複数の前記表示画面の各々に近接して設けられる複数のスピーカと、
全方位の音声を収音可能な収音部と、
各オンライン参加者の端末と、
制御装置と、を備え、
前記撮像部、前記表示部、前記複数のスピーカ及び前記収音部は、オンサイトに設けられ、
前記制御装置が、オンライン参加者毎に、オンライン参加者の前記オンサイト内の見る方向を示すオンライン参加者視線情報に基づいて、オンライン参加者を示すオンライン参加者映像を、オンライン参加者が前記見る方向を見ているように見せる前記表示画面に表示させるステップと、
前記制御装置が、オンライン参加者毎に、前記オンライン参加者映像を表示させる前記表示画面に近接する前記スピーカからオンライン参加者の音声を出力させるステップと、
前記制御装置が、オンライン参加者毎に、前記オンライン参加者視線情報に基づいて、前記撮像部により撮影された全方位のオンサイト映像から前記見る方向の映像を抽出し、抽出した映像であるオンライン参加者別のオンサイト映像を前記収音部により収音されたオンサイト音声と共にオンライン参加者の端末へ送信するステップと、
オンライン参加者の端末が、前記オンライン参加者別のオンサイト映像を表示すると共に前記オンサイト音声を出力するステップと、
を含むオンサイト参加方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、オンサイト参加システム及びオンサイト参加方法に関する。
続きを表示（約 3,700 文字）【背景技術】
【０００２】
特許文献１に記載された会議映像表示システムは、会議サーバが、会議の参加者、会議机、資料等のオブジェクトを配置して会議の状態を表現した映像を生成し、会議サーバに接続された表示装置に当該映像を表示するとともに、各参加者用端末からの要求に応じて、当該映像に対して所定の加工を加えた映像を参加者用端末毎にそれぞれ生成して当該要求を受けた端末に送信し、参加者用端末が、会議サーバから送信された当該映像を受信して参加者用端末画面の会議状態ウインドウに表示している。
特許文献２に記載された仮想観客形成装置は、撮影現場の現場映像と視聴者側から送信された視聴者の視聴者映像とを合成して出力し、撮影現場の現場音声と視聴者側から送信された視聴者の視聴者音声を合成して出力している。
【先行技術文献】
【特許文献】
【０００３】
特開２０００－１５２２０４号公報
特開２００３－３３３５７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した特許文献１，２に記載された技術では、オンサイト（現場）で実際に行われている会議や講義等にオンラインで参加しているオンライン参加者の存在感を感じることが難しい。
【０００５】
本発明は、このような事情を考慮してなされたものであり、その目的は、オンライン参加者のオンサイトにおける存在感の向上を図ることにある。
【課題を解決するための手段】
【０００６】
本発明の一態様は、全方位を撮影可能な撮像部と、前記撮像部により表示画面が撮影可能であって複数の前記表示画面が向かい合うように多角形の各辺上又は円周上に配置された表示部と、前記複数の前記表示画面の各々に近接して設けられる複数のスピーカと、全方位の音声を収音可能な収音部と、各オンライン参加者の端末と、制御装置と、を備え、前記撮像部、前記表示部、前記複数のスピーカ及び前記収音部は、オンサイトに設けられ、前記制御装置は、オンライン参加者毎に、オンライン参加者の前記オンサイト内の見る方向を示すオンライン参加者視線情報に基づいて、オンライン参加者を示すオンライン参加者映像を、オンライン参加者が前記見る方向を見ているように見せる前記表示画面に表示させ、前記制御装置は、オンライン参加者毎に、前記オンライン参加者映像を表示させる前記表示画面に近接する前記スピーカからオンライン参加者の音声を出力させ、前記制御装置は、オンライン参加者毎に、前記オンライン参加者視線情報に基づいて、前記撮像部により撮影された全方位のオンサイト映像から前記見る方向の映像を抽出し、抽出した映像であるオンライン参加者別のオンサイト映像を前記収音部により収音されたオンサイト音声と共にオンライン参加者の端末へ送信し、オンライン参加者の端末は、前記オンライン参加者別のオンサイト映像を表示すると共に前記オンサイト音声を出力する、オンサイト参加システムである。
本発明の一態様は、上記のオンサイト参加システムにおいて、前記制御装置は、同じ前記見る方向の複数のオンライン参加者が存在する場合に、隣り合う複数の前記表示画面に分けて当該複数のオンライン参加者の前記オンライン参加者映像を表示させ、前記隣り合う複数の前記表示画面各々の向きに応じて、前記表示画面に映るオンライン参加者の見え方を前記同じ前記見る方向に合わせるように、前記オンライン参加者映像を回転させて前記表示画面に表示させる、オンサイト参加システムである。
本発明の一態様は、上記のオンサイト参加システムにおいて、前記表示部は、前記多角形の各辺上又は前記円周上に配置された複数の前記表示画面の外側に、さらに多角形の各辺上又は円周上に配置された複数の前記表示画面を備え、前記制御装置は、同じ前記見る方向の複数のオンライン参加者が存在する場合に、前記同じ前記見る方向の複数のオンライン参加者の前記オンライン参加者映像を、オンライン参加者が前記同じ前記見る方向を見ているように見せる複数の前記表示画面に分けて表示させる、オンサイト参加システムである。
本発明の一態様は、上記のオンサイト参加システムにおいて、前記制御装置は、前記表示部とは別個に前記オンサイトに設けられた表示画面であって前記撮像部により撮影可能なオンサイト内の表示画面に表示される画像データを各オンライン参加者の端末へ送信し、オンライン参加者の端末は、前記オンライン参加者別のオンサイト映像内の前記オンサイト内の表示画面の表示領域に重畳させて表示する半透明の表示領域に前記画像データを表示する、オンサイト参加システムである。
本発明の一態様は、上記のオンサイト参加システムにおいて、前記制御装置は、前記オンライン参加者視線情報を強制的に変更するオンライン参加者視線情報変更指示を受付け、受付けた前記オンライン参加者視線情報変更指示に従って前記制御装置が保持するオンライン参加者視線情報を変更する、オンサイト参加システムである。
本発明の一態様は、上記のオンサイト参加システムにおいて、前記表示部は、前記多角形の各辺上又は前記円周上に配置された複数の前記表示画面各々について背面側に別個の背面側表示画面を備え、前記制御装置は、前記オンライン参加者映像が表示される前記表示画面の前記背面側表示画面に、オンライン参加者の後ろ姿を示すオンライン参加者背面映像を表示させる、オンサイト参加システムである。
本発明の一態様は、上記のオンサイト参加システムにおいて、前記撮像部、前記表示部、前記複数のスピーカ及び前記収音部を備えて移動可能であって遠隔で操縦可能な移動体を設けた、オンサイト参加システムである。
【０００７】
本発明の一態様は、全方位を撮影可能な撮像部と、前記撮像部により表示画面が撮影可能であって複数の前記表示画面が向かい合うように多角形の各辺上又は円周上に配置された表示部と、前記複数の前記表示画面の各々に近接して設けられる複数のスピーカと、全方位の音声を収音可能な収音部と、各オンライン参加者の端末と、制御装置と、を備え、前記撮像部、前記表示部、前記複数のスピーカ及び前記収音部は、オンサイトに設けられ、前記制御装置が、オンライン参加者毎に、オンライン参加者の前記オンサイト内の見る方向を示すオンライン参加者視線情報に基づいて、オンライン参加者を示すオンライン参加者映像を、オンライン参加者が前記見る方向を見ているように見せる前記表示画面に表示させるステップと、前記制御装置が、オンライン参加者毎に、前記オンライン参加者映像を表示させる前記表示画面に近接する前記スピーカからオンライン参加者の音声を出力させるステップと、前記制御装置が、オンライン参加者毎に、前記オンライン参加者視線情報に基づいて、前記撮像部により撮影された全方位のオンサイト映像から前記見る方向の映像を抽出し、抽出した映像であるオンライン参加者別のオンサイト映像を前記収音部により収音されたオンサイト音声と共にオンライン参加者の端末へ送信するステップと、オンライン参加者の端末が、前記オンライン参加者別のオンサイト映像を表示すると共に前記オンサイト音声を出力するステップと、を含むオンサイト参加方法である。
【発明の効果】
【０００８】
本発明によれば、オンライン参加者のオンサイトにおける存在感の向上を図ることができるという効果が得られる。
【図面の簡単な説明】
【０００９】
一実施形態に係るオンサイト参加システムの構成例を示す図である。
一実施形態に係るオンサイト参加システムの構成例を示す図である。
一実施形態に係る撮像部、表示部、スピーカ部及び収音部の構成例を示す図である。
一実施形態に係る撮像部、表示部、スピーカ部及び収音部の構成例を示す図である。
一実施形態に係る撮像部、表示部、スピーカ部及び収音部の構成例を示す図である。
一実施形態に係る表示画面の構成例を示す図である。
一実施形態に係る半透明バーチャルスクリーンについて説明するための図である。
一実施形態に係るオンライン参加者視線情報の強制的な変更について説明するための図である。
一実施形態に係る背面側ディスプレイについて説明するための図である。
一実施形態に係る移動ロボット（移動体）の構成例を示す図である。
【発明を実施するための形態】
【００１０】
以下、図面を参照し、本発明の実施形態について説明する。
図１及び図２は、一実施形態に係るオンサイト参加システムの構成例を示す図である。オンサイト参加システム１は、オンサイト（現場）１００で実際に行われている例えば会議や講義等にオンラインで参加するためのシステムである。
（【００１１】以降は省略されています）

関連特許