特許ウォッチ

公開番号2025117851
公報種別公開特許公報(A)
公開日2025-08-13
出願番号2024012804
出願日2024-01-31
発明の名称映像合成システム、映像合成方法及びプログラム
出願人株式会社リコー
代理人個人,個人
主分類H04N 7/15 20060101AFI20250805BHJP(電気通信技術)
要約【課題】複数の人物を含む映像における各人物の表情の視認性を向上させること。
【解決手段】複数の撮像装置を含む映像合成システムであって、前記撮像装置は、当該撮像装置が撮影した映像の中から抽出された所定数の人物の部分映像のそれぞれを所定サイズに変倍して含む第1のクローズアップ映像を生成する生成部と、前記第1のクローズアップ映像と、他の前記撮像装置が撮影した映像の中から抽出された所定数の人物の部分映像のそれぞれを所定サイズに変倍して含む第2のクローズアップ映像とに基づいて、前記所定数の人物の映像を含む第3のクローズアップ映像を生成する合成部と、を有し、前記合成部は、前記第1のクローズアップ映像と前記第2のクローズアップ映像とが同じ人物の部分映像を含む場合には、いずれか一方の部分映像を前記第3のクローズアップ映像に含める。
【選択図】図3

特許請求の範囲【請求項１】
複数の撮像装置を含む映像合成システムであって、
前記撮像装置は、
当該撮像装置が撮影した映像の中から抽出された所定数の人物の部分映像のそれぞれを所定サイズに変倍して含む第１のクローズアップ映像を生成する生成部と、
前記第１のクローズアップ映像と、他の前記撮像装置が撮影した映像の中から抽出された所定数の人物の部分映像のそれぞれを所定サイズに変倍して含む第２のクローズアップ映像とに基づいて、前記所定数の人物の映像を含む第３のクローズアップ映像を生成する合成部と、
を有し、
前記合成部は、前記第１のクローズアップ映像と前記第２のクローズアップ映像とが同じ人物の部分映像を含む場合には、いずれか一方の部分映像を前記第３のクローズアップ映像に含める、
ことを特徴とする映像合成システム。
続きを表示（約 1,000 文字）【請求項２】
前記第２のクローズアップ映像は、複数の他の前記撮像装置が撮影した映像の中から抽出された所定数の人物の部分映像を所定サイズに変倍して含む映像である、
ことを特徴とする請求項１記載の映像合成システム。
【請求項３】
前記撮像装置が撮影する映像は３６０°のパノラマ映像である、
ことを特徴とする請求項１記載の映像合成システム。
【請求項４】
前記撮像装置は、
ＵＳＢデバイス機能を用いて外部に映像を送信するＵＳＢデバイスポートと、
ＵＳＢホスト機能を用いて外部から映像を受信するＵＳＢホストポートと、
を有することを特徴とする請求項１記載の映像合成システム。
【請求項５】
前記撮像装置は、
ＵＳＢＰｏｗｅｒＤｅｌｉｖｅｒｙ規格に基づいて電源供給を制御する電源管理部、
を有することを特徴とする請求項１記載の映像合成システム。
【請求項６】
前記複数の撮像装置は、直列的に接続され、一端の前記撮像装置から他端の前記撮像装置の方向へ映像が転送される、
ことを特徴とする請求項１記載の映像合成システム。
【請求項７】
前記複数の撮像装置は、直列的に接続され、１系統の電源でそれぞれの前記撮像装置に電源が供給される、
ことを特徴とする請求項１記載の映像合成システム。
【請求項８】
前記生成部は、音声の方向に基づいて前記第１のクローズアップ映像を生成し、
前記合成部は、音声の方向に基づいて前記第３のクローズアップ映像に含める前記部分映像を決定する、
ことを特徴とする請求項１記載の映像合成システム。
【請求項９】
前記部分映像は、前記撮像装置が撮影した映像の中で人物の存在が検知された範囲の映像である、
ことを特徴とする請求項１記載の映像合成システム。
【請求項１０】
前記部分映像ごとの人物の発話のタイミングに基づいて、前記第１のクローズアップ映像と前記第２のクローズアップ映像とが同じ人物の部分映像を含むか否かを判定する同一人物検知部、
を有することを特徴とする請求項１記載の映像合成システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、映像合成システム、映像合成方法及びプログラムに関する。
続きを表示（約 1,200 文字）【背景技術】
【０００２】
ビデオ会議に用いられるカメラ等の撮像装置において、超広角（魚眼）レンズを用いて撮影された超広角（魚眼）映像を、矩形のパノラマ（魚眼であれば３６０°パノラマ）映像に展開する技術が知られている。
【０００３】
ビデオ会議の場合は、パノラマ映像にすることで１台の撮像装置で参加者全員を同時に撮影及び把握可能となる。
【０００４】
また、音声Ｂｅａｍｆｏｒｍｉｎｇや人物（顔）検知手段を用いて、パノラマ映像の中から発話者をクローズアップ表示する技術が、既に知られている。
【０００５】
発話者をクローズアップすることで、他拠点からの参加者にも誰が発話者であるのかを把握可能とすることができ、クローズアップによる拡大表示により、発話者の表情もわかりやすくすることができる。
【０００６】
更に、最近では、会議会場全体の映像を配信するのではなく、参加者全員の顔をクローズアップしてマルチストリーム的な映像レイアウトにすることで、発言の有無に関わらず参加者全員の表情がわかる映像を他拠点に配信して、ビデオ会議の臨場感の向上を図るという技術が既に知られている。例えば、図１が示す映像において、領域ａ１は、２拠点間のビデオ会議において一方の拠点の参加者全員を含むパノラマ映像である。領域ａ２～ａ５は、領域ａ１に含まれている参加者のそれぞれがクローズアップされた映像である。なお、領域ａ２は、他方の拠点における参加者の映像である。
【０００７】
但し、会議参加者全員のそれぞれがクローズアップされ、それぞれの表情が分かり易い映像を生成するには、１台の撮像装置の近傍に会議参加者全員が着座可能である会議スペースであること、全員が１台の撮像装置の方向に顔を向けていること等の条件が満たされている必要が有る。
【０００８】
したがって、広い会議室では全員の表情を１台の撮像装置で捉えるのは、撮像装置から各参加者までの距離や撮像装置と各参加者との角度の問題から困難であり、当該撮像装置の設置場所に対する自由度が小さくなってしまう。
【０００９】
なお、特許文献１には、１つの拠点に集合してテレビ会議を実行する複数のユーザのそれぞれの近傍にテレビ会議端末を配置し、各テレビ会議端末が撮影した画像を合成することで、各ユーザの鮮明な画像が他の拠点で出力されることが記載されている。
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、特許文献１の技術では、１台のビデオ会議端末（撮像装置）に映るユーザが複数である場合、最終的な合成映像として参加者全員の表情がわかリやすい映像に仕上げることは難しい。
（【００１１】以降は省略されています）

関連特許