特許ウォッチ

公開番号2025109821
公報種別公開特許公報(A)
公開日2025-07-25
出願番号2025079431,2023017430
出願日2025-05-12,2022-01-31
発明の名称ミーティングデバイス、画像作成方法、プログラム、端末装置
出願人株式会社リコー
代理人弁理士法人ITOH
主分類H04N 7/15 20060101AFI20250717BHJP(電気通信技術)
要約【課題】実行中のアプリケーションから取得した画面情報と、デバイスの周囲の画像情報とに基づいて、遠隔コミュニケーションの記録情報を作成し、会議室内を撮像しながら遠隔コミュニケーションを行った時の様子を再現する記録情報作成システムを提供すること。
【解決手段】本発明は、端末装置で実行する情報記録アプリケーションを含む記録情報作成システムであって、前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した前記デバイスの周囲の画像情報とに基づいて、記録情報を作成することを特徴とする。
【選択図】図1

特許請求の範囲【請求項１】
端末装置で実行する情報記録アプリケーションを含む記録情報作成システムであって、
前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した前記デバイスの周囲の画像情報とに基づいて、記録情報を作成することを特徴とする記録情報作成システム。
続きを表示（約 1,200 文字）【請求項２】
前記画面情報は、前記遠隔会議アプリケーションを含む実行中のアプリケーションがウィンドウとして表示し、前記情報記録アプリケーションが画像として取得する情報である請求項１に記載の記録情報作成システム。
【請求項３】
前記デバイスの周囲の画像情報は、前記デバイスが前記デバイスを囲む３６０°の領域を撮像して取得した画像情報である請求項１又は２に記載の記録情報作成システム。
【請求項４】
前記デバイスの周囲の画像情報は、拠点に設置された前記デバイスから、前記情報記録アプリケーションに送信される請求項１～３のいずれか１項に記載の記録情報作成システム。
【請求項５】
前記情報記録アプリケーションは、
前記画面情報と前記周囲の画像情報とが１つの画面に配置された結合画像を作成する画像結合部を有し、
前記画像結合部は、複数の前記結合画像からなる結合画像動画を作成し、
前記記録情報は前記結合画像動画を含むことを特徴とする請求項１～４のいずれか１項に記載の記録情報作成システム。
【請求項６】
前記画像結合部は、更に、前記周囲の画像情報から話者が切り取られた１つ以上の話者画像を前記周囲の画像情報に連結して、前記結合画像を作成することを特徴とする請求項５に記載の記録情報作成システム。
【請求項７】
前記端末装置が出力する第一の音声データを取得する音声取得部と、
前記音声取得部が取得した前記第一の音声データと、前記デバイスが集音した第二の音声データを合成する音声合成部と、を有し、
合成された音声データを前記結合画像動画に結合することを特徴とする請求項５又は６に記載の記録情報作成システム。
【請求項８】
前記画像結合部と前記音声合成部は、前記デバイスと前記端末装置の前記情報記録アプリケーションとに分散して配置されることを特徴とする請求項７に記載の記録情報作成システム。
【請求項９】
前記結合画像動画を、ネットワークを介してストレージサービスシステムに保存するアップロード部と、
前記合成された音声データから変換されたテキストデータを、前記結合画像動画と対応付けて前記ストレージサービスシステムに保存する音声データ処理部と、を有し、
前記記録情報は前記結合画像動画と前記テキストデータを含むことを特徴とする請求項７又は８に記載の記録情報作成システム。
【請求項１０】
ユーザーによる設定を記憶する記憶部を備える情報処理システムを更に含み、
前記設定には前記記録情報の保存先を含み、
設定された前記保存先に応じて、前記テキストデータと前記結合画像動画とを、前記ストレージサービスシステムに保存する、
請求項９に記載の記録情報作成システム。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、記録情報作成システム、記録情報作成方法、及びプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
一方の拠点から１つ以上の他の拠点にリアルタイムに画像や音声を送信し、遠隔地にいるユーザー同士で画像や音声を用いた会議を行う遠隔会議システムが知られている。
【０００３】
また会議の参加者を全天球画像により保存する技術が知られている（例えば、特許文献１参照。）。特許文献１には、会議室内の参加者を全天球カメラで撮像し、各参加者の顔領域を特定し、顔の向きに応じて音声を録音するか否かを決定する音声録音装置が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来技術では、実行中のアプリケーションから取得した画面情報と周囲の画像と、に基づいて、遠隔コミュニケーションの記録情報を作成していないという問題があった。例えば、会議室内を撮像した情報が保存されるだけでは、会議室内を撮像しながら遠隔コミュニケーションを行った時の様子が再現されにくい。
【０００５】
本発明は、上記課題に鑑み、実行中のアプリケーションから取得した画面情報と、デバイスの周囲の画像情報とに基づいて、遠隔コミュニケーションの記録情報を作成し、会議室内を撮像しながら遠隔コミュニケーションを行った時の様子を再現する記録情報作成システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題に鑑み、本発明は、端末装置で実行する情報記録アプリケーションを含む記録情報作成システムであって、前記情報記録アプリケーションは、前記情報記録アプリケーションで選択した遠隔会議アプリケーションが表示する画面情報と、デバイスが取得した前記デバイスの周囲の画像情報とに基づいて、記録情報を作成することを特徴とする。
【発明の効果】
【０００７】
実行中のアプリケーションから取得した画面情報と、デバイスの周囲の画像情報とに基づいて、遠隔コミュニケーションの記録情報を作成し、会議室内を撮像しながら遠隔コミュニケーションを行った時の様子を再現する記録情報作成システムを提供することができる。
【図面の簡単な説明】
【０００８】
遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。
記録情報作成システムの構成例を示す図である。
情報処理システム及び端末装置のハードウェア構成例を示す図である。
ミーティングデバイスのハードウェア構成例を示す図である。
ミーティングデバイスの撮像範囲を説明する図である。
パノラマ画像と話者画像の切り出しを説明する図である。
記録情報作成システムにおける端末装置、ミーティングデバイス、及び、情報処理システムの機能をブロックに分けて説明する機能ブロック図の一例である。
情報記憶部が記憶している動画記録情報の一例を示す図である。
会議管理部が管理する会議情報の一例を示す図である。
録画情報記憶部に記憶されている録画情報を示す図である。
端末装置で動作する情報記録アプリが表示するログイン後の初期画面の一例を示す図である。
固定表示ボタンがオンの場合の操作方法を説明する図である。
機器未認識画面の一例を示す図である。
情報記録アプリが表示する録画設定画面の一例を示す図である。
カメラトグルボタンがオン、ＰＣ画面トグルボタンがオフの場合の、録画内容確認ウィンドウの表示例を示す図である。
カメラトグルボタンがオン、ＰＣ画面トグルボタンがオンの場合の、録画内容確認ウィンドウの表示例を示す図である。
情報記録アプリが録画中に表示する録画中画面の一例を示す図である。
情報記録アプリが表示する会議一覧画面の一例を示す図である。
情報記録アプリが表示する結合画像動画の選択後の録画再生画面の一例を示す図である。
結合画像動画の編集画面の一例を示す図である。
ユーザーが端末装置で動作する情報記録アプリを操作して情報処理システムにログインする手順又は処理を説明するシーケンス図の一例である。
情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。
結合画像動画の作成中に録画設定画面に対する設定が変更された場合に、変更後の設定で、情報記録アプリがパノラマ画像、話者画像及びアプリの画面を録画する手順を示すシーケンス図の一例である。
実行中の全てのアプリの画面を保存しておき、遠隔会議の終了後に、記録情報に含める画像（動画）を変更する手順を示すシーケンス図の一例である。
録画中に端末装置とミーティングデバイスの通信が切断された場合に、適切に録画を終了する手順を示すシーケンス図の一例である。
記録情報作成システムの構成例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明を実施するための形態の一例として、記録情報作成システムと記録情報作成システムが行う記録情報作成方法について説明する。
【００１０】
＜遠隔会議における議事録の作成方法の一例＞
まず、図１を参照して、パノラマ画像とアプリの画面を用いた議事録の作成方法の概略を説明する。図１は、遠隔会議中に実行されたアプリの画面を周囲のパノラマ画像と共に保存する記録情報の作成の概略を説明する図である。図１に示すように、図示する自拠点１０２にいるユーザーが遠隔会議サービスシステム９０を利用して、他の拠点１０１と遠隔会議を行っている。
（【００１１】以降は省略されています）

関連特許