特許ウォッチ

公開番号2025142653
公報種別公開特許公報(A)
公開日2025-10-01
出願番号2024042128
出願日2024-03-18
発明の名称画像処理方法、画像処理装置及びプログラム
出願人ヤマハ株式会社
代理人弁理士法人楓国際特許事務所
主分類H04N 23/60 20230101AFI20250924BHJP(電気通信技術)
要約【課題】遠隔会議等において、話者を追尾することで変化する話者の画像と話者の画像の変化に基づいてフレーミング処理された仮想背景の画像とを合成した合成画像を用いて、違和感の無い表示を実現する画像処理方法を提供する。
【解決手段】一実施形態に係る画像処理方法は、第1フレーミング情報が変化した場合に、変化した第1フレーミング情報に基づいて、仮想背景の画像内の仮想背景の位置及び大きさを示す第2フレーミング情報を決定し、決定した第2フレーミング情報に基づいて、仮想背景の画像に対して第2フレーミング処理を行い、第1フレーミング処理が行われた話者を含む画像と、第2フレーミング処理が行われた仮想背景の画像と、を合成する。
【選択図】図3
特許請求の範囲【請求項１】
話者を含む画像を取得し、
前記話者を含む画像内の前記話者の位置及び大きさを示す第１フレーミング情報に基づいて前記話者を含む画像に対して第１フレーミング処理を行い、
記憶部に記憶された仮想背景の画像を取得し、
前記第１フレーミング処理が行われた前記話者を含む画像と、前記仮想背景の画像と、を合成する、
画像処理方法であって、
前記第１フレーミング情報が変化した場合に、変化した前記第１フレーミング情報に基づいて、前記仮想背景の画像内の前記仮想背景の位置及び大きさを示す第２フレーミング情報を決定し、
決定した前記第２フレーミング情報に基づいて、前記仮想背景の画像に対して第２フレーミング処理を行い、
前記第１フレーミング処理が行われた前記話者を含む画像と、前記第２フレーミング処理が行われた前記仮想背景の画像と、を合成する、
画像処理方法。
続きを表示（約 1,200 文字）【請求項２】
カメラを用いて前記話者を含む画像を取得する、
請求項１に記載の画像処理方法。
【請求項３】
前記第１フレーミング情報は、前記カメラの制御情報を含み、
前記制御情報に基づいて前記カメラを制御することで前記第１フレーミング処理を行い、
前記制御情報に基づいて前記第２フレーミング情報を決定する、
請求項２に記載の画像処理方法。
【請求項４】
前記第２フレーミング処理の前後の前記仮想背景の画像の変化は、前記第１フレーミング処理の前後の前記話者を含む画像の変化と異なる、
請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項５】
前記第２フレーミング処理が行われた前記仮想背景の画像に対して更に画像処理を行う、
請求項１から請求項３のいずれかに記載の画像処理方法。
【請求項６】
前記話者を含む画像から前記話者の動作を検出し、
検出した前記話者の動作に基づいて、前記仮想背景に対して前記画像処理を行う、
請求項５に記載の画像処理方法。
【請求項７】
前記話者の音声のレベルを取得し、
前記話者の音声のレベルに基づいて、前記仮想背景に対して前記画像処理を行う、
請求項５に記載の画像処理方法。
【請求項８】
時間情報を取得し、
前記時間情報に応じて、前記仮想背景に対して前記画像処理を行う、
請求項５に記載の画像処理方法。
【請求項９】
仮想背景の画像を記憶する記憶部と、
話者を含む画像を取得する取得部と、
前記記憶部に記憶された前記仮想背景の画像を取得し、前記話者を含む画像内の前記話者の位置及び大きさを示す第１フレーミング情報に基づいて前記話者を含む画像に対して第１フレーミング処理を行い、前記第１フレーミング処理が行われた前記話者を含む画像と、前記仮想背景の画像と、を合成するプロセッサと、
を備える画像処理装置であって、
前記プロセッサは、
前記第１フレーミング情報が変化した場合に、変化した前記第１フレーミング情報に基づいて、前記仮想背景の画像内の前記仮想背景の位置及び大きさを示す第２フレーミング情報を決定し、
決定した前記第２フレーミング情報に基づいて、前記仮想背景の画像に対して第２フレーミング処理を行い、
前記第１フレーミング処理が行われた前記話者を含む画像と、前記第２フレーミング処理が行われた前記仮想背景の画像と、を合成する、
画像処理装置。
【請求項１０】
前記取得部は、カメラであり、
前記カメラが、前記話者を含む画像を取得する、
請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
この発明に係る一実施形態は、画像処理方法、画像処理装置及びプログラムに関する。
続きを表示（約 2,000 文字）【背景技術】
【０００２】
特許文献１には、テレビ会議用の仮想的な会議空間映像を生成する映像生成装置が記載されている。
【先行技術文献】
【特許文献】
【０００３】
特開平１１－２８２４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
遠隔会議等では、カメラで撮影した話者の画像と仮想背景の画像とを合成した合成画像を用いる場合がある。従来、話者をカメラで追尾するフレーミング処理を行ったときに話者の画像が変化しても仮想背景は変化しなかったため、合成画像を見るユーザは、違和感を覚えることがあった。
【０００５】
本願発明の一実施形態は、遠隔会議等において、話者に追尾して変化する話者の画像と仮想背景の画像とを合成した合成画像を用いて、違和感の無い表示を実現する画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態に係る画像処理方法は、
話者を含む画像を取得し、
前記話者を含む画像内の前記話者の位置及び大きさを示す第１フレーミング情報に基づいて前記話者を含む画像に対して第１フレーミング処理を行い、
記憶部に記憶された仮想背景の画像を取得し、
前記第１フレーミング処理が行われた前記話者を含む画像と、前記仮想背景の画像と、を合成する、
画像処理方法であって、
前記第１フレーミング情報が変化した場合に、変化した前記第１フレーミング情報に基づいて、前記仮想背景の画像内の前記仮想背景の位置及び大きさを示す第２フレーミング情報を決定し、
決定した前記第２フレーミング情報に基づいて、前記仮想背景の画像に対して第２フレーミング処理を行い、
前記第１フレーミング処理が行われた前記話者を含む画像と、前記第２フレーミング処理が行われた前記仮想背景の画像と、を合成する。
【発明の効果】
【０００７】
この発明の一実施形態に係る画像処理方法によれば、遠隔会議等において、話者を追尾することで変化する話者の画像と話者の画像の変化に基づいてフレーミング処理された仮想背景の画像とを合成した合成画像を用いて、違和感の無い表示を実現することができる。
【図面の簡単な説明】
【０００８】
図１は、第１実施形態に係る画像処理システムのブロック図である。
図２は、ＰＣ１の構成の一例を示すブロック図である。
図３は、プロセッサ１５が実行する処理の一例を示すフローチャートである。
図４は、カメラ６で取得された画像Ｍ１の一例と、画像Ｍ１から切り出された画像Ｍ２の一例と、を示す図である。
図５は、合成用の話者Ｕ１の画像Ｍ３の一例を示す図である。
図６は、仮想背景の画像Ｍ４の一例と、仮想背景の画像Ｍ４から切り出された仮想背景の画像Ｍ５の一例と、を示す図である。
図７は、話者Ｕ１の画像Ｍ３と、仮想背景の画像Ｍ５とを合成することによって取得された合成画像Ｍ６を示す図である。
図８は、ズーム倍率を高くした場合の合成用の仮想背景の画像Ｍ７の一例を示す図である。
図９は、合成用の話者Ｕ１の画像Ｍ３と仮想背景の画像Ｍ７とを合成することによって取得された合成画像Ｍ８を示す図である。
図１０は、水平方向の移動量を変更した場合において話者Ｕ１の画像Ｍ１から切り出される部分の一例を示す図である。
図１１は、水平方向の移動量を変更した場合において仮想背景の画像Ｍ４から切り出される部分の一例を示す図である。
【発明を実施するための形態】
【０００９】
［第１実施形態］
図１は、第１実施形態に係る画像処理システムのブロック図である。画像処理システムは、インターネット３を介して接続されたＰＣ（ＰｅｒｓｏｎａｌＣｏｍｐｕｔｅｒ）１とＰＣ２とを含む。以下、説明する実施形態について、特段の記載がない限り、音信号は全てデジタル信号として説明する。
【００１０】
ＰＣ１及びＰＣ２は、それぞれインターネット３を介して接続される遠端側のＰＣと遠隔会議等を行うために用いられる。ＰＣ１は、インターネット３を介して遠端側のＰＣ２との通信を確立する。ＰＣ１は、無線又は有線によってＰＣ２と通信を行う。ＰＣ１のユーザ（以下、話者Ｕ１と称す）は、ＰＣ２との通信が確立されたＰＣ１を用いることで、遠端側のＰＣ２のユーザと遠隔会議を行う。ＰＣ１は、本願における画像処理装置の一例である。なお、インターネット３を介してＰＣ１に接続されるＰＣの数は、第１実施形態で示す数に限らない。
（【００１１】以降は省略されています）

関連特許