特許ウォッチ

公開番号2025131915
公報種別公開特許公報(A)
公開日2025-09-09
出願番号2025107970,2020187839
出願日2025-06-26,2020-11-11
発明の名称画像処理方法、プログラムおよび画像処理システム
出願人株式会社リコー
代理人弁理士法人酒井国際特許事務所
主分類G06T 7/70 20170101AFI20250902BHJP(計算;計数)
要約【課題】構造物の内部の空間に仮想対象物を適切な位置に自動配置させる画像処理方法、プログラムおよび画像処理システムを提供する。
【解決手段】画像処理システムが実行する画像処理方法であって、構造物の内部の空間(例えば、部屋)が全方位で示された背景画像(例えば、全天球画像)から空間の構造を推定する構造推定ステップと、推定された構造に基づいて、空間における仮想対象物(例えば、家具の3Dモデル)を配置可能な領域を推定する領域推定ステップと、背景画像に対して、仮想対象物を推定された領域に合成する画像処理ステップと、を実行する。
【選択図】図16
特許請求の範囲【請求項１】
画像処理システムが実行する画像処理方法であって、
構造物の内部の空間が全方位で示された背景画像から前記空間の構造を推定する構造推定ステップと、
推定された前記構造に基づいて、前記空間における仮想対象物を配置可能な領域を推定する領域推定ステップと、
前記背景画像に対して、前記仮想対象物を前記推定された領域に合成する画像処理ステップと、
を実行する画像処理方法。
続きを表示（約 1,300 文字）【請求項２】
請求項１に記載の画像処理方法であって、更に、
前記背景画像に示されている被写体を検知する検知ステップと、
検知された前記被写体の前記空間上の位置を推定する位置推定ステップと、実行し、
前記領域推定ステップは、推定された前記構造および推定された前記被写体の位置に基づいて、前記領域を推定する画像処理方法。
【請求項３】
前記検知ステップは、前記被写体の種類を検知し、
前記領域推定ステップは、検知された前記被写体の種類に基づいて、前記領域を推定する請求項２に記載の画像処理方法。
【請求項４】
前記検知ステップは、前記空間を撮影する撮影装置を支持する支持部材を検知し、
前記画像処理ステップは、検知された前記支持部材を隠すように前記背景画像に対して所定の画像を合成する請求項２または３に記載の画像処理方法。
【請求項５】
前記検知ステップは、前記背景画像に示されている被写体のうち、光源となる特定の被写体を検知し、
前記位置推定ステップは、検知された前記特定の被写体の前記空間上の位置を推定し、
前記画像処理ステップは、前記位置推定ステップによって推定された前記特定の被写体の前記空間上の位置に対して、光源となる仮想物体を示す画像を合成する請求項２または３に記載の画像処理方法。
【請求項６】
前記構造推定ステップは、前記空間の大きさを推定する請求項１乃至５のいずれか一項に記載の画像処理方法。
【請求項７】
請求項１乃至６のいずれか一項に記載の画像処理方法であって、
前記構造推定ステップは、前記空間の用途を推定し、更に、
推定された前記用途に基づいて、前記仮想対象物を決定する決定ステップを実行し、
前記画像処理ステップは、前記背景画像に対して、決定された前記仮想対象物を合成する画像処理方法。
【請求項８】
請求項１乃至６のいずれか一項に記載の画像処理方法であって、更に、
外部装置から前記空間の用途を示す用途情報を受信する受信ステップと、
受信された前記用途情報に基づいて、前記仮想対象物を決定する決定ステップと、を実行し、
前記画像処理ステップは、前記背景画像に対して、決定された前記仮想対象物を合成する画像処理方法。
【請求項９】
請求項７または８に記載の画像処理方法であって、
前記画像処理システムは、仮想対象物の配置条件を示す条件情報を記憶する記憶手段を備え、
前記決定ステップは、記憶された前記条件情報から前記空間の用途に応じた前記仮想対象物を選択する請求項７または８に記載の画像処理方法。
【請求項１０】
請求項１乃至９のいずれか一項に記載の画像処理方法であって、更に、
前記領域推定ステップによって推定された前記領域に対して前記仮想対象物を配置する配置ステップを実行し、
前記画像処理ステップは、前記背景画像に対して、配置された前記仮想対象物を前記推定された領域に合成する画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示内容は、画像処理方法、プログラムおよび画像処理システムに関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
全方位を撮影可能な撮影装置を用いて撮影された画像データを配信し、遠隔拠点の状況を、別拠点において閲覧可能なシステムが知られている。所定の拠点を全方位で撮影した全天球画像は、閲覧者に任意の方向を閲覧させることできるため、臨場感ある情報を伝えることができる。このようなシステムは、例えば、不動産業界における物件のオンライン内見等の分野で利用されている。
【０００３】
このようなシステムは、例えば、不動産業界における物件のオンライン内見等の分野で利用されている。また、家具や小物を物件に配置することで空間演出し、閲覧者に魅力的な住まいのイメージを与えて取引を円滑に促すため「ホームステージング」というサービスが存在する。このサービスにおいて、費用もしくは時間のコスト、または物件の破損リスク等を低減させるため、物件に実際の家具を配置するのではなく、物件が撮影された画像に三次元モデル（ＣＧ）の家具を合成するサービスが既に知られている(例えば、特許文献１～３）。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の方法では、撮影画像に対して家具等の仮想対象物の画像を合成する際に、画像を閲覧する閲覧者にとって仮想対象物が不自然な位置に配置される場合があり、仮想対象物の自動配置の精度という観点で改善の余地があった。
【課題を解決するための手段】
【０００５】
上述した課題を解決すべく、請求項１に係る発明は、画像処理システムが実行する画像処理方法であって、構造物の内部の空間が全方位で示された背景画像から前記空間の構造を推定する構造推定ステップと、推定された前記構造に基づいて、前記空間における仮想対象物を配置可能な領域を推定する領域推定ステップと、前記背景画像に対して、前記仮想対象物を前記推定された領域に合成する画像処理ステップと、を実行する画像処理方法である。
【発明の効果】
【０００６】
本発明によれば、構造物の内部の空間に仮想対象物を適切な位置に自動配置できるという効果を奏する。
【図面の簡単な説明】
【０００７】
画像表示システムの全体構成の一例を示す図である。
仮想対象物を配置する前の全天球画像の一例を示す図である。
仮想対象物を配置した処理画像の一例を示す図である。
（Ａ）は撮影装置で撮影された半球画像（前）、（Ｂ）は撮影装置で撮影された半球画像（後）、（Ｃ）は正距円筒図法により表された画像を示した図である。
（Ａ）正距円筒射影画像で球を被う状態を示した概念図、（Ｂ）全天球画像を示した図である。
全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。
所定領域情報と所定領域Ｔの画像との関係を示した図である。
撮影装置による撮影時の状態の一例を示す図である。
全天球画像の一例を説明するための図である。
全天球画像から変換された平面画像の一例を説明するための図である。
画像処理装置、画像配信装置および表示装置のハードウエア構成の一例を示す図である。
画像表示システムの機能構成の一例を示す図である。
画像表示システムの機能構成の一例を示す図である。
画像データ管理テーブルの一例を示す概略図である。
条件情報管理テーブルの一例を示す概念図である。
画像処理装置における処理の一例を示すフローチャートである。
構造推定処理の一例を示すフローチャートである。
撮影画像に対する構造推定結果の一例を説明するための図である。
構造推定処理によって推定される空間構造の形状の一例を示す図である。
構造推定処理における空間の大きさの算出方法の一例を説明するための図である。
仮想対象物の配置に失敗した場合の画像の一例を示す図である。
撮影画像に対する被写体検知結果の一例を説明するための図である。
（Ａ）（Ｂ）推定された空間構造に被写体を投影する処理の一例を説明するための図である。
仮想対象物のレイアウト処理の一例を示すフローチャートである。
（Ａ）（Ｂ）家具の３Ｄモデルのレイアウトアルゴリズムの一例を説明するための図である。
（Ａ）（Ｂ）（Ｃ）家具の３Ｄモデルのレイアウトアルゴリズムの一例を説明するための図である。
家具の３Ｄモデルの一例を示す図である。
家具の３Ｄモデルのレイアウト結果の一例を示す図である。
３Ｄ空間モデル上での家具の３Ｄモデルのレイアウト結果の一例を示す図である。
シャドーキャッチャーを利用した処理画像の一例を示す図である。
（Ａ）（Ｂ）Image Based lightingを利用した画像処理の例を示す図である。
仮想対象物が合成された処理画像に、空間推定結果および被写体検知結果の一例を示す図である。
仮想対象物が撮影装置に近すぎる場合の例を示す図である。
（Ａ）（Ｂ）仮想対象物の配置禁止領域の一例を示す図である。
（Ａ）は支持部材が写り込んだ撮影画像の一例を示す図であり、（Ｂ）は写り込んだ支持部材の上に仮想物体を配置した画像の一例を示す図である。
支持部材のサイズの一例を説明するための図である。
画像表示処理の一例を示すシーケンス図である。
（Ａ）は表示装置に表示された撮影画像の画面例であり、（Ｂ）は表示装置に表示された処理画像の画面例である。
付加情報管理テーブルの一例を示す概念図である。
付加情報の配置位置の一例を説明するための図である。
（Ａ）（Ｂ）付加情報が重畳された処理画像の画面例である。
表示装置に表示された処理画像の別の例を示す図である。
表示装置に表示された処理画像の別の例を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【０００９】
●実施形態●
●画像表示システムの概略
まず、図１を用いて、実施形態に係る画像表示システムの構成の概略について説明する。図１は、画像表示システムの全体構成の一例を示す図である。図１に示されている画像表示システム１は、不動産物件等の構造物の内部の空間の画像を表示装置９０に表示させることで、閲覧者がオンラインで不動産物件の閲覧できるシステムである。
【００１０】
図１に示されているように、画像表示システム１は、画像処理装置１０、画像配信装置３０、撮影装置７０、通信端末８０および表示装置９０を含む。画像表示システム１を構成する画像処理装置１０、画像配信装置３０、撮影装置７０、通信端末８０および表示装置９０は、通信ネットワーク５を介して通信することができる。通信ネットワーク５は、インターネット、移動体通信網、ＬＡＮ(Local Area Network)等によって構築されている。なお、通信ネットワーク５には、有線通信だけでなく、３Ｇ(3rd Generation)、４Ｇ(4th Generation)、５Ｇ（5th Generation）、Ｗｉ－Ｆｉ(Wireless Fidelity)（登録商標）、ＷｉＭＡＸ(Worldwide Interoperability for Microwave Access)またはＬＴＥ(Long Term Evolution)等の無線通信によるネットワークが含まれてもよい。
（【００１１】以降は省略されています）

関連特許