特許ウォッチ

公開番号2025106469
公報種別公開特許公報(A)
公開日2025-07-15
出願番号2025064320,2021029207
出願日2025-04-09,2021-02-25
発明の名称画像処理方法、プログラム、画像処理装置および画像処理システム
出願人株式会社リコー
代理人弁理士法人MIP
主分類G06T 19/00 20110101AFI20250708BHJP(計算;計数)
要約【課題】撮影画像の撮影位置の推定精度を向上させたバーチャルツアーを提供することを目的とする。
【解決手段】所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置50が実行する画像処理方法であって、拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得ステップと、拠点内の第1の地点から第2の地点までを移動しながら撮影された動画像を取得する動画像取得ステップと、取得された動画像に基づいて、複数の静止画像の相対的な撮影位置を推定する位置推定ステップと、推定された撮影位置に基づいて関連づけられた複数の静止画像を含む処理画像(例えば、ツアー画像)を生成する画像処理ステップと、を実行する。
【選択図】図15
特許請求の範囲【請求項１】
所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置が実行する画像処理方法であって、
前記拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得ステップと、
前記拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得ステップと、
取得された前記動画像に基づいて、前記複数の静止画像の相対的な撮影位置を推定する位置推定ステップと、
推定された撮影位置に基づいて関連づけられた前記複数の静止画像を含む処理画像を生成する画像処理ステップと、
を実行する画像処理方法。
続きを表示（約 1,200 文字）【請求項２】
請求項１に記載の画像処理方法であって、更に、
前記複数の静止画像を関連づけるパスを生成するパス生成ステップを実行し、
前記画像処理ステップは、前記複数の静止画像に対応する前記パスを含む前記処理画像を生成する画像処理方法。
【請求項３】
請求項２に記載の画像処理方法であって、更に、
前記動画像に写る前記拠点内の空間の形状を推定する形状推定ステップを実行し、
前記位置推定ステップは、前記形状推定ステップによって推定された前記形状に基づいて、前記複数の静止画像の相対的な撮影位置を推定し、
前記パス生成ステップは、前記位置推定ステップによって推定された前記撮影位置、および前記形状推定ステップによって推定された前記形状に基づいて、前記パスを生成する画像処理方法。
【請求項４】
請求項３に記載の画像処理方法であって、更に、
前記動画像が撮影された移動経路上の地点が属する前記形状を検知する検知ステップを実行し、
前記パス生成ステップは、複数の前記形状に属する前記動画像が撮影された地点が検知された場合、前記地点が最近傍の前記形状に属するように、前記パスを生成する画像処理方法。
【請求項５】
請求項４に記載の画像処理方法であって、更に、
前記空間の用途を判定する用途判定ステップを実行し、
前記パス生成ステップは、判定された前記用途に基づいて、前記パスを生成する画像処理方法。
【請求項６】
前記パス生成ステップは、判定された前記用途に基づいて、生成された前記パスの始点を設定する請求項５に記載の画像処理方法。
【請求項７】
前記動画像は、前記静止画像よりも解像度の低い画像である請求項１乃至６のいずれか一項に記載の画像処理方法。
【請求項８】
前記静止画像および前記動画像は、全天球撮影装置によって撮影された画像である請求項１乃至７のいずれか一項に記載の画像処理方法。
【請求項９】
コンピュータに、請求項１乃至８のいずれか一項に記載の画像処理方法を実行させるプログラム。
【請求項１０】
所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置であって、
前記拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得手段と、
前記拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得手段と、
取得された前記動画像に基づいて、前記複数の静止画像の相対的な撮影位置を推定する位置推定手段と、
推定された撮影位置に基づいて関連づけられた前記複数の静止画像を含む処理画像を生成する画像処理手段と、
を備える画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示内容は、画像処理方法、プログラム、画像処理装置および画像処理システムに関する。
続きを表示（約 2,600 文字）【背景技術】
【０００２】
全方位を撮影可能な撮影装置を用いて撮影された画像データを配信し、遠隔拠点の状況を、別拠点において閲覧可能なシステムが知られている。所定の拠点を全方位で撮影した全天球画像は、閲覧者に任意の方向を閲覧させることできるため、臨場感ある情報を伝えることができる。このようなシステムは、例えば、不動産業界における物件のオンライン内見等の分野で利用されている。
【０００３】
さらに、不動産物件の複数の撮影位置で撮影された撮影画像を相互に接続することで、あたかも物件の内部を歩いて閲覧しているようなバーチャルツアーサービスが存在する。このバーチャルツアーの作成には、複数の撮影位置で撮影された撮影画像を正しい位置関係で接続することが重要である。このようなバーチャルツアーの作成のため、ＩＭＵ（inertial measurement unit）で計測された加速度情報を用いて撮影画像の位置推定を行う技術が既に知られている（例えば、特許文献１および特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
米国特許第１０３７５３０６号明細書
米国特許第１０５３０９９７号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来のＩＭＵを用いた加速度による位置推定を行う方法では、バーチャルツアーを作成するための複数の撮影画像の位置推定の精度という観点で改善の余地があった。
【課題を解決するための手段】
【０００６】
上述した課題を解決すべく、請求項１に係る発明は、所定の拠点内を全方位で撮影した撮影画像に対する処理を行う画像処理装置が実行する画像処理方法であって、前記拠点内について異なる撮影位置で撮影された複数の静止画像を取得する静止画像取得ステップと、前記拠点内の第１の地点から第２の地点までを移動しながら撮影された動画像を取得する動画像取得ステップと、取得された前記動画像に基づいて、前記複数の静止画像の相対的な撮影位置を推定する推定ステップと、推定された撮影位置に基づいて関連づけられた前記複数の静止画像を含む処理画像を生成する画像処理ステップと、を実行する画像処理方法である。
【発明の効果】
【０００７】
本発明によれば、撮影画像の撮影位置の推定精度を向上させたバーチャルツアーを提供することができるという効果を奏する。
【図面の簡単な説明】
【０００８】
画像処理システムの全体構成の一例を示す図である。
撮影装置によって撮影された全天球画像の一例を示す図である。
（Ａ）は撮影装置で撮影された半球画像（前）、（Ｂ）は撮影装置で撮影された半球画像（後）、（Ｃ）は正距円筒図法により表された画像を示した図である。
（Ａ）正距円筒射影画像で球を被う状態を示した概念図、（Ｂ）全天球画像を示した図である。
全天球画像を三次元の立体球とした場合の仮想カメラおよび所定領域の位置を示した図である。
所定領域情報と所定領域Ｔの画像との関係を示した図である。
撮影装置による撮影時の状態の一例を示す図である。
全天球画像の一例を説明するための図である。
全天球画像から変換された平面画像の一例を説明するための図である。
（Ａ）（Ｂ）画像処理システムに適用可能な撮影装置の一例について説明するための概略図である。
一般撮影装置によって撮影された撮影画像の一例について説明するための図である。
（Ａ）～（Ｃ）画像処理装置によって実行される処理の一例について説明するための概略図である。
撮影装置のハードウエア構成の一例を示す図である。
画像処理装置および通信端末のハードウエア構成の一例を示す図である。
画像処理システムの機能構成の一例を示す図である。
撮影装置によるツアー撮影処理の一例を示すフローチャートである。
（Ａ）（Ｂ）撮影装置の固定方法の一例を示す図である。
手持ち撮影と固定撮影の場合における相違点について説明するための図である。
撮影装置による動画撮影と静止画撮影の切り替えについて説明するための図である。
動画撮影と静止画撮影の切り替えタイミングの一例を示す図である。
（Ａ）（Ｂ）バーチャルツアーにおけるツアーパスの一例について説明するための図である。
画像処理装置によるツアー画像の生成処理の一例を示すフローチャートである。
（Ａ）（Ｂ）部屋形状の大きさの推定処理の一例について説明するための概略図である。
（Ａ）（Ｂ）移動経路上の点が位置している部屋の判定処理の一例について説明するための概略図である。
（Ａ）（Ｂ）移動経路上の点が位置している部屋の判定処理の一例について説明するための概略図である。
パス生成部により生成されるパスの一例について説明するための概略図である。
（Ａ）（Ｂ）部屋の用途がトイレまたは浴室である場合に生成されるパスの一例について説明するための概略図である。
画像処理装置で生成されるツアー画像の一例を説明するための概略図である。
（Ａ）（Ｂ）画像処理装置で生成されるツアー画像の一例を説明するための概略図である。
【発明を実施するための形態】
【０００９】
以下、図面を参照しながら、発明を実施するための形態を説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。
【００１０】
●実施形態●
●画像処理システムの概略
まず、図１を用いて、実施形態に係る画像処理システムの構成の概略について説明する。図１は、画像処理システムの全体構成の一例を示す図である。図１に示されている画像処理システム１は、不動産物件等の構造物の内部の空間を閲覧者にオンラインで閲覧させるための撮影画像に対する画像処理を行うシステムである。
（【００１１】以降は省略されています）

関連特許