特許ウォッチ

公開番号2025143101
公報種別公開特許公報(A)
公開日2025-10-01
出願番号2024042843
出願日2024-03-18
発明の名称情報処理装置、及び情報処理プログラム
出願人富士フイルム株式会社
代理人弁理士法人太陽国際特許事務所
主分類A61B 1/00 20060101AFI20250924BHJP(医学または獣医学;衛生学)
要約【課題】不存在の場合と比較して被写体の特定を困難にさせる構造不明領域が内視鏡画像に含まれる場合であっても、内視鏡画像から生体内における内視鏡の視点を把握する。
【解決手段】情報処理装置3は、内視鏡画像4から構造不明領域を検出し、予め生成された気管支モデル5を取得し、内視鏡画像4、構造不明領域、及び気管支モデル5を用いて、内視鏡画像4が撮影された位置での内視鏡2の視点を推定し、推定した内視鏡2の視点を報知する。
【選択図】図1
特許請求の範囲【請求項１】
生体の内視鏡画像から構造不明領域を検出する検出部と、
予め生成された前記生体の３次元モデルを取得する取得部と、
前記内視鏡画像、前記構造不明領域、及び前記３次元モデルを用いて、内視鏡画像が撮影された位置に対応する前記３次元モデルの位置における内視鏡の姿勢を前記内視鏡の視点として推定する推定部と、
推定した前記内視鏡の視点を報知する報知部と、
を備えた情報処理装置。
続きを表示（約 1,300 文字）【請求項２】
前記３次元モデルの内部の予め定めた位置から前記３次元モデルを眺めた場合の前記生体の仮想内視鏡画像を生成する生成部を備え、
前記推定部は、前記内視鏡画像、前記構造不明領域の位置情報、及び前記３次元モデルから生成された前記仮想内視鏡画像に対して、前記内視鏡画像と前記仮想内視鏡画像との視点差を出力するように予め機械学習が行われた推定モデルに、前記内視鏡画像、前記構造不明領域の位置情報、及び前記仮想内視鏡画像を入力して前記視点差を取得し、前記視点差と前記仮想内視鏡画像が得られた位置から前記内視鏡の視点を推定する
請求項１に記載の情報処理装置。
【請求項３】
前記推定部は、前記内視鏡画像を前記３次元モデルから生成された前記仮想内視鏡画像の表現形式に変換した疑似仮想内視鏡画像を前記内視鏡画像の代わりに用いて、前記内視鏡の視点を推定する
請求項２に記載の情報処理装置。
【請求項４】
前記推定部は、前記疑似仮想内視鏡画像として、前記構造不明領域の位置情報が重畳された画像を用いて前記内視鏡の視点を推定する
請求項３に記載の情報処理装置。
【請求項５】
前記推定部は、前記構造不明領域の位置情報が重畳された前記疑似仮想内視鏡画像を、前記内視鏡画像及び前記構造不明領域の位置情報として用いて前記内視鏡の視点を推定する
請求項３に記載の情報処理装置。
【請求項６】
前記推定部は、前記構造不明領域の位置情報が重畳された前記内視鏡画像を用いて前記内視鏡の視点を推定する
請求項２に記載の情報処理装置。
【請求項７】
前記推定モデルの機械学習に用いられる前記内視鏡画像が、前記仮想内視鏡画像から生成された画像である
請求項２に記載の情報処理装置。
【請求項８】
前記推定モデルは、前記内視鏡画像、前記構造不明領域の位置情報、前記仮想内視鏡画像、及び前記内視鏡の位置に関連した補足情報に対して前記視点差を出力するように予め機械学習が行われたモデルであり、
前記推定部は、前記内視鏡画像、前記構造不明領域の位置情報、前記仮想内視鏡画像、及び前記補足情報を前記推定モデルに入力して前記内視鏡の視点を推定する
請求項２に記載の情報処理装置。
【請求項９】
前記補足情報が前記内視鏡画像に対応した深度画像である
請求項８に記載の情報処理装置。
【請求項１０】
前記推定部は、前記内視鏡画像に対応した深度画像に対して前記構造不明領域の位置情報を重畳した重畳深度画像を生成すると共に、前記３次元モデルの内部の各々の位置における仮想深度画像に対して前記構造不明領域の位置情報を重畳した重畳仮想深度画像を生成し、
前記３次元モデルの内部の各々の位置における前記重畳仮想深度画像のうち、前記重畳深度画像に最も類似する前記重畳仮想深度画像が表す位置から前記内視鏡の視点を推定する
請求項１に記載の情報処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、情報処理装置、及び情報処理プログラムに関する。
続きを表示（約 1,500 文字）【背景技術】
【０００２】
例えば特許文献１には、取得した内視鏡画像、及び３次元画像からそれぞれ特徴点を抽出し、内視鏡画像の特徴点と一致する特徴点を有する仮想内視鏡画像が得られる視点情報を取得し、３次元画像と視点情報に基づいて仮想内視鏡画像を生成し、内視鏡画像と仮想内視鏡画像とを同一の画面上に表示する画像処理装置が開示されている。
【０００３】
特許文献２には、病変部を有する管腔物に関するボリュームデータと、病変部に関する内視鏡画像のデータとを記憶し、ボリュームデータに基づいて複数の仮想内視鏡画像を生成し、内視鏡画像と仮想内視鏡画像との類似度が最大となる画像の組み合わせを表示部に表示する内視鏡検査支援システムが開示されている。
【０００４】
特許文献３には、複数の内視鏡画像とボリュームデータを取得し、ボリュームデータから複数の仮想内視鏡画像を生成し、所定の位置から撮影された内視鏡画像と、所定の位置と対応する位置から撮影されたように仮想的に生成された比較仮想内視鏡画像を抽出して対応付け、比較仮想内視鏡画像を構成する複数の画素のそれぞれの３次元的な位置に基づいて、所定の位置から撮影された内視鏡画像を構成する複数の画素のそれぞれ対応する画素の位置を算出する内視鏡画像処理装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
国際公開第２０１９／１３０８６８号
特開２０１１－１７３号公報
特開２０１２－５０６０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
内視鏡検査等において、内視鏡画像から生体内における内視鏡の位置及び姿勢を推定し、内視鏡が目標箇所に到達するように内視鏡の進行方向を医療従事者に報知する情報処理装置が用いられることがある。
【０００７】
この場合、不存在の場合と比較して被写体の特定を困難にさせる領域である構造不明領域が内視鏡画像に含まれると、内視鏡画像から得られる情報が減少し、内視鏡の位置及び姿勢の推定精度が低下することがある。
【０００８】
本開示は、上記事情を考慮して成されたものであり、構造不明領域が内視鏡画像に含まれる場合であっても、内視鏡画像から生体内における内視鏡の視点を把握することができる情報処理装置、及び情報処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本開示の技術に係る第１態様の情報処理装置は、生体の内視鏡画像から構造不明領域を検出する検出部と、予め生成された生体の３次元モデルを取得する取得部と、内視鏡画像、構造不明領域、及び３次元モデルを用いて、内視鏡画像が撮影された位置に対応する３次元モデルの位置における内視鏡の姿勢を内視鏡の視点として推定する推定部と、推定した内視鏡の視点を報知する報知部と、を備える。
【００１０】
本開示の技術に係る第２態様の情報処理装置は、第１態様に係る情報処理装置において、３次元モデルの内部の予め定めた位置から３次元モデルを眺めた場合の生体の仮想内視鏡画像を生成する生成部を備え、推定部は、内視鏡画像、構造不明領域の位置情報、及び３次元モデルから生成された仮想内視鏡画像に対して、内視鏡画像と仮想内視鏡画像との視点差を出力するように予め機械学習が行われた推定モデルに、内視鏡画像、構造不明領域の位置情報、及び仮想内視鏡画像を入力して視点差を取得し、視点差と仮想内視鏡画像が得られた位置から内視鏡の視点を推定する。
（【００１１】以降は省略されています）

関連特許