特許ウォッチ

公開番号2025103344
公報種別公開特許公報(A)
公開日2025-07-09
出願番号2023220687
出願日2023-12-27
発明の名称推定装置、方法、および、プログラム
出願人株式会社デンソー,トヨタ自動車株式会社,株式会社ミライズテクノロジーズ
代理人弁理士法人明成国際特許事務所
主分類G06T 7/00 20170101AFI20250702BHJP(計算;計数)
要約【課題】処理負荷の増大の抑制と処理精度の維持とを両立できるSLAM技術を提供する。
【解決手段】移動体300に搭載されたカメラ200が移動体の周囲の環境を撮影した画像を用いて自己位置推定と地図作成を行う推定装置100は、画像を用いた自己位置推定の処理と、地図作成の処理とを並列して実行するSLAM処理部51と、画像から抽出された複数の特徴点のうちから最適な組合せを選択することを組合せ最適化問題として定式化した目的関数を最小化する処理を量子インスパイアードマシンに実行させる最適化処理部52と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
移動体（３００）に搭載されたカメラ（２００）が前記移動体の周囲の環境を撮影した画像を用いて自己位置推定と地図の作成を行う推定装置（１００）であって、
前記画像を用いた自己位置推定の処理と、地図作成の処理とを並列して実行するＳＬＡＭ処理部（５１）と、
前記画像から抽出された複数の特徴点のうちから最適な組合せを選択することを組合せ最適化問題として定式化した目的関数を最小化する処理を量子インスパイアードマシン（６０）に実行させる組合せ決定部（５２）と、
を備える推定装置。
続きを表示（約 1,600 文字）【請求項２】
請求項１に記載の推定装置であって、
前記目的関数は、ＱＵＢＯ（Quadratic Unconstrained Binary Optimization）形式で表されており、
前記ＱＵＢＯ形式で定式化された式の２次項は、選択される前記特徴点の前記組合せにおいて、前記組合せに含まれる複数の前記特徴点の前記画像内における位置を偏らせないという条件を満たし得るように設定されている、
推定装置。
【請求項３】
請求項２に記載の推定装置であって、
前記定式化された式の１次項は、選択される前記組合せに含まれる複数の前記特徴点の数を少なくするという条件を満たし得るように設定されている、
推定装置。
【請求項４】
請求項３に記載の推定装置であって、
前記定式化された式の前記１次項は、さらに、選択される前記組合せに含まれる複数の前記特徴点の特徴量は、選択されなかった前記特徴点の特徴量より大きいという条件を満たし得るように設定されている、
推定装置。
【請求項５】
請求項１に記載の推定装置であって、
前記組合せ決定部は、
前記特徴点のワールド座標系における座標を表すマップポイントの組合せを決定するため、複数の前記マップポイントのうちから最適な組合せを選択することを前記組合せ最適化問題として定式化した前記目的関数を最小化する処理を、前記量子インスパイアードマシンに実行させる、
推定装置。
【請求項６】
請求項５に記載の推定装置であって、
前記目的関数は、ＱＵＢＯ（Quadratic Unconstrained Binary Optimization）形式で表されており、
前記ＱＵＢＯ形式で定式化された式の２次項は、選択される前記マップポイントの前記組合せにおいて、前記組合せに含まれる複数の前記マップポイントのマップ空間内における位置を偏らせないという条件を満たし得るように設定されている、
推定装置。
【請求項７】
請求項６に記載の推定装置であって、
前記定式化された式の１次項は、選択される前記組合せに含まれる複数の前記マップポイントの数を少なくするという条件を満たし得るように設定されている、
推定装置。
【請求項８】
請求項１に記載の推定装置であって、
前記組合せ決定部は、
前記移動体の移動に伴う前記カメラの姿勢の変化を表す前記カメラの複数の推定ポーズのうちから、最適な組合せを選択することを前記組合せ最適化問題として定式化した前記目的関数を最小化する処理を、前記量子インスパイアードマシンに実行させる、
推定装置。
【請求項９】
請求項８に記載の推定装置であって、
前記目的関数は、ＱＵＢＯ（Quadratic Unconstrained Binary Optimization）形式で表されており、
前記ＱＵＢＯ形式で定式化された式の２次項は、
選択される複数の前記推定ポーズのうち、共通した１つ以上のマップポイントを見ることができる２以上のポーズにおける運動視差が大きいという条件を満たし得るように設定されている、
推定装置。
【請求項１０】
請求項９に記載の推定装置であって、
選択される前記組合せに含まれる複数の前記推定ポーズは、選択されなかった前記推定ポーズより、多くのマップポイントを見ることができるという条件を満たし得るように、前記定式化された式の１次項が、設定されている、
推定装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、推定装置、方法、および、プログラムに関する。
続きを表示（約 1,800 文字）【背景技術】
【０００２】
特許文献１に記載の技術においては、車両に設けられた自己位置推定装置が、車両の異なる位置に配置されている複数のカメラが取得した各画像から抽出された特徴点を用いてカメラの信頼度を算出し、信頼度に基づいて自己位置推定に用いるカメラを選択する。
【先行技術文献】
【特許文献】
【０００３】
特開２０２１－０４３４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の技術では、自己位置推定の処理の実行の前に、複数のカメラの信頼度を、各カメラが取得した画像から抽出した特徴点を用いて算出する。このため、カメラの数に応じて信頼度の処理の負荷が高くなる傾向がある。これにより、自己位置推定のリアルタイム処理が困難となるという問題があった。よって、処理負荷の増大の抑制と、処理精度の維持とを両立できる技術が求められていた。
【課題を解決するための手段】
【０００５】
本開示の一形態によれば、推定装置（１００）が提供される。この推定装置は、移動体（３００）に搭載されたカメラ（２００）が前記移動体の周囲の環境を撮影した画像を用いて自己位置推定と地図作成を行う推定装置である。この推定装置は、前記画像を用いた自己位置推定の処理と、地図作成の処理とを並列して実行するＳＬＡＭ処理部（５１）と、前記画像から抽出された複数の特徴点のうちから最適な組合せを選択することを組合せ最適化問題として定式化した目的関数を最小化する処理を量子インスパイアードマシン（６０）に実行させる組合せ決定部（５２）と、を備える。
【０００６】
上記形態の推定装置によれば、量子インスパイアードマシンが画像から抽出された複数の特徴点のうちから最適な組合せを選択する組合せ最適化問題を解くことにより、画像から抽出された複数の特徴点のうちから最適な組合せを選択できる。よって、処理の負荷の増大の抑制と処理の精度の維持とを両立できる。
【図面の簡単な説明】
【０００７】
推定装置の概略構成を表すブロック図である。
フレームから抽出された特徴点の説明図である。
マップポイントの説明図である。
ＳＬＡＭ処理部が実行する処理のフローチャートである。
トラッキングスレッドにおいて実行される一連の処理を示すフローチャートである。
ローカルマッピングスレッドにおいて実行される一連の処理を示すフローチャートである。
従来技術との比較のための説明図である。
【発明を実施するための形態】
【０００８】
Ａ．第１実施形態：
Ａ１．推定装置の概要：
図１に示すように、推定装置１００は車両３００に搭載されている。推定装置１００は、車両３００に備えられたカメラ２００が撮影した画像に基づいて、ＶｉｓｕａｌＳＬＡＭ（Simultaneous Localization and Mapping）技術を用いて、自己位置の推定の処理および周囲環境を表す地図の作成の処理を実行する。
【０００９】
車両３００は、車両３００の各部を制御するための車両制御装置（図示せず）と、車両制御装置の制御に従って駆動する１以上のアクチュエータを含むアクチュエータ群（図示せず）と、を備える。アクチュエータ群には、車両３００を加速させるための駆動装置のアクチュエータ、車両３００の進行方向を変更するための操舵装置のアクチュエータ、及び、車両３００を減速させるための制動装置のアクチュエータが含まれる。駆動装置には、バッテリ、バッテリの電力により駆動する走行用モータ、および、走行用モータにより回転する駆動輪が含まれている。
【００１０】
カメラ２００は、例えば、車両３００のフロントガラスの上部に設けられている。カメラ２００は、カラー画像を撮像できる単眼カメラである。カメラ２００は、車両３００の外部の決められた範囲をあらかじめ決められたフレームレートで撮像する。実施形態において、カメラ２００は車両３００の前方の決められた範囲を撮像する。カメラ２００は取得した画像を推定装置１００に出力する。各画像は動画を構成する「フレーム」に相当する。
（【００１１】以降は省略されています）

関連特許