特許ウォッチ

公開番号2025115899
公報種別公開特許公報(A)
公開日2025-08-07
出願番号2024010605
出願日2024-01-26
発明の名称画像処理装置、画像処理方法及び画像処理プログラム
出願人国立大学法人九州工業大学
代理人個人,個人
主分類G06V 10/778 20220101AFI20250731BHJP(計算;計数)
要約【課題】ヘッドマウントディスプレイ等を用いて機械学習等の学習処理を支援する画像処理装置を提供する。
【解決手段】画像処理装置100は、ヘッドマウントディスプレイ101の前景を撮影した画像データを受信する画像受信部105と、ニューラルネットワークの推論モデル114を用いて所定の特徴領域を推定する領域推定部107と、特徴領域に関する情報を、ヘッドマウントディスプレイ101上に重畳表示する画像制御部108と、画像データにおける任意の領域を選択する領域選択部110と、選択された領域に含まれる画像を学習用データとして生成する学習用データ生成部111と、少なくとも前記学習用データを用いて学習を行い、前記推論モデルを生成する学習部113と、を備える。
【選択図】図1
特許請求の範囲【請求項１】
ヘッドマウントディスプレイに画像を表示する画像処理装置であって、
前記ヘッドマウントディスプレイの前景を撮影した画像データを受信する画像受信部と、ニューラルネットワークの推論モデルを用いて、前記画像データから所定の特徴領域を推定する領域推定部と、
前記特徴領域に関する情報を出力する画像制御部と、
前記画像データにおける任意の領域を選択する領域選択部と、
選択された前記領域に含まれる画像を学習用データとして生成する学習用データ生成部と、
少なくとも前記学習用データを用いて学習を行い、前記推論モデルを生成する学習部と、を備える画像処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記画像制御部は、前記画像受信部で受信した画像データに、前記特徴領域に関する情報を重畳した表示データを出力する、請求項１に記載の画像処理装置。
【請求項３】
前記ヘッドマウントディスプレイは透過型ヘッドマウントディスプレイであり、
前記画像制御部は、前記特徴領域に関する情報を、前記透過型ヘッドマウントディスプレイ上で透過表示される前記前景に重畳表示する表示データを出力する、請求項１に記載の画像処理装置。
【請求項４】
学習済みの学習用データを保持する学習用データ保持部をさらに備え、
前記推論モデルは、前記学習用データ保持部に保持された学習用データを用いて学習された学習済みの推論モデルであり、
前記学習部は、前記学習用データ保持部に保持された学習用データと、前記学習用データ生成部で生成された学習用データとを用いて前記学習済みの推論モデルに対して学習を行う、請求項２または３に記載の画像処理装置。
【請求項５】
前記画像制御部は、前記領域選択部で選択された領域を前記表示データに含めて出力する請求項４に記載の画像処理装置。
【請求項６】
前記画像制御部は、前記表示データを拡大もしくは縮小して出力する請求項５に記載の画像処理装置。
【請求項７】
前記画像制御部は、前記推論モデルの出力を評価値とし、前記評価値を前記表示データに含めて出力する請求項５に記載の画像処理装置。
【請求項８】
前記画像受信部は、ユーザの動作を撮影した画像データをさらに受信し、
前記ユーザの動作を撮影した画像データを解析して制御情報を出力する動作制御部をさらに備え、
前記領域選択部は、前記制御情報に基づいて前記領域を選択する請求項４に記載の画像処理装置。
【請求項９】
前記情報受信部は、前記ヘッドマウントディスプレイからユーザの視線情報をさらに受信し、
前記領域選択部は、前記視線情報に基づいて前記領域を選択する請求項４に記載の画像処理装置。
【請求項１０】
ヘッドマウントディスプレイに画像を表示する画像処理方法であって、
前記ヘッドマウントディスプレイの前景を撮影した画像データを受信するステップと、
ニューラルネットワークの推論モデルを用いて、前記画像データから所定の特徴領域を推定するステップと、
前記特徴領域に関する情報を出力するステップと、
前記画像データにおける任意の領域を選択するステップと、
選択された前記領域に含まれる画像を学習用データとして生成するステップと
少なくとも前記学習用データを用いて学習を行い、前記推論モデルを生成するステップと
を備えた画像処理方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、機械学習等の学習処理を支援する画像処理装置、画像処理方法及び画像処理プログラムに関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
工場などの製造業の現場では、人的コストの２０～３０％が検査業務に費やされていると言われている。特に人が目視で不良品判別を行う外観検査の中には、基準の統一が難しい官能検査等もあり、作業に従事する検査員の心身の負担は大きい。そのような課題を解決するためにＡＩ（Artificial Intelligence：人工知能）等を活用した外観検査の活用が行われつつある。
【０００３】
例えば特許文献１では、機械学習によりあらかじめ学習されたニューラルネットワークのモデルを用いて外観検査を行う装置が開示されている。被検査物を撮影した画像データに基づき、学習済みの推論モデルを用いて外観不良箇所が推定される。そして透過型ヘッドマウントディスプレイにおいて、推定された不良箇所が被検査物に重畳して表示される。これにより外観不良を有する被検査物を検査員が容易に視認できる。
【先行技術文献】
【特許文献】
【０００４】
実用新案登録第３２２３２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば学習済みの推論モデルを用いて外観検査を行う場合、本来は不良でない箇所を不良と誤判定することや、不良であるにもかかわらず不良ではないと誤判定するような場合がある。あらかじめ学習させておく学習データの数や種類には限界があるため、例えば未知の不良に対しては誤判定が発生しやすい。また外観検査を行う環境が学習時の環境と異なることも誤判定の要因になり得る。
【０００６】
このような誤判定を低減させるためには、新たな検査環境に合わせて、既存の学習済みモデルを再学習することが望ましい。例えば、誤判定した対象物を新たに学習データに加えて再学習することにより、検出精度の向上が期待できる。
【０００７】
しかし再学習を行うためには、新たに学習対象となる対象物をカメラ等で撮影し、パソコン等の端末に画像データを取り込み、取り込んだ画像内の学習対象領域を特定して学習用データを作成し、改めて学習処理を行うという煩雑な作業が必要となる。これでは現場での作業負担が増大してしまう。
【０００８】
そこで本発明は、ヘッドマウントディスプレイを装着したまま、検査結果を視認できるとともに、学習や再学習の処理を行うことができる画像処理技術を提供する。
【課題を解決するための手段】
【０００９】
本発明における画像処理装置は、ヘッドマウントディスプレイに画像を表示する画像処理装置であって、ヘッドマウントディスプレイの前景を撮影した画像データを受信する画像受信部と、ニューラルネットワークの推論モデルを用いて、画像データから所定の特徴領域を推定する領域推定部と、特徴領域に関する情報を出力する画像制御部と、画像データにおける任意の領域を選択する領域選択部と、領域選択部で選択された領域に含まれる画像を学習用データとして生成する学習用データ生成部と、少なくとも生成された学習用データを用いて学習を行い、前記推論モデルを生成する学習部と、を備える。
【００１０】
また、本発明における画像処理方法は、ヘッドマウントディスプレイに画像を表示する画像処理方法であって、ヘッドマウントディスプレイの前景を撮影した画像データを受信するステップと、ニューラルネットワークの推論モデルを用いて、画像データから所定の特徴領域を推定するステップと、特徴領域に関する情報を出力するステップと、画像データにおける任意の領域を選択するステップと、選択された領域に含まれる画像を学習用データとして生成するステップと、少なくとも生成された学習用データを用いて学習を行い、推論モデルを生成するステップと、を備える。
【発明の効果】
（【００１１】以降は省略されています）

関連特許