特許ウォッチ

公開番号2025102344
公報種別公開特許公報(A)
公開日2025-07-08
出願番号2023219709
出願日2023-12-26
発明の名称画像処理装置および画像処理方法
出願人株式会社キーエンス
代理人
主分類G06T 7/00 20170101AFI20250701BHJP(計算;計数)
要約【課題】過検出を生じないようにすることを、本開示の目的の1つとする。
【解決手段】検査対象画像に含まれるオブジェクトを、機械学習モデルを用いて検出するプロセッサを備える画像処理装置であって、プロセッサは、検査対象物が撮像された学習画像を用いて機械学習モデルを訓練し、機械学習モデルを用いて検査対象画像においてオブジェクトであると推定される部分を出力し、オブジェクトであると推定された部分を強調した表示画像を表示部に表示させ、表示画像において、オブジェクトとして強調された部分が、オブジェクトとして検出する対象ではない非検出対象であることを示す第1アノテーションの指定を、表示部を介して受け付け、検査対象画像と第1アノテーションとを用いて、検査対象画像の第1アノテーションが指定された部分をオブジェクトとして検出しないように機械学習モデルを訓練する。
【選択図】図1
特許請求の範囲【請求項１】
検査対象物が撮像された検査対象画像に含まれるオブジェクトを、機械学習モデルを用いて検出するプロセッサを備える画像処理装置であって、
前記プロセッサは、
前記検査対象物が撮像された学習画像を用いて、前記機械学習モデルを訓練し、
訓練された前記機械学習モデルを用いて、前記検査対象画像において前記オブジェクトであると推定される部分を出力し、
前記検査対象画像に基づいて前記オブジェクトであると推定された部分を強調した表示画像を表示部に表示させ、
前記表示部に表示された前記表示画像において前記オブジェクトとして強調された部分が、前記オブジェクトとして検出する対象ではない非検出対象であることを示す第１アノテーションの指定を、前記表示部を介して受け付け、
前記検査対象画像と前記第１アノテーションとを用いて、前記検査対象画像の前記第１アノテーションが指定された部分を、前記オブジェクトとして検出しないように前記機械学習モデルを訓練する
画像処理装置。
続きを表示（約 2,000 文字）【請求項２】
前記プロセッサは、
前記検査対象画像において、前記オブジェクトであると推定された部分が、当該部分以外に存在する前記非検出対象の部分よりも優先的に前記非検出対象と推定されるように、前記第１アノテーションに基づいて、前記機械学習モデルを訓練する
請求項1に記載された画像処理装置。
【請求項３】
前記プロセッサは、
前記検査対象画像において、前記第１アノテーションに対応する部分の損失関数値が、当該第１アノテーションに対応する部分以外に存在する前記非検出対象の部分の損失関数値よりも早く収束するように、前記機械学習モデルを訓練する
請求項２に記載された画像処理装置。
【請求項４】
前記プロセッサは、
前記第１アノテーションに対応する部分の損失関数値が、当該第１アノテーションに対応する部分以外に存在する前記非検出対象の部分の損失関数値よりも、最適値に向けた収束速度が大きくなるように、前記機械学習モデルを訓練する
請求項３に記載された画像処理装置。
【請求項５】
前記プロセッサは、
前記第１アノテーションに対応する部分の損失関数値をより大きくし、または重みをかけた上で、当該損失関数値を用いることによって、前記第１アノテーションに対応する部分の損失関数値の前記最適値への収束を早めるように、前記機械学習モデルを訓練する、
請求項４に記載された画像処理装置。
【請求項６】
前記プロセッサは、
前記検査対象画像において、前記第１アノテーションに対応する部分の損失関数値と、当該第１アノテーションに対応する部分以外に存在する前記非検出対象の部分に対応する損失関数値との差分が閾値以下の場合は、前記第１アノテーションに対応する部分と前記非検出対象の部分とを区別することなく、前記機械学習モデルを訓練する
請求項１に記載された画像処理装置。
【請求項７】
前記プロセッサは、
前記検査対象画像において、前記オブジェクトであると推定された部分のなかで、前記第１アノテーションの指定を受けた部分である前記第１アノテーション指定部分と、前記第１アノテーションの指定を受けていない部分であるオブジェクト推定維持部分がある場合に、前記第１アノテーションを用いて前記機械学習モデルを訓練しても、前記オブジェクト推定維持部分が、依然として、前記オブジェクトであると推定されるように、前記機械学習モデルを訓練する
請求項１に記載された画像処理装置。
【請求項８】
前記プロセッサは、
前記機械学習モデルを用いて、前記検査対象画像において第１オブジェクト及び第２オブジェクトと推定される部分をそれぞれ出力し、
前記検査対象画像に基づいて、前記第１オブジェクトであると推定された第１部分及び前記第２オブジェクトであると推定された第２部分を強調した表示画像を前記表示部に表示させ、
前記表示画像の前記第１部分及び前記第２部分のうち、当該第１部分に対してのみ前記第１アノテーションの指定を、前記表示部を介して受け付け、
前記検査対象画像と前記第１アノテーションとを用いることにより、前記検査対象画像の前記第１アノテーションが指定された部分を前記第１オブジェクトとして検出させないように、かつ、前記第２オブジェクトを依然として検出するように前記機械学習モデルを訓練する
請求項１に記載された画像処理装置。
【請求項９】
前記オブジェクトは、異常を示すものであり、
前記プロセッサは、
前記検査対象画像に含まれる可能性がある異常を視認可能にした異常度マップを前記表示部に表示させることにより、前記異常度マップに基づいて、前記第１アノテーションの指定を受け付けることが出来るものである、
請求項１に記載された画像処理装置。
【請求項１０】
前記プロセッサは、
前記検査対象画像において前記オブジェクトであると推定されなかった部分のいずれかについて、当該部分が前記オブジェクトとして検出する対象であることを示す第２アノテーションの指定を受け付けることが出来るものであり、
前記第１アノテーションまたは前記第２アノテーションの一方または両方、及び、前記検査対象画像を用いて、前記第１アノテーションに対応する部分が前記オブジェクトであると推定されないものとなり、かつ、前記第２アノテーションに対応する部分が前記オブジェクトであると推定されるものとなるように、前記機械学習モデルを訓練する、
請求項１に記載された画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、検査対象画像（または、当該検査対象画像に撮像されている検査対象物。以下、同様）に含まれるオブジェクトを検出するオブジェクト検査技術に関するものである。
続きを表示（約 4,400 文字）【背景技術】
【０００２】
従来から、検査対象物を撮像して得た検査対象画像に含まれるオブジェクトを検出することが知られている。ここでいうオブジェクトとしては、例えば、検査対象画像に含まれる異常（欠陥、傷など）や物体など幅広いものが想定される。近年は、例えば深層のニューラルネットワークにより表現されるモデルを機械学習により訓練して得た学習済みモデルを用いて、検査対象画像に含まれるオブジェクトを検出することが検討されている。
【０００３】
特許文献１には、検査対象画像に含まれる異常を検出する外観検査装置が開示されている。特許文献１に開示された先行技術は、検査対象画像を畳み込みニューラルネットワーク（学習済ニューラルネットワーク）に入力し、畳み込みニューラルネットワーク（学習済ニューラルネットワーク）の各階層から特徴マップを出力し、各階層からの特徴マップのそれぞれを、各階層のそれぞれに対応するオートエンコーダによるモデルに入力するものである。各階層に対応するオートエンコーダによるモデルは、モデルへの入力である特徴マップとオートエンコーダからの出力である特徴マップの間で、空間位置（空間座標）のそれぞれにおいて、特徴量の差分のノルムの二乗（のチャネル方向の和）を損失関数として算出し、当該損失関数の値を異常度として扱う。空間位置（空間座標）のそれぞれに対応する異常度の集合により、異常度マップが形成される。特許文献１に開示された先行技術は、異常度マップを用いて、検査対象画像に異常が含まれるか否かを判断する。
特許文献２には、検査対象のワークを撮像したワーク画像の良否判定を行う外観検査装置が開示されている。特許文献２に開示された先行技術は、ワーク画像を機械学習ネットワークに入力して、ワーク画像の良否判定を行うものである。機械学習ネットワークのパラメータを調整するために、良品画像と不良品画像を機械学習ネットワークに入力する機械学習が実行される。良品画像は、良品画像であることを示すラベルが付与される。不良品画像は、不良品画像であることを示すラベルが付与される場合と、不良品画像であることを示すラベルが付与された上で不良箇所を指定するアノテーションも付与される場合がある。
【先行技術文献】
【特許文献】
【０００４】
特開２０２３－７７０５９号公報
特開２０２３－７７０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
機械学習による訓練がされるモデルを用いて、検査対象画像に含まれるオブジェクトを検出する際には、本来はオブジェクトとして検出しない対象が、オブジェクトとして検出されるという「過検出」が生じる場合がある。過検出が生じている原因には様々なことが想定される。例えば学習データ（学習画像）に偏りがある場合には、本来オブジェクトとして検出しない対象の一部が、モデルに学習されていない状況になり得るゆえ、過検出につながりうる。また、例えば、小さい埃などが検査対象画像に映り込むなどして、オブジェクトが「過検出」される場合もあり得る。
オブジェクトが「過検出」されることは、モデルを用いたオブジェクト検出の精度を低下させる恐れがあるゆえ、出来るだけオブジェクトが「過検出」されないように、モデルを訓練することが検討され得る。ここで、過検出が生じないように、機械学習によりモデルを訓練する手法として、いくつかが考えられ得る。
過検出を生じさせない手法の１つは、損失関数の定義などのモデルの設計を工夫することである。しかしながら、このような工夫を行うためには、機械学習や検査対象物に対する専門知識が必要なことが多い。そのため、検査対象画像に含まれるオブジェクトを検出するシステムを実際に運用する現場の担当者が、上記のような工夫を実行することは困難であることが多い。更に、上記のような工夫の内容次第では、当該工夫の前のモデルで適切にオブジェクトの有無の推定が行えていた部分（領域）の当該推定の精度に悪影響が生じることもあり得る。
過検出を生じさせない手法のもう１つは、機械学習に用いる学習データを追加することである。しかしながら、過検出が生じないようにするためには、どのような学習データをどの程度の数だけ追加すればよいのかが、前記した現場の担当者にとって判断が困難であることが多い。また、オブジェクトが異常である場合に、異常を含む学習画像の数を増やすことは困難なこともある。加えて、出現頻度が低い事象であって、検査対象画像における背景部分における事象が、オブジェクトとして過検出されないようにしたい場合においては、学習データの追加では改善されない可能性が高い。
特許文献１に、過検出への対策として、階層のそれぞれに対応する特徴マップ、または、合成特徴マップのなかで、過検出が生じているものを極力用いないようにすることが示されている。しかしながら、この対策は、モデルによる過検出自体を解消するものではない。また特許文献１に、過検出への別の対策として、学習用画像の追加についての言及がある。しかしながら、既に指摘したように、学習データの追加には難点があることが多い。
特許文献２に、学習データである良品画像や不良品画像に対してラベルやアノテーションを付与することが示されている。しかしながら、特許文献２は、不良品画像を不良品画像として検出出来ないという「検出漏れ」が判明した場合に、検出漏れとなった不良品画像に不良箇所を指定するアノテーションを付与することが示されているのにとどまる。つまり、特許文献２に開示された先行技術は、過検出が判明した場合に、過検出が生じないようにする対策を行うものではない。
【０００６】
以上を踏まえて、機械学習による訓練がされるモデルを用いて、検査対象物を撮像して得た検査対象画像に含まれるオブジェクトを検出するに際して、本来はオブジェクトとして検出しない対象が、オブジェクトとして検出されるという「過検出」を生じないようにする（または、過検出の程度を緩和する）ことを、本開示の目的の１つとする。
機械学習に対する専門知識を充分に有していない者であっても、上記したモデルが「過検出」を生じないようにする（または、過検出の程度を緩和する）ための、機械学習によるモデルの訓練を実現することを、本開示の目的の１つとする。
上記したモデルが「過検出」を生じさせることが判明した際に、モデルが「過検出」を生じないようにする（または、過検出の程度を緩和する）ための、機械学習によるモデルの訓練を実現することを、本開示の目的の１つとする。
【課題を解決するための手段】
【０００７】
上記目的のうちの少なくとも１つを達成するために、本開示が備えうる特徴は、例えば次のとおりである。
本開示の１つは、検査対象物が撮像された検査対象画像に含まれるオブジェクトを、機械学習モデルを用いて検出するプロセッサを備える画像処理装置であって、前記プロセッサは、前記検査対象物が撮像された学習画像を用いて、前記機械学習モデルを訓練し、訓練された前記機械学習モデルを用いて、前記検査対象画像において前記オブジェクトであると推定される部分を出力し、前記検査対象画像に基づいて前記オブジェクトであると推定された部分を強調した表示画像を表示部に表示させ、前記表示部に表示された前記表示画像において、前記オブジェクトとして強調された部分が、前記オブジェクトとして検出する対象ではない非検出対象であることを示す第１アノテーションの指定を、前記表示部を介して受け付け、前記検査対象画像と前記第１アノテーションとを用いて、前記検査対象画像の前記第１アノテーションが指定された部分を、前記オブジェクトとして検出しないように前記機械学習モデルを訓練する画像処理装置である。
【発明の効果】
【０００８】
本開示によれば、機械学習モデルを用いて、検査対象画像に含まれるオブジェクトを検出するに際して、本来はオブジェクトとして検出しない対象が、オブジェクトとして検出されるという「過検出」を生じないようにする（または、過検出の程度を緩和する）ことを実現出来る。
本開示は、オブジェクトであると推定された部分を強調して表示した表示画像を表示した上で、当該部分がオブジェクトとして検出する対象ではないことを示す第１アノテーションの指定を受け付けることが出来る。そのため、本開示は、機械学習に対する専門知識を充分に有していない者であっても、上記したモデルが「過検出」を生じないようにする（または、過検出の程度を緩和する）ための、機械学習モデルの訓練を実現することが出来る。
【０００９】
上記の画像処理装置が実現する処理と同様のことを実現する画像処理方法や画像処理プログラムも、上記の画像処理装置と同様の作用効果を得ることが出来る。更に、プログラムの態様であれば、多くの場合で費用は削減される。プログラムでは、処理に関する設計変更も行われやすい。
【図面の簡単な説明】
【００１０】
本開示の実施形態の機能構成を示す。
本開示の実施形態におけるモデルの内部構成の例を示す。
第１及び第２アノテーションを用いたモデルの訓練を示す。
本開示の実施形態を含む全体システムのシステム構成を示す。
本開示の実施形態を実現するコンピュータアーキテクチャを示す。
本開示の実施形態の全体フローを示す。
学習画像によるモデルの訓練の処理のフローチャートを示す。
オブジェクト推定と表示出力の処理のフローチャートを示す。
アノテーション指定の処理のフローチャートを示す。
アノテーション指定画面を示す。
第１アノテーション指定の手法を示す。
第２アノテーション指定の手法を示す。
アノテーション付きのモデルの訓練の処理のフローチャートを示す。
第１アノテーション指定部分とオブジェクト維持部分の役割を示す。
第１アノテーション指定部分と非指定部分の関係（その１）を示す。
第１アノテーション指定部分と非指定部分の関係（その２）を示す。
第１アノテーションの強さ指定の役割を示す。
モデルの訓練の複数回実行の態様を示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許