特許ウォッチ

公開番号2025102343
公報種別公開特許公報(A)
公開日2025-07-08
出願番号2023219708
出願日2023-12-26
発明の名称外観検査装置および外観検査方法
出願人株式会社キーエンス
代理人
主分類G01N 21/88 20060101AFI20250701BHJP(測定;試験)
要約【課題】検査対象物の種類や要望する検査内容に応じた設定を行うことが出来る、柔軟な運用が可能な外観検査を実現することを、本開示の目的の1つとしてよい。
【解決手段】
検査対象物が撮像された検査対象画像に含まれる欠陥を、機械学習モデルを用いて検出するプロセッサを備える外観検査装置であって、第1機械学習モデルは、第2機械学習モデルよりも、位置依存性のある欠陥を検出しやすいものであり、第2機械学習モデルは、第1機械学習モデルよりも、位置依存性の無い欠陥を検出しやすいものであり、プロセッサは、検証画像に対する第1機械学習モデルおよび第2機械学習モデルの欠陥検出の精度に基づいて、第1機械学習モデルおよび第2機械学習モデルの使用比率を決定し、使用比率に基づいて、第1機械学習モデルおよび第2機械学習モデルの少なくとも一方を用いて、検査対象画像に含まれる欠陥を検出する。
【選択図】図1
特許請求の範囲【請求項１】
検査対象物が撮像された検査対象画像に含まれる欠陥を、機械学習モデルを用いて検出するプロセッサを備える外観検査装置であって、
前記機械学習モデルは、第１機械学習モデルと、第２機械学習モデルと、を含み、
前記第１機械学習モデルは、前記第２機械学習モデルよりも、位置依存性のある欠陥を検出しやすいものであり、
前記第２機械学習モデルは、前記第１機械学習モデルよりも、位置依存性の無い欠陥を検出しやすいものであり、
前記プロセッサは、
前記検査対象物が撮像された学習画像を用いて、前記第１機械学習モデルおよび前記第２機械学習モデルを訓練し、
訓練された前記第１機械学習モデルおよび前記第２機械学習モデルを用いて、前記検査対象物が撮像された検証画像に含まれる欠陥を検出し、
前記検証画像に対する前記第１機械学習モデルおよび前記第２機械学習モデルの欠陥検出の精度に基づいて、前記第１機械学習モデルおよび前記第２機械学習モデルの使用比率を決定し、
前記使用比率に基づいて、前記第１機械学習モデルおよび前記第２機械学習モデルの少なくとも一方を用いて、前記検査対象画像に含まれる欠陥を検出する
外観検査装置。
続きを表示（約 2,100 文字）【請求項２】
前記第１機械学習モデルは、複数のブロックに分けられた画像又は特徴マップのブロックごとに欠陥を検出し、
前記第２機械学習モデルは、前記第１機械学習モデルよりも少ないブロック数で分けられた前記画像又は特徴マップのブロックごとに欠陥を検出する
請求項１に記載された外観検査装置。
【請求項３】
前記第１機械学習モデルおよび前記第２機械学習モデルは、それぞれ前記複数のブロックのブロックごとにパラメータを有し、当該パラメータに基づいてブロックごとに欠陥を検出する
請求項２に記載された外観検査装置。
【請求項４】
前記プロセッサは、
前記第１機械学習モデルを用いて前記検証画像の第１欠陥度を出力し、
前記第２機械学習モデルを用いて前記検証画像の第２欠陥度を出力し、
前記第１機械学習モデルおよび前記第２機械学習モデルの複数の使用比率候補を取得し、
前記複数の使用比率候補の各比率に基づいて、前記第１欠陥度および前記第２欠陥度を合成した合成欠陥度を出力し、
前記合成欠陥度に基づいて、各使用比率候補に対応する前記欠陥検出の精度を評価し、
前記欠陥検出の精度の評価結果に基づいて、前記複数の使用比率候補から前記使用比率を決定する
請求項１に記載された外観検査装置。
【請求項５】
前記プロセッサは、記憶部に予め記憶された前記複数の使用比率候補を取得する、または、ユーザから指定を受け付けることにより前記複数の使用比率候補を取得する
請求項４に記載された外観検査装置。
【請求項６】
前記検証画像のそれぞれには、欠陥の有無に関する正解ラベルが対応付けられており、
前記欠陥検出の精度は、
前記検証画像についての欠陥の有無に関する予測値の正解率、
前記検証画像についての、前記正解ラベルが示す欠陥の有無に関する正解値と、前記欠陥推定情報による欠陥の有無に関する予測値の組み合わせに対して算出される、適合率と再現率の調和平均であるＦ値、
欠陥を有さない前記検証画像の集合と、欠陥を有する前記検証画像の集合との間のヒストグラムにおける分離度の少なくともいずれかに基づいて算出される
請求項１に記載された外観検査装置。
【請求項７】
前記プロセッサは、
前記使用比率に基づいて、前記検証画像の欠陥度を示す欠陥度マップを前記表示部に表示させ、
ユーザから、前記使用比率の変更を受け付けると、前記変更後の使用比率に基づいて、前記検証画像の欠陥度を示す更新欠陥度マップを出力し、
前記表示部に前記更新欠陥度マップを表示させる
請求項１に記載された外観検査装置。
【請求項８】
前記プロセッサは、
複数の検証画像のそれぞれに対して、第１使用比率に基づいて出力された複数の欠陥度マップを前記表示部に一括表示させ、
ユーザから、前記第１使用比率を第２使用比率に変更する入力を受け付け可能に構成され、
前記複数の検証画像のそれぞれに対して、前記第２使用比率に基づいて出力された複数の更新欠陥度マップを前記表示部に一括表示させる
請求項７に記載された外観検査装置。
【請求項９】
前記第１機械学習モデルおよび前記第２機械学習モデルのそれぞれは、機械学習の実行の際に、互いに同じ学習画像または当該学習画像から得られる特徴マップが入力されることにより訓練されるものである
請求項１に記載された外観検査装置。
【請求項１０】
検査対象物が撮像された検査対象画像に含まれる欠陥を、機械学習モデルを用いて検出する外観検査方法であって、
前記検査対象物が撮像された学習画像を用いて、第１機械学習モデルおよび第２機械学習モデルを訓練するステップと、
訓練された前記第１機械学習モデルおよび前記第２機械学習モデルを用いて、前記検査対象物が撮像された検証画像に含まれる欠陥を検出するステップと、
前記検証画像に対する前記第１機械学習モデルおよび前記第２機械学習モデルの欠陥検出の精度に基づいて、当該前記第１機械学習モデルおよび前記第２機械学習モデルの使用比率を決定するステップと、
前記使用比率に基づいて、前記前記第１機械学習モデルおよび前記第２機械学習モデルの少なくとも一方を用いて、前記検査対象画像に含まれる欠陥を検出するステップと、
を備え、
前記機械学習モデルは、第１機械学習モデルと、第２機械学習モデルと、を含み、
前記第１機械学習モデルは、前記第２機械学習モデルよりも、位置依存性のある欠陥を検出しやすいものであり、
前記第２機械学習モデルは、前記第１機械学習モデルよりも、位置依存性の無い欠陥を検出しやすいものである
外観検査方法。

発明の詳細な説明【技術分野】
【０００１】
本開示は、検査対象画像に含まれる欠陥を検出する外観検査技術に関するものである。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
従来から、検査対象物を撮像して得た検査対象画像に含まれる欠陥を検出することが知られている。近年は、例えば深層ニューラルネットワークにより表現されるモデルを機械学習により訓練して得た学習済みモデルを用いて、検査対象画像に含まれる欠陥を検出することが検討される。
【０００３】
特許文献１には、対象物を撮像して得た画像データを５つの学習済み畳み込みニューラルネットワーク（ＣＮＮ）に入力して、ＣＮＮのそれぞれが、画像データに示される対象物が不良品であるか否かを判定する良否判定を行う先行技術が開示されている。特許文献１では、機械学習によりＣＮＮのそれぞれが訓練される際に、ＣＮＮ毎に互いに異なる画像データセットを用いた機械学習が行われるため、画像データセットと処理負荷とが増大してしまう。また、特許文献１は、不良品と判定したＣＮＮが１つでもあれば不良品と最終判定するため、ＣＮＮを多く準備することにより検出漏れは抑えられる一方で、過検出が増えてしまう。
【先行技術文献】
【特許文献】
【０００４】
特開２０２０－４６７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、外観検査の対象となる欠陥には様々な種類があり、例えば傷、汚れ、異物、位置ずれなどがある。ここで、本明細書では、例えば、傷、汚れ、異物、ひび割れ、腐食を検査対象物の表面状態に関する欠陥として「位置依存性の無い欠陥」と表現する。これに対して、例えば、位置ずれ、傾き、反りを、検査対象物（の一部）が本来あるべき位置にいない欠陥として「位置依存性のある欠陥」と表現する。機械学習モデルもアルゴリズムの特性やパラメータ設計によって、「位置依存性のある欠陥」と「位置依存性の無い欠陥」のどちらをより精度良く検出できるかは変わってくる。また、ユーザの検査ニーズも様々であり、「位置依存性のある欠陥」を検出したいのか、「位置依存性の無い欠陥」を検出したいのか、両方の欠陥を検出したいのかは、ユーザがどのような検査対象物に対して、どのような検査を実行したいのかに依存する。
【０００６】
本開示は、かかる点に鑑みてなされたものであり、その目的とするところは、ユーザの検出したい欠陥の種類に応じた検出性能を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本開示が備えうる特徴は、例えば次のとおりである。
本開示の１つは、検査対象物が撮像された検査対象画像に含まれる欠陥を、機械学習モデルを用いて検出するプロセッサを備える外観検査装置であって、前記機械学習モデルは、第１機械学習モデルと、第２機械学習モデルと、を含み、前記第１機械学習モデルは、前記第２機械学習モデルよりも、位置依存性のある欠陥を検出しやすいものであり、前記第２機械学習モデルは、前記第１機械学習モデルよりも、位置依存性の無い欠陥を検出しやすいものであり、前記プロセッサは、前記検査対象物が撮像された学習画像を用いて、前記第１機械学習モデルおよび前記第２機械学習モデルを訓練し、訓練された前記第１機械学習モデルおよび前記第２機械学習モデルを用いて、前記検査対象物が撮像された検証画像に含まれる欠陥を検出し、前記検証画像に対する前記第１機械学習モデルおよび前記第２機械学習モデルの欠陥検出の精度に基づいて、前記第１機械学習モデルおよび前記第２機械学習モデルの使用比率を決定し、前記使用比率に基づいて、前記第１機械学習モデルおよび前記第２機械学習モデルの少なくとも一方を用いて、前記検査対象画像に含まれる欠陥を検出する外観検査装置である。
【発明の効果】
【０００８】
以上のように、本開示は、位置依存性のある欠陥を検出しやすい第１機械学習モデルおよび位置依存性の無い欠陥を検出しやすい第２機械学習モデルの使用比率を決定し、当該使用比率に基づいて、第１機械学習モデルおよび前記第２機械学習モデルの少なくとも一方を用いて、検査対象画像に含まれる欠陥を検出するので、検査対象物の種類や要望する検査内容に応じた設定による、柔軟な運用が可能な外観検査を実現することが出来る。
【０００９】
上記の外観検査装置が実現する処理と同様のことを実現する外観検査方法や外観検査プログラムも、上記の外観検査装置と同様の作用効果を得ることが出来る。更に、プログラムの態様であれば、多くの場合で費用は削減される。プログラムでは、処理に関する設計変更も行われやすい。
上記以外の本開示が備えうる特徴、及び、当該特徴に対応する作用効果は、この明細書、特許請求の範囲または図面に開示される。
【図面の簡単な説明】
【００１０】
本開示の実施形態の機能構成を示す。
モデルのそれぞれが検出しやすい欠陥を示す。
モデル出力情報と、使用比率に対応する欠陥推定情報を示す。
本開示の実施形態を含むシステム全体のシステム構成を示す。
本開示の実施形態を実現するコンピュータアーキテクチャを示す。
欠陥検出運用時の処理のフローチャートを示す。
使用比率自動決定の処理のフローチャートを示す。
使用比率自動決定部の処理を示す。
使用比率手動決定前の欠陥度マップ表示等のフローチャートを示す。
欠陥度マップ表示等のための設定画面を示す。
同比率異画像一覧表示を示す。
同画像異比率一覧表示を示す。
モデルの訓練のための機械学習時における機能構成を示す。
モデルの訓練のための機械学習の処理のフローチャートを示す。
【発明を実施するための形態】
（【００１１】以降は省略されています）

関連特許