特許ウォッチ

公開番号2025100887
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2025071850
出願日2025-04-23
発明の名称深層学習モデル生成装置、および深層学習モデル生成方法
出願人日本製鉄株式会社
代理人弁理士法人樹之下知的財産事務所
主分類G06V 10/774 20220101AFI20250626BHJP(計算;計数)
要約【課題】作業負荷を軽減して高精度な深層学習モデルの生成を可能にする。
【解決手段】第1の評価指標を、画素毎ラベル付与画像を対象に、画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、第2の評価指標を、画像毎ラベル付与画像を対象に、疑似画素毎ラベルと推定結果との差異が小さくなったことを評価する評価指標とし、第3の評価指標を、画素毎ラベル付与画像、画像毎ラベル付与画像、およびラベルが付与されていない画像、のうち少なくとも画素毎ラベル付与画像を対象とし、付与された画素毎ラベルや付与された画像毎ラベルのラベル情報が必須ではなく、推定結果から算出できる差異が小さくなったことを評価する評価指標として定義したときに、第1の評価指標に、第2の評価指標または第3の評価指標の少なくともいずれかを加算した評価指標に基づいて深層学習モデルを生成する、深層学習モデル生成装置を提供する。
【選択図】図6
特許請求の範囲【請求項１】
画像を入力すると、前記画像内に含まれる画素毎のラベルである画素毎ラベルを推定する深層学習モデルを再帰的に修正することにより生成する深層学習モデル生成装置であって、
第１の評価指標を、前記画素毎ラベルが付与された画像である画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、
第２の評価指標を、画像毎のラベルである画像毎ラベルが付与された画像毎ラベル付与画像を対象に、推定結果のラベルを前記画像毎ラベル付与画像に付与された画像毎ラベルに置換した疑似画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、
第３の評価指標を、前記画素毎ラベル付与画像、前記画像毎ラベル付与画像、およびラベルが付与されていない画像、のうち少なくとも前記画素毎ラベル付与画像を対象とし、前記画素毎ラベル付与画像に付与された画素毎ラベルや前記画像毎ラベル付与画像に付与された画像毎ラベルのラベル情報が必須ではなく、推定結果から算出できる差異が小さくなったことを評価する評価指標として定義したときに、
第１の評価指標に、第２の評価指標または第３の評価指標の少なくともいずれかを加算した評価指標に基づいて深層学習モデルを生成する、深層学習モデル生成装置。
続きを表示（約 1,300 文字）【請求項２】
前記疑似画素毎ラベルは、前回までに修正された深層学習モデルに入力することで得られた推定結果、今回の深層学習モデルに入力することで得られた推定結果、前回以前を含めた深層学習モデルに入力することで得られた推定結果を加重平均した結果、または、前回以前を含めた深層学習モデルを加重平均して得た深層学習モデルに入力することで得られた結果のいずれかに対して、前記推定結果のラベルを前記画像毎ラベル付与画像に付与された画像毎ラベルに置換した、請求項１に記載の深層学習モデル生成装置。
【請求項３】
画素比率を、画像の画素数に対する画像中のラベルの画素数の比率とし、
画像比率を、画像の枚数に対するラベル毎の画像の枚数の比率として、定義したときに、
前記第３の評価指標は、推定結果から計算した画素比率の分布と予め決めた画素比率の目標分布との差異、
推定結果から計算した画像比率の分布と予め決めた画像比率の目標分布との差異、
または深層学習モデルのデータ拡張手法であるＣｕｔＭｉｘに関する差異、の少なくともいずれか一つを加算した、請求項１に記載の深層学習モデル生成装置。
【請求項４】
前記画素比率の目標分布と前記画像比率の目標分布は、前記画素毎ラベル付与画像に付与されているラベル、または前記画像毎ラベル付与画像に付与されているラベル、の少なくともいずれかに基づいて設定する、請求項３に記載の深層学習モデル生成装置。
【請求項５】
前記画像は、製造中ならびに製造後の鉄鋼製品を対象として得られた画像とする、請求項１から請求項４のいずれか一項に記載の深層学習モデル生成装置。
【請求項６】
画像を入力すると、前記画像内に含まれる画素毎のラベルである画素毎ラベルを推定する深層学習モデルを再帰的に修正することにより生成する深層学習モデル生成方法であって、
第１の評価指標を、前記画素毎ラベルが付与された画像である画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、
第２の評価指標を、画像毎のラベルである画像毎ラベルが付与された画像毎ラベル付与画像を対象に、推定結果のラベルを前記画像毎ラベル付与画像に付与された画像毎ラベルに置換した疑似画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、
第３の評価指標を、前記画素毎ラベル付与画像、前記画像毎ラベル付与画像、およびラベルが付与されていない画像、のうち少なくとも前記画素毎ラベル付与画像を対象とし、前記画素毎ラベル付与画像に付与された画素毎ラベルや前記画像毎ラベル付与画像に付与された画像毎ラベルのラベル情報が必須ではなく、推定結果から算出できる差異が小さくなったことを評価する評価指標として、定義したときに、
第１の評価指標に、第２の評価指標または第３の評価指標の少なくともいずれかを加算した評価指標に基づいて深層学習モデルを生成する、深層学習モデル生成方法。

発明の詳細な説明【技術分野】
【０００１】
本発明は、深層学習モデル生成装置、および深層学習モデル生成方法に関する。
続きを表示（約 3,500 文字）【背景技術】
【０００２】
例えば鋼板等の検査対象物の表面性状を検査する表面性状検査装置は、検査対象物の表面を撮影した画像に対して、深層学習（ディープラーニング、ＤＬ）モデルを用いて欠陥の種類とその形状を推定し、それらを出力値とする検査装置である。
上記検査装置で用いられる学習済みの深層学習モデルとは、あらかじめ画素単位にラベルが付与された疵画像（マーキング画像）を大量に用意しておき、各疵画像を入力したときの推定結果と正解のマーキング画像との誤差が小さくなるように学習したモデルである。
【先行技術文献】
【特許文献】
【０００３】
特開２０２０－１５４６０２号公報
特開２０２１－１４９１６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記深層学習モデルの構築のためには、大量のマーキング画像を用意する必要があると述べたが、マーキング画像を大量に用意するのは非常に業務負荷が高い問題がある。マーキング画像作成の具体的な作業イメージとしては、ペンタブレット上に疵画像を投影し、疵種ごとに画素単位でラベリング（マーキング）していく作業であるが、疵画像一枚マーキングし終わるのに数分は所要し、深層学習モデル構築に必要な数百あるいは数千枚単位の疵画像をマーキングするのは途方もない作業であり、いかにして省力的にマーキング画像を作成しＤＬモデルを構築できるかが課題である。
【０００５】
こうしたマーキング画像をなるべく省力的に収集して深層学習モデルを構築する方法について、公知の手法／先行技術として以下が挙げられる。
（１）クラウドソーシングを用いたマーキング
外部の企業または団体にお金を払って、マーキング画像作成を委託する方法である。しかしながら、一般画像（例えば動物や建物）は特に機密性はないため問題はないが、機密性が高い画像については用いることはできない。
（２）自動マーカー（特許文献１）
学習済みモデルで未マーキングのデータを推論、自信のあるデータはそのままモデルの出力結果をマーキングとして付与し学習データに追加、自信のないデータは人手マーキングを実施し、学習データに追加する手法である。この手法では、自信のないデータのみマーキングすることになるので、作業負荷の軽減は期待できる。しかし出発点となる学習済みモデルは予め用意しておくことから、あらかじめ一定数のマーキングデータを作成しておくことがいずれにせよ必要であり、依然として作業負荷は高いと言える。
【０００６】
（３）画像生成モデルを用いたマーキング画像の人工生成（特許文献２）
公知の画像生成モデル（敵対的生成ネットワーク、ＧＡＮ）を用いて、マーキング画像を人工的に水増しする手法である。画像生成モデルとは、入力された任意の乱数に基づき、学習済みモデルの演算を通じて、画素単位にラベリングされた人工マーキング画像を出力するモデルである。（２）自動マーカーと同様に、出発点となる学習済みモデルは予め用意しておくことから、依然として作業負荷は高いと言える。
以上、（１）（２）（３）から分かるように、画素単位の疵推定モデルを構築するためには大量の疵マーキング画像が必要であるが、その作業負荷を大幅に軽減できる手法は現状提案されていない。
【０００７】
そこで、本発明は、作業負荷を軽減して高精度な深層学習モデルの生成を可能にする深層学習モデル生成装置、および深層学習モデル生成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
［１］画像を入力すると、前記画像内に含まれる画素毎のラベルである画素毎ラベルを推定する深層学習モデルを再帰的に修正することにより生成する深層学習モデル生成装置であって、第１の評価指標を、前記画素毎ラベルが付与された画像である画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、第２の評価指標を、画像毎のラベルである画像毎ラベルが付与された画像毎ラベル付与画像を対象に、推定結果のラベルを前記画像毎ラベル付与画像に付与された画像毎ラベルに置換した疑似画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、第３の評価指標を、前記画素毎ラベル付与画像、前記画像毎ラベル付与画像、およびラベルが付与されていない画像、のうち少なくとも前記画素毎ラベル付与画像を対象とし、前記画素毎ラベル付与画像に付与された画素毎ラベルや前記画像毎ラベル付与画像に付与された画像毎ラベルのラベル情報が必須ではなく、推定結果から算出できる差異が小さくなったことを評価する評価指標として定義したときに、第１の評価指標に、第２の評価指標または第３の評価指標の少なくともいずれかを加算した評価指標に基づいて深層学習モデルを生成する、深層学習モデル生成装置。
［２］前記疑似画素毎ラベルは、前回までに修正された深層学習モデルに入力することで得られた推定結果、今回の深層学習モデルに入力することで得られた推定結果、前回以前を含めた深層学習モデルに入力することで得られた推定結果を加重平均した結果、または、前回以前を含めた深層学習モデルを加重平均して得た深層学習モデルに入力することで得られた結果のいずれかに対して、前記推定結果のラベルを前記画像毎ラベル付与画像に付与された画像毎ラベルに置換した、［１］に記載の深層学習モデル生成装置。
［３］画素比率を、画像の画素数に対する画像中のラベルの画素数の比率とし、画像比率を、画像の枚数に対するラベル毎の画像の枚数の比率として、定義したときに、前記第３の評価指標は、推定結果から計算した画素比率の分布と予め決めた画素比率の目標分布との差異、推定結果から計算した画像比率の分布と予め決めた画像比率の目標分布との差異、または深層学習モデルのデータ拡張手法であるＣｕｔＭｉｘに関する差異、の少なくともいずれか一つを加算した、［１］に記載の深層学習モデル生成装置。
［４］前記画素比率の目標分布と前記画像比率の目標分布は、前記画素毎ラベル付与画像に付与されているラベル、または前記画像毎ラベル付与画像に付与されているラベル、の少なくともいずれかに基づいて設定する、［３］に記載の深層学習モデル生成装置。
［５］前記画像は、製造中ならびに製造後の鉄鋼製品を対象として得られた画像とする、［１］から［４］のいずれか一項に記載の深層学習モデル生成装置。
【０００９】
［６］画像を入力すると、前記画像内に含まれる画素毎のラベルである画素毎ラベルを推定する深層学習モデルを再帰的に修正することにより生成する深層学習モデル生成方法であって、第１の評価指標を、前記画素毎ラベルが付与された画像である画素毎ラベル付与画像を対象に、前記画素毎ラベル付与画像に付与された画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、第２の評価指標を、画像毎のラベルである画像毎ラベルが付与された画像毎ラベル付与画像を対象に、推定結果のラベルを前記画像毎ラベル付与画像に付与された画像毎ラベルに置換した疑似画素毎ラベルと、推定結果との差異が小さくなったことを評価する評価指標とし、第３の評価指標を、前記画素毎ラベル付与画像、前記画像毎ラベル付与画像、およびラベルが付与されていない画像、のうち少なくとも前記画素毎ラベル付与画像を対象とし、前記画素毎ラベル付与画像に付与された画素毎ラベルや前記画像毎ラベル付与画像に付与された画像毎ラベルのラベル情報が必須ではなく、推定結果から算出できる差異が小さくなったことを評価する評価指標として、定義したときに、第１の評価指標に、第２の評価指標または第３の評価指標の少なくともいずれかを加算した評価指標に基づいて深層学習モデルを生成する、深層学習モデル生成方法。
【発明の効果】
【００１０】
本発明によれば、作業負荷を軽減して高精度な深層学習モデルを生成することができる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許