特許ウォッチ

公開番号2025073474
公報種別公開特許公報(A)
公開日2025-05-13
出願番号2023184311
出願日2023-10-26
発明の名称データセット、機械学習モデル、及び、組織画像分析用プログラム
出願人大同特殊鋼株式会社
代理人個人,個人
主分類G06V 10/774 20220101AFI20250502BHJP(計算;計数)
要約【課題】機械学習モデルを用いて粒界を含む組織画像から粒界画像を作成する場合において、粒界を表す線の一部が欠落するのを抑制すること。
【解決手段】データセットは、結晶粒及び粒界を含む組織画像からなる入力データと、粒界の幅を拡幅させた帯領域と、残余の背景領域とを含む加工処理画像からなる正解データとを備えている。帯領域の画素値は、粒界に対応する画素Aの最外縁に位置する画素A_outから帯領域に対応する画素Bの最外縁に位置する画素B_outに向かって漸減している。機械学習モデルは、このようなデータセットを人工知能に機械学習させることにより得られたものからなる。組織画像分析用プログラムは、組織画像から帯領域及び背景領域を含む推論画像を出力させ、推論画像に対して二値化処理及び細線化処理する手順をコンピュータに実行させるためのものからなる。
【選択図】図8
特許請求の範囲【請求項１】
結晶粒及び粒界を含む組織画像からなる入力データと、
隣接する２つの前記結晶粒の内部に向かって前記粒界の幅を拡幅させた帯領域と、残余の背景領域とを含む加工処理画像からなる正解データと
を備え、
前記帯領域の画素値は、前記粒界に対応する画素Ａの最外縁に位置する画素Ａ
out
から前記帯領域に対応する画素Ｂの最外縁に位置する画素Ｂ
out
に向かって漸減している
データセット。
続きを表示（約 4,400 文字）【請求項２】
前記加工処理画像は、次の式（１）～式（３）を満たす請求項１に記載のデータセット。
Ｐ
A
≧Ｐ
th2
…（１）
Ｐ
th1
＜Ｐ
B
＜Ｐ
th2
…（２）
Ｐ
C
≦Ｐ
th1
…（３）
但し、
Ｐ
A
は、前記画素Ａの画素値、
Ｐ
B
は、前記画素Ａ以外の前記画素Ｂの画素値、
Ｐ
C
は、前記背景領域に対応する画素Ｃの画素値、
Ｐ
th1
は、第１閾値、
Ｐ
th2
は、第２閾値。
【請求項３】
前記加工処理画像は、前記各結晶粒内の前記帯領域の画素値勾配が、それぞれ、最大結晶粒基準の画素値勾配以上であり、かつ、最小結晶粒基準の画素値勾配以下である請求項１に記載のデータセット。
但し、
前記「画素値勾配」とは、離間して配置された２つの画素の間の距離（Δｘ）に対する、前記２つの画素の画素値の差の絶対値（｜Δｙ｜）の比（｜Δｙ｜／Δｘ）をいい、
前記「帯領域の画素値勾配」とは、前記画素Ａ
out
と、前記画素Ｂ
out
の外側に隣接して配置された画素Ｃ
ad
との間の距離の最小値（Δｘ
min
）に対する、前記画素Ａ
out
の画素値と前記画素Ｃ
ad
の画素値との差の絶対値（｜Δｙ
AC
｜）の比（｜ｙ
AC
｜／Δｘ
min
）をいい、
前記「最大結晶粒基準の画素値勾配」とは、前記組織画像に含まれる最大粒径の結晶粒内の前記帯領域の画素値勾配が均等となるように前記最大粒径の結晶粒内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記最大粒径の結晶粒内に、少なくとも１つの前記背景領域に対応する画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいい、
前記「最小結晶粒基準の画素値勾配」とは、前記組織画像に含まれる最小粒径の結晶粒内の前記帯領域の画素値勾配が均等となるように前記最小粒径の結晶粒内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記最小粒径の結晶粒内に、少なくとも１つの前記画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいう。
【請求項４】
前記加工処理画像は、
粒径が中位粒径以上最大粒径以下の範囲にある各結晶粒Ａに含まれる前記帯領域については、それぞれ、前記帯領域の画素値勾配が中位粒径基準の画素値勾配であり、
粒径が最小粒径以上前記中位粒径未満の範囲にある各結晶粒Ｂに含まれる前記帯領域については、それぞれ、前記帯領域の画素値勾配が結晶粒Ｂ基準の画素値勾配である
請求項１に記載のデータセット。
但し、
前記「中位粒径」とは、前記最小粒径超前記最大粒径未満の範囲にある特定の粒径をいい、
前記「画素値勾配」とは、離間して配置された２つの画素の間の距離（Δｘ）に対する、前記２つの画素の画素値の差の絶対値（｜Δｙ｜）の比（｜Δｙ｜／Δｘ）をいい、
前記「帯領域の画素値勾配」とは、前記画素Ａ
out
と、前記画素Ｂ
out
の外側に隣接して配置された画素Ｃ
ad
との間の距離の最小値（Δｘ
min
）に対する、前記画素Ａ
out
の画素値と前記画素Ｃ
ad
の画素値との差の絶対値（｜Δｙ
AC
｜）の比（｜ｙ
AC
｜／Δｘ
min
）をいい、
前記「中位結晶粒基準の画素値勾配」とは、前記組織画像に含まれる中位粒径の結晶粒内の前記帯領域の画素値勾配が均等となるように前記中位粒径の結晶粒内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記中位粒径の結晶粒内に、少なくとも１つの前記背景領域に対応する画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいい、
前記「結晶粒Ｂ基準の画素値勾配」とは、前記組織画像に含まれる前記結晶粒Ｂ内の前記帯領域の画素値勾配が均等となるように前記結晶粒Ｂ内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記結晶粒Ｂ内に、少なくとも１つの前記画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいう。
【請求項５】
結晶粒及び粒界を含む組織画像からなる入力データと、
隣接する２つの前記結晶粒の内部に向かって前記粒界の幅を拡幅させた帯領域と、残余の背景領域とを含む加工処理画像からなる正解データと
を備え、
前記帯領域の画素値は、前記粒界に対応する画素Ａの最外縁に位置する画素Ａ
out
から前記帯領域に対応する画素Ｂの最外縁に位置する画素Ｂ
out
に向かって漸増している
データセット。
【請求項６】
前記加工処理画像は、次の式（４）～式（６）を満たす請求項５に記載のデータセット。
Ｐ
C
≧Ｐ
th4
…（４）
Ｐ
th3
＜Ｐ
B
＜Ｐ
th4
…（５）
Ｐ
A
≦Ｐ
th3
…（６）
但し、
Ｐ
A
は、前記画素Ａの画素値、
Ｐ
B
は、前記画素Ａ以外の前記画素Ｂの画素値、
Ｐ
C
は、前記背景領域に対応する画素Ｃの画素値、
Ｐ
th3
は、第３閾値、
Ｐ
th4
は、第４閾値。
【請求項７】
前記加工処理画像は、前記各結晶粒内の前記帯領域の画素値勾配が、それぞれ、最大結晶粒基準の画素値勾配以上であり、かつ、最小結晶粒基準の画素値勾配以下である請求項５に記載のデータセット。
但し、
前記「画素値勾配」とは、離間して配置された２つの画素の間の距離（Δｘ）に対する、前記２つの画素の画素値の差の絶対値（｜Δｙ｜）の比（｜Δｙ｜／Δｘ）をいい、
前記「帯領域の画素値勾配」とは、前記画素Ａ
out
と、前記画素Ｂ
out
の外側に隣接して配置された画素Ｃ
ad
との間の距離の最小値（Δｘ
min
）に対する、前記画素Ａ
out
の画素値と前記画素Ｃ
ad
の画素値との差の絶対値（｜Δｙ
AC
｜）の比（｜ｙ
AC
｜／Δｘ
min
）をいい、
前記「最大結晶粒基準の画素値勾配」とは、前記組織画像に含まれる最大粒径の結晶粒内の前記帯領域の画素値勾配が均等となるように前記最大粒径の結晶粒内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記最大粒径の結晶粒内に、少なくとも１つの前記背景領域に対応する画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいい、
前記「最小結晶粒基準の画素値勾配」とは、前記組織画像に含まれる最小粒径の結晶粒内の前記帯領域の画素値勾配が均等となるように前記最小粒径の結晶粒内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記最小粒径の結晶粒内に、少なくとも１つの前記画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいう。
【請求項８】
前記加工処理画像は、
粒径が中位粒径以上最大粒径以下の範囲にある各結晶粒Ａに含まれる前記帯領域については、それぞれ、前記帯領域の画素値勾配が中位粒径基準の画素値勾配であり、
粒径が最小粒径以上前記中位粒径未満の範囲にある各結晶粒Ｂに含まれる前記帯領域については、それぞれ、前記帯領域の画素値勾配が結晶粒Ｂ基準の画素値勾配である
請求項５に記載のデータセット。
但し、
前記「中位粒径」とは、前記最小粒径超前記最大粒径未満の範囲にある特定の粒径をいい、
前記「画素値勾配」とは、離間して配置された２つの画素の間の距離（Δｘ）に対する、前記２つの画素の画素値の差の絶対値（｜Δｙ｜）の比（｜Δｙ｜／Δｘ）をいい、
前記「帯領域の画素値勾配」とは、前記画素Ａ
out
と、前記画素Ｂ
out
の外側に隣接して配置された画素Ｃ
ad
との間の距離の最小値（Δｘ
min
）に対する、前記画素Ａ
out
の画素値と前記画素Ｃ
ad
の画素値との差の絶対値（｜Δｙ
AC
｜）の比（｜ｙ
AC
｜／Δｘ
min
）をいい、
前記「中位結晶粒基準の画素値勾配」とは、前記組織画像に含まれる中位粒径の結晶粒内の前記帯領域の画素値勾配が均等となるように前記中位粒径の結晶粒内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記中位粒径の結晶粒内に、少なくとも１つの前記背景領域に対応する画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいい、
前記「結晶粒Ｂ基準の画素値勾配」とは、前記組織画像に含まれる前記結晶粒Ｂ内の前記帯領域の画素値勾配が均等となるように前記結晶粒Ｂ内の前記帯領域の画素値勾配を段階的に増加させた場合において、前記結晶粒Ｂ内に、少なくとも１つの前記画素Ｃが最初に出現した時点での前記帯領域の画素値勾配をいう。
【請求項９】
前記中位粒径は、
（ａ）平均粒径、
（ｂ）最頻粒径、
（ｃ）中央値粒径、
（ｄ）面積重み付け平均粒径、
（ｅ）粒径ヒストグラムを二分する際の分離度が最大となる粒径、又は、
（ｆ）粒径の面積割合グラフを二分する際の分離度が最大となる粒径
である請求項４又は８に記載のデータセット。
【請求項１０】
請求項１又は５に記載のデータセットを人工知能に機械学習させることにより得られる機械学習モデル。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、データセット、機械学習モデル、及び、組織画像分析用プログラムに関し、さらに詳しくは、線状の粒界を、粒界より幅の広い帯領域に変換することが可能な機械学習モデル、このような機械学習モデルを生成させるためのデータセット、及び、このような機械学習モデルを備えた組織画像分析用プログラムに関する。
続きを表示（約 1,900 文字）【背景技術】
【０００２】
多結晶材料の粒径は、強度や靱性などの機械的特性に影響を与える。特に、金属材料の粒径は、機械的特性に与える影響が大きい。そのため、多結晶材料の粒径を正確に測定することは、多結晶材料の機械的特性を推定する上で重要である。
金属材料の粒径を測定する方法としては、切断法、比較法、計数法などが知られている。これらの内、切断法は、顕微鏡写真上に直線を引き、各結晶粒を横切る線分の平均長さを求める方法である。切断法は、粒径と機械的特性の関連付けが比較的容易であり、広く用いられている方法である。しかしながら、切断法は、多大な労力を要し、測定結果の個人差も大きいという問題がある。
【０００３】
一方、画像解析ソフトや機械学習モデルを用いて多結晶材料の組織を解析する方法も知られている。画像解析ソフトや機械学習モデルを用いる方法は、大量のデータを迅速に処理できるという利点がある。
【０００４】
例えば、特許文献１には、
入力データと正解データとを含み、
入力データは、金属粒子（粒状領域）の表面が酸化物膜（非粒状領域）で被覆されたグラニュラー材料の組織画像から抽出された３画素×３画素の画像データであり、
正解データは、３画素×３画素の画像データの中心に位置する画素（以下、これを「中心画素」ともいう）が金属粒子に対応するときはその中心画素の画素値をゼロ（黒）として認識させ、中心画素が酸化物膜に対応するときはその中心画素の画素値を１（白）として認識させるためのデータである
データセットが開示されている。
【０００５】
同文献には、
（Ａ）グラニュラー材料の組織画像を二値化する場合において、閾値を基準として画像データを二値化すると、１つの金属粒子が複数の金属粒子として認識されることがある点、及び、
（Ｂ）３画素×３画素の画像データを入力データとし、二値化された中心画素の画素値（ゼロ又は１）を正解データとして機械学習させ、得られた機械学習モデルを用いてグラニュラー材料の組織画像を二値化すると、金属粒子の認識精度が改善される点
が記載されている。
【０００６】
特許文献１に記載のデータセットは、金属粒子（粒状領域）と酸化物膜（非粒状領域）を含むグラニュラー材料の組織画像を機械学習させるためのデータセットである。そのため、引用文献１に記載のデータセットを用いて生成させた機械学習モデルは、複数の結晶粒を含む組織画像（例えば、ニッケル基合金Ａ７１６のγ単相組織画像）に含まれる粒界を識別するための機械学習モデルとしては不向きである。
【０００７】
一方、画像解析装置を用いて組織画像を二値化処理すると、粒界が線状に描かれた粒界画像（二値化画像）を得ることができる。しかしながら、従来の画像解析装置を用いて二値化処理を行うと、粒界を表す線の一部が欠落することが多い。これは、画像ノイズがあるため、あるいは、粒界を表す線に濃淡があるためと考えられる。そのため、粒界を正確に識別するためには、画像解析装置から出力された粒界画像（二値化画像）の手動によるマーキングが不可欠であった。
【０００８】
あるいは、組織画像と、これに対応する粒界画像（二値化画像）とを教師データとして機械学習させると、組織画像を粒界画像に変換することが可能な機械学習モデルが得られる。しかしながら、このようにして得られた機械学習モデルを用いて粒界画像を出力させた場合であっても、粒界を表す線の一部が欠落することがあった。そのため、従来の方法を用いて組織画像に含まれる結晶粒の数、粒径、粒径の分布等を評価した場合、十分な評価精度が得られない場合があった。
【先行技術文献】
【特許文献】
【０００９】
特開２０２１－０１８７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする課題は、機械学習モデルを用いて粒界を含む組織画像から粒界画像を作成する場合において、粒界を表す線の一部が欠落するのを抑制することにある。
本発明が解決しようとする他の課題は、機械学習モデルを用いて作成された粒界画像に基づいて結晶粒の数、粒径、粒径の分布等を評価する場合において、評価精度を向上させることにある。
（【００１１】以降は省略されています）

関連特許