特許ウォッチ

公開番号2025117023
公報種別公開特許公報(A)
公開日2025-08-12
出願番号2024011655
出願日2024-01-30
発明の名称情報処理装置、画像処理装置、生成方法、およびプログラム
出願人キヤノン株式会社
代理人弁理士法人谷・阿部特許事務所
主分類G06V 30/412 20220101AFI20250804BHJP(計算;計数)
要約【課題】ロバスト性の高い学習済みモデルを、学習用の画像を収集する手間を軽減しながら生成すること。
【解決手段】情報処理装置としての情報処理システム100は、学習用の文書画像114と、学習用の文書画像114に含まれる表構造の情報とを取得する取得手段と、学習用の文書画像114におけるオブジェクトの領域がマスクされたマスク画像を生成する生成手段と、マスク画像と、情報に基づく表構造の位置を表すデータとを学習データセットとして用いて学習をすることにより、文書画像に含まれる表構造の情報を出力する学習済みモデルを生成する学習部123と、を有する。
【選択図】図1
特許請求の範囲【請求項１】
学習用の文書画像と、前記学習用の文書画像に含まれる表構造の情報とを取得する取得手段と、
前記学習用の文書画像におけるオブジェクトの領域がマスクされたマスク画像を生成する生成手段と、
前記マスク画像と、前記情報に基づく前記表構造の位置を表すデータとを学習データセットとして用いて学習をすることにより、文書画像に含まれる表構造の情報を出力する学習済みモデルを生成する学習手段と、
を有することを特徴とする情報処理装置。
続きを表示（約 1,200 文字）【請求項２】
前記表構造は、複数のセルで構成されており、
前記表構造の位置を表すデータは、前記複数のセルの位置を表すデータである
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記表構造の位置を表すデータは、前記学習用の文書画像におけるセルに対応する領域の画素に第１の値が保持されており、他の画素に第２の値が保持されている二値画像である
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記オブジェクトは、文字である
ことを特徴とする請求項１に記載の情報処理装置。
【請求項５】
前記学習手段は、
前記マスク画像を入力データとし、前記表構造の位置を表すデータを正解ラベルとして学習を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項６】
前記生成手段は、前記学習用の文書画像の背景色とは異なる色で前記オブジェクトの領域をマスクする
ことを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記マスク画像に所定の処理をして、新たなマスク画像を生成する第２の生成手段をさらに有し、
前記学習手段は、
前記新たなマスク画像および前記表構造の位置を表すデータを学習データセットとしてさらに用いて学習を行う
ことを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記所定の処理には、マスクされた領域を拡張する処理、マスクされた領域を縮小する処理、マスクされた領域を分割する処理、マスクされた領域を削除する処理、および新たにマスクされた領域を追加する処理の少なくとも１つが含まれる
ことを特徴とする請求項７に記載の情報処理装置。
【請求項９】
請求項１から８のいずれか１項に記載の情報処理装置によって生成された前記学習済みモデルを取得する第１の取得手段と、
表構造が含まれる文書画像を取得する第２の取得手段と、
前記文書画像からオブジェクトの領域を検出する検出手段と、
前記文書画像における前記オブジェクトの領域がマスクされたマスク画像を生成する生成手段と、
前記マスク画像を前記学習済みモデルに入力して得られた出力結果に基づき、前記文書画像に含まれる表構造の位置を特定する特定手段と、
を有することを特徴とする画像処理装置。
【請求項１０】
前記文書画像に含まれる文字列を認識する文字認識手段と、
前記認識された文字列のうちから、前記特定された表構造に含まれる文字列を抽出する抽出手段と、
をさらに有することを特徴とする請求項９に記載の画像処理装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本開示は、文書画像に対する処理に関する。
続きを表示（約 1,600 文字）【背景技術】
【０００２】
請求書や発注書等のように明細表が記載されている帳票がある。明細表には、請求金額や発注金額の内訳を示す情報として、商品名、数量、単価、金額等の情報が記載されている。このような帳票の文書画像から明細表に含まれる情報を適切に抽出するための方法として、帳票内の表構造を特定する方法がある。
【０００３】
特許文献１には、表構造の画像に含まれる文字ブロックの位置情報に基づき、当該表構造の情報を取得する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
特開平５－３３４４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法では、表構造の情報を適切に取得できないことがある。例えば、特許文献１の方法では、セルの結合を考慮していないため、セルが結合された表構造からはセルの位置が誤って特定されてしまう虞がある。また、罫線が引かれていない表構造からは文字ブロックの抽出に失敗してしまうことがあり、その場合、特許文献１の方法ではセルの位置が誤って特定されてしまう虞がある。
【０００６】
そこで、適切に表構造の情報が取得できるように、学習用の文書画像を収集して、収集した文書画像を用いて機械学習をして、文書画像に含まれる表構造の情報を出力する学習済みモデルを生成することが考えられる。しかしながら、文書画像に含まれ得る表記バリエーションは多いため、様々な文書画像が入力された場合でも適切に表構造の情報を出力するロバスト性の高い学習済みモデルを生成するには、様々な学習用の文書画像を用いて機械学習を行う必要がある。この場合、学習用の文書画像を収集する負担が増加してしまう。
【課題を解決するための手段】
【０００７】
本開示の情報処理装置は、学習用の文書画像と、前記学習用の文書画像に含まれる表構造の情報とを取得する取得手段と、前記学習用の文書画像におけるオブジェクトの領域がマスクされたマスク画像を生成する生成手段と、前記マスク画像と、前記情報に基づく前記表構造の位置を表すデータとを学習データセットとして用いて学習をすることにより、文書画像に含まれる表構造の情報を出力する学習済みモデルを生成する学習手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本開示によれば、ロバスト性の高い学習済みモデルを、学習用の画像を収集する手間を軽減しながら生成することができる。
【図面の簡単な説明】
【０００９】
情報処理システムの構成例を示した図。
情報処理システムの各装置のハードウェア構成の一例を示した図。
情報処理システムのシーケンスを示す図。
表構造特定モデルを生成するためのフローチャート。
学習用文書画像と表構造座標情報の一例を示す図である。
学習データセットに含まれるマスク画像と正解ラベル画像の一例を示す図。
文書画像内の表構造を特定する処理の流れを示すフローチャートである。
表構造特定モデルの推論結果の一例を示す図。
項目値文字列を抽出する方法の一例を説明するための図。
確認画面の一例を示す図である。
表構造特定モデルを生成するためのフローチャートである。
マスク領域の補正方法を説明するための図。
【発明を実施するための形態】
【００１０】
以下、本開示の技術を実施するための形態について図面を用いて説明する。なお、以下の実施形態に記載された構成要素は例示であって、本開示の技術の範囲を限定する趣旨のものではない。
（【００１１】以降は省略されています）

関連特許