特許ウォッチ

公開番号2025098527
公報種別公開特許公報(A)
公開日2025-07-02
出願番号2023214720
出願日2023-12-20
発明の名称キャプション生成装置、キャプション生成方法およびプログラム
出願人横河電機株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06V 20/70 20220101AFI20250625BHJP(計算;計数)
要約【課題】プラント内を撮像した画像から、撮像された対象を説明するキャプションを生成するキャプション生成装置、キャプション生成方法およびプログラムを提供する。
【解決手段】キャプション生成装置100は、プラント内で撮像された画像を取得する画像取得部110と、画像から複数の特徴を抽出する特徴抽出部112と、複数の特徴のそれぞれに対応する画像領域を特定する領域特定部114と、複数の特徴を、画像領域に基づいてグループ化するグループ化部116と、画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部120と、複数のグループのそれぞれについて、グループ内の少なくとも1つの語に基づき、グループに対応する画像範囲内の対象を説明する第1キャプションを生成するキャプション生成部140と、を備える。
【選択図】図3
特許請求の範囲【請求項１】
プラント内で撮像された画像を取得する画像取得部と、
前記画像から複数の特徴を抽出する特徴抽出部と、
前記複数の特徴のそれぞれに対応する画像領域を特定する領域特定部と、
前記複数の特徴を、前記画像領域に基づいてグループ化するグループ化部と、
前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、
複数の前記グループのそれぞれについて、前記グループ内の少なくとも１つの前記語に基づき、前記グループに対応する画像範囲内の前記対象の特徴を説明する第１キャプションを生成するキャプション生成部と
を備えるキャプション生成装置。
続きを表示（約 1,900 文字）【請求項２】
前記キャプション生成部は、前記画像範囲ごとの前記第１キャプションを組み合わせて、前記画像内の前記対象を説明する第２キャプションを生成する、
請求項１に記載のキャプション生成装置。
【請求項３】
前記キャプション生成部は、互いに隣接する複数の前記画像範囲の複数の前記第１キャプションを組み合わせて、前記第２キャプションを複数生成する、
請求項２に記載のキャプション生成装置。
【請求項４】
前記対象の特徴を表す少なくとも１つの前記語と、前記対象の特徴を説明する前記第１キャプションとの関係を学習し、且つ、一の前記画像範囲内の前記対象の特徴を表す語と、他の前記画像範囲内の前記対象の特徴を表す語との間の１つまたは複数の関係のアノテーションによって、複数の前記第１キャプションの組合せと前記第２キャプションとの関係を学習したキャプション生成モデルを記憶するモデル記憶部を更に備え、
前記キャプション生成部は、前記キャプション生成モデルを用いて、新たに入力される前記少なくとも１つの語に基づき前記第１キャプションを生成し、且つ、新たに生成した複数の前記第１キャプションから前記第２キャプションを生成する、
請求項２または３に記載のキャプション生成装置。
【請求項５】
生成した前記第２キャプションの適否をユーザが判断した結果を用いて、前記画像から前記複数の特徴を抽出する特徴抽出モデル、前記画像から前記複数の語を抽出する語抽出モデル、および、前記複数の語から前記第１キャプションを生成し且つ生成した複数の前記第１キャプションから前記第２キャプションを生成するキャプション生成モデルを学習する学習部を更に備え、
前記キャプション生成部は、前記キャプション生成モデルを用いて、新たに入力される前記少なくとも１つの語に基づき前記第１キャプションを生成し、且つ、新たに生成した前記複数の第１キャプションに基づき前記第２キャプションを生成する、
請求項２または３に記載のキャプション生成装置。
【請求項６】
生成した前記第２キャプションに対するユーザの修正入力を用いて、前記画像から前記複数の特徴を抽出する特徴抽出モデル、前記画像から前記複数の語を抽出する語抽出モデル、および、前記複数の語から前記第１キャプションを生成し且つ生成した複数の前記第１キャプションから前記第２キャプションを生成するキャプション生成モデルを学習する学習部を更に備え、
前記キャプション生成部は、前記キャプション生成モデルを用いて、新たに入力される前記少なくとも１つの語に基づき前記第１キャプションを生成し、且つ、新たに生成した前記複数の第１キャプションに基づき前記第２キャプションを生成する、
請求項２または３に記載のキャプション生成装置。
【請求項７】
前記キャプション生成部は、一の前記第１キャプションに対応する一の前記画像範囲内の流体関連の前記対象の特徴を表す語と、他の前記第１キャプションに対応する、前記一の画像範囲に隣接する他の前記画像範囲内の液体または気体を表す語との間の１つまたは複数の関係から、流体関連の前記対象を表す前記語と前記液体または気体を表す前記語との両方を含む前記第２キャプションを生成する、
請求項２または３に記載のキャプション生成装置。
【請求項８】
前記プラント内の事故事例集、事故対応マニュアル、および、メンテナンス履歴の少なくとも何れかに含まれる文を例文として複数記憶する記憶部を更に備え、
前記キャプション生成部は、前記記憶部に記憶された複数の前記例文の中から、抽出された前記複数の語の少なくとも何れかを用いて検索することにより少なくとも１つの前記例文を抽出し、前記少なくとも１つの語および前記抽出した例文に基づき前記第１キャプションを生成し、且つ、新たに生成した複数の前記第１キャプションおよび前記抽出した例文に基づき前記第２キャプションを生成する、
請求項２または３に記載のキャプション生成装置。
【請求項９】
前記キャプション生成部は、前記第２キャプションを複数生成し、抽出した前記例文との類似度を付与する、
請求項８に記載のキャプション生成装置。
【請求項１０】
前記第２キャプションは、ユーザが採るべき行動に関する複数の行動オプション、または、前記ユーザに対する指示を含む、
請求項８に記載のキャプション生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、キャプション生成装置、キャプション生成方法およびプログラムに関する。
続きを表示（約 2,700 文字）【背景技術】
【０００２】
特許文献１には、「ＧＰＳにより特定される位置情報を入手し、プラント職員に現在の点検箇所を表示し、備え付けのカメラにより撮影された画像データを…蓄積・解析し、過去の機器状態や異常事例等からプラント機器に異常の兆候があるか判断を行い、同時に予め設定されたフォーマット・文面を使用し、定期点検の報告書を画像データより自動的に作成する」（段落００５３）と記載されている。特許文献２には、「前記作業対象のプラント設備機器および当該プラント設備機器の周辺に存在する配管を前記カメラで撮影して得られる画像から、前記配管に関する情報を第１の特徴量として取得する特徴量取得部と、前記第１の特徴量と、設計データから取得される前記配管に関する第２の特徴量とを比較する特徴量比較部と、を備える」（請求項１）と記載されている。特許文献３には、「異常メール作成機能１０２は、異常監視機能１０１がプラント異常を検知したときに起動するものであり、異常と検知された日時、該当プラント機器名、異常内容等の監視員に早期に連絡すべき事項を文章化してメール送信文を作成する」（段落００１９）と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特許第６０９９９８９号
［特許文献２］特許第６８２６５０９号
［特許文献３］特開２００３－５１８９５号公報
【発明の概要】
【０００３】
本発明の第１の態様においては、キャプション生成装置を提供する。キャプション生成装置は、プラント内で撮像された画像を取得する画像取得部と、前記画像から複数の特徴を抽出する特徴抽出部と、前記複数の特徴のそれぞれに対応する画像領域を特定する領域特定部と、前記複数の特徴を、前記画像領域に基づいてグループ化するグループ化部と、前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、複数の前記グループのそれぞれについて、前記グループ内の少なくとも１つの前記語に基づき、前記グループに対応する画像範囲内の前記対象の特徴を説明する第１キャプションを生成するキャプション生成部とを備える。
【０００４】
上記のキャプション生成装置において、前記キャプション生成部は、前記画像範囲ごとの前記第１キャプションを組み合わせて、前記画像内の前記対象を説明する第２キャプションを生成してもよい。
【０００５】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、互いに隣接する複数の前記画像範囲の複数の前記第１キャプションを組み合わせて、前記第２キャプションを複数生成してもよい。
【０００６】
上記の何れかのキャプション生成装置は、前記対象の特徴を表す少なくとも１つの前記語と、前記対象の特徴を説明する前記第１キャプションとの関係を学習し、且つ、一の前記画像範囲内の前記対象の特徴を表す語と、他の前記画像範囲内の前記対象の特徴を表す語との間の１つまたは複数の関係のアノテーションによって、複数の前記第１キャプションの組合せと前記第２キャプションとの関係を学習したキャプション生成モデルを記憶するモデル記憶部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記キャプション生成モデルを用いて、新たに入力される前記少なくとも１つの語に基づき前記第１キャプションを生成し、且つ、新たに生成した複数の前記第１キャプションから前記第２キャプションを生成してもよい。
【０００７】
上記の何れかのキャプション生成装置は、生成した前記第２キャプションの適否をユーザが判断した結果を用いて、前記画像から前記複数の特徴を抽出する特徴抽出モデル、前記画像から前記複数の語を抽出する語抽出モデル、および、前記複数の語から前記第１キャプションを生成し且つ生成した複数の前記第１キャプションから前記第２キャプションを生成するキャプション生成モデルを学習する学習部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記キャプション生成モデルを用いて、新たに入力される前記少なくとも１つの語に基づき前記第１キャプションを生成し、且つ、新たに生成した前記複数の第１キャプションに基づき前記第２キャプションを生成してもよい。
【０００８】
上記の何れかのキャプション生成装置は、生成した前記第２キャプションに対するユーザの修正入力を用いて、前記画像から前記複数の特徴を抽出する特徴抽出モデル、前記画像から前記複数の語を抽出する語抽出モデル、および、前記複数の語から前記第１キャプションを生成し且つ生成した複数の前記第１キャプションから前記第２キャプションを生成するキャプション生成モデルを学習する学習部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記キャプション生成モデルを用いて、新たに入力される前記少なくとも１つの語に基づき前記第１キャプションを生成し、且つ、新たに生成した前記複数の第１キャプションに基づき前記第２キャプションを生成してもよい。
【０００９】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、一の前記第１キャプションに対応する一の前記画像範囲内の流体関連の前記対象の特徴を表す語と、他の前記第１キャプションに対応する、前記一の画像範囲に隣接する他の前記画像範囲内の液体または気体を表す語との間の１つまたは複数の関係から、流体関連の前記対象を表す前記語と前記液体または気体を表す前記語との両方を含む前記第２キャプションを生成してもよい。
【００１０】
上記の何れかのキャプション生成装置は、前記プラント内の事故事例集、事故対応マニュアル、および、メンテナンス履歴の少なくとも何れかに含まれる文を例文として複数記憶する記憶部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記記憶部に記憶された複数の前記例文の中から、抽出された前記複数の語の少なくとも何れかを用いて検索することにより少なくとも１つの前記例文を抽出し、前記少なくとも１つの語および前記抽出した例文に基づき前記第１キャプションを生成し、且つ、新たに生成した複数の前記第１キャプションおよび前記抽出した例文に基づき前記第２キャプションを生成してもよい。
（【００１１】以降は省略されています）

関連特許