特許ウォッチ

公開番号2025098517
公報種別公開特許公報(A)
公開日2025-07-02
出願番号2023214705
出願日2023-12-20
発明の名称キャプション生成装置、キャプション生成方法およびプログラム
出願人横河電機株式会社
代理人弁理士法人RYUKA国際特許事務所
主分類G06V 20/70 20220101AFI20250625BHJP(計算;計数)
要約【課題】プラント内を撮像した画像から、撮像された対象を説明するキャプションを説明するキャプション生成装置、キャプション生成方法およびプログラムを提供する。
【解決手段】キャプション生成装置100は、プラント内で撮像された画像を取得する画像取得部110と、画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部120と、撮像された対象の状態を示す状態情報を取得する状態情報取得部130と、状態情報と、複数の語とに基づいて、撮像された対象を状態情報に応じて説明するキャプションを生成するキャプション生成部140と、を備える。状態情報は、対象の位置情報、対象の劣化状態を示す劣化情報、対象である配管の内部を流れる流体の成分または状態を示す流体情報および対象である配管の上流側または下流側に位置する機器に関連する機器情報、の少なくとも何れかを含む。
【選択図】図2
特許請求の範囲【請求項１】
プラント内で撮像された画像を取得する画像取得部と、
前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、
撮像された前記対象の状態を示す状態情報を取得する状態情報取得部と、
前記状態情報と、前記複数の語とに基づいて、撮像された前記対象を前記状態情報に応じて説明するキャプションを生成するキャプション生成部と
を備えるキャプション生成装置。
続きを表示（約 1,300 文字）【請求項２】
前記状態情報は、前記対象の位置情報、前記対象の劣化状態を示す劣化情報、前記対象である配管の内部を流れる流体の成分または状態を示す流体情報、および、前記対象である配管の上流側または下流側に位置する機器に関連する機器情報、の少なくとも何れかを含む、
請求項１に記載のキャプション生成装置。
【請求項３】
前記状態情報取得部は、前記画像を解析することによって前記状態情報を取得する、
請求項２に記載のキャプション生成装置。
【請求項４】
前記状態情報は、前記対象の位置情報を含み、
前記プラント内の対象の過去画像と位置情報とを関連付けて記憶する記憶部と、
新たな前記画像の新たな前記状態情報を取得したことに応じて、前記新たな状態情報に含まれる前記位置情報と共通する位置情報を有する前記過去画像を抽出する画像抽出部と
を更に備え、
前記キャプション生成部は、前記新たな画像と、前記新たな画像に対応する前記過去画像との両方を用いて、前記キャプションを生成する、
請求項１に記載のキャプション生成装置。
【請求項５】
前記語抽出部は、前記画像から抽出する前記複数の語のそれぞれに、前記状態情報に応じた尤度を付与し、
前記キャプション生成部は、前記状態情報、および、前記複数の語に基づき、前記複数の語のうち前記尤度がより高い語をより優先して用いて前記キャプションを生成する、
請求項１に記載のキャプション生成装置。
【請求項６】
前記キャプション生成部は、生成した前記キャプションに、前記複数の語のうちキャプション生成に用いた少なくとも１つの語の前記尤度に応じた優先度を付与する、
請求項５に記載のキャプション生成装置。
【請求項７】
前記キャプション生成部は、キャプション生成に用いた複数の語の組合せの前記尤度が予め定められた閾値より低い場合、撮像された前記対象を再撮像する指示を含む前記キャプションを出力する、
請求項５に記載のキャプション生成装置。
【請求項８】
前記プラント内の事故事例集、事故対応マニュアル、および、メンテナンス履歴の少なくとも何れかに含まれる文を例文として複数記憶する記憶部を更に備え、
前記キャプション生成部は、前記記憶部に記憶された複数の前記例文の中から、抽出された前記複数の語の少なくとも何れかを用いて検索することにより少なくとも１つの前記例文を抽出し、前記状態情報と、前記複数の語と、前記抽出した例文とに基づいて前記キャプションを生成する、
請求項１に記載のキャプション生成装置。
【請求項９】
前記キャプション生成部は、前記キャプションを複数生成し、抽出した前記例文との類似度を付与する、
請求項８に記載のキャプション生成装置。
【請求項１０】
前記キャプションは、ユーザが採るべき行動に関する複数の行動オプション、または、前記ユーザに対する指示を含む、
請求項８に記載のキャプション生成装置。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
本発明は、キャプション生成装置、キャプション生成方法およびプログラムに関する。
続きを表示（約 2,400 文字）【背景技術】
【０００２】
特許文献１には、「映像機能異常判定手段１６は、異常判定手段１２が異常を判定した結果を入力してその結果と、入力手段１１から入力されたプラントの状態を示すデータと、ＩＴＶカメラ１９のプラント状況の映像とから、プラントの機能を細分化した機能要素に異常があることを判定する機能を有する」（段落００２４）と記載されている。特許文献２には、「表示器５は、アラーム条件が成立した場合に、アラーム機能を用いてアラーム表示画面を表示する。アラーム表示画面では、異常が発生した日時、および異常内容を説明するコメントが表示される。」（段落００３９）と記載されている。特許文献３には、「ＧＰＳにより特定される位置情報を入手し、プラント職員に現在の点検箇所を表示し、備え付けのカメラにより撮影された画像データを…蓄積・解析し、過去の機器状態や異常事例等からプラント機器に異常の兆候があるか判断を行い、同時に予め設定されたフォーマット・文面を使用し、定期点検の報告書を画像データより自動的に作成する」（段落００５３）と記載されている。特許文献４には、「前記作業対象のプラント設備機器および当該プラント設備機器の周辺に存在する配管を前記カメラで撮影して得られる画像から、前記配管に関する情報を第１の特徴量として取得する特徴量取得部と、前記第１の特徴量と、設計データから取得される前記配管に関する第２の特徴量とを比較する特徴量比較部と、を備える」（請求項１）と記載されている。特許文献５には、「異常メール作成機能１０２は、異常監視機能１０１がプラント異常を検知したときに起動するものであり、異常と検知された日時、該当プラント機器名、異常内容等の監視員に早期に連絡すべき事項を文章化してメール送信文を作成する」（段落００１９）と記載されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０００－７６５７０号公報
［特許文献２］特許第６４１９３９９号
［特許文献３］特許第６０９９９８９号
［特許文献４］特許第６８２６５０９号
［特許文献５］特開２００３－５１８９５号公報
【発明の概要】
【０００３】
本発明の第１の態様においては、キャプション生成装置を提供する。キャプション生成装置は、プラント内で撮像された画像を取得する画像取得部と、前記画像に撮像された対象の特徴を表す複数の語を抽出する語抽出部と、撮像された前記対象の状態を示す状態情報を取得する状態情報取得部と、前記状態情報と、前記複数の語とに基づいて、撮像された前記対象を前記状態情報に応じて説明するキャプションを生成するキャプション生成部とを備える。
【０００４】
上記のキャプション生成装置において、前記状態情報は、前記対象の位置情報、前記対象の劣化状態を示す劣化情報、前記対象である配管の内部を流れる流体の成分または状態を示す流体情報、および、前記対象である配管の上流側または下流側に位置する機器に関連する機器情報、の少なくとも何れかを含んでもよい。
【０００５】
上記の何れかのキャプション生成装置において、前記状態情報取得部は、前記画像を解析することによって前記状態情報を取得してもよい。
【０００６】
上記の何れかのキャプション生成装置において、前記状態情報は、前記対象の位置情報を含んでもよい。上記の何れかのキャプション生成装置は、前記プラント内の対象の過去画像と位置情報とを関連付けて記憶する記憶部を更に備えてもよい。上記の何れかのキャプション生成装置は、新たな前記画像の新たな前記状態情報を取得したことに応じて、前記新たな状態情報に含まれる前記位置情報と共通する位置情報を有する前記過去画像を抽出する画像抽出部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記新たな画像と、前記新たな画像に対応する前記過去画像との両方を用いて、前記キャプションを生成してもよい。
【０００７】
上記の何れかのキャプション生成装置において、前記語抽出部は、前記画像から抽出する前記複数の語のそれぞれに、前記状態情報に応じた尤度を付与してもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記状態情報、および、前記複数の語に基づき、前記複数の語のうち前記尤度がより高い語をより優先して用いて前記キャプションを生成してもよい。
【０００８】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、生成した前記キャプションに、前記複数の語のうちキャプション生成に用いた少なくとも１つの語の前記尤度に応じた優先度を付与してもよい。
【０００９】
上記の何れかのキャプション生成装置において、前記キャプション生成部は、キャプション生成に用いた複数の語の組合せの前記尤度が予め定められた閾値より低い場合、撮像された前記対象を再撮像する指示を含む前記キャプションを出力してもよい。
【００１０】
上記の何れかのキャプション生成装置は、前記プラント内の事故事例集、事故対応マニュアル、および、メンテナンス履歴の少なくとも何れかに含まれる文を例文として複数記憶する記憶部を更に備えてもよい。上記の何れかのキャプション生成装置において、前記キャプション生成部は、前記記憶部に記憶された複数の前記例文の中から、抽出された前記複数の語の少なくとも何れかを用いて検索することにより少なくとも１つの前記例文を抽出し、前記状態情報と、前記複数の語と、前記抽出した例文とに基づいて前記キャプションを生成してもよい。
（【００１１】以降は省略されています）

関連特許