特許ウォッチ

公開番号2025100135
公報種別公開特許公報(A)
公開日2025-07-03
出願番号2023217282
出願日2023-12-22
発明の名称撮像装置、パラメータ調整方法、プログラム、記録媒体
出願人ソニーセミコンダクタソリューションズ株式会社
代理人弁理士法人テクノピア国際特許事務所
主分類H04N 23/60 20230101AFI20250626BHJP(電気通信技術)
要約【課題】AI処理の前処理について、AI処理に適した画質調整処理を実現しながら環境変化への追従速度向上を図ることにより、AI処理精度の向上を図る。
【解決手段】本技術に係る撮像装置は、撮像画像を得るセンサ部と、撮像画像を対象としてAIモデルを用いた処理であるAI処理を行うAI処理部と、AI処理部に対する入力画像の画質調整を行う信号処理部と、AI処理部によるAI処理結果に基づき、信号処理部のパラメータ調整を行う制御部と、を備えている。
【選択図】図1
特許請求の範囲【請求項１】
撮像画像を得るセンサ部と、
撮像画像を対象としてＡＩモデルを用いた処理であるＡＩ処理を行うＡＩ処理部と、
前記ＡＩ処理部に対する入力画像の画質調整を行う信号処理部と、
前記ＡＩ処理部によるＡＩ処理結果に基づき、前記信号処理部のパラメータ調整を行う制御部と、を備えた
撮像装置。
続きを表示（約 1,700 文字）【請求項２】
前記信号処理部は、
前記撮像画像に対しそれぞれ異なる画質パラメータを用いた画質調整処理を行うことで複数の画質調整画像を得、
前記ＡＩ処理部は、
前記複数の画質調整画像について個別にＡＩ処理を行う
請求項１に記載の撮像装置。
【請求項３】
前記撮像画像のＲＡＷ画像を対象とした画質調整を行うＲＡＷ信号処理部を備え、
前記信号処理部は、前記ＲＡＷ画像についての現像機能を有しており、
前記制御部は、
前記ＲＡＷ信号処理部に候補パラメータによる画質調整を実行させて得られた画質調整ＲＡＷ画像についてのＡＩ処理結果に基づき画質パラメータの導出を行い、導出した画質パラメータを前記信号処理部に設定する
請求項１に記載の撮像装置。
【請求項４】
前記制御部は、
前記候補パラメータと前記画質調整ＲＡＷ画像についてのＡＩ処理結果との関係性についての解析を行う解析部と、前記解析部による解析結果に基づき前記信号処理部に設定すべき画質パラメータを導出し、導出した画質パラメータを前記信号処理部に設定する導出設定部とを有し、前記解析部と前記導出設定部とが別チップにより構成されている
請求項３に記載の撮像装置。
【請求項５】
前記制御部は、
前記信号処理部による前記現像機能により得られた現像画像についてのＡＩ処理結果に基づき画質パラメータの導出を行い、導出した画質パラメータを前記信号処理部に設定する
請求項３に記載の撮像装置。
【請求項６】
前記ＡＩ処理は、特定被写体を検出又は認識する処理とされ、
前記制御部は、
前記ＡＩ処理部がＡＩ処理に用いた撮像画像と、当該撮像画像についてのＡＩ処理結果と、前記信号処理部が当該撮像画像の画質調整に用いた画質パラメータとを外部装置に送信する送信処理と、
前記送信処理により送信された前記撮像画像、前記ＡＩ処理結果、及び前記画質パラメータに基づき前記外部装置が算出した、前記撮像画像中のユーザ指定被写体を検出又は認識できる画質とするための前記画質パラメータの補正情報を受信する受信処理と、を行い、
前記補正情報に基づいて前記信号処理部のパラメータ調整を行う
請求項１に記載の撮像装置。
【請求項７】
前記信号処理部による画質調整は、少なくとも明るさ、コントラスト、ガンマ、ダイナミックレンジ、彩度、色相、シャープネス、ノイズリダクションの何れかの調整を含む
請求項１に記載の撮像装置。
【請求項８】
撮像画像を得るセンサ部と、撮像画像を対象としてＡＩモデルを用いた処理であるＡＩ処理を行うＡＩ処理部と、前記ＡＩ処理部に対する入力画像の画質調整を行う信号処理部と、を備えた撮像装置におけるパラメータ調整方法であって、
前記ＡＩ処理部によるＡＩ処理結果に基づき、前記信号処理部のパラメータ調整を行う
パラメータ調整方法。
【請求項９】
撮像画像を得るセンサ部と、撮像画像を対象としてＡＩモデルを用いた処理であるＡＩ処理を行うＡＩ処理部と、前記ＡＩ処理部に対する入力画像の画質調整を行う信号処理部と、を備えた撮像装置におけるコンピュータ装置が読み取り可能なプログラムであって、
前記ＡＩ処理部によるＡＩ処理結果に基づき、前記信号処理部のパラメータ調整を行う機能を、前記コンピュータ装置に実現させる
プログラム。
【請求項１０】
撮像画像を得るセンサ部と、撮像画像を対象としてＡＩモデルを用いた処理であるＡＩ処理を行うＡＩ処理部と、前記ＡＩ処理部に対する入力画像の画質調整を行う信号処理部と、を備えた撮像装置におけるコンピュータ装置が読み取り可能なプログラムが記録された記録媒体であって、
前記ＡＩ処理部によるＡＩ処理結果に基づき、前記信号処理部のパラメータ調整を行う機能を、前記コンピュータ装置に実現させるプログラムが記録された
記録媒体。

発明の詳細な説明【技術分野】
【０００１】
本技術は、入力画像を対象としてＡＩ（Artificial Intelligence）モデルを用いたＡＩ処理を行うＡＩ処理部を備えた撮像装置と、該撮像装置におけるパラメータ調整方法、プログラム、及び記録媒体に関する。
続きを表示（約 2,200 文字）【背景技術】
【０００２】
撮像画像を対象とした処理として、例えばＤＮＮ（Deep Neural Network）等によるＡＩ（Artificial Intelligence）モデルを用いた処理（以下「ＡＩ処理」と表記する）を行う技術がある。
例えば、下記特許文献１には、撮像画像を対象として物体認識処理等のＡＩ処理を行う撮像装置の技術が開示されている。具体的に、該特許文献１では、デジタルカメラが有するセンサ部内において、撮像画像を対象としたＡＩ処理を行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
国際公開第２０１８／０５１８０９号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、撮像画像を対象としてＡＩ処理を行う場合、ＡＩ処理の前処理として、撮像画像に画質調整のための前処理を施すことが考えられる。
従来、このような前処理としては、人が画像を鑑賞するためのビューイング用の画質調整処理が行われているが、ビューイングに適した前処理がＡＩ処理に適した前処理となる保証はない。すなわち、認識精度等、ＡＩ処理精度の向上に資する保証はない。
【０００５】
また、撮像装置においてＡＩ処理を行う場合、前処理としては、撮像環境の変化への追従性も考慮されるべきである。撮像環境の変化に対する画質調整の追従性が良好でない場合には、環境に対し不適切な画像を対象としてＡＩ処理が行われる機会が増大するため、ＡＩ処理精度の低下を招くものとなる。
【０００６】
本技術は上記事情に鑑み為されたものであり、ＡＩ処理の前処理について、ＡＩ処理に適した画質調整処理を実現しながら環境変化への追従速度向上を図ることにより、ＡＩ処理精度の向上を図ることを目的とする。
【課題を解決するための手段】
【０００７】
本技術に係る撮像装置は、撮像画像を得るセンサ部と、撮像画像を対象としてＡＩモデルを用いた処理であるＡＩ処理を行うＡＩ処理部と、前記ＡＩ処理部に対する入力画像の画質調整を行う信号処理部と、前記ＡＩ処理部によるＡＩ処理結果に基づき、前記信号処理部のパラメータ調整を行う制御部と、を備えたものである。
上記のようにＡＩ処理結果に基づいて信号処理部のパラメータ調整を行うことで、ＡＩ処理に適した前処理を行うことが可能となる。そして、上記構成によれば、信号処理部と制御部は同一の撮像装置内に設けられるため、ＡＩ処理結果に基づくパラメータ調整を迅速に行うことが可能となる。
【図面の簡単な説明】
【０００８】
第一実施形態としての撮像装置の構成例を示したブロック図である。
ダイナミックレンジ調整の例の説明図である。
第一実施形態の構成による利点についての説明図である。
第一実施形態としてのパラメータ調整手法を実現するための処理手順例を示したフローチャートである。
第二実施形態としての撮像装置の構成例を示したブロック図である。
第一実施形態としてのパラメータ調整手法を実現するための処理手順例を示したフローチャートである。
現像処理（画質調整処理）とＡＩ処理を複数系統で個別に行うことによる利点についての図である。
第三実施形態としての撮像装置の構成例を示したブロック図である。
第三実施形態としてのパラメータ調整手法を実現するための処理手順例を示したフローチャートである。
第三実施形態における別例としての撮像装置の構成例を示したブロック図である。
別例としての撮像装置における処理手順例を示したフローチャートである。
第四実施形態で想定する撮像シーンについての説明図である。
ユーザによる被写体の指定についての説明図である。
第四実施形態としてのパラメータ調整手法を実現するためのシステム構成例を示したブロック図である。
第四実施形態としてのパラメータ調整手法を実現するための撮像装置側、情報処理装置側の処理手順例を示したフローチャートである。
第四実施形態において補正値を複数の撮像装置間で共用する場合のシステム構成例の説明図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。
＜１．第一実施形態＞
（1-1．撮像装置の構成例）
（1-2．第一実施形態としてのパラメータ調整手法）
＜２．第二実施形態＞
＜３．第三実施形態＞
＜４．第四実施形態＞
＜５．変形例＞
＜６．実施形態のまとめ＞
＜７．本技術＞
【００１０】
＜１．第一実施形態＞
（1-1．撮像装置の構成例）
図１は、本技術に係る第一実施形態としての撮像装置１の構成例を示したブロック図である。
図示のように撮像装置１は、イメージセンサ２、ＡＩ（Artificial Intelligence：人工知能）信号処理部３、カメラ制御部４、及び通信部５を備えている。
（【００１１】以降は省略されています）

関連特許