特許ウォッチ

公開番号2025119409
公報種別公開特許公報(A)
公開日2025-08-14
出願番号2024014289
出願日2024-02-01
発明の名称画像拡大表示システム
出願人学校法人金沢工業大学
代理人個人
主分類G06F 3/01 20060101AFI20250806BHJP(計算;計数)
要約【課題】ユーザーの視線に基づいて画像を拡大する画像拡大表示システムを提供する。
【解決手段】制御装置20はユーザーの視線停留位置及び視線停留時間に基づいて画像拡大の要否を決定する強化学習部40と画像拡大制御部30を備える。強化学習部は画像拡大制御部に蓄えられた眼球運動特性ベクトルと拡大の適否の指標からなる時系列データを読み込むデータ入力部41と、データ入力部の眼球運動特性ベクトルに応じて報酬を決める報酬決定部42と、報酬決定部で決められた報酬と前記データ入力部の時系列データに基づいて、視線停留時間の状態を段階的に発展させながら行動価値関数を更新する関数更新部43と、行動価値関数の更新を繰り返すことによって得られる学習結果から画像拡大条件を作成する拡大条件作成部44によって構成される。制御装置は強化学習部で学習した画像拡大条件を満たすように画像表示装置10を制御する。
【選択図】図1

特許請求の範囲【請求項１】
文書や画像を表示する画像表示装置と、前記画像表示装置における文字や画像の拡大を制御する制御装置を備えており、
前記制御装置は前記画像表示装置に設置された視線センサにより収集されるユーザーの注視点座標から算定される視線停留位置及び視線停留時間に基づいて画像拡大の要否を決定する強化学習部と画像拡大制御部とを備えており、
前記強化学習部は前記画像拡大制御部に蓄えられた眼球運動特性ベクトルと拡大の適否の指標からなる時系列データを読み込むデータ入力部と、前記データ入力部の前記眼球運動特性ベクトルに応じて報酬を決める報酬決定部と、前記報酬決定部で決められた報酬と前記データ入力部の時系列データに基づいて、前記視線停留時間の状態を段階的に発展させながら行動価値関数を更新する関数更新部と、前記行動価値関数の更新を繰り返すことによって得られる学習結果から画像拡大条件を作成する拡大条件作成部によって構成され、
前記制御装置は前記強化学習部で学習した前記画像拡大条件を満たすように前記画像表示装置を制御することを特徴とする画像拡大表示システム。
続きを表示（約 310 文字）【請求項２】
前期強化学習部では前記視線停留時間の状態を逐次的に発展させながら、随時、画像拡大の適否を評価して学習することを特徴とする請求項1に記載の画像拡大表示システム。
【請求項３】
前記画像表示装置が備える画像表示面上の各注視点iにおける前記視線停留時間以外の前記眼球運動特性ベクトルx
i
を状態に対する外部情報として利用することを特徴とする請求項1に記載の画像拡大表示システム。
【請求項４】
文字識別困難と予測された前記視線停留時間以上では常に文字拡大を、それより小さい場合では常に文字の非拡大を選択することを特徴とする請求項1に記載の画像拡大表示システム。

発明の詳細な説明【技術分野】
【０００１】
本発明は、ユーザーの視線に基づいて画像を拡大する画像拡大表示システムに関する。
続きを表示（約 3,000 文字）【背景技術】
【０００２】
Webサイト、タブレット端末、スマートフォンなどの画面上に識別困難な文字や画像が現れたとき、ユーザーが視線を停留させると当該箇所を自動的に拡大させて表示させる画像拡大表示システムについて開発が進められている。
このシステムではユーザーは視線停留によって文字や画像の拡大要求を機械（エージェント）に伝え、エージェントは視線停留の時間経過中にユーザーの要求を迅速に把握することが肝要である。
例えば非特許文献1には運動障害者を対象として、視線でマウス操作を制御できるWebブラウザーが開示されている。
非特許文献2にはWindowsの拡大鏡を用いて、視線が長時間停留すると当該文字周辺を自動的に拡大するシステムが開示されている。
非特許文献3には強化学習に基づき視線停留時間から文字識別困難の発生を予測したシステムが開示されている。
【先行技術文献】
【非特許文献】
【０００３】
Mengesら,2019. Improving User Experience of Eye Tracking-Based Interaction: Introspecting and Adapting Interfaces. ACM Transactions on Computer-Human Interaction, 26, 6 (October 2019), Article 37:1-46
石田,2020,Web上の識別困難文字の視線による自動拡大提示システムの構築,令和2年度金沢工業大学PDIIIプロジェクトレポート．
斎藤・松森,2020,Web閲覧時の文字識別の困難発生の予測システム,令和2年度金沢工業大学PDIIIプロジェクトレポート．
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献1はユーザーが新たなブラウザーをインストールしなければならないという問題があるし、また識別困難な文字や画像などのWebページ要素を拡大するという概念もない。非特許文献2はユーザーが文字識別困難に陥ったか否かの判定を行っておらず、不要に文字を拡大する恐れがある。非特許文献3は注視点を状態に設定したため、単なる文字識別困難発生の予測手法を考案したに過ぎない。すなわち、エージェントがユーザーの視線停留状態を学習して迅速かつ的確に文字拡大を実行するシステムにはなり得ていないという問題がある。
【０００５】
本発明は、上記のような問題を考慮して、ユーザーの視線に基づいて画像を拡大する画像拡大表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の画像拡大表示システムは、文書や画像を表示する画像表示装置と、前記画像表示装置における文字や画像の拡大を制御する制御装置を備えており、前記制御装置は前記画像表示装置に設置された視線センサにより収集されるユーザーの注視点座標から算定される視線停留位置及び視線停留時間に基づいて画像拡大の要否を決定する強化学習部と画像拡大制御部とを備えており、前記強化学習部は前記画像拡大制御部に蓄えられた眼球運動特性ベクトルと拡大の適否の指標からなる時系列データを読み込むデータ入力部と、前記データ入力部の前記眼球運動特性ベクトルに応じて報酬を決める報酬決定部と、前記報酬決定部で決められた報酬と前記データ入力部の時系列データに基づいて、前記視線停留時間の状態を段階的に発展させながら行動価値関数を更新する関数更新部と、前記行動価値関数の更新を繰り返すことによって得られる学習結果から画像拡大条件を作成する拡大条件作成部によって構成され、前記制御装置は前記強化学習部で学習した前記画像拡大条件を満たすように前記画像表示装置を制御することを特徴とする。
また、前期強化学習部では前記視線停留時間の状態を逐次的に発展させながら、随時、画像拡大の適否を評価して学習することを特徴とする。
また、前記画像表示装置が備える画像表示面上の各注視点iにおける前記視線停留時間以外の前記眼球運動特性ベクトルx
i
を状態に対する外部情報として利用することを特徴とする。
また、文字識別困難と予測された前記視線停留時間以上では常に文字拡大を、それより小さい場合では常に文字の非拡大を選択することを特徴とする。
【発明の効果】
【０００７】
本発明はユーザーの視線停留によって識別困難な文字や画像の迅速且つ的確な拡大を誘導するシステムである。従って、視線停留時間を説明変数として使用することはできない。なぜなら、視線停留時間を説明変数にすると、一定時間の視線停留が起こってしまった結果に基づいて識別困難の予測を行うことになり、視線停留が始まってから終了するまでの各時間ステップで識別困難を予測し文字拡大を行うという作業ができなくなるからである。言い換えると、本発明は使用者の視線停留時間を文字拡大のための制御変数として使用するのであり、停留が終了するまで結果を待っていてはタイムリーな拡大を行えない。
従って、一般の強化学習のように、各注視点で行動案の正解を求めるのではなく、本発明では幾つかの注視点の結果を犠牲にしてでもユーザーにとって満足がいく形で、注視点全体で一律の文字拡大の判断基準を導出する点が特徴である。
【図面の簡単な説明】
【０００８】
画像拡大表示システムの構成を示すブロック図
画像拡大の例を示す図(a)及び(b)
画像表示装置と視線センサの例を示す写真
画像拡大制御部のフローチャート
強化学習部のフローチャート
増減係数を示す表
行動価値関数の表
強化学習の収束結果の図
【発明を実施するための形態】
【０００９】
本発明の画像拡大表示システムの実施の形態について説明する。なお、以下の実施形態は分かりやすい例示であって、本発明、その適用方法および適用範囲を制限することを意図するものではない。
図1に示すように画像拡大表示システム1は画像表示装置10及び制御装置20を備える。
画像表示装置10は画像表示面11に文字や画像を表示するものである。画像表示装置10としてはパーソナルコンピューター、タブレット端末、スマートフォン等が挙げられるがこれらに限定されない。画像表示装置10は画像表示面11にユーザーにとって識別困難な文字や画像が現れて、ユーザーが当該文字等に視線を停留させたときに、制御装置20の指示に基づいて図2(a)及び(b)中に矢印で示すように当該文字等を自動的に拡大させて表示させる。
【００１０】
（画像表示装置10）
図3に示すように画像表示装置10は視線センサ12を備えている。視線センサ12は画像表示面11のユーザーの視線の注視点座標を一定の時間間隔（e.g. 1/60秒）で検出する。これにより、視線停留時間や視線移動速度、移動距離などの眼球運動特性が算定される。視線センサ12は画像表示装置10に組み込まれていてもよい。
（【００１１】以降は省略されています）

関連特許