特許ウォッチ

公開番号2025148223
公報種別公開特許公報(A)
公開日2025-10-07
出願番号2024193147
出願日2024-11-01
発明の名称販売時点情報管理アイテム予測及び検証
出願人東芝テック株式会社
代理人弁理士法人鈴榮特許綜合事務所
主分類G07G 1/00 20060101AFI20250930BHJP(チェック装置)
要約【課題】販売時点情報管理(POS)システムにおいて購入用アイテムを予測するための技法を提供する。
【解決手段】POSシステムにおいてキャプチャされた、1つ以上の購入用アイテムの1つ以上の画像を特定し、更に、1つ以上の購入用アイテムの測定された特性を特定する。測定された特性は、(i)POSシステムに関連付けられた重量センサを使用して測定された第1の重量、又は(ii)POSシステムに関連付けられた1つ以上の圧力若しくは重量センサを使用して測定されたフットプリント、のうちの少なくとも1つを含む。これら技法は、機械学習(ML)モデルを使用して1つ以上の画像を分析することに基づいて、購入用アイテムを予測することと、測定された特性を使用して、予測された購入用アイテムを検証することと、を含む。
【選択図】図1B
特許請求の範囲【請求項１】
販売時点情報管理（ＰＯＳ）システムにおいてキャプチャされた、購入用アイテムの画像を特定することと、
前記購入用アイテムの特性であって、（ｉ）前記ＰＯＳシステムに関連付けられた重量センサを使用して測定された第１の重量、又は（ｉｉ）前記ＰＯＳシステムに関連付けられた１つ以上の圧力若しくは重量センサを使用して測定されたフットプリント、のうちの少なくとも１つを含む特性を特定することと、
前記画像に基づいて、前記購入用アイテムを予測することと、
前記特性を使用して、前記予測された購入用アイテムを検証することと、
を備える方法。
続きを表示（約 1,200 文字）【請求項２】
前記特性は、前記第１の重量を含み、
前記方法は、前記予測された購入用アイテムの第２の重量を予測する、
請求項１に記載の方法。
【請求項３】
前記特性を使用して、前記予測された購入用アイテムを検証することは、
前記購入用アイテムについての第１の重量と、前記予測された第２の重量との間の重量偏差を計算することである、
請求項２に記載の方法。
【請求項４】
前記特性を使用して、前記予測された購入用アイテムを検証することは、
前記重量偏差が偏差閾値内にあると決定することである、
請求項３に記載の方法。
【請求項５】
前記重量偏差は、下記の式：
｜（測定された重量－予測された重量）｜÷（予想重量）÷予測されたアイテム数
に従って計算される、請求項４に記載の方法。
【請求項６】
前記特性は、前記ＰＯＳシステムに関連付けられた１つ以上の圧力又は重量センサを使用して測定された前記フットプリントを含み、
前記方法は、前記特定された１つ以上の画像に基づいて、前記購入用アイテムの上から見下ろした形状を特定することと、
前記上から見下ろした形状を、前記アイテムについての前記フットプリントと比較することと、
を更に備える、請求項１に記載の方法。
【請求項７】
前記上から見下ろした形状を、前記アイテムについての前記フットプリントと比較することは、前記アイテムについての前記フットプリントと比較した前記上から見下ろした形状についてのＩｏＵ（Intersection Over Union）を決定することである、請求項６に記載の方法。
【請求項８】
前記特性は、前記ＰＯＳシステムに関連付けられた重量センサを使用して測定された前記第１の重量と、前記ＰＯＳシステムに関連付けられた１つ以上の圧力又は重量センサを使用して測定された前記フットプリントとの両方を含み、
前記特性を使用して、前記予測された購入用アイテムを検証することは、前記第１の重量と前記フットプリントとの両方に基づいて検証することである、
請求項１に記載の方法。
【請求項９】
前記購入用アイテムの前記予測を検証することは、
前記アイテムを購入するための取引が有効にされるべきではないと決定することと、
前記取引に介入することと、
を備える、請求項１に記載の方法。
【請求項１０】
前記取引に介入することは、
アイテムが前記ＰＯＳシステムにおいて移動されるべきことを示すために、前記ＰＯＳシステムに関連付けられたユーザインターフェースを修正することである、
請求項９に記載の方法。
（【請求項１１】以降は省略されています）
発明の詳細な説明【背景技術】
【０００１】
[0001]販売時点情報管理（ＰＯＳ）端末は、販売用アイテムを購入するために、購入者によって使用され得る。例えば、小売店は、購入者がアイテムを購入することを可能にするために、１つ以上のセルフチェックアウトキオスクを含み得る。これらのセルフチェックアウトキオスクは、ＰＯＳ端末として機能し得、購入者のためにアイテムを特定し、購入者が特定されたアイテムを購入することを可能にするために使用され得る。
続きを表示（約 3,600 文字）【図面の簡単な説明】
【０００２】
[0002]図１Ａは、一実施形態に係る、ＰＯＳアイテム予測を備えた例となるチェックアウトエリアを例示する。
[0003]図１Ｂは、一実施形態に係る、アイテム予測のための例となるＰＯＳキオスクを例示する。
[0004]図２は、一実施形態に係る、ＰＯＳアイテム予測のためのコントローラを例示するブロック図である。
[0005]図３は、一実施形態に係る、重量検出を使用したＰＯＳアイテム予測を例示するフローチャートである。
[0006]図４は、一実施形態に係る、重量検出を使用したＰＯＳアイテム予測のためのキオスクの使用を例示する。
[0007]図５は、一実施形態に係る、ＰＯＳアイテム予測のための重量検証を例示するフローチャートである。
[0008]図６は、一実施形態に係る、商品重量予測機械学習（ＭＬ）モデルを訓練することを例示するフローチャートである。
[0009]図７は、一実施形態に係る、ＭＬモデルを使用して商品重量を推測することを例示するフローチャートである。
[0010]図８は、一実施形態に係る、重量及びアイテムフットプリントを使用したＰＯＳアイテム予測を例示するフローチャートである。
[0011]図９は、一実施形態に係る、重量及びアイテムフットプリントを使用したＰＯＳアイテム予測のためのキオスクの使用を例示する。
【発明を実施するための形態】
【０００３】
[0012]ＰＯＳ端末でのアイテムの特定は、困難な問題である。例えば、ＰＯＳシステムは、購入されているアイテムの画像をキャプチャするための１つ以上の画像キャプチャデバイス（例えば、カメラ）を含み得る。コンピュータビジョン技法（例えば、好適なＭＬモデル）が、カメラに可視であるアイテムを検出するために使用され得る。しかし、コンピュータビジョンは、カメラに可視でないアイテム（例えば、互いに重なり合ったアイテム）又は視覚的には同様に見えるが、実際には異なるアイテム（例えば、異なるサイズで入手可能なアイテム）を特定することに関して大きな問題がある。
【０００４】
[0013]例えば、購入者は、ＰＯＳ端末において、大きい方のアイテムの下に小さい方のアイテムを置き得、その結果、大きい方のアイテムは、ＰＯＳ端末に関連付けられたカメラに可視であるが、小さい方のアイテムは可視でない。カメラのみに依拠するコンピュータビジョンは、カメラに可視でないアイテムを特定しないことになり、購入されているアイテムの誤った予測につながる。更に、コンピュータビジョンは、異なるサイズの同一の商品を誤認し得る。例えば、購入者は、同じブランドであるが、異なるサイズの２本のソーダ缶を購入するように試み得る。コンピュータビジョンシステムは、これら２本の缶を同一アイテムとして誤って特定し得るか、又はこれら缶同士を区別することができず、したがって、（例えば、実際に購入されている缶を正しく予測することの代わりに）缶の入手可能なサイズのリストを購入者に提示し得る。
【０００５】
[0014]以下に説明する１つ以上の技法は、これらの問題のうちの１つ以上を軽減し得る。例えば、重量検証が、（例えば、視覚的アイテム認識に加えて、又はその代わりに）アイテム認識のために用いられ得る。一実施形態では、ＰＯＳシステムが秤を含み得、重量偏差が、購入用アイテムの実際に記録された重量と、（例えば、好適なＭＬモデルを使用して予測される）予測された重量との間で特定され得る。この重量偏差は、アイテム予測における誤りを特定するために使用され得るか、（例えば、視覚的アイテム認識と一緒に）アイテム予測を向上させるために使用され得るか、又はその他任意の好適な技法のために使用され得る。これについては、図３～図７に関して、以下で更に説明する。
【０００６】
[0015]別の例として、アイテムフットプリントが、アイテム認識のために用いられ得る。一実施形態では、ＰＯＳ端末が、購入用アイテムの圧力点を特定する重量又は圧力センサを含み得る。これは、アイテムについてのフットプリント（例えば、ＰＯＳ端末上に載置されているときのアイテムについてのフットプリント）を生成するために使用され得る。このフットプリントは、（例えば、購入用アイテムの上方からキャプチャされる）キャプチャされた画像から特定された形状と比較され得、購入用アイテムを予測するため、購入取引を検証するため、又は両方のために使用され得る。これについては、図８～図９に関して、以下で更に説明する。例えば、購入者は、異なるサイズで入手可能なアイテム（例えば、ソーダ缶）を購入している場合がある。コンピュータビジョン技法は、アイテムのカテゴリ（例えば、ソーダのブランド及びタイプ）を特定するために使用され得るが、サイズを予測することが可能でない場合がある。アイテムのフットプリント、アイテムの重量、又は両方が、予測を改良し、オプションの中から（例えば、入手可能なサイズの中から）選択するために使用され得る。
【０００７】
［予測検証の利点］
[0016]上述したように、一実施形態では、重量、フットプリント、又は両方が、ＰＯＳ端末でのアイテムについての予測を検証又は向上させるために使用され得る。これは、多数の技術的利点を有する。例えば、コンピュータビジョン技法は、購入用アイテムを正確に予測するのに不十分であり得る。これは、いくつかのアイテムがキャプチャされた画像において可視でない（例えば、小さい方のアイテムが大きい方のアイテムの下に置かれ得る）ためか、アイテムが視覚的に同様であるが異なるバリエーション（例えば、所要の商品についての異なるサイズ）で入手可能であり得るためか、又は様々な他のオプションのためであり得る。重量、フットプリント、又は両方を使用してアイテム予測を検証することは、著しくより正確な予測をもたらし得る。これは、コンピュータビジョン分析を補うための追加のデータ（例えば、重量、フットプリント、又は両方）を使用することによって、コンピュータビジョン技法に固有の技術的問題を解決する。
【０００８】
[0017]更に、以下で説明する１つ以上の技法は、コンピュータビジョン予測のために使用されるリソースを低減することによって、予測のために使用される計算リソースを低減し得る。例えば、コンピュータビジョンＭＬモデルが、代わりにフットプリント、重量、又は両方に基づいて区別され得るアイテム同士を区別しないので、より少ない訓練リソースが、コンピュータビジョンＭＬモデルを訓練するために使用され得る。別の例として、コンピュータビジョンＭＬモデルを使用した推測は、フットプリント、重量、又は両方を使用することによって提供される向上した予測により、より計算集約的でなくなり得る。
【０００９】
[0018]図１Ａは、一実施形態に係る、ＰＯＳアイテム予測を備えた例となるチェックアウトエリア１００を例示する。一実施形態では、チェックアウトエリア１００は、小売店環境（例えば、食料品店）に関連する。これは単なる一例にすぎず、チェックアウトエリア１００は、任意の好適な環境に関連し得る。
【００１０】
[0019]１人以上の購入者１０２が、（例えば、購入品の代金を支払うために）チェックアウトエリア１１０を使用する。一実施形態では、チェックアウトエリア１１０は、複数の販売時点情報管理（ＰＯＳ）システム１２０Ａ～Ｎを含む。例えば、購入者１０２のうちの１人は、アイテムを購入するために、セルフチェックアウト用のＰＯＳシステム１２０Ａ～Ｎのうちの１つを使用し得る。チェックアウトエリア１１０は、従業員ステーション１２６を更に含む。例えば、従業員（例えば、小売店の従業員）が、購入者１０２及びＰＯＳシステム１２０Ａ～Ｎを監視するために、従業員ステーション１２６を使用し得る。セルフチェックアウトは、単なる一例にすぎず、ＰＯＳシステム１２０Ａ～Ｎは、任意の好適なシステムであり得る。例えば、ＰＯＳシステム１２０Ａは、従業員が購入者のチェックアウトを補助する補助付きチェックアウトキオスクであり得るか、又はチェックアウトエリア１１０は、完全に購入者中心（fully purchaser focused）であり、従業員による補助を含まない場合がある。
（【００１１】以降は省略されています）

関連特許