特許ウォッチ

公開番号2025081343
公報種別公開特許公報(A)
公開日2025-05-27
出願番号2025012856,2023551164
出願日2025-01-29,2021-05-19
発明の名称人工ニューラルネットワークにおけるアナログニューラルメモリのための精密なデータチューニング方法及び装置
出願人シリコンストーリッジテクノロージーインコーポレイテッド,SILICON STORAGE TECHNOLOGY, INC.
代理人弁理士法人英知国際特許商標事務所
主分類G11C 11/56 20060101AFI20250520BHJP(情報記憶)
要約【課題】ニューラルネットワーク及びベクトルマトリックス乗算(VMM)アレイ内の不揮発性メモリセルの差動対においてゼロ値をプログラミングし、検証し、かつ、読み出す方法を提供する。
【解決手段】VMMシステム内のアルゴリズムコントローラによって実行するチューニング補正方法であって、チューニングコマンドを受信することでVMMアレイ全体を、ソフト消去法などによって消去することと、セル電流<pAレベル又は等価ゼロ重みを得るために、全ての未使用セルに対してプログラミング動作を実行することと、VMMアレイ内の全てのセルを、粗い及び/又は微細プログラミングサイクルを使用して、0.5～1.0μAなどの中間値にプログラムすることと、予測目標を、関数又はルックアップテーブルを使用して使用されるセルに設定することと、セクタチューニング方法を、VMMの各セクタに対して実行することと、を含む。
【選択図】図35A
特許請求の範囲【請求項１】
ニューラルネットワークであって、
不揮発性メモリセルのベクトルマトリックス乗算アレイを含み、重み値ｗは、式ｗ＝（ｗ＋）－（ｗ－）に従って、前記アレイ内の第１の不揮発性メモリセル及び第２の不揮発性メモリセルの差動対ｗ＋及びｗ－として記憶され、ｗ＋及びｗ－は、非ゼロのオフセット値を含む、ニューラルネットワーク。
続きを表示（約 710 文字）【請求項２】
前記非ゼロのオフセット値は、正の値である、請求項１に記載のニューラルネットワーク。
【請求項３】
前記非ゼロのオフセット値は、負の値である、請求項１に記載のニューラルネットワーク。
【請求項４】
ｗに対して０の値が所望されるとき、前記非ゼロのオフセット値に等しい値は、ｗ＋及びｗ－に対して記憶される、請求項１に記載のニューラルネットワーク。
【請求項５】
ｗに対する０の値は、所定のスレッショルド未満のｗに対する記憶された値によって示される、請求項１に記載のニューラルネットワーク。
【請求項６】
前記所定のスレッショルドは、５ｎＡである、請求項５に記載のニューラルネットワーク。
【請求項７】
前記所定のスレッショルドは、１０ｎＡである、請求項５に記載のニューラルネットワーク。
【請求項８】
前記不揮発性メモリセルは、スプリットゲートフラッシュメモリセルである、請求項１に記載のニューラルネットワーク。
【請求項９】
前記不揮発性メモリセルは、積層ゲートフラッシュメモリセルである、請求項１に記載のニューラルネットワーク。
【請求項１０】
前記第１の不揮発性メモリセルは、粗い、微細、又は超微細チューニングアルゴリズムのうちの１つ以上によってｗ＋にチューニングされ、前記第２の不揮発性メモリセルは、微細又は超微細チューニングアルゴリズムのうちの１つ以上によってｗ－にチューニングされる、請求項１に記載のニューラルネットワーク。
（【請求項１１】以降は省略されています）
発明の詳細な説明【技術分野】
【０００１】
（優先権の主張）
本出願は、２０２０年１月３日に出願された「ＰｒｅｃｉｓｅＤａｔａＴｕｎｉｎｇＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＡｎａｌｏｇＮｅｕｒｏｍｏｒｐｈｉｃＭｅｍｏｒｙｉｎａｎＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ」という名称の米国特許仮出願第６２／９５７，０１３号の優先権を主張するものである、２０２０年３月２５日に出願された「ＰｒｅｃｉｓｅＤａｔａＴｕｎｉｎｇＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＡｎａｌｏｇＮｅｕｒｏｍｏｒｐｈｉｃＭｅｍｏｒｙｉｎａｎＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ」という名称の米国特許出願第１６／８２９，７５７号の一部継続出願である、２０２１年２月２５日に出願された「ＰｒｅｃｉｓｅＤａｔａＴｕｎｉｎｇＭｅｔｈｏｄａｎｄＡｐｐａｒａｔｕｓｆｏｒＡｎａｌｏｇＮｅｕｒａｌＭｅｍｏｒｙｉｎａｎＡｒｔｉｆｉｃｉａｌＮｅｕｒａｌＮｅｔｗｏｒｋ」という名称の米国特許出願第１７／１８５，７２５号の優先権を主張するものである。
続きを表示（約 2,400 文字）【０００２】
（発明の分野）
人工ニューラルネットワーク内のベクトルマトリックス乗算（vector-by-matrix multiplication、ＶＭＭ）アレイ内の不揮発性メモリセルの浮遊ゲートに正確な量の電荷を精密かつ迅速に堆積させるための精密チューニング方法及び装置について、多数の実施形態が開示される。
【背景技術】
【０００３】
人工ニューラルネットワークは、生物学的ニューラルネットワーク（動物の中枢神経系、特に脳）を模倣しており、多数の入力に依存し得、かつ、一般的に未知である関数を推定する又は近似するために使用される。人工ニューラルネットワークは、概して、お互いの間でメッセージを交換する相互接続した「ニューロン」の層を含む。
【０００４】
図１は人工ニューラルネットワークを示しており、図中、円は、入力又はニューロンの層を表す。接続（シナプスと呼ばれる）は、矢印によって表され、経験に基づいてチューニングされ得る数値の重みを有する。これにより、人工ニューラルネットワークは入力に適応し、学習可能になる。典型的には、人工ニューラルネットワークは、複数の入力の層を含む。典型的には、１つ以上のニューロンの中間層、及びニューラルネットワークの出力を提供するニューロンの出力層が存在する。各レベルでニューロンは、シナプスから受信したデータに基づいて個々に又は集合的に決定を行う。
【０００５】
高性能情報処理用の人工ニューラルネットワークの開発における主要な課題のうちの１つは、適切なハードウェア技術の欠如である。実際には、実用人工ニューラルネットワークは、非常に多数のシナプスに依拠しており、これによりニューロン間の高い接続性、すなわち、非常に高度な計算処理の並列化が可能となる。原理的には、このような複雑性は、デジタルスーパーコンピュータ又は専用グラフィックプロセッシングユニットクラスタによって実現が可能である。しかしながら、高コストに加え、これらのアプローチはまた、生物学的ネットワークが主として低精度のアナログ計算を実施するのではるかに少ないエネルギーしか消費しないのと比較して、エネルギー効率が劣っていることに悩まされている。人工ニューラルネットワークにはＣＭＯＳアナログ回路が使用されてきたが、ほとんどのＣＭＯＳ実装シナプスは、多数のニューロン及びシナプスを前提とすると、嵩高過ぎていた。
【０００６】
出願人は以前に、参照により組み込まれる米国特許公開第２０１７／０３３７４６６号として公開された米国特許出願第１５／５９４，４３９号において、シナプスとして１つ以上の不揮発性メモリアレイを利用する人工（アナログ）ニューラルネットワークを開示した。不揮発性メモリアレイは、アナログニューロモーフィックメモリとして動作する。本明細書で使用される場合、ニューロモーフィックという用語は、神経システムのモデルを実装する回路を意味する。アナログニューロモーフィックメモリは、第１の複数の入力を受信して、それから第１の複数の出力を生成するように構成されている第１の複数のシナプス、及び第１の複数の出力を受信するように構成された第１の複数のニューロンを含む。第１の複数のシナプスは複数のメモリセルを含み、メモリセルの各々は、半導体基板内に形成された、間にチャネル領域が延在する離間したソース領域及びドレイン領域と、チャネル領域の第１の部分の上方に絶縁されて配設される浮遊ゲートと、チャネル領域の第２の部分の上方に絶縁されて配設される非浮遊ゲートと、を含む。複数のメモリセルの各々は、浮遊ゲートの多くの電子に対応する重み値を記憶するように構成されている。複数のメモリセルは、第１の複数の入力に、記憶された重み値を乗算して第１の複数の出力を生成するように構成される。この様式で配置されるメモリセルのアレイは、ベクトルマトリックス乗算（ＶＭＭ）アレイと称され得る。
【０００７】
ＶＭＭアレイに使用される各不揮発性メモリセルは、浮遊ゲート内に電荷、すなわち電子の数、を非常に具体的かつ精密な量で保持するように消去及びプログラムされなければならない。例えば、各浮遊ゲートはＮ個の異なる値のうちの１つを保持しなければならず、ここで、Ｎは、各セルによって示され得る異なる重みの数である。Ｎの例としては、１６、３２、６４、１２８及び２５６が挙げられる。１つの課題は、異なるＮの値に必要な精度及び粒度で選択されたセルをプログラムする能力である。例えば、選択されたセルが６４個の異なる値のうちの１つを含み得る場合、極めて高い精度がプログラム動作で必要とされる。
【０００８】
必要とされるのは、アナログニューロモーフィックメモリにおいてＶＭＭアレイと共に使用するのに適した、改善されたプログラミングシステム及び方法である。
【発明の概要】
【０００９】
アナログニューロモーフィックメモリシステム内のＶＭＭアレイ内の不揮発性メモリセルの浮遊ゲートに正確な量の電荷を精密かつ迅速に堆積させるための精密チューニングアルゴリズム及び装置について、多数の実施形態が開示される。それにより、選択されたセルは、Ｎ個の異なる値のうちの１つを保持するために、極めて高い精度でプログラムすることができる。
【００１０】
一実施形態では、ニューラルネットワークは、不揮発性メモリセルのベクトルマトリックス乗算アレイを含み、重み値ｗは、式ｗ＝（ｗ＋）－（ｗ－）に従って、アレイ内の第１の不揮発性メモリセル及び第２の不揮発性メモリセルの差動対ｗ＋及びｗ－として記憶され、ｗ＋及びｗ－は、非ゼロのオフセット値を含む。
（【００１１】以降は省略されています）

関連特許