特許ウォッチ

公開番号2025115594
公報種別公開特許公報(A)
公開日2025-08-07
出願番号2024010135
出願日2024-01-26
発明の名称連合学習に関する情報処理方法、サーバ、情報処理プログラム、及び、学習済みモデル
出願人学校法人芝浦工業大学
代理人弁理士法人信栄事務所
主分類G06N 3/098 20230101AFI20250731BHJP(計算;計数)
要約【課題】学習用データのプライバシーを保護し、端末装置の負荷、データ通信量、学習時間の少なくとも一つを抑制しつつ、高精度なモデルを生成可能な、連合学習に関する情報処理方法、サーバ、情報処理プログラム、及び、学習済みモデルを提供する。
【解決手段】サーバ1と、通信ネットワークN1、N2、N3を介してサーバ1と通信可能に接続された複数の端末装置10、20、30とによって実行される情報処理方法であって、グローバルモデルMの蒸留モデルmを用いて連合学習を実行する第一連合学習工程と、グローバルモデルMを用いて連合学習を実行する第二連合学習工程と、を含む。
【選択図】図5
特許請求の範囲【請求項１】
サーバと、通信ネットワークを介して前記サーバと通信可能に接続された複数の端末装置とによって実行される情報処理方法であって、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を含み、
前記第一連合学習工程は、
前記サーバが、前記蒸留モデルを第一ローカルモデルとして複製し、前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々が、前記第一ローカルモデルを学習して第一学習済みパラメータを取得する工程と、
複数の前記端末装置の各々が、前記第一学習済みパラメータを前記サーバへ送信する工程と、
前記サーバが、複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記サーバが、前記グローバルモデルを第二ローカルモデルとして複製し、前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々が、前記第二ローカルモデルを学習して第二学習済みパラメータを取得する工程と、
複数の前記端末装置の各々が、前記第二学習済みパラメータを前記サーバへ送信する工程と、
前記サーバが、複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む、情報処理方法。
続きを表示（約 2,200 文字）【請求項２】
前記第一連合学習工程を実行後に、前記第二連合学習工程を実行する、請求項１に記載の情報処理方法。
【請求項３】
（Ｎ＋１）回目の前記第一連合学習工程において用いられる前記蒸留モデルのサイズは、Ｎ回目の前記第一連合学習工程において用いられる前記蒸留モデルのサイズよりも大きく、
Ｎは、１以上の自然数である、請求項１に記載の情報処理方法。
【請求項４】
前記サーバは、複数の前記第一学習済みパラメータの加重平均によって前記第一統合パラメータを算出し、複数の前記第二学習済みパラメータの加重平均によって前記第二統合パラメータを算出する、請求項３に記載の情報処理方法。
【請求項５】
通信ネットワークを介して複数の端末装置に通信可能に接続されたサーバによって実行される情報処理方法であって、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を含み、
前記第一連合学習工程は、
前記蒸留モデルを第一ローカルモデルとして複製し、前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第一ローカルモデルを学習させることで取得した第一学習済みパラメータを受信する工程と、
複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記グローバルモデルを第二ローカルモデルとして複製し、前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第二ローカルモデルを学習させることで取得した第二学習済みパラメータを受信する工程と、
複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む、情報処理方法。
【請求項６】
通信ネットワークを介して複数の端末装置に通信可能に接続される通信インタフェースと、プロセッサと、を備え、
前記プロセッサは、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を実行し、
前記第一連合学習工程は、
前記蒸留モデルを第一ローカルモデルとして複製し、前記通信インタフェースから前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第一ローカルモデルを学習させることで取得した第一学習済みパラメータを、前記通信インタフェースを通じて受信する工程と、
複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記グローバルモデルを第二ローカルモデルとして複製し、前記通信インタフェースから前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第二ローカルモデルを学習させることで取得した第二学習済みパラメータを、前記通信インタフェースを通じて受信する工程と、
複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む、サーバ。
【請求項７】
通信ネットワークを介して複数の端末装置に通信可能に接続されたサーバに搭載されたプロセッサにより実行可能なコンピュータプログラムであって、
実行されることにより、前記サーバは、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を実行し、
前記第一連合学習工程は、
前記蒸留モデルを第一ローカルモデルとして複製し、前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第一ローカルモデルを学習させることで取得した第一学習済みパラメータを受信する工程と、
複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記グローバルモデルを第二ローカルモデルとして複製し、前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第二ローカルモデルを学習させることで取得した第二学習済みパラメータを受信する工程と、
複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む、コンピュータプログラム。
【請求項８】
請求項１、または５に記載の情報処理方法で学習された学習済みモデル。

発明の詳細な説明【技術分野】
【０００１】
本開示は、グローバルモデルの蒸留モデルを用いた連合学習による情報処理方法、サーバ、情報処理プログラム、及び、学習済みモデルに関する。
続きを表示（約 3,300 文字）【背景技術】
【０００２】
複数の端末装置から学習用データをサーバに集約し、サーバ上で機械学習を行う中央集権型の学習方法において、学習用データのプライバシー保護、データ通信量や学習時間の増大が問題となっている。そこで、端末装置に機械学習をさせることで、学習用データのプライバシーを保護し、データ通信量や学習時間を抑制する連合学習が提案されている（例えば特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
特開２０２３－１２８０５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
学習用データのプライバシーを保護し、端末装置の負荷、データ通信量、学習時間の少なくとも一つを抑制しつつ、高精度なモデルを生成可能な機械学習の方法が求められている。
【課題を解決するための手段】
【０００５】
本開示の一側面に係る第一の情報処理方法は、
サーバと、通信ネットワークを介して前記サーバと通信可能に接続された複数の端末装置とによって実行される情報処理方法であって、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を含み、
前記第一連合学習工程は、
前記サーバが、前記蒸留モデルを第一ローカルモデルとして複製し、前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々が、前記第一ローカルモデルを学習して第一学習済みパラメータを取得する工程と、
複数の前記端末装置の各々が、前記第一学習済みパラメータを前記サーバへ送信する工程と、
前記サーバが、複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記サーバが、前記グローバルモデルを第二ローカルモデルとして複製し、前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々が、前記第二ローカルモデルを学習して第二学習済みパラメータを取得する工程と、
複数の前記端末装置の各々が、前記第二学習済みパラメータを前記サーバへ送信する工程と、
前記サーバが、複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む。
【０００６】
本開示の他の一側面に係る第二の情報処理方法は、
通信ネットワークを介して複数の端末装置に通信可能に接続されたサーバによって実行される情報処理方法であって、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を含み、
前記第一連合学習工程は、
前記蒸留モデルを第一ローカルモデルとして複製し、前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第一ローカルモデルを学習させることで取得した第一学習済みパラメータを受信する工程と、
複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記グローバルモデルを第二ローカルモデルとして複製し、前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第二ローカルモデルを学習させることで取得した第二学習済みパラメータを受信する工程と、
複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む。
【０００７】
本開示の一側面に係るサーバは、
通信ネットワークを介して複数の端末装置に通信可能に接続される通信インタフェースと、プロセッサと、を備え、
前記プロセッサは、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を実行し、
前記第一連合学習工程は、
前記蒸留モデルを第一ローカルモデルとして複製し、前記通信インタフェースから前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第一ローカルモデルを学習させることで取得した第一学習済みパラメータを、前記通信インタフェースを通じて受信する工程と、
複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記グローバルモデルを第二ローカルモデルとして複製し、前記通信インタフェースから前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第二ローカルモデルを学習させることで取得した第二学習済みパラメータを、前記通信インタフェースを通じて受信する工程と、
複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む。
【０００８】
本開示の一側面に係るコンピュータプログラムは、
通信ネットワークを介して複数の端末装置に通信可能に接続されたサーバに搭載されたプロセッサにより実行可能なコンピュータプログラムであって、
実行されることにより、前記サーバは、
グローバルモデルの蒸留モデルを用いて連合学習を実行する第一連合学習工程と、
前記グローバルモデルを用いて前記連合学習を実行する第二連合学習工程と、を実行し、
前記第一連合学習工程は、
前記蒸留モデルを第一ローカルモデルとして複製し、前記第一ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第一ローカルモデルを学習させることで取得した第一学習済みパラメータを受信する工程と、
複数の前記第一学習済みパラメータから第一統合パラメータを算出し、前記第一統合パラメータを用いて前記蒸留モデルを更新する工程と、を含み、
前記第二連合学習工程は、
前記グローバルモデルを第二ローカルモデルとして複製し、前記第二ローカルモデルを複数の前記端末装置の各々へ送信する工程と、
複数の前記端末装置の各々から、前記第二ローカルモデルを学習させることで取得した第二学習済みパラメータを受信する工程と、
複数の前記第二学習済みパラメータから第二統合パラメータを算出し、前記第二統合パラメータを用いて前記グローバルモデルを更新する工程と、を含む。
【０００９】
本開示の一側面に係る学習済みモデルは、
上記第一の情報処理方法、または、上記第二の情報処理方法で学習された学習済みモデルである。
【発明の効果】
【００１０】
本開示によれば、学習用データのプライバシーを保護し、端末装置の負荷、データ通信量、学習時間の少なくとも一つを抑制しつつ、高精度なモデルを生成可能な、連合学習に関する情報処理方法、サーバ、情報処理プログラム、及び、学習済みモデルを提供できる。
【図面の簡単な説明】
（【００１１】以降は省略されています）

関連特許