二

Scientific Reports volume 13、記事番号: 11658 (2023) この記事を引用

173 アクセス

メトリクスの詳細

フェデレーテッド ラーニングにより、ノードのプライベート データを一元管理することなく、複数のノードがローカル計算を実行し、連携して機械学習タスクを完了できるようになります。 ただし、フレームワークで必要とされる頻繁なモデル勾配のアップロード/ダウンロード操作により通信コストが高くなり、深いモデルがスケールアップするにつれてフェデレーテッド ラーニングの主なボトルネックとなり、パフォーマンスが妨げられています。 この論文では、フェデレーテッド ラーニングの通信コストを効果的に削減する 2 層累積量子化圧縮アルゴリズム (TLAQC) を提案します。 TLAQC は、個別の通信コストとグローバル通信ラウンド数の両方を削減することでこれを実現します。 TLAQC は、RQSGD と呼ばれる改訂された量子化方法を導入しています。これは、ゼロ値補正を採用して非効果的な量子化現象を軽減し、平均量子化誤差を最小限に抑えます。 さらに、TLAQC は、適応しきい値とパラメーターの自己検査メカニズムを通じて勾配情報のアップロード頻度を減らし、通信コストをさらに削減します。 また、量子化エラーと保持された重みデルタを蓄積して、勾配知識の損失を補償します。 TLAQC は、量子化補正と 2 層の累積により、通信圧縮による精度の低下を大幅に軽減します。 実験結果は、RQSGD が無効な量子化の発生率を 0.003% という低い値に抑え、平均量子化誤差を 1.6 × \({10}^{-5}\) に低減することを示しています。 完全精度の FedAVG と比較すると、TLAQC はアップロードされたトラフィックをわずか 6.73% に圧縮し、精度を 1.25% 向上させます。

モノのインターネット (IoT) やエッジ コンピューティングなどの新興テクノロジーの急速な進歩に伴い、ネットワークのエッジで生成されるデータの量は飛躍的に増加しています。 大量の貴重なデータがさまざまな端末デバイスに分散されています。 従来の深層学習手法では通常、トレーニング データを一元的に保存する必要があり、自然環境におけるデータの一元的な統合を達成する際に課題が生じます。 この状況は「データアイランド」の形成につながり、データソース間に障壁が生じます。 2016 年、Google はモバイル デバイス向けに特別に設計されたフェデレーション ラーニングの概念を導入しました。 フェデレーション ラーニング 1、2 は、データ アイランドの問題にある程度対処するソリューションとして登場しました。 McMahan et al.3 は、深層学習タスクのフェデレーテッド ラーニング フレームワークについて説明し、よく知られた FedAVG アルゴリズム (Federated Averaging Algorithm) を提案しました。 フェデレーション ラーニングの重要な点は、ノード間でプライベート データを共有する必要がなくなり、ノードがローカルに保存されたデータを完全に制御できるようになることです。 一般的なワーカー サーバー アーキテクチャ 4、5、6、7、8 では、ワーカー ノードがローカル モデルのトレーニング情報 (勾配やパラメーターの更新など) を中央サーバーにアップロードします。 サーバーは、ワーカー ノードからアップロードされた情報を利用して、集約アルゴリズムを使用してグローバル モデルを更新します。

ただし、一方では、フェデレーテッド ラーニングでは良好なモデル精度を達成するためにノード間で大量の通信が必要になります。 一方で、ディープラーニングの規模が継続的に増加するにつれて、モデルパラメータの数が爆発的に増加し、フェデレーテッドラーニングの通信あたりのコストが急増しています。 ネットワークの条件と帯域幅によって制限されるため、通信コストの制限により、多くのエッジ ノードがフェデレーション ラーニングに参加できなくなります。 高い通信コストがフェデレーテッド ラーニングの主なボトルネックになっています。 フェデレーテッド ラーニングにおける高い通信コストの課題に対処するために、研究者は、フェデレーテッド ラーニングと分散機械学習の両方で通信​​オーバーヘッドを削減することを目的としたさまざまな通信圧縮方法を提案してきました。 これらの方法は、フェデレーテッド ラーニング プロセスの全体的なパフォーマンスを維持または向上させながら、コミュニケーションの負担を軽減することを目的としています。