研究展示
| 18 |
多数のデータセンタを結んで効率的に学びます高速な分散モデル学習のための有限時間収束グラフ 
|
|---|
| どんな研究 |
ネットワーク(NW)で接続された複数の計算機（ノード）を効率活用する分散モデル学習は、多くのデータを使って学習するAI技術の根幹です。ノード間通信やモデル平均化(重みづけ和)をどのように設計すると、高速かつ高精度に分散モデル学習を実現できるかについて研究を行いました。 |
|---|---|
| どこが凄い |
任意のノード数や最大接続数（次数）をもつNWにおいて、分散モデル学習を高速かつ安定させる（有限時間収束性を持つ）グラフ構成技術を考案しました。各ノードが統計的に偏ったデータセットを保有する状況で評価したところ、高速かつ安定な学習を実現できることを確認しました。 |
| めざす未来 |
複数のデータセンタが相互に接続し、データセンタが分散化する未来において、大規模な計算資源を効率的に使った分散モデル学習は不可欠な技術です。演算や通信の回数を最小化しながら有限時間収束性を満たす本技術は、データセンタ全体の消費電力低減につながるでしょう。 |
[1] Y. Takezawa, R. Sato, H. Bao, K. Niwa, and M. Yamada, “Beyond exponential graph: communication-efficient topologies for decentralized learning via finite-time convergence”, in Proc. The Thirty-seventh Annual Conference on Neural Information Processing Systems (NeurIPS2023), 2023.
丹羽 健太（Kenta Niwa）協創情報研究部 知能創発環境研究グループ