Communication-Efficient Learning of Deep Networks from Decentralized Data
- 發表版本
- AISTATS 2017會議
- arXiv 首次提交
- arXiv:1602.05629
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@misc{modelmergingfedavg2016,
title = {{Communication-Efficient Learning of Deep Networks from Decentralized Data}},
author = {H. Brendan McMahan and Eider Moore and Daniel Ramage and Seth Hampson and Blaise Agüera y Arcas},
year = {2016},
eprint = {1602.05629},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1602.05629}
}
手機鍵盤的下一個字預測,最好的訓練資料就是使用者每天打的字。
問題是這些字包括訊息、網址,甚至密碼。把它們全部上傳到資料中心再訓練,隱私風險很大;而且聊天用語和維基百科差很多,拿公開語料代替,又學不到使用者實際的打字習慣。
2016 年,Google 的 McMahan、Moore、Ramage 等人提出一個做法,讓資料留在手機上,每支手機只把「模型該怎麼改」送回伺服器。他們把這種訓練方式叫做聯邦學習(Federated Learning),並給了一個很樸素的演算法 FederatedAveraging,後來大家簡稱 FedAvg。
這篇論文放在模型合併的脈絡裡也很重要。FedAvg 每一輪都在做同一件事,把許多份各自訓練過的權重直接平均。論文裡有一張小圖,說明為什麼這件事在神經網路上可行,後來的模型合併研究一再回到這個條件。
定義問題
假設有 個客戶端(client,例如手機),第 個客戶端持有 筆資料,總共 筆。我們想最小化全體資料上的平均損失:
是客戶端 自己資料上的平均損失。如果資料是隨機打散分配的,每個 的期望值就等於 ,這是一般分散式訓練預設的 IID 情況。
作者指出聯邦學習有四個和資料中心不一樣的地方:
- Non-IID:每支手機的資料來自一位使用者,分布和全體差很多。
- 不平衡:有人每天打幾千字,有人一個月才用一次。
- 大量分散:參與的客戶端數量,可能比每個客戶端平均的資料筆數還多。
- 通訊受限:手機常離線、上傳頻寬通常不到 1 MB/s,而且只有在充電、連上不計費 Wi-Fi 時才願意參與,一天大概只能參與幾輪。
最後一點決定了整篇論文的量法。手機上的計算相對便宜,貴的是通訊輪數。所以這篇比較方法時,看的是要幾輪通訊才能達到目標準確率。
目標很清楚,多花一點本地計算,換更少的通訊輪數。但這裡有一個大問題。神經網路的損失是非凸的,把兩組各自訓練出來的權重直接平均,理論上可能得到一個很爛的模型。為什麼可以平均?
解決問題
從 FedSGD 開始
作者先定義一個基準。每一輪隨機挑選比例 的客戶端,每個被選到的客戶端算出自己全部資料上的梯度 ,伺服器把梯度按資料量加權平均後更新:
這就是大批次的同步 SGD,論文稱為 FederatedSGD(FedSGD)。 控制每輪的全域批次大小, 就是全批次梯度下降。
接著作者把同一個更新換個寫法。每個客戶端先用自己的梯度走一步,再由伺服器平均權重:
兩種寫法在數學上等價,因為每個客戶端都從同一個 出發,平均權重等於平均梯度。
寫成第二種形式之後,下一步就很自然了。既然客戶端已經在本地走一步,為什麼不多走幾步再回報?
FedAvg
FedAvg 讓每個客戶端在本地跑好幾輪 SGD,再把權重送回伺服器平均。計算量由三個參數控制:
- :每輪參與的客戶端比例。
- :每個客戶端在本地資料上跑幾個 epoch。
- :本地的 minibatch 大小; 表示整份本地資料當作一個批次。
一個有 筆資料的客戶端,每輪做 次本地更新。、 時,FedAvg 就退回 FedSGD。
伺服器端的流程寫成程式,大概是這樣:
def fedavg_round(w, clients, C, E, B, lr):
m = max(int(C * len(clients)), 1)
selected = random.sample(clients, m)
total = sum(c.num_examples for c in selected)
new_w = zeros_like(w)
for c in selected:
w_k = client_update(c, w, E, B, lr) # 從同一個 w 出發,本地跑 E 個 epoch
new_w += (c.num_examples / total) * w_k # 依本輪參與者的資料量加權
return new_w
加權平均的分母是本輪被選中的客戶端資料總量 。假設這一輪選到三支手機,各有 600、300、100 筆資料,權重就是 0.6、0.3、0.1;資料多的客戶端,對新模型的影響也比較大。
為什麼可以平均
回到剛才的疑問。作者用一個小實驗回答。

實驗設定很小。兩個多層感知器 和 ,各自在 MNIST 中不重疊的 600 筆資料上,用學習率 0.1、批次 50 訓練 240 步(相當於 20 個 epoch),大約訓練到開始過擬合本地資料的程度。接著計算 在完整訓練集上的損失, 從 −0.2 掃到 1.2。
先看左圖。兩個模型用不同的隨機種子初始化,兩端的損失都在 0.45 附近,但中間的平均模型衝到 1.2 以上,比任何一方都糟。
再看右圖。兩個模型從同一個隨機初始化出發,曲線變成一個碗。 的損失大約 0.40,明顯低於兩個父模型各自約 0.46 的損失。注意兩張圖的縱軸刻度不一樣,右圖整條曲線都很低。
FedAvg 每一輪的所有客戶端都從同一個 出發,正好落在右圖的情況。作者沒有證明這件事對所有網路都成立,只引用當時對過參數化網路損失地形的觀察,再用這張圖說明直覺。
「共同起點的權重可以直接平均」,後來在 SWA、Model Soups、任務算術等模型合併工作裡反覆出現,條件也一樣是共享起點。
討論
實驗設定
作者在五種模型、四個資料集上訓練了兩千多個模型:
- MNIST 2NN:兩層各 200 單元的多層感知器,199,210 個參數。
- MNIST CNN:兩層 5×5 卷積加一層 512 單元全連接,1,663,370 個參數。
- Shakespeare LSTM:字元級兩層 LSTM,866,578 個參數。
- CIFAR-10:TensorFlow 教學裡的小型 CNN,約 個參數。
- 大型下一字預測 LSTM:10,000 字詞彙,4,950,544 個參數。
資料切分方式是這篇的重點。MNIST 的 IID 版本打散後分給 100 個客戶端,每個 600 筆。Non-IID 版本則先按數字標籤排序,切成 200 份、每份 300 筆,每個客戶端拿兩份;多數客戶端只看過兩種數字,這是作者故意設計的極端情況。
Shakespeare 比較接近真實狀況。作者把莎士比亞全集裡每個劇本的每個角色當成一個客戶端,共 1,146 個,台詞多的角色和只有幾句的角色差很多,天然就是不平衡又非 IID。
每個設定都在一組學習率網格上掃過,取最佳學習率,再計算學習曲線穿過目標準確率時的輪數。
平行度:要找多少人來
第一組實驗先固定 ,調整每輪參與比例 。以 2NN、 為例,IID 資料上,從每輪 1 個客戶端到 (10 個客戶端),達到 97% 準確率的輪數從 316 降到 87;非 IID 資料上從 3,275 降到 664。
時,增加 的效果小得多。作者最後選 作為後續實驗的預設值,認為這是計算效率和收斂速度的平衡點。
本地多算幾步

這張圖要看藍色實線和紅色線的距離。藍色實線是 、,也就是 FedSGD;紅色線是 ,每輪本地更新次數最多。四張圖裡,紅線都比藍色實線早很多穿過灰色目標線。
換算成達到目標準確率所需的通訊輪數,四種設定下 FedAvg 都快上好幾倍。
- MNIST CNN,IID:FedSGD 要 626 輪達到 99%,、 只要 18 輪,快 34.8 倍。
- MNIST CNN,病態非 IID:FedSGD 483 輪,最佳設定 173 輪,快 2.8 倍。
- Shakespeare,IID:FedSGD 2,488 輪達到 54%,、 要 192 輪,快 13.0 倍。
- Shakespeare,依角色切分:FedSGD 3,906 輪,同一設定只要 41 輪,快 95.3 倍。
第二項值得停下來看。每個客戶端只有兩種數字,各自訓練出來的模型差很多,平均起來仍然比 FedSGD 快。作者自己也說,平均能帶來任何好處而不是直接發散,已經很令人意外。不過加速只有 2.8 倍左右,表中還有一些設定比 FedSGD 更慢,例如 、 在非 IID 上要 1,000 輪。
第四項則是反過來的驚喜。依角色切分的資料反而比 IID 版本加速更多。作者推測是因為部分角色的台詞很多,本地多訓練幾步特別有價值;這是推測,論文沒有進一步驗證。
除了輪數,FedAvg 最後的準確率也比較高。MNIST CNN 的 FedSGD 在 1,200 輪後達到 99.22%,跑到 6,000 輪也沒有再進步;、 的 FedAvg 在 300 輪就到 99.44%。作者推測模型平均帶有類似 dropout 的正則化效果,同樣沒有給出驗證實驗。
本地算太多會怎樣
越大,本地模型越接近各自資料的最佳解。如果問題是凸的, 時起點就不重要了,再多輪平均也不會有進一步改善。
作者也在 Shakespeare LSTM 上把 拉到很大(最多到 200)。 太大時,訓練損失會停滯甚至發散。MNIST CNN 則沒有明顯退化;大型下一字預測任務上, 也比 稍好。作者因此建議,訓練後期可以像衰減學習率一樣,減少每輪的本地計算量。
這是 FedAvg 最常被追問的地方。客戶端各走各的方向,走得越遠,平均回來越可能偏離全域目標。
CIFAR-10 與真實規模
CIFAR-10 上,作者把 50,000 張訓練影像均分給 100 個客戶端,屬於平衡的 IID 設定。另一個基準是不切分資料、直接用批次 100 做一般 SGD。
以達到 80% 準確率的輪數來看,SGD 要 18,000 次更新(在聯邦設定中每次都算一輪通訊),FedSGD 要 3,750 輪,FedAvg 只要 280 輪。85% 的目標下,SGD 要 99,000 次,FedAvg 要 2,000 輪,FedSGD 則沒有在實驗時間內達到。
最後一組是真實規模的下一字預測。作者把一千萬則社群網站公開貼文按作者分組,得到超過 50 萬個客戶端,每輪 200 個客戶端參與,FedAvg 用 、。FedSGD 要 820 輪才達到 10.5% 的準確率,FedAvg 只要 35 輪,少了 23 倍;FedAvg 在不同評估輪之間的準確率波動也比較小。
這篇還沒回答的事
這些實驗都是模擬。客戶端集合固定、每輪同步、沒有斷線或惡意更新,作者在一開始就把這些實務問題排除在範圍外。指標是通訊輪數,沒有直接量測牆鐘時間或手機耗電。
收斂性也只有實驗證據。病態非 IID 的加速明顯較小,後續研究把這個問題拆得更清楚。Zhao 等人的 Federated Learning with Non-IID Data 發現,在每個客戶端只有一個類別的極端切分下,準確率最多可掉 55%,並把原因歸到本地權重和全域權重之間的發散。SCAFFOLD 把同一現象稱為 client drift,用控制變數修正本地更新;Li 等人的 收斂分析 則在強凸、平滑的假設下說明,非 IID 時學習率需要衰減。
隱私的部分,論文的主張是「資料不離開裝置」和「只傳最小必要更新」。它沒有提供差分隱私或安全聚合的形式保證,作者把這兩者列為後續工作。
結論
FedAvg 的演算法可以寫在半頁裡。客戶端從同一份權重出發,本地多跑幾輪 SGD,伺服器按資料量加權平均。換來的是通訊輪數少一到兩個數量級,以及在非 IID 資料上仍能訓練的實驗證據。
Google 後來也確實把它用在 Gboard 的下一字預測上。
從模型合併的角度回頭看,最耐人尋味的還是那個混合兩組權重的小實驗。兩個獨立初始化的模型一平均就壞掉,同一起點出發的模型平均後反而更好。這個條件,在之後好幾年的權重平均研究裡一直都在。
要自己動手的話,論文建議先調 ;只要批次還吃得滿手機的平行運算,把它調小幾乎不多花時間。 就別貪多了,本地跑太久,每支手機都會把模型往自己的資料拉。