專為決策樹打造，新加坡國立大學&清華大學聯合提出快速安全的聯邦學習新系統

聯邦學習是機器學習中一個非常火熱的領域，指多方在不傳遞資料的情況下共同訓練模型。隨著聯邦學習的發展，聯邦學習系統也層出不窮，例如 FATE, FedML, PaddleFL, TensorFlow-Federated 等等。然而，大部分聯邦學習系統不支持樹模型的聯邦學習訓練。相較於神經網絡，樹模型具有訓練快，可解釋性強，適合表格型資料的特性。樹模型在金融，醫療，網路等領域有廣泛的應用場景，例如用來做廣告推薦、股票預測等等。

決策樹的代表性模型為 Gradient Boosting Decision Tree (GBDT)。由於一棵樹的預測能力有限，GBDT 透過 boosting 的方法串列訓練多棵樹，透過每棵樹用來擬合當前預測值和標籤值的殘差的方式，最終達到一個好的預測效果。代表性的 GBDT 系統有 XGBoost, LightGBM, CatBoost, ThunderGBM，其中 XGBoost 多次被 KDD cup 的冠軍隊伍所使用。然而，這些系統都不支援聯邦學習場景下的 GBDT 訓練。近日，來自新加坡國立大學和清華大學的研究者提出了一種專注於訓練樹模式的聯邦學習新系統 FedTree。

• 論文網址：https://github.com/Xtra-Computing/FedTree/blob/main/FedTree_draft_paper. pdf
• 專案網址：https://github.com/Xtra-Computing/FedTree

##FedTree 系統介紹FedTree 架構圖如圖1 所示，共有5 個模組: 接口，環境，框架，隱私保護以及模型。

圖1: FedTree 系統架構圖

##介面：FedTree 支援兩種介面：命令列介面和Python 介面。使用者只需給定參數（參與者數量，聯邦場景等），就可以用一行命令來執行 FedTree 進行訓練。 FedTree 的 Python 介面和 scikit-learn 相容，可以呼叫 fit() 和 predict() 來進行訓練和預測。

環境：FedTree 支援在單機上模擬部署聯邦學習，和在多機上部署分散式聯邦學習。在單機環境上，FedTree 支援將資料進行劃分成多個子資料集，每個子資料集作為一個參與者進行訓練。在多機環境上，FedTree 支援將每個機器作為一個參與者，機器之間 透過 gRPC 進行通訊。同時，除了 CPU 以外，FedTree 支援使用 GPU 來加速訓練。

框架：FedTree 支援橫向和縱向聯邦學習場景下 GBDT 的訓練。在橫向場景下，不同參與者有著不同的訓練樣本和相同的特徵空間。在縱向場景下，不同參與者有著不同的特徵空間和相同的訓練樣本。為了確保效能，在這兩種情境下，多有參與方都共同參與每個節點的訓練。除此之外，FedTree 也支援整合學習，參與者並行地訓練樹之後再進行聚合，以此減少參與者之間的通訊開銷。

######隱私############：由於訓練過程中傳遞的梯度可能會洩露訓練資料的信息，FedTree 提供不同的隱私保護方法來進一步保護梯度訊息，包括同態加密(HE) 和安全聚合(SA)。同時，FedTree 提供了差分隱私來保護最終訓練得到的模型。 ##################模型############：以訓練一棵樹為基礎，FedTree 透過boosting/bagging 的方法支援訓練GBDT /random forest。透過設定不同的損失函數，FedTree 訓練得到的模型支援多種任務，包括分類和迴歸。 ######

實驗表1 總結了不同系統在a9a, breast 和credit 上的AUC 和abalone 上的RMSE，FedTree 的模型效果和用所有資料訓練GBDT（XGBoost, ThunderGBM）以及FATE 中的SecureBoost (SBT) 幾乎一致。而且，隱私保護策略 SA 和 HE 並不會影響模型效能。

表1: 不同系統的模型效果比較

表2 總結了不同系統每棵樹的訓練時間（單位：秒），可以看到FedTree 相比於FATE 快了很多，在橫向聯邦學習場景下能達到100 倍以上的加速比。

表2: 不同系統每棵樹的訓練時間比較

更多研究細節請參考FedTree 論文原文。

#

以上是專為決策樹打造，新加坡國立大學&清華大學聯合提出快速安全的聯邦學習新系統的詳細內容。更多資訊請關注PHP中文網其他相關文章！