首頁 > 科技週邊 > 人工智慧 > 綜述聯邦學習技術及其應用在影像處理中的現狀

綜述聯邦學習技術及其應用在影像處理中的現狀

WBOY
發布: 2023-04-23 12:55:11
轉載
1553 人瀏覽過

近年來,圖已被廣泛應用於表示和處理許多領域的複雜數據,如醫療、交通運輸、生物資訊學和推薦系統等。圖機器學習技術是獲取隱匿在複雜資料中豐富資訊的有力工具,並且在像節點分類和連結預測等任務中,展現出很強的效能。

儘管圖機器學習技術取得了重大進展,但大多數都需要把圖資料集中儲存在單機上。然而,隨著對資料安全和使用者隱私的重視,集中儲存資料變的不安全和不可行。圖資料通常分佈在多個資料來源(資料孤島),由於隱私和安全的原因,從不同的地方收集所需的圖資料變的不可行。

例如一家第三方公司想為一些金融機構訓練圖機器學習模型,以幫助他們偵測潛在的金融犯罪和詐欺客戶。每個金融機構都擁有私有客戶數據,如人口統計數據以及交易記錄等。每個金融機構的客戶形成一個客戶圖,其中邊代表交易記錄。由於嚴格的隱私權政策和商業競爭,各個機構的私人客戶資料無法直接與第三方公司或其它他機構共享。同時,機構之間也可能有關聯,這可視為機構之間的結構資訊。因此面臨的主要挑戰是:在不直接存取每個機構的私有客戶資料的情況下,基於私有客戶圖和機構間結構信息,來訓練用於金融犯罪檢測的圖機器學習模型。

聯邦學習(FL)是一種分散式機器學習方案,透過協作訓練解決資料孤島問題。它使參與者(即客戶)能夠在不共享其私有資料的情況下聯合訓練機器學習模型。因此,將 FL 與圖機器學習相結合成為解決上述問題的有希望的解決方案。

本文中,來自維吉尼亞大學的研究者提出聯邦圖機器學習(FGML,Federated Graph Machine Learning)。一般來說,FGML 可以根據結構資訊的層級分為兩種設定:第一種是具有結構化資料的FL,在具有結構化資料的FL 中,客戶基於其圖資料協作訓練圖機器學習模型,同時將圖資料保留在本地。第二種是結構化 FL,在結構化 FL 中,客戶端之間存在結構訊息,形成客戶端圖。可以利用客戶端圖設計更有效的聯合最佳化方法。

綜述聯邦學習技術及其應用在影像處理中的現狀

論文網址:https://arxiv.org/pdf/2207.11812.pdf

#雖然FGML 提供了一個有前景的藍圖,但仍有一些挑戰:

##1、跨客戶端的資訊缺失。在具有結構化資料的 FL 中,常見的場景是每個客戶端機器都擁有全域圖的子圖,並且一些節點可能具有屬於其他客戶端的近鄰。出於隱私考慮,節點只能在客戶端內聚合其近鄰的特徵,但無法存取位於其它客戶端上的特徵,這導致節點表示不足。

2、圖結構的隱私洩漏。在傳統 FL 中,不允許客戶端公開其資料樣本的特徵和標籤。在具有結構化資料的 FL 中,也應考慮結構資訊的隱私。結構資訊可以透過共享鄰接矩陣直接公開,也可以透過傳輸節點嵌入間接公開。

3、跨客戶端的資料異質性。與傳統 FL 中資料異質性來自 non-IID 資料樣本不同,FGML 中的圖資料包含豐富的結構資訊。同時,不同客戶的圖結構也會影響圖機器學習模型的效能。 

4、參數使用的策略。在結構化 FL 中,客戶端圖使客戶端能夠從其相鄰客戶端獲取資訊。在結構化 FL 中,需要設計有效的策略,以充分利用由中心伺服器協調或完全分散的近鄰資訊。

為了回應上述挑戰,研究人員開發了大量演算法。目前各種演算法主要關注標準 FL 中的挑戰和方法,只有少數人嘗試解決 FGML 中的具體問題和技術。有人發表對 FGML 進行分類的綜述性論文,但沒有總結 FGML 中的主要技術。而有的綜述文章僅涵蓋了 FL 中數量有限的相關論文,並非常簡要地介紹了目前現有的技術。

綜述聯邦學習技術及其應用在影像處理中的現狀#

而在今天介紹的這篇論文中,作者首先介紹 FGML 中兩種問題設計的概念。然後,回顧了每種 shezhi 下的最新的技術進展,也介紹了 FGML 的實際應用。並對可用於 FGML 應用的可存取圖資料集和平台進行總結。最後,作者給了幾個有前景的研究方向。文章的主要貢獻包括:

FGML 技術分類:文章給出了基於不同問題的 FGML 分類法,並總結了每個設定中的關鍵挑戰。

全面的技術回顧:文章全面概述了 FGML 中的現有技術。與現有其它綜述性論文相比,作者不僅研究了更廣泛的相關工作,而且提供了更詳細的技術分析,而不是簡單地列出每種方法的步驟。

實際應用:文章首次總結 FGML 的實際應用。作者根據應用領域進行分類,並介紹每個領域的相關工作。

資料集和平台:文章介紹了 FGML 中現有的資料集和平台,對於想在 FGML 中開發演算法和部署應用程式的工程師和研究人員非常有幫助。

未來方向:文章不僅指出了現有方法的局限性,而且給出了 FGML 未來的發展方向。

綜述聯邦學習技術及其應用在影像處理中的現狀

FGML 技術綜述 這裡對文章的主要結構做下簡介。

第 2 節簡要介紹了圖機器學習中的定義以及 FGML 中兩種設定的概念和挑戰。

第 3 節和第 4 節回顧了這兩種設定中的主流技術。第 5 節進一步探討了 FGML 在現實世界中的應用。第 6 節介紹了相關 FGML 論文中使用的開放圖資料集和 FGML 的兩個平台。在第 7 節中提供了未來可能的發展方向。

最後第 8 節對全文進行了總結。更多詳細資訊請參考原論文。


#

以上是綜述聯邦學習技術及其應用在影像處理中的現狀的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板