具有生物啟發訓練方法的物理深度學習：物理硬體的無梯度方法

對人工智慧不斷增長的需求推動了對基於實體設備的非常規計算的研究。雖然此類計算設備模仿了大腦啟發的模擬資訊處理，但學習過程仍然依賴為數位處理優化的方法，例如反向傳播，這不適合物理實現。

在這裡，來自日本NTT 設備技術實驗室（NTT Device Technology Labs）和東京大學的研究團隊透過擴展一種稱為直接回饋對齊（DFA）的受生物學啟發的訓練演算法來展示物理深度學習。 與原始演算法不同，所提出的方法是基於具有替代非線性活化的隨機投影。因此，可以在不了解物理系統及其梯度的情況下訓練物理神經網路。此外，可以在可擴展的實體硬體上模擬此訓練的計算。

研究人員使用稱為深儲層電腦的光電遞歸神經網路演示了概念驗證。證實了在基準測試中具有競爭性能的加速計算的潛力。研究結果為神經形態計算的訓練和加速提供了實用的解決方案。

研究以「Physical deep learning with biologically inspired training method: gradient-free approach for physical hardware」為題，於2022 年12 月26 日發布在《Nature Communications》上。

物理深度學習

基於人工神經網路(ANN) 的機器學習在影像處理、語音辨識、遊戲等方面的破紀錄表現成功展現了其卓越的能力。儘管這些演算法類似於人腦的工作方式，但它們基本上是使用傳統的馮諾依曼計算硬體在軟體層面上實現的。然而，這種基於數位運算的人工神經網路面臨能耗和處理速度的問題。這些問題促使使用替代物理平台實現人工神經網路。

有趣的是，即使是被動物理動力學也可以用作隨機連接的 ANN 中的計算資源。該框架被稱為實體儲層電腦（RC）或極限學習機（ELM），其易於實現極大地擴展了可實現材料的選擇及其應用範圍。這種物理實現的神經網路 (PNN) 能夠將特定任務的運算負載外包給實體系統。

建立更深層的實體網路是進一步提高效能的一個有前途的方向，因為它們可以以指數方式擴展網路表達能力。這激發了使用各種物理平台的深度 PNN 的提議。他們的訓練基本上依賴一種稱為反向傳播（BP）的方法，該方法在基於軟體的 ANN 中取得了巨大成功。但是，BP 在以下方面不適用於 PNN。首先，BP 操作的實體實作仍然複雜且不可擴展。其次，BP 需要對整個物理系統有精確的了解。此外，當我們將 BP 應用於 RC 時，這些要求破壞了實體 RC 的獨特特性，即我們需要準確地了解和模擬黑盒實體隨機網路。

與 PNN 中的 BP 一樣，BP 在生物神經網路中的操作難度也被腦科學界指出；BP 在大腦中的合理性一直受到質疑。這些考慮促使開發了生物學上合理​​的訓練演算法。

近期一個有前景的方向是直接回饋對齊 (DFA)。在這個演算法中，採用最終輸出層誤差訊號的固定隨機線性變換來取代反向誤差訊號。因此，這種方法不需要誤差訊號的逐層傳播或權重的知識。此外，據報道，DFA 可擴展到現代大型網路模式。這種以生物學為動機的訓練的成功表明，有一種比 BP 更合適的方法來訓練 PNN。然而，DFA 仍然需要非線性函數 f(x) 的導數 f'(a) 進行訓練，這阻礙了 DFA 方法在物理系統中的應用。因此，DFA 的更大幅度擴展對於 PNN 應用很重要。

DFA 及其對物理深度學習的增強

#在此，研究人員透過增強 DFA 演算法來演示物理深度學習。在增強 DFA 中，以任意非線性 g(a) 取代標準 DFA 中物理非線性激活 f'(a) 的微分，並表明性能對 g(a) 的選擇具有穩健性。由於這種增強，不再需要準確地模擬 f'(a)。由於所提出的方法是基於具有任意非線性活化的平行隨機投影，因此可以按照與物理 ELM 或 RC 概念相同的方式在物理系統上執行訓練計算。這使得推理和訓練的物理加速成為可能。

圖：PNN 的概念及其透過 BP 和增強 DFA 進行的訓練。 （資料來源：論文）

為了示範概念驗證，研究人員建構了一個 FPGA 輔助的光電深度物理 RC 作為工作台。儘管 benchtop 簡單易用，僅需軟體級更新即可應用於各種實體平台，但實現了可與大型複雜的最先進系統相媲美的性能。

圖：具有增強 DFA 訓練的光電深度 RC 系統。 （資料來源：論文）

此外，也比較了整個處理時間，包括數位處理的時間，發現了訓練過程物理加速的可能性。

圖：光電深 RC 系統的效能。 （資料來源：論文）

RC 工作台的處理時間預算細分如下：FPGA 處理（資料傳輸、記憶體分配和DAC/ADC）約為92%；約8% 的數位處理用於預處理/後處理。因此，在目前階段，處理時間主要由 FPGA 和 CPU 上的數字計算決定。這是因為光電工作台僅使用一條非線性延遲線實現了一個儲層；這些限制可以透過在未來使用完全並行和全光計算硬體來放寬。可以看出，CPU 和 GPU 上的計算針對節點數顯示了 O(N^2) 趨勢，而 benchtop 顯示了 O(N)，這是由於資料傳輸瓶頸造成的。

對於 BP 和增強 DFA 演算法，CPU 以外的物理加速度分別在 N ~5,000 和 ~12,000 處被觀察到。然而，就計算速度而言，由於 GPU 的記憶體限制，尚未直接觀察到針對 GPU 的有效性。透過推斷 GPU 趨勢，可以在 N ~80,000 時觀察到超過 GPU 的物理加速。據我們所知，這是整個訓練過程的首次比較，也是首次使用 PNN 進行體能訓練加速示範。

為了研究所提方法對其他系統的適用性，使用廣泛研究的光子神經網路進行了數值模擬。此外，實驗證明的基於延遲的 RC 被證明非常適合各種物理系統。關於物理系統的可擴展性，建構深度網路的主要問題是其固有噪音。透過數值模擬研究了噪音的影響。發現該系統對噪音具有穩健性。

所提出方法的可擴展性和局限性

在這裡，考慮了基於 DFA 的方法對更現代模型的可擴展性。實際深度學習最常用的模型之一是深度連結的捲積神經網路 (CNN)。然而，據報道，DFA 演算法很難應用於標準 CNN。因此，所提出的方法可能難以以簡單的方式應用於卷積 PNN。

考慮到模擬硬體實現，對 SNN 的適用性也是一個重要主題。已經報導了基於 DFA 的訓練對 SNN 的適用性，這意味著該研究所提出的增強 DFA 可以使訓練更容易。

雖然基於 DFA 的演算法有可能擴展到比簡單的 MLP 或 RC 更實用的模型，但將基於 DFA 的訓練應用於此類網路的有效性仍然未知。在這裡，作為這項研究的額外工作，研究了基於 DFA 的訓練（DFA 本身和增強的 DFA）對上述模型（MLP-Mixer、Vision transformer (ViT)、ResNet 和 SNN）的可擴展性。研究發現基於 DFA 的訓練即使對於探索的實用模型也是有效的。雖然基於 DFA 的訓練可達到的準確度基本上低於 BP 訓練，但對模型和/或演算法進行一些調整可以提高效能。值得注意的是，對於所有探索的實驗設置，DFA 和增強 DFA 的準確性都具有可比性，這表明 DFA 本身的進一步改進將直接有助於改進增強 DFA。結果表明，該方法可擴展到未來對 PNN 的實用模型的實現，而不僅僅是簡單的 MLP 或 RC 模型。

表 1：增強 DFA 對實際網路模型的適用性。 （來源：論文）

物理硬體中的BP 與DFA

一般來說，BP 在實體硬體上實現起來非常困難，因為它需要計算圖中的所有資訊。因此，物理硬體的訓練一直是透過計算模擬來完成的，這會產生大量的計算成本。此外，模型與實際系統之間的差異導致精度下降。相反，增強的 DFA 不需要關於物理系統的準確先驗知識。因此，在深度 PNN 中，基於 DFA 的方法在準確性方面比基於 BP 的方法更有效。此外，可以使用實體硬體加速運算。

此外，DFA 訓練不需要逐層計算的順序誤差傳播，這意味著每一層的訓練可以並行執行。因此，更優化和並行的 DFA 實作可能會帶來更顯著的加速。這些獨特的特徵表明基於 DFA 的方法的有效性，特別是對於基於物理硬體的神經網路。另一方面，增強 DFA 訓練的模型的準確性仍然不如 BP 訓練的模型。進一步提高基於 DFA 的訓練的準確性仍然是未來的工作。

進一步的物理加速

物理實作證實了具有大節點（large-node）數的 RC 循環處理的加速。但是，它的優勢仍然有限，需要進一步改進。目前原型的處理時間表示為 FPGA 的資料傳輸和記憶體分配。因此，將所有流程整合到 FPGA 中將大大提高效能，但會犧牲實驗靈活性。此外，將來，機載光學方法將大大降低傳輸成本。大規模光整合和片上整合將進一步提升光運算本身的效能。

以上是具有生物啟發訓練方法的物理深度學習：物理硬體的無梯度方法的詳細內容。更多資訊請關注PHP中文網其他相關文章！