機器學習中的樣本池計算綜述

儲備池計算(Reservoir computing，RC)是一種使用遞歸神經網路的運算框架，與傳統的神經網路不同的是，它只更新部分參數，而隨機選擇並固定其他參數。

儲備池是一個固定非線性系統，透過其動力學將輸入訊號映射到更高維度的計算空間。儲層可以看作是一個黑盒子，將輸入訊號回饋到儲層後，透過訓練一個簡單的讀出機制來讀取儲層的狀態，並將其映射到所需的輸出。

由於儲層動力學是固定的，訓練僅在讀出階段進行。

傳統儲備池運算需要滿足兩個條件：由獨立的非線性單元組成，並能儲存資訊。

儲備池計算本質上是一種用於使機器學習演算法運行得更快的方法。

術語中的「Reservoir」指的是動力系統。動力系統由數學函數表示，該函數解釋了空間中的點隨時間變化的方式。知道這些就可以預測該點在空間中的位置。

儲備池由幾個隨機連接的循環連接單元組成，儲備池計算利用循環神經網絡，而不是更新網絡的所有參數，它只更新少數參數，並在隨機選擇後保持其他參數不變。

儲備池計算的框架類似於遞歸神經網路的框架，迴聲狀態網路、液態狀態機和其他遞歸神經網路模型構成儲備池計算的基礎框架，正是這種設計，讓儲備池計算在處理時間或順序資料的任務上相當有效。

儲備池計算的目的

儲備池計算是將非線性輸入順序地轉換到高維空間，以便可以透過簡單的學習演算法以有效的方式讀出輸入的特徵。除了使用遞歸神經網路之外，還可以使用其他動力系統作為儲備池。儲備池計算目標是建立能夠以更低的學習成本以更快的速度處理資訊和數據的系統。在機器學習的情況下，這一點尤其重要，因為在訓練大型資料集時功耗通常會很高。

儲備池計算類型

• 「上下文殘響網路
• 迴聲狀態網路

液態機

非線性瞬態計算

深度儲備池計算

1.上下文混響網路

###在上下文混響網路中，輸入層將訊號輸入到高維度動力系統中，這個高維度動力系統中的資訊由一個可訓練的單層感知器讀出。它有兩種類型的動力學系統:其中一種是將隨機權重固定的遞歸神經網絡，另一種動力學系統是受圖靈形態發生模型啟發的連續反應擴散系統。 ############2.迴聲狀態網路############迴聲狀態網路有一個稀疏連接的隱藏層。隱藏層的連通性通常小於10%。試圖用輸入訊號驅動更大的隨機權重固定的遞歸神經網絡，從而在儲存器中的每個神經元中誘導非線性響應訊號，然後使用所有響應訊號的可訓練線性組合將其連接到所需的輸出訊號。 ############3.液態機############液態機(LSM)採用脈衝神經網路。 LSM由大量節點或神經元組成。每個神經元都從其他神經元和外部來源獲得時變輸入。由於連接的重複性，時變輸入變成了網路節點中啟動的時空模式。然後由線性判別單元讀出這些活化的時空模式。 ############4.非線性瞬態計算############當變輸入訊號離開機制的內部動力學時，這些偏離會引起瞬態或暫時的變化，這些變化在設備的輸出中得到了體現。 ############5.深度儲備池計算############隨著深度儲備池計算模型的出現，儲備池計算框架開始向深度學習擴展，以便以分層方式處理時間數據，並且還允許研究分層組合在RNN中的作用。 ###

以上是機器學習中的樣本池計算綜述的詳細內容。更多資訊請關注PHP中文網其他相關文章！