AI模仿人腦記憶模式,遊戲成績大漲29.9%

王林
發布: 2023-06-06 11:13:02
轉載
580 人瀏覽過

我們常常被教育的做事“三思而後行”,充分運用積累過的經驗,現在這句話對AI也有所啟發了。

傳統的決策AI模型由於遺忘效應的存在不能有效累積經驗,但一項由華人主導的研究改變了AI的記憶方式。

新的記憶方式模仿了人類大腦,有效地提高了AI累積經驗的效率,從而將AI打遊戲的成績提高了29.9%

研究團隊由六人組成,分別來自米拉-魁北克AI研究院和微軟蒙特婁研究所,其中有四名是華人。

他們將成果命名為的帶有記憶的決策Transformer(DT-Mem)。

比較傳統的決策模型,DT-Mem適用廣泛性更強,模型運算的效率也更高。

除了應用效果,DT-Mem的訓練時間也從最短200小時縮短至50小時。

同時,團隊也提出了一種微調方式,讓DT-Mem能夠適應未訓練過的新場景。

微調後的模型,面對沒有學習過的遊戲,也能擁有不錯的表現。

工作機制受到人類啟發

傳統的決策模型基於LLM進行設計,採用隱性記憶,其表現依賴於數據和計算。

隱性記憶是無意識產生而非刻意記住的,因而也無法有意識地進行調用。

說得通俗一些,就是明明有關內容就儲存在那裡,但是模型卻不知道它的存在。

隱性記憶的這個特點決定了傳統模型存在遺忘現象,導致其工作效率往往不高。

遺忘現象表現為,在學了新的問題解決方式之後,模型可能會將舊的內容忘記,即使是新舊問題是同一類型。

而人腦採用分散式記憶儲存方式,記憶的內容被分散儲存在大腦中的多個不同區域。

這種方式有助於有效地管理和組織多種技能,從而減輕遺忘現象。

受此啟發,研究團隊提出了一個內部工作記憶模組來儲存、混合和檢索不同下游任務的資訊。

具體而言,DT-Mem由Transformer、記憶模組和多層感知(MLP)模組三部分組成。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

DT-Mem的Transformer模仿了GPT-2的架構,但刪除了注意力機制後的前饋層。

同時,GPT-2中的MLP模組被拆分成了獨立元件,作為DT-Mem的一部分。

在二者之間,研究團隊引入了一個工作記憶模組,用於儲存和處理中間資訊。

這個結構是受到神經圖靈機的啟發,其中的記憶被用來推斷多種演算法。

記憶模組分析Transformer輸出的訊息,並決定其儲存位置以及與已有資訊的整合方式。

此外,該模組還要考慮這些資訊在未來做出決策的過程當中如何使用。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

這些任務大概透過五個步驟來完成,記憶模組首先被初始化為一個隨機矩陣。

接著是輸入資訊的整理,這一步並不是將訊息傳給Transformer,而是以元組形式存入同一空間。

之後就要確定儲存位置。人類通常會將相關的資訊儲存到同一位置,DT-Mem也是基於這個原理。

最後兩步驟-記憶更新與檢索是記憶模組的核心,也是整個DT-Mem中最重要的環節。

記憶更新,即對已有資訊進行編輯替換,以確保資訊能依任務需求及時更新。

這一步驟中DT-Mem會計算擦除和寫入兩個向量,進而判斷如何與現有資料混合。

記憶檢索則是對已有資訊的存取和恢復,在需要做出決策時及時調取相關有用資訊。

投入實際使用前,DT-Mem還要經歷預訓練過程。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

而對於DT-Mem的微調,團隊也提出了一種新的方式。

由於使用的是基於任務進行標記的數據,這種微調能夠幫助DT-Mem適應新的任務。

這個過程是基於低秩適應(LoRA)進行,在現有的矩陣中加入低秩元素。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

訓練時間縮短最多32倍

為了測試DT-Mem的決策能力,研究團隊讓它玩了幾款遊戲。

遊戲一共有5款,全部來自Atari公司。

同時,團隊也測試了傳統模式M[ulti-game]DT的表現作為參考。

結果,DT-Mem在其中4款遊戲裡的最佳成績都勝過MDT。

具體而言,DT-Mem比MDT的DQN標準化分數提高了29.9%。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

但是,DT-Mem的參數量只有20M,僅是MDT(200M參數)的10%。

這樣的表現,說是四、兩撥千斤一點也不過分。

除了表現優異,DT-Mem的訓練效率也完爆MDT。

13M參數量版本的MDT需要200小時進行訓練,而20M的DT-Mem卻只需要50小時。

如果和200M的版本相比,訓練時間足足縮短了32倍,表現卻更優異。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

而針對團隊提出的微調方式的測試結果也表明,這種微調增強了DT-Mem適應未知情景的能力。

需要說明的是,下表中用來測試的遊戲對於MDT來說是已知的,因此MDT的表現在這一輪當中不作為衡量依據。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

除了玩遊戲,團隊還使用了Meta-World ML45基準對DT-Mem進行了測試。

這次用作參考的是H[yper]DT和P[romot]DT。

結果顯示,未微調的模型當中,DT-Mem成績比HDT高出8個百分點。

要說明的是,這裡測試的HDT本身參數量雖然只有69K,但需依賴2.3M參數量的預訓練模型,因此實際的參數量是DT-Mem(147K)的10餘倍。

AI模仿人腦記憶模式,遊戲成績大漲29.9%

論文網址:https://arxiv.org/ abs/2305.16338

#

以上是AI模仿人腦記憶模式,遊戲成績大漲29.9%的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!