AI也有健忘症?英國41歲教授專訪:解決災難性遺忘
如何實現持續學習,讓AI不斷片?
近日,來自羅徹斯特大學的41歲電腦科學家Christopher Kanan在專訪中表示,自己正在建立可以讓AI隨著時間的推移而不斷學習的演算法——就像我們人類一樣。
災難性遺忘
#眾所周知,AI在訓練後可以很好地完成「考試範圍內」的任務,但是這些演算法卻不能像人類一樣不斷用新資訊更新知識庫。
為了學習哪怕是一個新的東西,演算法也必須從頭開始訓練,而代價就是忘記它之前已經學習過的幾乎所有內容。如此帶來的問題就是──「災難性遺忘」(Catastrophic Forgetting)。就像你遇到一個新朋友,你唯一能知道她名字的方法就是重啟你的大腦。
之所以會出現這種情況,要歸咎於神經網路學習新事物的方式。這些演算法的學習需要改變神經元之間的連結強度,然而這同時也代表了過去的知識,因此過度改變連結就會導致遺忘。
生物神經網路已經進化了數億年的策略,以確保重要資訊保持穩定。但是今天的人工神經網路很難在新舊知識之間取得良好的平衡。當網路看到新資料時,它們的連接很容易被覆蓋,這可能導致突然而嚴重的無法識別過去的資訊。
1. 您在哲學方面的學習對你思考研究的方式產生了哪些影響呢?
哲學教會你的是,「如何提出合理的論點」和「如何分析他人的論點?」
我的實驗室受到這個問題的啟發:如果我們做不到X,我們怎麼能做Y?
我們會隨著時間的推移而學習,但神經網路不會,他的知識量是固定的。那麼如果人類未來要製造通用人工智慧,這是必須解決的基本問題。
Kanan的研究筆記
2. 學術界目前對災難性遺忘的解決進展如何?
目前最成功的方法叫做重播(Replay),這樣可以儲存過去的知識,然後在訓練過程中用新的資料集重播,這樣原始資訊就不會丟失。
這個方法的靈感來自我們大腦中的記憶鞏固過程(Memory Consolidation),睡眠過程中一天的學習的內容被重新編碼,並隨著神經元激活而被重播。
換句話說,新的學習並不能完全根除演算法過去的知識。
有三種方法可以實現這一點。
- 最常見的方法是「真實回放」,研究人員儲存原始輸入的子集——例如,用於物件識別任務的原始圖像——然後將這些儲存的過去圖像與學習的新圖像混合。
- 第二種方法是重播影像的壓縮表示。
- 第三種較不常見的方法是「產生回放」。
在這裡,人工神經網路實際上產生了過去經驗的合成版本,然後將該合成範例與新範例混合。我的實驗室專注於後兩種方法。
3. 如果我們能夠徹底解決災難性遺忘,這是否意味著人工智慧可以隨著時間的推移不斷學習新事物?
不完全是。我認為持續學習領域的開放性問題並不是災難性遺忘。
我真正感興趣的是:
過去的學習如何讓未來的學習更有效率?未來的學習如何修正過去的學習?這些是很少人衡量的東西,我認為這樣做是推動該領域向前發展的關鍵部分,因為實際上,這不僅僅是忘記一些東西,而是關於如何成為一個更好的學習者。
Christopher Kanan表示:
與現代神經網路相比,我們的腦中發生的事情肯定要多得多。我們需要建立正確的實驗和演算法設定來衡量過去的學習是否有助於未來的學習。而目前最大的問題是我們沒有很好的數據集來研究持續學習,我們基本上是在使用傳統機器學習中使用的現有數據集並將其重新開發。
一般來說,機器學習的常規操作是我們有一個訓練集和一個測試集-我們在訓練集上訓練,在測試集上進行測試。
但持續學習打破了這些規則,它讓訓練集會隨著訓練者的學習而發展,因此我們需要一個非常好的持續學習環境。
4. 理想的持續學習環境應該是什麼樣的?
告訴你它不是什麼比告訴你是什麼更容易。
我可以告訴你它可能有的屬性。所以現在,讓我們假設人工智慧演算法不是模擬中的具身智能。然後至少,理想情況下,我們正在從影片中學習,或者類似的東西,例如多模態視訊串流,並希望做的不僅僅是靜態圖像的分類。
有很多關於這方面的開放性問題。幾年前我參加了一個持續學習研討會,一些像我這樣的人說,「我們必須停止使用一個叫做MNIST的資料集,它太簡單了。」然後有人說,「好吧,那我們就對星海爭霸進行增量學習。」
出於各種原因,我現在也在這樣做,但我認為還不足以真正解決這個問題。畢竟,生活比學習玩星海爭霸要豐富得多。
5. 您的實驗室如何嘗試設計可隨時間推移不斷學習的演算法?
我和我以前的學生Tyler Hayes一起開創了一項有關類比推理的持續學習研究,這篇文章也同時發表在CVPR 2021上。
論文連結:https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVCVW_2021_Online_Continual_Analogical_Reasoning_CVCVW_2021_CVn.html#研究遷移學習(Transfer Learning)理念的好領域,因為我們現在需要使用更複雜的技能來解決更複雜的問題。
具體來說,我們對後向遷移(Backward Transfer)的數據進行了測量,即過去學習的東西在未來對你有多大幫助,反之亦然。
我們發現了很好的遷移證據,比物件辨識這樣的簡單任務重要得多。
6. 你認為人工智慧真的會像人類一樣學習嗎?
我想他們會的。許多極具天賦的人在這個領域朝著這個目標邁進。
但我們需要的是創造力。機器學習社群的許多研究都是在前人研究的基礎上做一些小改進,真正改變性的研究不多。
但這一天一定會到來的,只是時間早晚問題。
Christopher Kanan
Christopher Kanan是羅徹斯特大學電腦科學的終身副教授。主要的工作方向是深度學習的基礎研究,包括持續學習,人工智慧的偏見,醫學電腦視覺,以及語言引導的場景理解。
Kanan曾從事線上持續學習、視覺問題回答、計算病理學、語意分割、物件辨識、物件偵測、主動視覺、物件追蹤等工作。除了機器學習,他在眼球追蹤、靈長類視覺和理論神經科學方面也有深厚的背景。
在此之前,他是羅徹斯特理工學院(RIT)卡爾森影像科學中心的終身副教授。在職期間,他和同事共同創建了人類意識人工智慧中心(CHAI),並擔任了四年的副主任。此外,Kanan也曾是康乃爾科技大學的客座副教授,每年為約100名研究生教授了4年的深度學習課程。
Christopher Kanan在俄克拉荷馬州農村的一個小鎮上長大。
1996年的時候,他就開始探索人工智慧了,還在讀高中的Kanan自製了許多「bot」來玩線上多人電腦遊戲。
2002年,Kanan考上俄克拉荷馬州立大學(OSU)主修哲學與電腦科學雙學位,並於2004年獲得學士學位。
2006年,在南加州大學(USC)獲得了電腦科學獲得碩士學位,主要研究人工智慧和神經科學,並與計算神經科學和神經網路的先驅Michael Arbib一起工作。 2013年,在加州大學聖地牙哥分校(UCSD)取得電腦科學博士學位。畢業後,Kanan又到加州理工學院從事博士後研究。
參考資料:https://www.quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we- do-20220802/
以上是AI也有健忘症?英國41歲教授專訪:解決災難性遺忘的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

使用C 中的chrono庫可以讓你更加精確地控制時間和時間間隔,讓我們來探討一下這個庫的魅力所在吧。 C 的chrono庫是標準庫的一部分,它提供了一種現代化的方式來處理時間和時間間隔。對於那些曾經飽受time.h和ctime折磨的程序員來說,chrono無疑是一個福音。它不僅提高了代碼的可讀性和可維護性,還提供了更高的精度和靈活性。讓我們從基礎開始,chrono庫主要包括以下幾個關鍵組件:std::chrono::system_clock:表示系統時鐘,用於獲取當前時間。 std::chron

DMA在C 中是指DirectMemoryAccess,直接內存訪問技術,允許硬件設備直接與內存進行數據傳輸,不需要CPU干預。 1)DMA操作高度依賴於硬件設備和驅動程序,實現方式因係統而異。 2)直接訪問內存可能帶來安全風險,需確保代碼的正確性和安全性。 3)DMA可提高性能,但使用不當可能導致系統性能下降。通過實踐和學習,可以掌握DMA的使用技巧,在高速數據傳輸和實時信號處理等場景中發揮其最大效能。

在C 中處理高DPI顯示可以通過以下步驟實現:1)理解DPI和縮放,使用操作系統API獲取DPI信息並調整圖形輸出;2)處理跨平台兼容性,使用如SDL或Qt的跨平台圖形庫;3)進行性能優化,通過緩存、硬件加速和動態調整細節級別來提升性能;4)解決常見問題,如模糊文本和界面元素過小,通過正確應用DPI縮放來解決。

C 在實時操作系統(RTOS)編程中表現出色,提供了高效的執行效率和精確的時間管理。 1)C 通過直接操作硬件資源和高效的內存管理滿足RTOS的需求。 2)利用面向對象特性,C 可以設計靈活的任務調度系統。 3)C 支持高效的中斷處理,但需避免動態內存分配和異常處理以保證實時性。 4)模板編程和內聯函數有助於性能優化。 5)實際應用中,C 可用於實現高效的日誌系統。

在C 中測量線程性能可以使用標準庫中的計時工具、性能分析工具和自定義計時器。 1.使用庫測量執行時間。 2.使用gprof進行性能分析,步驟包括編譯時添加-pg選項、運行程序生成gmon.out文件、生成性能報告。 3.使用Valgrind的Callgrind模塊進行更詳細的分析,步驟包括運行程序生成callgrind.out文件、使用kcachegrind查看結果。 4.自定義計時器可靈活測量特定代碼段的執行時間。這些方法幫助全面了解線程性能,並優化代碼。

交易所內置量化工具包括:1. Binance(幣安):提供Binance Futures量化模塊,低手續費,支持AI輔助交易。 2. OKX(歐易):支持多賬戶管理和智能訂單路由,提供機構級風控。獨立量化策略平台有:3. 3Commas:拖拽式策略生成器,適用於多平台對沖套利。 4. Quadency:專業級算法策略庫,支持自定義風險閾值。 5. Pionex:內置16 預設策略,低交易手續費。垂直領域工具包括:6. Cryptohopper:雲端量化平台,支持150 技術指標。 7. Bitsgap:

在MySQL中,添加字段使用ALTERTABLEtable_nameADDCOLUMNnew_columnVARCHAR(255)AFTERexisting_column,刪除字段使用ALTERTABLEtable_nameDROPCOLUMNcolumn_to_drop。添加字段時,需指定位置以優化查詢性能和數據結構;刪除字段前需確認操作不可逆;使用在線DDL、備份數據、測試環境和低負載時間段修改表結構是性能優化和最佳實踐。

C 中使用字符串流的主要步驟和注意事項如下:1.創建輸出字符串流並轉換數據,如將整數轉換為字符串。 2.應用於復雜數據結構的序列化,如將vector轉換為字符串。 3.注意性能問題,避免在處理大量數據時頻繁使用字符串流,可考慮使用std::string的append方法。 4.注意內存管理,避免頻繁創建和銷毀字符串流對象,可以重用或使用std::stringstream。
