AI也有健忘症?英國41歲教授專訪:解決災難性遺忘
如何實現持續學習,讓AI不斷片?
近日,來自羅徹斯特大學的41歲電腦科學家Christopher Kanan在專訪中表示,自己正在建立可以讓AI隨著時間的推移而不斷學習的演算法——就像我們人類一樣。
災難性遺忘
#眾所周知,AI在訓練後可以很好地完成「考試範圍內」的任務,但是這些演算法卻不能像人類一樣不斷用新資訊更新知識庫。
為了學習哪怕是一個新的東西,演算法也必須從頭開始訓練,而代價就是忘記它之前已經學習過的幾乎所有內容。如此帶來的問題就是──「災難性遺忘」(Catastrophic Forgetting)。就像你遇到一個新朋友,你唯一能知道她名字的方法就是重啟你的大腦。
之所以會出現這種情況,要歸咎於神經網路學習新事物的方式。這些演算法的學習需要改變神經元之間的連結強度,然而這同時也代表了過去的知識,因此過度改變連結就會導致遺忘。
生物神經網路已經進化了數億年的策略,以確保重要資訊保持穩定。但是今天的人工神經網路很難在新舊知識之間取得良好的平衡。當網路看到新資料時,它們的連接很容易被覆蓋,這可能導致突然而嚴重的無法識別過去的資訊。
1. 您在哲學方面的學習對你思考研究的方式產生了哪些影響呢?
哲學教會你的是,「如何提出合理的論點」和「如何分析他人的論點?」
我的實驗室受到這個問題的啟發:如果我們做不到X,我們怎麼能做Y?
我們會隨著時間的推移而學習,但神經網路不會,他的知識量是固定的。那麼如果人類未來要製造通用人工智慧,這是必須解決的基本問題。
Kanan的研究筆記
2. 學術界目前對災難性遺忘的解決進展如何?
目前最成功的方法叫做重播(Replay),這樣可以儲存過去的知識,然後在訓練過程中用新的資料集重播,這樣原始資訊就不會丟失。
這個方法的靈感來自我們大腦中的記憶鞏固過程(Memory Consolidation),睡眠過程中一天的學習的內容被重新編碼,並隨著神經元激活而被重播。
換句話說,新的學習並不能完全根除演算法過去的知識。
有三種方法可以實現這一點。
- 最常見的方法是「真實回放」,研究人員儲存原始輸入的子集——例如,用於物件識別任務的原始圖像——然後將這些儲存的過去圖像與學習的新圖像混合。
- 第二種方法是重播影像的壓縮表示。
- 第三種較不常見的方法是「產生回放」。
在這裡,人工神經網路實際上產生了過去經驗的合成版本,然後將該合成範例與新範例混合。我的實驗室專注於後兩種方法。
3. 如果我們能夠徹底解決災難性遺忘,這是否意味著人工智慧可以隨著時間的推移不斷學習新事物?
不完全是。我認為持續學習領域的開放性問題並不是災難性遺忘。
我真正感興趣的是:
過去的學習如何讓未來的學習更有效率?未來的學習如何修正過去的學習?這些是很少人衡量的東西,我認為這樣做是推動該領域向前發展的關鍵部分,因為實際上,這不僅僅是忘記一些東西,而是關於如何成為一個更好的學習者。
Christopher Kanan表示:
與現代神經網路相比,我們的腦中發生的事情肯定要多得多。我們需要建立正確的實驗和演算法設定來衡量過去的學習是否有助於未來的學習。而目前最大的問題是我們沒有很好的數據集來研究持續學習,我們基本上是在使用傳統機器學習中使用的現有數據集並將其重新開發。
一般來說,機器學習的常規操作是我們有一個訓練集和一個測試集-我們在訓練集上訓練,在測試集上進行測試。
但持續學習打破了這些規則,它讓訓練集會隨著訓練者的學習而發展,因此我們需要一個非常好的持續學習環境。
4. 理想的持續學習環境應該是什麼樣的?
告訴你它不是什麼比告訴你是什麼更容易。
我可以告訴你它可能有的屬性。所以現在,讓我們假設人工智慧演算法不是模擬中的具身智能。然後至少,理想情況下,我們正在從影片中學習,或者類似的東西,例如多模態視訊串流,並希望做的不僅僅是靜態圖像的分類。
有很多關於這方面的開放性問題。幾年前我參加了一個持續學習研討會,一些像我這樣的人說,「我們必須停止使用一個叫做MNIST的資料集,它太簡單了。」然後有人說,「好吧,那我們就對星海爭霸進行增量學習。」
出於各種原因,我現在也在這樣做,但我認為還不足以真正解決這個問題。畢竟,生活比學習玩星海爭霸要豐富得多。
5. 您的實驗室如何嘗試設計可隨時間推移不斷學習的演算法?
我和我以前的學生Tyler Hayes一起開創了一項有關類比推理的持續學習研究,這篇文章也同時發表在CVPR 2021上。
論文連結:https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVCVW_2021_Online_Continual_Analogical_Reasoning_CVCVW_2021_CVn.html#研究遷移學習(Transfer Learning)理念的好領域,因為我們現在需要使用更複雜的技能來解決更複雜的問題。
具體來說,我們對後向遷移(Backward Transfer)的數據進行了測量,即過去學習的東西在未來對你有多大幫助,反之亦然。
我們發現了很好的遷移證據,比物件辨識這樣的簡單任務重要得多。
6. 你認為人工智慧真的會像人類一樣學習嗎?
我想他們會的。許多極具天賦的人在這個領域朝著這個目標邁進。
但我們需要的是創造力。機器學習社群的許多研究都是在前人研究的基礎上做一些小改進,真正改變性的研究不多。
但這一天一定會到來的,只是時間早晚問題。
Christopher Kanan
Christopher Kanan是羅徹斯特大學電腦科學的終身副教授。主要的工作方向是深度學習的基礎研究,包括持續學習,人工智慧的偏見,醫學電腦視覺,以及語言引導的場景理解。
Kanan曾從事線上持續學習、視覺問題回答、計算病理學、語意分割、物件辨識、物件偵測、主動視覺、物件追蹤等工作。除了機器學習,他在眼球追蹤、靈長類視覺和理論神經科學方面也有深厚的背景。
在此之前,他是羅徹斯特理工學院(RIT)卡爾森影像科學中心的終身副教授。在職期間,他和同事共同創建了人類意識人工智慧中心(CHAI),並擔任了四年的副主任。此外,Kanan也曾是康乃爾科技大學的客座副教授,每年為約100名研究生教授了4年的深度學習課程。
Christopher Kanan在俄克拉荷馬州農村的一個小鎮上長大。
1996年的時候,他就開始探索人工智慧了,還在讀高中的Kanan自製了許多「bot」來玩線上多人電腦遊戲。
2002年,Kanan考上俄克拉荷馬州立大學(OSU)主修哲學與電腦科學雙學位,並於2004年獲得學士學位。
2006年,在南加州大學(USC)獲得了電腦科學獲得碩士學位,主要研究人工智慧和神經科學,並與計算神經科學和神經網路的先驅Michael Arbib一起工作。 2013年,在加州大學聖地牙哥分校(UCSD)取得電腦科學博士學位。畢業後,Kanan又到加州理工學院從事博士後研究。
參考資料:https://www.quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we- do-20220802/
以上是AI也有健忘症?英國41歲教授專訪:解決災難性遺忘的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

Video Face Swap
使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

WorldCoin(WLD)凭借其独特的生物识别验证和隐私保护机制,在加密货币市场中脱颖而出,吸引了众多投资者的目光。WLD凭借其创新技术,特别是结合OpenAI人工智能技术,在众多山寨币中表现突出。但未来几年,数字资产的走势如何呢?让我们一起预测WLD的未来价格。2025年WLD价格预测预计2025年WLD将实现显著增长。市场分析显示,WLD平均价格可能达到1.31美元,最高可能触及1.36美元。然而,在熊市情况下,价格可能跌至0.55美元左右。这一增长预期主要源于WorldCoin2.

虛擬幣價格上漲因素包括:1.市場需求增加,2.供應量減少,3.利好消息刺激,4.市場情緒樂觀,5.宏觀經濟環境;下降因素包括:1.市場需求減少,2.供應量增加,3.利空消息打擊,4.市場情緒悲觀,5.宏觀經濟環境。

繪製比特幣結構分析圖的步驟包括:1. 確定繪圖目的與受眾,2. 選擇合適的工具,3. 設計框架並填充核心組件,4. 參考現有模板。完整的步驟確保圖表準確且易於理解。

支持跨鏈交易的交易所有:1. Binance,2. Uniswap,3. SushiSwap,4. Curve Finance,5. Thorchain,6. 1inch Exchange,7. DLN Trade,這些平台通過各種技術支持多鏈資產交易。

適合新手的加密貨幣數據平台有CoinMarketCap和非小號。 1. CoinMarketCap提供全球加密貨幣實時價格、市值、交易量排名,適合新手與基礎分析需求。 2. 非小號提供中文友好界面,適合中文用戶快速篩選低風險潛力項目。

Aavenomics是修改AAVE協議令牌並引入令牌回購的提議,已為AAVEDAO實現了一個法定人數。 AAVE連鎖計劃(ACI)創始人馬克·澤勒(MarcZeller)在X上宣布了這一點,並指出它標誌著該協議的新時代。 AAVE連鎖倡議(ACI)創始人MarcZeller在X上宣布,Aavenomics提案包括修改AAVE協議令牌和引入令牌回購,已為AAVEDAO實現了法定人數。根據Zeller的說法,這標誌著該協議的新時代。 AaveDao成員以壓倒性的投票支持該提議,即在周三以每週100

在加密貨幣的繁華世界裡,新機遇總是不斷湧現。當下,KernelDAO (KERNEL) 空投活動正備受矚目,吸引著眾多投資者的目光。那麼,這個項目究竟是什麼來頭? BNB Holder 又能從中獲得怎樣的好處?別急,下面將為你一一揭曉。

在波動劇烈的加密貨幣市場中,投資者正尋求超越熱門幣種的替代方案。 Solana(SOL)、Cardano(ADA)、XRP和Dogecoin(DOGE)等知名加密貨幣,儘管佔據著一定的市場地位,但也面臨著市場情緒、監管不確定性和可擴展性等挑戰。然而,一個新興項目RexasFinance(RXS)正在嶄露頭角。它並非依靠名人效應或炒作,而是專注於將現實世界資產(RWA)與區塊鏈技術結合,為投資者提供一種創新的投資方式。這一策略使其有望成為2025年最成功的項目之一。 RexasFi
