目錄
災難性遺忘
1. 您在哲學方面的學習對你思考研究的方式產生了哪些影響呢?
2. 學術界目前對災難性遺忘的解決進展如何?
3. 如果我們能夠徹底解決災難性遺忘,這是否意味著人工智慧可以隨著時間的推移不斷學習新事物?
4. 理想的持續學習環境應該是什麼樣的?
5. 您的實驗室如何嘗試設計可隨時間推移不斷學習的演算法?
首頁 科技週邊 人工智慧 AI也有健忘症?英國41歲教授專訪:解決災難性遺忘

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘

Apr 12, 2023 am 08:25 AM
ai 演算法 神經網路

如何實現持續學習,讓AI不斷片?

近日,來自羅徹斯特大學的41歲電腦科學家Christopher Kanan在專訪中表示,自己正在建立可以讓AI隨著時間的推移而不斷學習的演算法——就像我們人類一樣。

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘

災難性遺忘

#眾所周知,AI在訓練後可以很好地完成「考試範圍內」的任務,但是這些演算法卻不能像人類一樣不斷用新資訊更新知識庫。

為了學習哪怕是一個新的東西,演算法也必須從頭開始訓練,而代價就是忘記它之前已經學習過的幾乎所有內容。如此帶來的問題就是──「災難性遺忘」(Catastrophic Forgetting)。就像你遇到一個新朋友,你唯一能知道她名字的方法就是重啟你的大腦。

之所以會出現這種情況,要歸咎於神經網路學習新事物的方式。這些演算法的學習需要改變神經元之間的連結強度,然而這同時也代表了過去的知識,因此過度改變連結就會導致遺忘。

生物神經網路已經進化了數億年的策略,以確保重要資訊保持穩定。但是今天的人工神經網路很難在新舊知識之間取得良好的平衡。當網路看到新資料時,它們的連接很容易被覆蓋,這可能導致突然而嚴重的無法識別過去的資訊。

1. 您在哲學方面的學習對你思考研究的方式產生了哪些影響呢?

哲學教會你的是,「如何提出合理的論點」和「如何分析他人的論點?」

我的實驗室受到這個問題的啟發:如果我們做不到X,我們怎麼能做Y?

我們會隨著時間的推移而學習,但神經網路不會,他的知識量是固定的。那麼如果人類未來要製造通用人工智慧,這是必須解決的基本問題。

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘

Kanan的研究筆記

2. 學術界目前對災難性遺忘的解決進展如何?

目前最成功的方法叫做重播(Replay),這樣可以儲存過去的知識,然後在訓練過程中用新的資料集重播,這樣原始資訊就不會丟失。

這個方法的靈感來自我們大腦中的記憶鞏固過程(Memory Consolidation),睡眠過程中一天的學習的內容被重新編碼,並隨著神經元激活而被重播。

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘

換句話說,新的學習並不能完全根除演算法過去的知識。

有三種方法可以實現這一點。

  • 最常見的方法是「真實回放」,研究人員儲存原始輸入的子集——例如,用於物件識別任務的原始圖像——然後將這些儲存的過去圖像與學習的新圖像混合。
  • 第二種方法是重播影像的壓縮表示。
  • 第三種較不常見的方法是「產生回放」。

在這裡,人工神經網路實際上產生了過去經驗的合成版本,然後將該合成範例與新範例混合。我的實驗室專注於後兩種方法。

3. 如果我們能夠徹底解決災難性遺忘,這是否意味著人工智慧可以隨著時間的推移不斷學習新事物?

不完全是。我認為持續學習領域的開放性問題並不是災難性遺忘。

我真正感興趣的是:

過去的學習如何讓未來的學習更有效率?未來的學習如何修正過去的學習?這些是很少人衡量的東西,我認為這樣做是推動該領域向前發展的關鍵部分,因為實際上,這不僅僅是忘記一些東西,而是關於如何成為一個更好的學習者。

Christopher Kanan表示:

與現代神經網路相比,我們的腦中發生的事情肯定要多得多。我們需要建立正確的實驗和演算法設定來衡量過去的學習是否有助於未來的學習。而目前最大的問題是我們沒有很好的數據集來研究持續學習,我們基本上是在使用傳統機器學習中使用的現有數據集並將其重新開發。

一般來說,機器學習的常規操作是我們有一個訓練集和一個測試集-我們在訓練集上訓練,在測試集上進行測試。

但持續學習打破了這些規則,它讓訓練集會隨著訓練者的學習而發展,因此我們需要一個非常好的持續學習環境。

4. 理想的持續學習環境應該是什麼樣的?

告訴你它不是什麼比告訴你是什麼更容易。

我可以告訴你它可能有的屬性。所以現在,讓我們假設人工智慧演算法不是模擬中的具身智能。然後至少,理想情況下,我們正在從影片中學習,或者類似的東西,例如多模態視訊串流,並希望做的不僅僅是靜態圖像的分類。

有很多關於這方面的開放性問題。幾年前我參加了一個持續學習研討會,一些像我這樣的人說,「我們必須停止使用一個叫做MNIST的資料集,它太簡單了。」然後有人說,「好吧,那我們就對星海爭霸進行增量學習。」

出於各種原因,我現在也在這樣做,但我認為還不足以真正解決這個問題。畢竟,生活比學習玩星海爭霸要豐富得多。

5. 您的實驗室如何嘗試設計可隨時間推移不斷學習的演算法?

我和我以前的學生Tyler Hayes一起開創了一項有關類比推理的持續學習研究,這篇文章也同時發表在CVPR 2021上。

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘

論文連結:https://openaccess.thecvf.com/content/CVPR2021W/CLVision/html/Hayes_Selective_Replay_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_Enhances_Learning_in_Online_Continual_Analogical_Reasoning_CVCVW_2021_Online_Continual_Analogical_Reasoning_CVCVW_2021_CVn.html#研究遷移學習(Transfer Learning)理念的好領域,因為我們現在需要使用更複雜的技能來解決更複雜的問題。

具體來說,我們對後向遷移(Backward Transfer)的數據進行了測量,即過去學習的東西在未來對你有多大幫助,反之亦然。

我們發現了很好的遷移證據,比物件辨識這樣的簡單任務重要得多。

6. 你認為人工智慧真的會像人類一樣學習嗎?

我想他們會的。許多極具天賦的人在這個領域朝著這個目標邁進。

但我們需要的是創造力。機器學習社群的許多研究都是在前人研究的基礎上做一些小改進,真正改變性的研究不多。

但這一天一定會到來的,只是時間早晚問題。

Christopher Kanan

Christopher Kanan是羅徹斯特大學電腦科學的終身副教授。主要的工作方向是深度學習的基礎研究,包括持續學習,人工智慧的偏見,醫學電腦視覺,以及語言引導的場景理解。

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘Kanan曾從事線上持續學習、視覺問題回答、計算病理學、語意分割、物件辨識、物件偵測、主動視覺、物件追蹤等工作。除了機器學習,他在眼球追蹤、靈長類視覺和理論神經科學方面也有深厚的背景。

在此之前,他是羅徹斯特理工學院(RIT)卡爾森影像科學中心的終身副教授。在職期間,他和同事共同創建了人類意識人工智慧中心(CHAI),並擔任了四年的副主任。此外,Kanan也曾是康乃爾科技大學的客座副教授,每年為約100名研究生教授了4年的深度學習課程。

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘Christopher Kanan在俄克拉荷馬州農村的一個小鎮上長大。

1996年的時候,他就開始探索人工智慧了,還在讀高中的Kanan自製了許多「bot」來玩線上多人電腦遊戲。

2002年,Kanan考上俄克拉荷馬州立大學(OSU)主修哲學與電腦科學雙學位,並於2004年獲得學士學位。

2006年,在南加州大學(USC)獲得了電腦科學獲得碩士學位,主要研究人工智慧和神經科學,並與計算神經科學和神經網路的先驅Michael Arbib一起工作。 2013年,在加州大學聖地牙哥分校(UCSD)取得電腦科學博士學位。畢業後,Kanan又到加州理工學院從事博士後研究。

AI也有健忘症?英國41歲教授專訪:解決災難性遺忘

參考資料:https://www.quantamagazine.org/the-computer-scientist-trying-to-teach-ai-to-learn-like-we- do-20220802/

以上是AI也有健忘症?英國41歲教授專訪:解決災難性遺忘的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

大宗交易的虛擬貨幣交易平台排行榜top10最新發布 大宗交易的虛擬貨幣交易平台排行榜top10最新發布 Apr 22, 2025 am 08:18 AM

選擇大宗交易平台時應考慮以下因素:1. 流動性:優先選擇日均交易量超50億美元的平台。 2. 合規性:查看平台是否持有美國FinCEN、歐盟MiCA等牌照。 3. 安全性:冷錢包存儲比例和保險機制是關鍵指標。 4. 服務能力:是否提供專屬客戶經理和定制化交易工具。

數字貨幣交易所App前十名蘋果版下載入口匯總 數字貨幣交易所App前十名蘋果版下載入口匯總 Apr 22, 2025 am 09:27 AM

提供各種複雜的交易工具和市場分析。覆蓋 100 多個國家,日均衍生品交易量超 300 億美元,支持 300 多個交易對與 200 倍槓桿,技術實力強大,擁有龐大的全球用戶基礎,提供專業的交易平台、安全存儲解決方案以及豐富的交易對。

排名前十的虛擬貨幣交易app有哪些 十大數字貨幣交易所平台推薦 排名前十的虛擬貨幣交易app有哪些 十大數字貨幣交易所平台推薦 Apr 22, 2025 pm 01:12 PM

2025年安全的數字貨幣交易所排名前十依次為:1. Binance,2. OKX,3. gate.io,4. Coinbase,5. Kraken,6. Huobi,7. Bitfinex,8. KuCoin,9. Bybit,10. Bitstamp,這些平台均採用了多層次的安全措施,包括冷熱錢包分離、多重簽名技術以及24/7的監控系統,確保用戶資金的安全。

穩定幣有哪些?穩定幣如何交易? 穩定幣有哪些?穩定幣如何交易? Apr 22, 2025 am 10:12 AM

常見的穩定幣有:1. 泰達幣(USDT),由Tether發行,與美元掛鉤,應用廣泛但透明性曾受質疑;2. 美元幣(USDC),由Circle和Coinbase發行,透明度高,受機構青睞;3. 戴幣(DAI),由MakerDAO發行,去中心化,DeFi領域受歡迎;4. 幣安美元(BUSD),由幣安和Paxos合作,交易和支付表現出色;5. 真實美元(TUSD),由TrustTo

目前有多少穩定幣交易所?穩定幣種類有多少? 目前有多少穩定幣交易所?穩定幣種類有多少? Apr 22, 2025 am 10:09 AM

截至2025年,穩定幣交易所數量約為千家。 1. 法定貨幣支持的穩定幣包括USDT、USDC等。 2. 加密貨幣支持的穩定幣如DAI、sUSD。 3. 算法穩定幣如TerraUSD。 4. 還有混合型穩定幣。

幣圈十大交易所有哪些 最新幣圈app推薦 幣圈十大交易所有哪些 最新幣圈app推薦 Apr 24, 2025 am 11:57 AM

選擇可靠的交易所至關重要,Binance、OKX、Gate.io等十大交易所各具特色,CoinGecko、Crypto.com等新app也值得關注。

2025下一個千倍幣可能有哪些 2025下一個千倍幣可能有哪些 Apr 24, 2025 pm 01:45 PM

截至2025年4月,有七个加密货币项目被认为具有显著增长潜力:1. Filecoin(FIL)通过分布式存储网络实现快速发展;2. Aptos(APT)以高性能Layer 1公链吸引DApp开发者;3. Polygon(MATIC)提升以太坊网络性能;4. Chainlink(LINK)作为去中心化预言机网络满足智能合约需求;5. Avalanche(AVAX)以快速交易和

DLC是什麼幣 DLC幣前景怎麼樣 DLC是什麼幣 DLC幣前景怎麼樣 Apr 24, 2025 pm 12:03 PM

DLC幣是基於區塊鏈的加密貨幣,旨在提供高效、安全的交易平台,支持智能合約和跨鏈技術,適用於金融和支付領域。

See all articles