LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路
AI界當代最著名巨擘之一、Meta的AI實驗室靈魂人物Yann LeCun,長期致力於讓機器對世界的運轉理念有基礎了解,也就是讓AI獲得常識。 LeCun過去的做法,是用視訊選段訓練神經網絡,讓AI逐個像素地預測日常活動影片下一幀將會出現啥。不出人意料地,他自己承認這條途徑撞上了鐵板。在數月到一年半之間的思考後,LeCun對下一代AI有了新的想法。
AI新路徑
在《MIT科技評論》的訪談中,LeCun勾勒出他的新研究路徑,稱如此會給機器賦予探索世界的常識基礎。對LeCun而言,這就是打造AGI(通用人工智慧)的第一步。能像人一樣思考的機器,在AI業界誕生時就是指導性願景,同時也是爭議最大的理念之一。
不過LeCun的新路徑或許還很不完備,引來的疑問可能比獲得的答案還要多。最大的疑問在於,LeCun自己承認了他還不知道如何創造自己所描述的那種AI。此路徑的核心是個能以與先前不同方法檢視、學習真實世界的神經網路。 LeCun終於放棄了讓AI逐個像素猜下一幀視頻,只讓新的神經網路學會完成任務必備的關鍵知識。
然後LeCun打算將這個神經網路與另一個被稱為「配置器」的神經網路配對。 「配置器」專管決定哪些細節是主神經網路必須學會的、並照此來自動調節主系統。對LeCun來說,AGI是人類與未來科技互動的不可或缺部分。當然此展望和他押注全副身家搞元宇宙的東家Meta公司不謀而合。
LeCun說,在10-15年間,取代現在智慧型手機地位的將是AR眼鏡。 AR眼鏡上就必備能輔助人類日常活動的虛擬智慧助理。如果這些助手要起最大作用,那必然或多或少要跟得上人腦智能才行。
「世界模型」是AGI核心
LeCun最近熱衷的「世界模型」,按他說就是大多數動物大腦的基礎運作模式:為真實世界跑個模擬。動物從嬰兒期開始就用預估-試誤法來發展智能。幼孩們透過觀察真實世界的運動與挫折,在生命的前幾個月就發展出了智慧的基礎。
觀察一個小球掉個幾百次,普通嬰兒就算沒上過基礎物理課、學過牛頓三定律,也對重力的存在與運作有基礎認知。所以這種直覺性/默會性推理,常人稱作「常識」。人類就是透過常識來認知真實世界的大多數可能未來與不可能幻想,來預見自己的行為後果並據此做出決策。如此的人智既不需要像素級精確細節,也不需要完整的物理參數庫。就算有人沒有視力、或是個文盲,一樣可以正常發揮智能。
但教機器學會常識就很難。當下的神經網路要被展示數千次範例後,才能開始模糊發現內含規律模式。 LeCun表示,智能的基礎是預測即刻未來的常識能力。不過在放棄讓AI逐像素預測後,LeCun表示要換個想法。 LeCun打了個比方:想像你捏根鋼筆懸空放手,常識告訴你這根鋼筆必然會墜落,但掉落的精確位置則不在人智預測範圍內。依過去的AI開發模式,AI要跑複雜的物理學模型,來預測鋼筆是否會墜落、同時求得墜落的精確位置。
現在LeCun努力讓AI只預測出鋼筆會墜落的常識結論,至於精確位置不在求解範圍內。 LeCun說這就是「世界模型」的基本模式。
LeCun表示他已經創造了可以完成基礎客體辨識的「世界模型」早期版本,現在致力於訓練它學會上述常識性預測。
不過「配置器」在此中的功用,LeCun說自己還沒搞清楚。 LeCun想像中的「配置器」AI,是整個AGI系統的控制元件。它將要決定「世界模型」在任何時刻需要做出何等常識性預測、並調適「世界模型」為此該處理的細節資料。 LeCun現在堅信「配置器」必不可少,但不知道怎麼訓練一個神經網路來做到這一點。
「我們需要摸索出可行的技術清單來,而這個清單現在還不存在。」在LeCun的願景中,「配置器」和「世界模型」是未來AGI基礎認知架構的兩大核心部分,在此之上才能發展出感知世界的認知模型、驅使AI調整行為的激勵模型等等。 LeCun稱,如此神經網路就能做到每部分都在成功模擬人腦。例如「配置器」和「世界模型」起了前額葉的作用,激勵模型是AI的杏仁體,等等。
認知架構、不同層面細節的預測模型,這些都是多年來業界既有的一派觀點。不過當深度學習成為AI業界主流後,許多這類老點子就顯得過時。現在LeCun重拾傳統智慧:「AI研究界把這些東西忘掉好多了。」
大模型與強化學習都是死路
之所以重走舊路,是因為LeCun堅信現在的業界主流路徑已經走進死胡同。關於如何做出AGI來,現在AI業界有兩種主流觀點。
一是許多研究者堅信到搞出烏龍的路徑:就像OpenAI家的GPT系列和DALL-E系列那樣,模型越大越好,大到超過臨界點,AI就覺醒人智了。
二是強化學習:不斷試錯,並按試錯結果獎懲AI。這是DeepMind家做各種棋牌AI、遊戲AI的路數。這種路徑的信徒認為,只要獎勵激勵設定對頭,強化學習終將創造出真正AGI。
Lecun表示在座的兩種人都是垃圾:「無限擴張現有大語言模型的量級,最後就能做出人類層次的AI?這種荒唐論調,我一秒鐘都沒信過。這些模型就只能單純捯鷸各種文字與圖像數據,完全沒有真實世界的直接體驗。」「強化學習要用巨量數據才能訓練模型執行最簡單任務,我不認為這種辦法有機會做出AGI來。」
業內人對LeCun的觀點有支持也有反對。如果LeCun的願景實現,AI將會成為不亞於網路的下一代基礎高性能技術。但他的聲張並不包括自家模型的表現、激勵機制、控制機制等等。不過這些缺陷都是小事,因為不管褒貶,業內人士一致認為要面對這些短板還是久遠以後的事。因為即使LeCun也沒辦法在當下馬上做出AGI來。
Lecun自己也表示承認此形勢,他稱自己只希望為新的理論路徑播種、讓後來者於此基礎上建構出成果。 「達到這個目標,需要太多人付出太多努力。我現在提出這些,只是因為我認為這條路才是最終的正路。」就算做不到這點,LeCun也希望說服同行不要單單死盯著大模型和強化學習,最好打開思路。 「我討厭看到大家浪費時間。」
業界反應:褒貶皆有
另外一名AI界泰斗、與LeCun交情好的Yoshua Bengio表示樂見老友圓夢。 「Yann說這些已經說了有日子了,不過看到他整全性地把各種言說歸納到一處,我還是蠻高興的。然而這些只是研究方向申請而非結果呈報,大家通常只在私底下分享這些,公開聊的風險挺大。」
#DeepMind裡牽頭開發遊戲AI AlphaZero的David Silver不贊成LeCun對自己專案的批評,不過歡迎他實現願景。
「LeCun描述的世界模式的確是個令人興奮的新點子。」加州聖菲研究所的Melanie Mitchell則贊成LeCun:「業界真的不常在深度學習社群中看到這種觀點。但大語言模型真的既缺記憶,又沒有能擔綱的內在世界模型骨幹。」
Google大腦的Natasha Jaques不同意:「大家已經看到大語言模型極具效率,也混雜了相當多人類知識。沒語言模型,我怎麼升級LeCun提出的這個世界模型?就算人類學習,途徑也不止親身經歷,還包括口耳相傳。」
#以上是LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路的詳細內容。更多資訊請關注PHP中文網其他相關文章!

熱AI工具

Undresser.AI Undress
人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool
免費脫衣圖片

Clothoff.io
AI脫衣器

AI Hentai Generator
免費產生 AI 無盡。

熱門文章

熱工具

記事本++7.3.1
好用且免費的程式碼編輯器

SublimeText3漢化版
中文版,非常好用

禪工作室 13.0.1
強大的PHP整合開發環境

Dreamweaver CS6
視覺化網頁開發工具

SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)

熱門話題

CentOS 關機命令為 shutdown,語法為 shutdown [選項] 時間 [信息]。選項包括:-h 立即停止系統;-P 關機後關電源;-r 重新啟動;-t 等待時間。時間可指定為立即 (now)、分鐘數 ( minutes) 或特定時間 (hh:mm)。可添加信息在系統消息中顯示。

檢查CentOS系統中HDFS配置的完整指南本文將指導您如何有效地檢查CentOS系統上HDFS的配置和運行狀態。以下步驟將幫助您全面了解HDFS的設置和運行情況。驗證Hadoop環境變量:首先,確認Hadoop環境變量已正確設置。在終端執行以下命令,驗證Hadoop是否已正確安裝並配置:hadoopversion檢查HDFS配置文件:HDFS的核心配置文件位於/etc/hadoop/conf/目錄下,其中core-site.xml和hdfs-site.xml至關重要。使用

CentOS系統下GitLab的備份與恢復策略為了保障數據安全和可恢復性,CentOS上的GitLab提供了多種備份方法。本文將詳細介紹幾種常見的備份方法、配置參數以及恢復流程,幫助您建立完善的GitLab備份與恢復策略。一、手動備份利用gitlab-rakegitlab:backup:create命令即可執行手動備份。此命令會備份GitLab倉庫、數據庫、用戶、用戶組、密鑰和權限等關鍵信息。默認備份文件存儲於/var/opt/gitlab/backups目錄,您可通過修改/etc/gitlab

在CentOS系統上啟用PyTorchGPU加速,需要安裝CUDA、cuDNN以及PyTorch的GPU版本。以下步驟將引導您完成這一過程:CUDA和cuDNN安裝確定CUDA版本兼容性:使用nvidia-smi命令查看您的NVIDIA顯卡支持的CUDA版本。例如,您的MX450顯卡可能支持CUDA11.1或更高版本。下載並安裝CUDAToolkit:訪問NVIDIACUDAToolkit官網,根據您顯卡支持的最高CUDA版本下載並安裝相應的版本。安裝cuDNN庫:前

Docker利用Linux內核特性,提供高效、隔離的應用運行環境。其工作原理如下:1. 鏡像作為只讀模板,包含運行應用所需的一切;2. 聯合文件系統(UnionFS)層疊多個文件系統,只存儲差異部分,節省空間並加快速度;3. 守護進程管理鏡像和容器,客戶端用於交互;4. Namespaces和cgroups實現容器隔離和資源限制;5. 多種網絡模式支持容器互聯。理解這些核心概念,才能更好地利用Docker。

在 CentOS 上安裝 MySQL 涉及以下步驟:添加合適的 MySQL yum 源。執行 yum install mysql-server 命令以安裝 MySQL 服務器。使用 mysql_secure_installation 命令進行安全設置,例如設置 root 用戶密碼。根據需要自定義 MySQL 配置文件。調整 MySQL 參數和優化數據庫以提升性能。

CentOS系統下查看GitLab日誌的完整指南本文將指導您如何查看CentOS系統中GitLab的各種日誌,包括主要日誌、異常日誌以及其他相關日誌。請注意,日誌文件路徑可能因GitLab版本和安裝方式而異,若以下路徑不存在,請檢查GitLab安裝目錄及配置文件。一、查看GitLab主要日誌使用以下命令查看GitLabRails應用程序的主要日誌文件:命令:sudocat/var/log/gitlab/gitlab-rails/production.log此命令會顯示produc

在CentOS系統上進行PyTorch分佈式訓練,需要按照以下步驟操作:PyTorch安裝:前提是CentOS系統已安裝Python和pip。根據您的CUDA版本,從PyTorch官網獲取合適的安裝命令。對於僅需CPU的訓練,可以使用以下命令:pipinstalltorchtorchvisiontorchaudio如需GPU支持,請確保已安裝對應版本的CUDA和cuDNN,並使用相應的PyTorch版本進行安裝。分佈式環境配置:分佈式訓練通常需要多台機器或單機多GPU。所
