在被OpenAI CEO取關後，Yann LeCun再次抨擊：ChatGPT對現實的掌握非常膚淺

大佬之間的關係，有時真是撲朔迷離。

昨天，有人發現，OpenAI CEO Sam Altman 已經在推特上取關了 Meta 首席人工智慧科學家 Yann LeCun。

我們很難確定這次取關發生的具體時間點，但基本上能夠確定事件原因— 幾天前，Yann LeCun 在前段時間的一次小型媒體和高管線上聚會上發表了自己對ChatGPT 的看法：

「就底層技術而言，ChatGPT 並沒有什麼特別的創新，也不是什麼革命性的東西。許多研究實驗室正在使用同樣的技術，開展同樣的工作。」

在ZDNet 的「ChatGPT is 'not particularly innovative, ' and 'nothing revolutionary', says Meta's chief AI scientist”報道中，LeCun 演講的一些細節被披露出來。其中有一些很驚人的評價：

• 「與其他實驗室相比，OpenAI 並沒有什麼特別的進步。」
• 「ChatGPT 使用的Transformer 架構是以這種自監督的方式預先訓練的。自監督學習是我很長一段時間以來一直倡導的，甚至可以追溯到OpenAI 出現之前。」
• #「Transformer 是Google的發明，這類語言專案的工作可以追溯到幾十年前。」
• …

如此，Sam Altman 的取關行動也是情有可原。

在「取關」被發現的四個小時後，Yann LeCun 更新了動態，再次轉發了一篇「陰陽」ChatGPT 的文章：

為什麼像ChatGPT 這樣的大型語言模型可以滔滔不絕地胡說八道？它們對現實的掌握是非常膚淺的

有人就不同意了：「ChatGPT 是廣泛知識和巨大創造力的源泉，已經在大量書籍和其他資訊源上接受過訓練。」

對此，LeCun 也顯示了自己觀點：「沒人說LLM 沒用。FAIR 的Galactica 短暫發布期間，我自己也曾這麼說過。人們把它釘在十字架上，因為它會產生胡說八道。ChatGPT 做了同樣的事情。但同樣，這並不意味著它們沒有用。 」

實際上，這篇《大西洋報》的文章是對麻省理工學院認知科學小組的一篇論文進行了評論。讓我們來看看具體的研究內容。

這篇論文說了啥？

這篇論文的標題為《Dissociating Language and Thought in Large Language Models: a Cognitive Perspective》，作者分別來自德州大學奧斯汀分校、MIT 和 UCLA。

論文網址：https://arxiv.org/pdf/2301.06627.pdf

#我們知道，現今的大型語言模型（LLM）通常能夠產生連貫、合乎語法且看起來有意義的文本段落。這項成就引發了人們的猜測，即這些網路已經是或很快就會成為「思維機器」，從而執行需要抽象知識和推理的任務。

在本文中，作者考慮了兩個不同面向的語言使用表現來觀察 LLM 的能力，分別如下：

• 形式語言能力，包括給定語言的規則和模式知識；
• #功能語言能力，現實世界中語言理解和使用所需的一系列感知能力。

借鏡認知神經科學的證據，作者表明人類的形式能力依賴特定的語言處理機制，而功能能力需要語言以外的多種能力，它們構成了形式推理、世界知識、情境建模和社會認知等思考能力。與人類的兩種能力區別相似，LLM 在需要形式語言能力的任務上表現出色（儘管還不完美），但在許多需要功能能力的測試中卻往往失敗 #。

基於這一證據，作者認為，其一現代LLM 應該被認真地作為具備形式語言技能的模型，其二玩轉現實生活語言使用的模型需要合併或開發核心語言模組以及建模思維所需的多種非特定語言的認知能力。

總之，他們認為，形式語言能力和功能語言能力之間的區別有助於理清圍繞LLM 潛力的討論，並為構建以類人方式理解和使用語言的模型提供了途徑。 LLM 在許多非語言任務上的失敗並沒有削弱它們作為語言處理的良好模型，如果以人類的思維和大腦作為類比，未來AGI 的進步可能取決於將語言模型以及代表抽象知識和支持複雜推理的模型結合。

ChatGPT 數學程度仍需要提升

LLM 在語言以外的功能能力（如推理等）方面有所欠缺，OpenAI 的 ChatGPT 正是一個例子。雖然先前#官宣數學能力再升級#，但被網友吐槽只能精通十以內的加減法。

最近在一篇論文《Mathematical Capabilities of ChatGPT》中，牛津大學、劍橋大學等機構的研究者在公開可用和手工製作的資料集上測試ChatGPT 的數學能力，並衡量了它與在Minerva 等數學語料庫上訓練的其他模型的性能。同時透過模擬數學家日常專業活動（問答、定理搜尋）中出現的各種用例，來測試 ChatGPT 是否可以稱為專業數學家的有用助手。

論文網址：https://arxiv.org/pdf/2301.13867.pdf

#研究者引入並公開了一個全新資料集—— GHOSTS，它是第一個由數學研究人員製作和管理的自然語言資料集，涵蓋了研究生程度的數學，並全面概述語言模型的數學能力。他們在 GHOSTS 上對 ChatGPT 進行了基準測試，並根據細粒度標準評估效能。

測驗結果顯示，ChatGPT 的數學能力明顯低於普通數學研究生，它通常可以理解問題但無法給出正確答案 。

每月 20 美元，ChatGPT Plus 大會員上線

#怎麼說，ChatGPT 在商業上的成功是有目共睹的。

剛剛，OpenAI 宣布了“ChatGPT Plus”，一項每月 20 美元的新付費會員服務。

訂閱者將獲得一些好處：

#

• 可以普遍使用ChatGPT，即使在高峰期也是如此；
• #更快的回應時間；
• 優先獲得新功能和改進。

OpenAI 表示，它將在「未來幾週內」向在美國和在其候補名單上的人發出該服務的邀請，並表示會將該服務推廣到其他國家和地區。

一個多星期前，有消息指出OpenAI 要以每月42 美元的價格推出ChatGPT 服務的plus 版或pro 版，但最終定下的每月20 美元，顯然讓更廣泛的人群有能力使用該服務，包括學生和企業。

某種程度上，這將為市場上任何想要推出的 AI 聊天機器人設定付費標準。鑑於 OpenAI 是該領域的先行者，如果其他公司試圖發布每月付費超過 20 美元的機器人，都必須先解釋明白一件事 —— 自己的聊天機器人憑什麼比 ChatGPT Plus 更值錢？

以上是在被OpenAI CEO取關後，Yann LeCun再次抨擊：ChatGPT對現實的掌握非常膚淺的詳細內容。更多資訊請關注PHP中文網其他相關文章！