目錄
從「一步一步」想,到「一點一點」想
AI學會隱藏想法了?
首頁 科技週邊 人工智慧 AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了

May 06, 2024 pm 12:00 PM
ai 模型 tc0

AI做數學題,真正的思考居然是暗中「心算」的?

紐約大學團隊新研究發現,即使不讓AI寫步驟,全用無意義的「…」代替,在一些複雜任務上的表現也能大幅提升!

一作Jacab Pfau表示:只要花費算力產生額外token就能帶來優勢,具體選擇了什麼token無關緊要。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

舉例來說,讓Llama 34M回答一個簡單問題:自然常數e的前6位數中,有幾個大於5的?

AI直接回答約等於瞎搗亂,只統計前6位數字居然統計出7個來。

讓AI把驗證每一數字的步驟寫出來,便可以得到正確答案。

讓AI把步驟隱藏,替換成大量的“…”,依然能得到正確答案!

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

這篇論文一經發布便掀起大量討論,被評價為「我見過的最玄學的AI論文」。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

那麼,年輕人喜歡說更多的「嗯…」、「like…」等無意義口癖,難道也可以加強推理能力?

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

從「一步一步」想,到「一點一點」想

實際上,紐約大學團隊的研究正是從思維鏈(Chain-of-Thought,CoT)出發的。

也就是那句著名提示詞「讓我們一步一步地想」(Let‘s think step by step)。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

過去人們發現,使用CoT推理可以顯著提升大模型在各種基準測試中的表現。

目前尚不清楚的是,這種效能提升到底源自於模仿人類把任務分解成更容易解決的步驟,還是額外的計算量帶來的副產物。

為了驗證這個問題,團隊設計了兩個特殊任務和對應的合成資料集:3SUM和2SUM-Transform。

3SUM要求從一組給定的數字序列中找出三個數,使得這三個數的和滿足特定條件,例如除以10餘0。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

這個任務的計算複雜度是O(n3),而標準的Transformer在上一層的輸入和下一層的激活之間只能產生二次依賴關係。

也就是說,當n夠大序列夠長時,3SUM任務超出了Transformer的表達能力。

在訓練資料集中,把與人類推理步驟相同長度的「...」填入問題和答案之間,也就是AI在訓練中沒有見過人類是怎麼拆解問題的。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

在實驗中,不輸出填充token「…...」的Llama 34M表現隨著序列長度增加而下降,而輸出填充token時一直到長度14還能保證100%準確率。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

2SUM-Transform只需判斷兩個數字總和是否符合要求,這在 Transformer 的表達能力範圍內。

但問題的最後增加了一步“對輸入序列的每個數字進行隨機置換”,以防止模型在輸入token上直接計算。

結果表明,使用填充token可以將準確率從 78.7%提高到93.6%。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

除了最終準確率,作者還研究了填充token的隱藏層表示。實驗表明,凍結前面層的參數,只微調最後一個Attention層,隨著可用的填充token數量增多,預測的準確率增加。

這證實了填充token的隱藏層表示確實包含了與下游任務相關的隱性計算。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

AI學會隱藏想法了?

有網友懷疑,這篇論文難道在說「思維鏈」方法其實是假的嗎?研究這麼久的提示詞工程,都白玩了。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

團隊表示,從理論上填入token的作用僅限於TC0複雜度的問題範圍內。

TC0也就是可以透過一個固定深度的電路來解決的計算問題,其中電路的每一層都可以並行處理,可以透過少數幾層邏輯閘(如AND、OR和NOT閘)快速解決,也是Transformer在單一先前向傳播中能處理的計算複雜度上限。

而足夠長的思維鏈,能將Transformer的表達能力擴展到TC0之外。

而且讓大模型學習利用填充token並不容易,需要提供特定的密集監督才能收斂。

也就是說,現有的大模型不太可能直接從填充token方法中獲益。

但這並不是目前架構的內在局限性,如果在訓練資料中提供足夠的示範,它們應該也能從填充符號中獲得類似的好處。

這項研究也引發了一個令人擔憂的問題:大模型有能力進行無法監控的暗中計算,對AI的可解釋性和可控性提出了新的挑戰。

換句話說,AI可以不依賴人類經驗,以人們看不見的形式自行推理。

這既刺激又可怕。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

最後有網友開玩笑提議,讓Llama 3先生成1千萬億點點點,就能得到AGI的權重了(狗頭) 。

AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了圖片

論文:https://www.php.cn/link/36157dc9be261fec78aeee1a94158c26

參考連結:
[1]https://www.php.cn/link/e350113047e82ceecb455c33c21ef32a[2]https://www.php.cn/link/872de53a900f3250aee#3811956490

##

以上是AI學會隱藏思考暗中推理!不依賴人類經驗解決複雜任務,更黑箱了的詳細內容。更多資訊請關注PHP中文網其他相關文章!

本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱門文章

<🎜>:泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
北端:融合系統,解釋
4 週前 By 尊渡假赌尊渡假赌尊渡假赌
Mandragora:巫婆樹的耳語 - 如何解鎖抓鉤
3 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱工具

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

熱門話題

Java教學
1676
14
CakePHP 教程
1429
52
Laravel 教程
1333
25
PHP教程
1278
29
C# 教程
1257
24
如何設置、獲取和刪除 WordPress Cookie(像專業人士一樣) 如何設置、獲取和刪除 WordPress Cookie(像專業人士一樣) May 12, 2025 pm 08:57 PM

您想了解如何在WordPress網站上使用cookie嗎? Cookie是在用戶瀏覽器中存儲臨時信息的有用工具。您可以使用此信息通過個性化和行為定位來增強用戶體驗。在本終極指南中,我們將向您展示如何像專業人士一樣設置、獲取和刪除WordPresscookie。注意:這是一個高級教程。它要求您精通HTML、CSS、WordPress網站和PHP。什麼是Cookie? Cookie是用戶訪問網站時創建並存儲在用戶瀏覽

2025年火幣APKV10.50.0下載指南 怎麼下載 2025年火幣APKV10.50.0下載指南 怎麼下載 May 12, 2025 pm 08:48 PM

火幣APKV10.50.0下載指南:1、點擊文中直達鏈接;2、選擇正確的下載包;3、填寫註冊信息;4、開始火幣交易流程。

2025年火幣APKV10.50.0下載地址 2025年火幣APKV10.50.0下載地址 May 12, 2025 pm 08:42 PM

火幣APKV10.50.0下載指南:1、點擊文中直達鏈接;2、選擇正確的下載包;3、填寫註冊信息;4、開始火幣交易流程。

2025年火幣APKV10.50.0安裝方法 APK指南 2025年火幣APKV10.50.0安裝方法 APK指南 May 12, 2025 pm 08:27 PM

火幣APKV10.50.0下載指南:1、點擊文中直達鏈接;2、選擇正確的下載包;3、填寫註冊信息;4、開始火幣交易流程。

2025年火幣APKV10.50.0下載網址 2025年火幣APKV10.50.0下載網址 May 12, 2025 pm 08:39 PM

火幣APKV10.50.0下載指南:1、點擊文中直達鏈接;2、選擇正確的下載包;3、填寫註冊信息;4、開始火幣交易流程。

2025十大虛擬幣交易所app排名 數字貨幣交易APP最新排行榜前十名 2025十大虛擬幣交易所app排名 數字貨幣交易APP最新排行榜前十名 May 12, 2025 pm 08:18 PM

2025年十大虛擬幣交易所APP排名如下:1. OKX,2. Binance,3. Huobi,4. Coinbase,5. Kraken,6. KuCoin,7. Bybit,8. FTX,9. Bitfinex,10. Gate.io。這些交易所根據用戶體驗、安全性和交易量等維度進行評選,每個平台都提供了獨特的功能和服務,以滿足不同用戶的需求。

十大數字幣交易所app最新排名 數字貨幣十大交易所app推薦 十大數字幣交易所app最新排名 數字貨幣十大交易所app推薦 May 12, 2025 pm 08:15 PM

十大數字幣交易所app最新排名依次為:1. OKX,2. Binance,3. Huobi,4. Coinbase,5. Kraken,6. KuCoin,7. Bitfinex,8. Gemini,9. Bitstamp,10. Poloniex。使用這些app的步驟包括:下載並安裝app,註冊賬戶,完成KYC認證,充值並開始交易。

火幣APKV10.50.0版本安裝教程 火幣APKV10.50.0版本安裝教程 May 12, 2025 pm 08:33 PM

火幣APKV10.50.0下載指南:1、點擊文中直達鏈接;2、選擇正確的下載包;3、填寫註冊信息;4、開始火幣交易流程。

See all articles