首頁 > 科技週邊 > 人工智慧 > 田淵棟:關於GPT-4的一些感想

田淵棟:關於GPT-4的一些感想

王林
發布: 2023-04-12 12:46:02
轉載
902 人瀏覽過

OpenAI昨天發布了GPT-4,試用了一下確實很不錯。

在我主要關心的故事生成方面,與ChatGPT生成出來的故事相比,GPT-4文筆更佳細節更多,更擅長生動具體的描繪,劇情也開始出現一些有趣的轉折。當然,ChatGPT有的問題,比如說缺乏整體佈局謀篇能力,角色不突出,敘事展開比較無聊,續寫段落很快就會歸於一個平庸的結尾等等,在GPT-4上面仍然存在。

從它的表現報告來看,與GRE verbal接近滿分相比,GRE寫作只有4分,大學預修英文寫作也只有2分( 3分及格),而且從GPT-3到4沒有進步,不知道是不是跟這些問題有關聯。

田淵棟:關於GPT-4的一些感想


#但不管怎麼說,GPT-4已經能幫我們做很多日常工作了。自從2013年深度學習開始爆發以來,僅僅過了十年,我們就有瞭如此強力的工具,其進化速度可以說是超出想像。

2017年我為什麼有些學數學的不慣甚至鄙視 Deep Learning?這個回答裡面寫了一些大膽的猜測,比如說“漫漫長夜裡瞎摸,太陽還沒有露頭”,現在看起來這些預測還是大體正確的,只是想不到,這一天會那麼快到來。

一個技術,一旦變成像微積分一樣的通用工具,那接下來帶來的巨大變革,是可以預期的。

如果再把眼光放得長遠一點,將來會發生什麼事呢?

我在2020年左右也有一些思考,放在自己的科幻小說裡了。總的來說,如果這樣的趨勢發展到極致,再加上連實體產品的製造都可以就地取材完全自動化,那最後的結果就是「所思即所得」:只要能構思出一個東西,它就會以極低的成本出現在自己的面前。

大部分重複性勞動,只要可以被機器無限制複製,其價值就會降到近乎為零,成為和水和空氣一樣無所不在的公共品。

在這種條件下,「獨一無二」就會成為大家所珍視的價值和意義。也許以後,判斷人才的主要因素,不再是完成學位,考試過關,而是看個人的經驗和成就。

「同樣的目標下比別人做得更好」是一種獨一無二,「去往從未有人去過的方向」也是一種獨一無二。這不僅包括同儕認可的學術成就,例如解開無人能解的難題,開創並探索一個新的學術方向,更包括獨一無二的經驗、見解、思考方式,乃至三觀,比如說一個拄著拐杖徒步探險過南極的程式設計師,他/她對這個世界會有什麼樣的觀點,見解和感悟?一個曾自製火箭去往月球但中途失控,又奇蹟被救的歷史系學生,將在自傳裡如何講述這段經歷?

這些與個人特質緊密結合的話語權,會讓每個人都能佔據人類社會中的一個獨特生態位,成為「人之為人」最終的定海神針。即便是將來意識能夠上傳,數位孿生能夠實現,這種獨特人格仍然是無法複製的——完全相同的個體,只要變成了兩個並開始各自接受不同的外界信號刺激,他們內部的狀態就會因更新而不同,軌跡就會開始分叉,再次變得獨一無二。

#

總的來說,每個人都透過自身的「道」來證明自己的選擇,又因為過去的選擇,來累積自己獨一無二的特質。無法預先判斷誰比誰更優秀,因為計算這個判定函數本身,就需要個體實踐自己的道路。而無數的,堅持各自方向的人聚在一起,就會不斷湧現出各種奇妙的想法,有一些被實踐證明正確的,就會影響到他人並且吸引到追隨者。而包含這些所有個體的,一個多元包容的世界,就會充滿前進的動力。

扯遠了。

對研究者而言,GPT-4的出現又意味著什麼呢?

我們有兩種極端的選擇,其一是關起門來,不聽不看,沿用舊的思維慣性去構思研究路線,繼續發表下一篇文章;也可以從此百分百拋棄以前的研究思路,撕掉所有課本,相信算力為王,大模型大數據就是一切。

我覺得這兩種態度都不可取。研究的典範要有變化,不再發現特定的知識,而是研究模型學習的機制,尋求其學習能力的本源。比如說透過海量的資料訓練,現有的模型可以自動學會很多概念。

但模型是如何學會這個概念的,為什麼大模型會學得更快更好,它怎麼從資料中被發現,被模型抓住並且在訓練中不斷被強化?高級的概念是如何形成的?現有的模型如何抓住這些概念,以什麼樣的機制來抓住它們?我覺得這些可能是在長遠來看,真正有意義的基礎研究方向,也是把」人工智慧「這個玄學,真正轉化成科學的最終出口。

當然了,這些應該說是幾十年的尺度上看的,要做這些研究,需要大量的基礎知識,充足的耐心,擅長接受超出自己認知範圍內的新事物,又能把它融入原本的工作流程和研究思路中去。

這可以算是自己在研究上獨一無二的「定海神針」吧,希望能夠繼續走下去。

#

以上是田淵棟:關於GPT-4的一些感想的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板