ChatGPT 的走紅再次掀起人們對人工智慧的關注，那麼在 ChatGPT 之後，人工智慧將會如何發展？業界及 ChatGPT 的母公司 OpenAI 都認為 AGI 將是未來人工智慧的發展方向。
AGI 理論研究與應用實務將可以從哪些面向出發？ 【ChatGPT 和大模型春季課程】最後一場主題討論對此進行了解答，來自UCL、人大、華為、清華、中科院、上交大、南大、利物浦大學的學者專家共聚一堂，探討“ChatGPT 後的通用人工智慧理論與應用」。
以下是圓桌討論內容的亮點整理。
Topic 1：我們以前一直嚮往通用人工智慧，不需要為了任務設計演算法對機器訓練。 ChatGPT 是不是為我們帶來了這樣的可能性，近幾年可能實現這樣的夢想嗎？
劉群：一開始，我對「通用人工智慧」 這個詞是有點反感的，因為我理解這是比較科幻的說法，感覺不太可靠。所以我以前不太願意回答有關這個概念的問題。但最近看來，這個詞還蠻合理的。它不是科幻性質的，現在的人工智慧模型越來越通用，原來只能處理一些小問題或單一問題，現在 ChatGPT 基本上可以處理各類問題，我感覺通用人工智慧這個詞還是挺合適的。
通用人工智慧是否將要實現，我也不敢判斷，但某種程度上，通用的自然語言處理是實現了。自然語言領域，解決任何一個小問題都是很複雜的，如機器翻譯、情感分析、中文分詞，它總是牽扯到所有東西，因為詞都是文本和符號。任何小的方向，要做好，必須理解整個語言系統。所以 ChatGPT 在語言上的功能實作是很厲害的，尤其是 discourse 能力。因為 discourse 是自然語言裡非常深層、難以解決的問題。 ChatGPT 很好地學到了人類溝通過程中的篇章結構，包括寫文章的套路和話術，這是非常抽象的一種邏輯和組織文章的方式。還有一些最近的例子是它能模擬人講話，代入某個角色，這是個嵌套結構的自然語言處理，它是一個堆疊，像 ChatGPT 對話題的轉換，跳進跳出非常好，不會亂。
汪軍：如果從機器學習裡面來看，它的目標方程式很簡單，第一個是對前面幾個字預測下面一個字；第二是這段話回答出來是否跟人相似？這兩個非常簡單的目標，他為什麼能學出這種感覺需要很多邏輯和事先設計的東西呢？
劉群：達到目標要很好地涉及到所用的複雜知識，知識掌握得越好越深，預測便越好。所以雖然目標簡單，但要達到目標的手段可以無窮複雜。所以要做好，需要非常強大的模型和大量的數據。
黃民烈：過去在中國大家一般不太敢說 AGI 概念，甚至 AGI 定義都不太清楚。所以我們有時會調侃說中國的科學家不敢有夢想，因為只要說 AGI 都會被噴死。國外的科學家確實還是非常有情懷，像 MIT 的教授 1966 年用 AI 對話系統做聊天機器人，心理治療機器人，我覺得這是很難的一件事，他們敢想敢做，值得我們學習。
回到這個問題，我們現在離 AGI 有多遠？我覺得在普遍意義上還挺遠，ChatGPT 現在體現出來的智慧水準還是在發展 AGI 的過程中，但我們不太敢想的事情已經有一點樣子了。所以我覺得可能換一個提法會更好：我們不要討論在廣泛意義上它是否達到AGI 的能力，因為從廣義意義上來講，我們可能還要有各種各樣的自主思考和泛化能力，但在今天我們看到的情況是，它確實在整體智慧水準上已經不是任何過往一個AI 能達到的。它的技術路線也很不一樣，像 IBM Watson 所做的 DeepQA 技術完全是傳統和經典路線。這種語意分析的理解套路是要把一個句子的語法、句法結構分析很清晰，它代表了另一派學術思想。
但今天來看，ChatGPT 不僅是數據，更是數據和模型體現出來的威力，以及模型本身能夠湧現出來的能力。所以我覺得未來它是不是通往 AGI 的一條正確道路？不同人不同觀點，我覺得是值得嘗試的方向，但不是唯一的方向。這是我的一個主要觀點：它怎麼習得的，其實也不完全是資料加模型的暴力美學，它還是體現了許多模型演算法的設計，尤其是跟人類資料的對齊。 OpenAI 很多細節沒有透露，但我猜它內部有很多精細的資料處理。現在看到的好像是簡單地對數據上手，但其實可能還沒那麼簡單。
方蒙：ChatGPT 確實非常強大，最近我讓它寫程式碼，拿它寫的程式碼直接去執行時，發現它出現一個 bug。我直接把這個 bug 的資訊拷貝過來，讓 ChatGPT 處理，它又給了我推薦一個函數和程式碼。但該函數已經在版本更新中被棄用了，我根據推薦的函數很快就查到了它的更新，解決了我的問題。我在想，實際上一般人並不會專門學習程式碼，但我們需要交流。而 ChatGPT 確實在許多 NLP 任務上處理得很好，幾乎考慮了大部分的 NLP 任務，似乎是萬能 AI。但 OpenAI 公佈的模型是基於 2021 年以前的資料學習的，對新知識無法處理。如果單純從 NLP 角度來講，它確實好像是一個 AGI 模型，它能處理好大部分的 NLP 研究的問題。未來我們要做 NLP 的科學研究肯定會創造出許多新問題，探索新事物。如果有一天 ChatGPT 也能做類似事情，自己創造新問題，而不是處理現有的問題。我相信這可能更靠近通用人工智慧，因為它能自己產生新東西。我認為他現在習得的技能還是基於過去海量的數據，它的模型訓練算力大，工程精細。但它可能只是一條路，有可能還有別的路。所以我們也可以去探索一下別的路。
另外，我也在想另一個問題，如果讓它學 2022 年的數據，我們需要對它訓練多久？是否能像人一樣學習？或學得更快更好？這些可能也是通用人工智慧的要點之一。現在 OpenAI 公開使用的模型還沒到這個程度，然而它確實很強大，這已經邁出了重要一步。
Topic 2：ChatGPT 的不足地方是什麼？從機器學習角度來，它還有哪些方面可以改進以達到我們所希望的？或者它的能力邊界是什麼？
文繼榮：不足明顯還是有一些。第一，ChatGPT 的知識即時性不足，語言模型從海量資料中學習到的既有知識也有能力，二者是統一的，像人類大腦一樣進行表達。但這些知識是在訓練時已固定下來，所以會出現如 2021 年 9 月以後的新資料放進去學習的情況。把新東西加進去，要重新訓練，成本很高，現在基本上不太好。因此 ChatGPT 和 Bing 進行了集成，可以在最新網路資料上，把檢索結果和內容生成結合。結合以後，可能很好解決 ChatGPT 知識即時性和正確性問題。但我個人認為這件事目前還是一個開始，非常值得深入研究。大模型裡的資料是靜態的，整個網路或外部知識是動態的，當用模型產生結果時，怎麼把模型內部的知識和外面的知識結合產生結果。這個問題現在還沒有很好的答案，但如果做好了，意義非常重大。因為我們不能總是重新訓練模型，我們需要有一個穩定的基礎模型，當更多的動態資料或專業領域知識進來時，把它結合完成生成或推理工作。第二，我過去兩年多一直在做多模態大模型，大家看 GPT-4 已經有一些多模態，令人印象深刻。再繼續往前，我覺得還需要進一步去研究多個模態間怎麼能很好一起做生成和推理等的工作。這是目前還需努力的。第三，我認為大模型目前最大的問題是成本太高，據說要到幾百億和千億的規模才能有湧現能力，這件事情其實把科研界的路堵死了。如果我們手上沒有像 ChatGPT 這樣規模的模型，是不是研究就做不了？如果我們將來沒法在適中的模型上達到比較高的能力或性能，我們後面的科學研究會非常艱難。最近 NLP 領域受影響很大，其實資訊檢索受到的影響也很大，做傳統 ranking 這樣的工作已經沒有意義。現在 Bing 已經是對話式搜索，馬上對話式推薦也會來臨。不知不覺中，可能 information retrieval 都會變成叫 information generation 了，領域都要改名。現在正發生天翻地覆的變化。希望未來在研究平台這方面有一些突破，如何在一個有限規模的模型上，同樣呈現今天 ChatGPT 或 GPT-4 的模型能力是很重要的。
汪軍：我想插其中一個解決方案，學術界的開源可能是必經之路了。大模型開源出來，可能至少在預訓練模型，我們再去調整它，或者這個方向可以做一些科學研究工作。工業界去把框架弄出來，開源推動它更多使用。下面有幾個問題問李老師，雖然 ChatGPT 還有一些各種各樣的缺陷，那李老師怎麼看從研究人腦到跳躍到人工智慧，我們何時能到所謂的 AI 超過人呢？
李澄宇：剛我在聽講的時候，腦子裡想得最多的是 “演化”，為什麼？因為人工智慧是從 1960 年代開始做，到現在它演化得非常快速，是一個指數式的演化過程。而我們剛才說到 AGI，其實宇宙中已存在，AGI 就在人腦，它是一個物理實體和大網絡，可以做很多事，所以人本身有 AGI。我們的大腦本身就是一個有通用能力的網絡，所以理論上不管是生物還是人工的神經網絡，它能夠做很多事。因為人工智慧爆炸式的指數增長，所以產生像 GPT4 這樣的革命性進展，它類比了人類的生物腦的演化結果。人類大腦是在所有生物裡神紀元的數量佔身體比重最大的。現在鼠腦大概是 7,000 萬個神經元，猴腦大概是 60 億個，人腦大概 800 億到 1000 億的數量級，這也是一個指數增長。所以從這個角度來講，GPT 演化的革命是很令人興奮的。我個人把它看成是很重要的機遇，讓我們這些做神經科學和腦科學的可以思考生物腦和人工腦的關係。
另外，從腦的機制層面，我覺得有很多有趣的可以討論。剛才說到大模型在 2021 年結束後，不能進行連續學習的問題。但我們的人腦顯然是有連續學習能力的，我們不會在某個時間點以後不學了。但有趣的是我們腦內存在一些腦組織和區域控制這個能力。一個例子是海馬區 H.M 案例，醫生把癲癇病人的海馬體摘除後，他的長期記憶停在了做手術的時刻，之後他學不會新事實。這個例子和我們現在討論的問題有點像，大模型的連續學習能力也許還沒從生物腦中藉鏡過來，所以我覺得這是一個機會。神經科學應該和各位多交流，看怎麼樣把生物腦具有連續學習能力的機制抽離出來幫助設計新的人工智慧神經網路。我想這是共同演化的過程，這個過程也會幫助我們去理解生物腦是怎麼實現連續學習的。我們以前並沒把這個問題看得很重要，但我現在覺得它是讓我們持續地面對新挑戰的重要事情。
我們現在正在做圖譜研究，這是一個非常基礎的研究，要搞清楚腦子裡是有哪些類型的細胞，細胞間是怎麼連結的，生物腦領域還不清楚這個問題， 但AI 網路裡很清楚每個神經元之間的連接，所以現在研究過程之中，我們與華大基因和華中科農業大學等研究機構一塊做，發現不同的物種演化過程中，六種物種的海馬變化非常大，有很多新類型的神經元出現，也有很多新腦區。在海馬腦區出現許多新亞區，我們研究了烏龜、鳥、老鼠、猴子到人，這個過程裡，人的行為能力不斷增加。所以我想這種行為的複雜性和能力與海馬腦區新細胞的出現，是對應的。我們在學習這些新細胞。
我想講未來我們能夠做什麼，我覺得這裡面可做事是非常多的。我們也在改變我們的研究方向。現在我覺得我們可以從鼠和猴的研究中抽取一些原理供人腦，可以低功耗地實現比較複雜的功能。雖然柯潔下棋下不過AlphaGo，但柯潔只要每天吃幾個麵包和饅頭就可以了，能耗是極低的，對智能體的要求也將走向這個方向，但人工智能chat GPT 還不能解決這個問題，所以未來還需要從生物體借鑒，產生一個更低能耗的物理智能體。
未來需要把感知、認知和運動整合在一起，現在這種形式是不太能夠控制一個機器人走來走去的，但我想未來可能至少要產生把感知領域解決。我們解 Chat GPT 或 GPT4 是解決認知問題，未來還要連接到運動控制，我知道很多現在基於 transformer 的運動控制機器手和機械手臂在不斷發展。如果感知、認知、運動整合到一體後，每一單獨的模組都能融合起來，像大家提到跨領域的融合，我覺得未來這是一個很重要的點。在人工智慧發展的過程裡，我希望腦科學可以跟大家一塊來做比較有趣的事。
汪軍：想問李老師人腦那麼複雜，進化了那麼多年，但是大腦沒有獎勵函數，也沒有 inductive BIAS 的。但我們做機器學習時，要給它一定的先驗的知識或假設。如果沒有先驗知識或假設，它是沒辦法進行任何預測的。機器學習裡，現在我們雖然講通用人工智慧，但是現在還沒能把這兩個前提去掉，但反觀人的大腦，是不是沒有獎勵機制，也沒有先驗知識，為什麼能生成現在智慧？但現在的技術卻達不到。李老師怎麼看？ AI 專家怎麼看？是否需要獎勵機制和先驗知識？
李澄宇：我先拋磚引玉。第一，關於演化的過程有沒有獎勵機制，我認為是有的， 99% 以上的生物全都滅絕了，這個滅絕就是懲罰，但生物還存在的是獎勵，所以從這點來說，物種和個體都是有獎勵機制的。每個體都有獎勵和懲罰，這些過程可以改變我們腦的結構和功能。所以，我認為獎勵在生物演化裡肯定是存在的。第二是您剛才說的BIAS，其實生物體也是有BIAS 的，生下來的小孩是有認知的，比如東西鬆手要掉下來等物理界的基本原理，我們把它叫做BIAS，這是在腦子裡存在著的，我們生下來時，神經網路已經過長期的進化，有對外界物理和人社會行為的一定BIAS 在裡面，包括對特定面孔的興趣。而機器學習不一樣，需要人在外部換個角度，讓人工智慧連不同的代理去下棋，他們自己會產生一個自己不同的代際，可以把上一代當作它的 BIAS。我想這似乎是必然要存在的。當個體一直在某一任務態下時，我想它的在競爭物種之間會延某個特定的軌跡往前走，這個軌跡被物理實體所限定了框架。這個框架下必然依賴它現有的邊界，有 BIAS 才能讓它比較快速地去獲勝。
汪軍：想問下讓 AI 擁有自驅能力，它何時可以有個自我概念，可以自己往前進化，甚至意識。這個意識是人類獨有的，這種現象目前 ChatGPT 也在做，它是不是有意識，能否知道別人的想法，但其實它還只是停留在文字表列。甚至在文字表單上，它不一定百分之百能抓住這個事情。我不知道大家怎麼看這個事情，AGI 裡如果不是有自我和有意識，是不是有獎勵函數，那這是外面給它的還是它自己能產生的？
劉群：我稍微說一點我的理解。剛才李老師說生存是最終極的獎勵，我非常贊成這一點，實際上人類生物的終極獎勵是生存，它一切目的都是為了生存。但我們人在生活中，我會感覺到我們不是一切為了生存，但實際上這些都是一種生存壓力最終轉換成的。另外一種形式體現出來是獎勵。它看起來不是為了生，但實際上它歸根究底是為了生存。所以我相信現在的 AI 很難產生自我演化，因為它沒有生存壓力。假設把它放到荒野上，給它算力的限制，除非造出一個環境讓它自己競爭，也許哪天會出把別人的電源線摘掉和保護自己的電源線。
李澄宇：意識問題顯然是一個非常重要但沒有解決的問題，但現在不是不可研究，在意識領域有很多例如有趣的一個研究方式給予弱視覺刺激，試驗人報告有時能看見，有時看不見，可以認為是意識沒報告出能看見，這時比較腦子裡的活動有很大差別。也許可以用這類遊戲類別給 chatGPT 或其他人工智慧網路測試，測試他們有沒有像人一樣的意識表現。這個領域其實有很多爭論，現在肯定是沒有答案的。我覺得可以去合作去做，因為我們在生物上可以做這方面的研究。給猴子 50% 看得見， 50% 看不見的刺激，看它的腦部活動，對比 AI 網路。
Topic 3：決策智能：我們現在的機器人可以看，可以讀，但是沒辦法走路，我們怎麼能讓它走起來？
俞揚：ChatGPT 或 GPT 的最近爆發，我雖然在強化學習決策領域，也感到很大的觸動。在這個領域中，也正在進行一些大模型的研究。但比較幸運的是，目前還沒有出現任何可以取代或碾壓強化學習的模型。這也顯示了一個事實，現有的 GPT 模型和人類的生物智慧相比，還有很大的差距。具體來說，ChatGPT 缺少 world model 這一部分。目前的 GPT 模型中沒有 working memory，只有 context 和 prompt 的輸入。在強化學習的研究中，我們發現這種 context 具有一定的記憶能力，即可以識別和記憶過去所做的行為、其帶來的結果以及世界的反應。但這種記憶能力可能不強，因為它只是線性的順序排列，沒有專門的地方來儲存它。這與李老師之前提到的，生物體內的海馬體對我們的短期記憶非常重要不一樣。最近我們也閱讀了有關生物方面的論文，發現其中有許多有趣的內容。海馬體和 world model 之間存在著非常緊密的聯繫，但這是 GPT 模型所沒有的。 GPT 模型不會做夢。當我們看到老鼠在做夢時，它的海馬體會回放它在白天遇到的事情，這實際上是 world model 的一個非常典型的表現。老鼠的身體沒有動，但它的大腦在活動。它所看到的所有數據在它的大腦中回放，而且根據可視化的結果，它並不是按照時間順序排列，而是倒過來放，從終點又回到起點，這與強化學習中的數據回放replay memory 非常相似。因此，從這個角度來看，目前的 GPT 模型在功能上還不夠完整。簡單來說，它今天可能仍然只是一個所謂的聯合機率估計模型。我們從老鼠的海馬體中看到，當老鼠面對十字路口時，它的海馬體會同時出現往左和往右的情況，這是它進行推理所需的腦區之一。目前的 GPT 模型還沒有達到這個水平，因此我認為，為了做出更好的決策，GPT 模型需要進一步優化。如果它希望做出超越人類的決策，可能需要在底層結構上進一步改進。
雖然今天的大型模型有著廣泛的知識面，但在許多專業領域中，大型模型仍然無法完全掌握。在這些領域中，有許多數據不是公開的或不是以語言形式存在的，可能是商業數據或醫療數據，屬於隱私性數據。因此，在這些領域中，我們仍然會看到很多小型資料處理，小型資料並沒有消失。我認為這是非常重要的一點。它們的關係，可能大型模型可以幫助我們處理總體性的問題，但對於小型領域的數據分析，特別是涉及決策的領域，我們發現許多領域中都存在小型數據和封閉數據，因此我們無法使用大型模型來解決這些問題。我們認為小型模型也值得關注，特別是當大型模型變得越來越好時，在專有領域中使用小型模型的應用可能會受到更多研究者的關注。
張偉楠：我想從回饋路徑角度說，feedback 是Richard Sutton 在教科書《強化學習》的前沿部分說過，我們人一生下來，其實不斷地在和環境交互，從感知的資訊做控制並獲取回饋，在此閉環中不斷學習。回饋這件事，ChatGPT 當中的 chat 其實是會得到一些回答，但還會需要有的獎勵函數。我們現在其實沒有這樣的東西，它更多狀態轉移。但其實相關的獎勵部分在ChatGPT 中是沒有直接給的，所以如果只是訓練ChatGPT ，其實基本上除了最後的人在環路的對齊以外，其他部分都是監督學習，也即是大部分情況下它還沒有用回饋的形式學習。可以設想，現在用ChatGPT 去調用做決策的接口，像ChatGPT for Robotics，可以發現它確實在一定程度上接入這些接口，能做出正確的決策，但這僅僅是在認知能力上的延伸而已，並沒有在訓練過程中調接口便能最大化獎勵。如果把回饋鏈條閉環，其實會帶來決策智能真正地往更優的效能發展。最關鍵的點不一定是設計細緻的獎勵函數，而是它有沒有能力判定決策任務是否成功完成。如果決策任務成功或失敗的訊號能回饋到 ChatGPT，其實這就形成一個閉環去不斷回饋，完全自發性地完成決策任務。
Q & A 環節
Q1: 從多模態能力的實現來看，百度文心似乎是透過百度文字模型、對話模型和圖文等能力進行了一種縫合。請問各位老師能否講解如何透過零散能力整合成一個多模態大模型？這與 GPT4 的多模態能力實現有什麼不同？
張偉楠：首先第一我不知道文心它背後的設計，但我感覺它很像以文本為主的，呼叫API 去實現的多模態互動能力。如果讓百度文心大模型去產生一段語音，它有可能是先產生文本，再調用 API，讓它以某種方言語音播放出來。這其實是一種外延能力，但核心還是語言大模型和真正的多模態大模型間的差異。但這只是我的猜想，不代表文心真正的實現是這樣子。
Q2: 未來更成熟的大模型與傳統機器學習、深度學習等小模型的關係將會變得怎麼樣？
俞揚：雖然今天的大模型有很寬泛的知識面，但是在很多專業領域裡，大模型還不能完全掌握。仍然有許多領域的數據不是公開的或數據不是語言式的，它可能是商業數據或醫療數據，屬於隱私性的數據，所以在這些領域裡，我們可能看到的還是有很多小數據處理，小數據並沒有消失。我覺得這個是很重要的一點，它的關係會是什麼樣子呢？可能大模型能幫助我們去做整體的事情，但對於小領域的數據分析，特別是決策類的，我們發現好多領域裡都是小數據和封閉數據，所以沒有辦法用大模型來解決。所以我們覺得小模型也是值得關注的，特別是當大模型變得很好後，是不是有更多研究者會關注小模型上在專有領域的應用。
Q3: 想問劉老師，由於ChatGPT 是生成模型，在實踐過程中經常出現虛構的新聞或論文引用，您如何看待這種現象，以及您認為有什麼可以改善的方式？
劉群：實際上對模型本身來說，它是無法區分事實和非事實的。從定義來說，可以認為預訓練資料裡出現過的東西或判斷是事實，如果沒有出現它則非事實。但模型在生成時，它是不知道它都變成模型參數了。模型參數輸出的東西，有些符合預訓練的數據，有些不符合，這很常見的。所以模型本身，它無法區分。但這事情也不是完全不能改進，可以看到 GPT4 在事實性上有改進。這是透過學習，盡量減少非事實，找到事實。但我覺得簡單地透過大模型現有的神經網路方式，是不太能夠徹底解決問題的。所以還是要去探索一些別的方法，用外在的判斷來解決。這個問題是個非常好的問題。
汪軍：這個問題其實也可以反過來看，為什麼？虛構可能也是好事。在某些情況下，讓它去寫賦詩或作文，希望它能有科幻元素，所以使得這個問題非常困難。到底是希望去找事實，還是希望去構想，的確比較模稜兩可，需要一個目標才能夠搞定。
Q4：華為身為優秀的 AI 產業代表，接下來會研發自己的 ChatGPT 嗎？基於現在的業務，在大模型或多模態上會有什麼佈局？
劉群：首先華為一定會正面迎接挑戰，我們在這方面也有很多積累，對於具體業務規劃佈局我可能很難在這裡講得太具體了，但大家可能注意到有一個任總的講話，提到有人問任總關於ChatGPT 的問題，任總說ChatGPT 我們不要只看到它是一個NLP 或視覺的問題，實際上它潛力非常大，而且以後更大的潛力可能不是在簡單的表面上可能是NLP 視覺的結合或多模態的問題。它可能在華為的各種各樣的業務中，80% 的應用都會在一些大家可能沒有想像到的業務中。我覺得潛力是非常大的，華為一定會正面去迎接挑戰，而且是發展自己這方面的能力。
Q5: 目前從神經科學角度來看， ChatGPT 系統還有什麼方向可以試著讓它更類似人的思維回饋？
李澄宇 ：這個顯然是非常好的問題。腦科學和內科學是非常分化的，大家意見都很不一樣。我只能代表個人意見，我覺得未來的通用人工智慧可能是一個很重要的點。如果我旁邊站的一個實體，跟我長得差不多，跟我有差不多單智能，可以幫我解決問題。如果從這個角度來講，現在的 ChatGPT 的形態可以有很多。它可以把一些運動加進去，而且他需要連續學習他也需要有一定的自我意識。我覺得有自我意識以後，可以解決很多剛才說的這些 fake 的假新聞。還有剛才說的倫理，從最根本的資料來源來看，有倫理問題。因為全世界190 多個國家裡，多數國家的文化是沒有反映在ChatGPT 裡的，我覺得從整體倫理角度，我們都需要有一個全新的角度思考，怎樣構造更公平、更有效、更智能的智能體。 RLCN 同學問的問題其實包含 Inductive BIAS。我覺得 Inductive BIAS 很重要，這種初始的認知地圖和我剛剛說的智慧、整體的運動、引導都有關係，這對生存也很重要。
Q6：GPT 大模型會不會顛覆現有的機器學習研究典範？後大模型時代，人工智慧理論研究還重要嗎？
劉群：雖然我不是做理論的，但我認為理論很重要，但我沒有想像理論如何幫助我們現在的AI 做得更好。但我希望理論幫忙回答一個問題，我們常說大模型湧現，但湧現本身沒有什麼太奇怪的，我覺得模型大了一定會湧現一些新能力，別說是大模型，正常的小孩長大了，比他原來的體重增加10 倍，他能力一定和原來不一樣，所以湧現我覺得很正常。但是有沒有哪個理論能精確預測一下各種能力必須在多大的模型和多大的數據上才能夠湧現出來？我很想知道這件事情，而且大模型到什麼程度能夠湧現怎樣的新能力？
方蒙：我覺得未來可能的研究方向是GPT 表現了強大的邏輯推論能力，我很想知道怎麼才能證明這是真正的邏輯推論能力，而不是說學很多數據後模仿出來的邏輯推論。我也很好奇，要多少數據多大的模型才能湧現邏輯推論能力。所以我覺得我們可以有一些經驗結果，但如果我們想要正確答案，確實需要在理論方面做更多研究。
文繼榮：這個問題我覺得還挺好的，我自己覺得可以研究，現在GPT4 或其他GPT 大模型呈現出這麼多認知的能力，或類人的行為。將來是不是會出現一門科學，例如叫數位大腦學？因為這個模型本身就是我們的研究對象。我覺得研究大模型本身是非常有意義的，在這裡研究發現的東西可以反過來對將來腦科學或認知科學裡有許多重要的啟示。
李澄宇：我覺得這是一個很好的問題，可以問GPT4，原因是Stan Dehaene 說意識裡面有兩個核心的特質，選擇性處理和監督，一是對輸入資訊有全局性的選擇性處理，二是監控自己的意識。所以從這個角度來講 ChatGPT 自身或它未來的後代能不能自己監督自己的行為？這是理論層面可以去問的，也可以去建構新的架構或網絡結構來產生這種能力。從這個角度來講，也許理論架構可以幫助建構新一代的人工智慧。
汪軍：是的，而不只是 attention 知道能力邊界。例如 Transformer 現在的這種架構能力邊界在哪裡？什麼事可以做，什麼不可以做，它是不是有 working memory？反饋函數能力的邊界在哪裡？有些東西它可以湧現，有些東西它不可能湧現。這些的確要非常紮實的理論基礎來研究。還有 Inductive BIAS 的先驗知識，首先 Transformer 的設計，它本身是一個先驗的知識，沒了先驗知識是否可以做成？我覺得這些問題都是非常的需要理論研究的，如果沒有指引方向，大家都成了無頭蒼蠅。
以上是汪軍教授組織了7位AI學者，論道ChatGPT後的通用人工智慧理論與應用的詳細內容。更多資訊請關注PHP中文網其他相關文章！
