ChatGPT背後真正的英雄：OpenAI首席科學家Ilya Sutskever的信仰之躍

ChatGPT的橫空出世萬眾矚目，但我們不應忘記在它背後默默無聞的天才。 Ilya Sutskever是OpenAI的共同創辦人和首席科學家。正是在他的領導下，OpenAI在開發尖端技術和推動人工智慧領域的發展方面取得了重大進展。

在這篇文章中，我們將探討二十年間，Sutskever是如何從一個年輕的研究人員一步步走到人工智慧領域的領導人物之一的。無論你是人工智慧愛好者，還是研究人員，或者只是對這一領域的內部運作感到好奇的人，這篇文章都會提供寶貴的觀點和資訊。

本文遵循以下時間軸： 

2003: Ilya Sutskever的拜師之旅

2011: 初識AGI

2012: 圖像辨識的革命

2013: 將DNNresearch拍賣給Google

2014: 語言翻譯的革命

2015: 從Google到OpenAI：人工智慧的新篇章

2018: GPT 1、2與3

2021: 開發DALL-E 1

2022年：向世界揭開ChatGPT的面紗

#Ilya Sutskever

OpenAI的共同創辦人和首席科學家，2005年畢業於多倫多大學，2012年獲得CS博士學位。 2012年至今，他曾先後就職於史丹佛大學，DNNResearch，Google Brain，從事機器學習與深度學習的相關研究，並於2015年放棄谷歌的高薪職位，與Greg Brockman等人聯合創建了OpenAI，在OpenAI主導了GPT-1，2，3以及DALLE系列模型的研發。 2022年，他入選英國皇家科學學會院士。他是人工智慧領域的先驅，在塑造人工智慧的當前格局方面發揮了重要作用，並在繼續推動機器學習的可能性的界限。他對人工智慧的熱情讓他的開創性研究熠熠生輝，也因此塑造了深度學習和機器學習領域的發展。

2003:Ilya Sutskever的初步印象

## Sutskever：我不理解，Hinton：為什麼不理解，Sutskever：人們訓練神經網路來解決問題，當人們想解決不同問題時，就得用另外的神經網路重新開始訓練。但我認為人們應該有一個能夠解決所有問題的神經網路。

在多倫多大學就讀大學部時，Sutskever想加入Geoffrey Hinton教授的深度學習實驗室。於是，他在某一天直接敲開了Hinton教授辦公室的門，詢問自己是否可以加入實驗室。教授要他提前預約，但Sutskever不想再浪費時間，所以他立即問："就現在怎麼樣？"

Hinton意識到Sutskever是一個敏銳的學生，於是給了他兩篇論文讓他讀。一週後，Sutskever回到教授辦公室，然後告訴教授他不懂。 「為什麼不理解？」教授問。

#########Sutskever解釋：######「人們訓練神經網路來解決問題，當人們想解決不同問題時，就得用另外的神經網路重新開始訓練。但我認為人們應該有一個能夠解決所有問題的神經網路。"###################這段話展示了Sutskever得出結論的獨特能力，而這種能力即使是有經驗的研究人員也需要花費數年時間才能找到，Hinton於是向他發出邀請，希望他加入自己的實驗室。 ############2011: 初識AGI##############################Sutskever：我不認同這個想法（AGI）##########

Sutskever還在多倫多大學時，曾飛到倫敦去DeepMind找工作。在那裡他見到了Demis Hassabis 和 Shane Legg（DeepMind的共同創辦人），他們正在建立AGI（Artificial General Intelligence，人工通用智慧）。 AGI是一種通用的人工智慧，它能夠像人類一樣思考和推理，並完成與人類智慧相關的各種任務，例如理解自然語言，從經驗中學習，做出決定，以及解決問題。

在當時，AGI並不是嚴肅的研究者會談論的東西。 Sutskever也認為他們已經與現實脫節，所以他拒絕了這份工作，回到了大學，最後在2013年加入了谷歌。

2012: 影像辨識革命

#ImageNet競賽中獲勝

Geoffrey Hinton慧眼獨具，在其他人都不相信的時候相信了深度學習。而他堅信，在ImageNet競賽中獲得成功就會徹底解決這一爭論。

ImageNet競賽：史丹佛大學的實驗室每年都會舉辦ImageNet競賽。他們為參賽者提供了一個由精心標記的照片組成的龐大資料庫，來自世界各地的研究人員都會來參加比賽，嘗試創建一個能夠識別最多的圖像的系統。

Hinton的兩個學生，伊利亞-蘇茨克沃（Ilya Sutskever）和亞歷克斯-克里切夫斯基（Alex Krizhevsky）參加了這個比賽。 他們打破了傳統的手工設計方案，採用了深度神經網絡，並突破了75%的準確率大關。 因此他們贏得了ImageNet競賽，他們的系統後來被命名為AlexNet。

從那時起，影像辨識領域煥然一新。

後來，Sutskever、Krizhevsky和Hinton發表了一篇關於AlexNet的論文，這篇論文成為電腦科學領域被引用次數最多的論文之一，總共被其他研究人員引用了6萬多次。

2013: DNNresearch拍賣給Google

Sutskever&Krizhevsky ：您值得更大比例的分紅。 Hinton：你們分我的錢太多了。 Sutskever&Krizhevsky：但我們已經決定好了，讓您佔大頭。 Hinton：這體現了他們的人品。

Hinton與Sutskever，Krizhevsky一起，成立了一家名為DNNresearch的新公司。他們沒有任何產品，也沒有在未來打造任何產品的計畫。

Hinton問律師，如何讓他的新公司具有最大的價值，儘管目前只有三名員工，既沒有產品，也沒有底蘊。律師給他的選擇之一是設立一個拍賣會。有四家公司參與了收購：百度、Google、微軟和DeepMind（當時還是一家年輕的起步於倫敦的新創公司）。第一個退出的是DeepMind，其次是微軟，最後只剩下百度和谷歌在競爭。

到某天晚上接近午夜時分，拍賣價格高達4400萬美元，Hinton於是暫停了競標並且去睡了一覺。第二天，他宣布拍賣結束，並以4400萬美元將他的公司賣給了谷歌，他認為為他的研究找到合適的“家”更重要。 在這一點上，Hinton和他的學生一樣，把他們的想法放在經濟利益之上。

平分收益的時候，Sutskever和Krizhevsky堅持Hinton應該得到更大的份額（40%），儘管Hinton建議他們不如先睡一覺。第二天，他們仍然堅持這種分配方式。 Hinton後來評論說：「這能體現他們的為人，而非我的」。

在這之後，Sutskever成為了Google大腦的研究科學家，他的想法產生了更大的變化，並開始與DeepMind創始人的想法逐漸一致。他開始相信，屬於AGI的未來就在眼前。當然，Sutskever本人也從不畏懼在面對新資訊或經驗時改變主意。 畢竟相信AGI需要的是信仰之躍，正如謝爾蓋-萊文（Sergey Levine，Sutskever在谷歌的同事）對Sutskever的評價：# 「他是一個不害怕『相信』的人。」

#2014: 語言翻譯的革命

Sutskever：正確的結論是，如果你有一個非常大的資料集和一個非常龐大的神經網絡，那麼取得成功是必然的。 （性能最優的翻譯器）

在收購了DNNResearch之後，Google聘請Sutskever為Google大腦的研究科學家。

在Google工作期間，Sutskever發明了一種神經網路的變體，將英語翻譯成法語。他提出了 「序列到序列學習」（Sequence to Sequence Learning），它能捕捉到輸入的序列結構（如英語的句子），並將其映射到同樣具有序列結構的輸出（如法語的句子）。

他說，研究人員本來就不相信神經網路可以做翻譯，所以當它們真的能翻譯時，這就是一個很大的驚喜。 他的發明擊敗了表現最好的翻譯器，為Google翻譯提供了重大升級。 語言翻譯從此變得不一樣了。

2015: 從Google到OpenAI：人工智慧的新章節

Sam Altman和Greg Brockman將Sutskever和其他9名研究人員聚集在一起，嘗試是否還有可能與該領域最優秀的人才組成一個研究實驗室。 當討論到這個將成為OpenAI的實驗室時，Sutskever意識到他找到了一群志同道合的人，他們與他的信念和願望相同。

Brockman向這10位研究人員發出了加入他的實驗室的邀請，並給他們三週的時間來決定。谷歌知道這件事後，向Sutskever提供了一筆可觀的金額來加入他們。被拒絕後，Google將他們的薪資提高到第一年近200萬美元，這是OpenAI要付給他的兩、三倍。

但Sutskever還是愉快地放棄了Google數百萬美元的工作機會，最後成為非營利組織OpenAI的共同創辦人。

OpenAI的目標是利用人工智慧造福全人類，以負責任的方式推動人工智慧。

2018: 發展GPT 1, 2 & 3

Sutskever領導OpenAI發明了GPT-1，隨後發展到GPT-2、GPT-3和ChatGPT。

GPT（Generative Pre-trained Transformer）模型是一系列基於神經網路的語言模型。 GPT模型的每一次更新換代，都是自然語言處理領域的突破性進展。 

#

• GPT-1（2018）#：這是該系列的第一個模型，是在一個大規模的網路文字資料集上訓練的。它的關鍵創新之一是使用無監督的預訓練，在這種情況下，模型學習根據前面的單字的上下文來預測句子中的單字。這使得該模型能夠學習語言結構，並產生類似人類的文本。
• GPT-2（2019）：在GPT- 1的成功基礎上，它在一個更大的數據集上進行了訓練，產生了一個更強大的模型。 GPT-2的主要進步之一是它能夠就廣泛的主題生成連貫和流暢的文本段落，這使它成為了無監督語言理解和生成任務的關鍵角色。
• GPT-3（2020）##GPT-3在規模和性能上都是一個實質的飛躍。它是在一個大規模的資料集上訓練的，使用了1750億個參數，比以前的模型大得多。 GPT-3在廣泛的語言任務上取得了最先進的效能，如問題回答、機器翻譯和總結，具有接近人類的能力。它也顯示了執行簡單的編碼任務、編寫連貫的新聞文章、甚至生成詩歌的能力。
• GPT-4：#預計很快就會出現，預計就在2023年。

2021: 開發DALL-E 1

##Sutskever也領導OpenAI發明了DALL-E 1，這是一個由AI驅動的圖像生成模型。它使用了與GPT模型類似的架構和訓練過程，但被應用於圖像的生成，而非文字。

今天許多主要的圖像生成器--DALL-E 2、MidJourney--都歸功於DALL-E 1，因為它們基於相同的變換器架構，並在類似的在圖像資料集和相關文字說明上進行訓練。此外，DALL-E 2和MidJourney都是基於DALL-E 1的微調過程。

2022年：向世界揭開ChatGPT的面紗

2022年11月30日，Sutskever幫忙推出了ChatGPT，引起了大眾的廣泛關注，並在短短5天內發展到100萬用戶。

ChatGPT的工作方式是在大量的文字資料集上預先訓練一個深度神經網絡，然後在特定的任務上對其進行微調，例如回答問題或生成文字。它是一個基於GPT-3語言模型的對話式人工智慧系統。

理解對話的背景並產生適當的反應是ChatGPT的主要功能之一。機器人會記住你的對話線索，並根據先前的問題和答案做出後續回應。與其他聊天機器人不同的是，這些機器人通常僅限於預先編程的反應，而ChatGPT可以在應用中產生反應，使其能夠進行更動態和多樣化的對話。

Elon Musk是OpenAI的創始人之一，他說：「ChatGPT優秀得可怕。我們離危險的強大人工智慧不遠了」。

尾註

Ilya Sutskever對人工智慧的熱情推動了他的突破性研究，改變了該領域的進程。他在深度學習和機器學習方面的工作對推進技術水平和塑造該領域的未來方向起到了重要作用。

###

我們也親身見證了Sutskever在人工智慧領域工作的影響。他已經改變了該領域的進程，並將繼續在這個方向上努力。 儘管多次面對物質上的誘惑，Sutskever還是選擇了追求他的激情，專注於他的研究；他對工作的奉獻對任何研究人員來說都是堪稱典範。

#如今我們已經見證了Sutskever對我們這個世界的影響。很顯然，這只是個開始。

以上是ChatGPT背後真正的英雄：OpenAI首席科學家Ilya Sutskever的信仰之躍的詳細內容。更多資訊請關注PHP中文網其他相關文章！