比爾蓋茲：ChatGPT是1980年以來最具革命性的科技進步。
身處在這個AI變革的時代，唯有躬身入局，腳步跟上。
這是一篇我的學習筆記，希望對你了解ChatGPT有幫助。
1、ChatGPT裡的GPT，分別代表什麼？
GPT，Generative Pre-trained Transformer，生成式預訓練變換模型。
什麼意思？
Generative，生成式，是指它能自發的生成內容。
Pre-trained，預訓練，是不需要你拿到它再訓練，它直接為你做好了一個通用的語言模型。
Transformer，變換模型，Google提出來的一個很厲害的模型，他可以幫助更好的去處理NLP相關的問題，是非常棒的神經網路結構。
2、Transformer雖是由Google提出的。但應用最成功的是OpenAI的ChatGPT。
因為ChatGPT是站在巨人的肩膀上走出來的。
ChatGPT是全人類社會的結晶，沒有前人的鋪墊，ChatGPT不會這麼順利走出來。
後面也會有更多的非常厲害的應用，會基於ChatGPT走出來。
3、Transformer中有一個很重要的概念，注意力機制。
什麼是注意力機制呢？
就是從你輸入的訊息中，挑出重要的訊息，把注意力集中在這些重要的訊息上，忽略不重要的訊息。這樣就能更好的理解你說的話。
注意力機制能幫助Transformer模型集中註意力在輸入資訊中最重要的部分。
4、機器學習方式，分為監督學習、無監督學習、強化學習。
監督學習：有標籤數據，可以直接回饋，可以預測結果和未來
無監督學習：沒有標籤和目標，沒有回饋，而是它自己去尋找數據中的隱藏結果
強化學習：是一個決策過程，有一系列的獎勵機制和懲罰機制，讓機器學習如何做到更好
ChatGPT用到的是無監督學習和強化學習。
5、ChatGPT能進行大量的內容生成與創造，其實是靠的猜機率。
例如，天氣灰濛濛的，我的心情很___
經過大量資料訓練過的AI，會預測這個空格出現的最高機率的字是「沮喪」。
那麼「沮喪」就會被填到這個空格中，所以產生了答案：
天氣灰濛濛的，我的心情很沮喪
這感覺很不可思議，但事實就是這樣。
現階段所有的NLP(自然語言處理)任務，都不是機器真正理解人類的世界。
他只是在玩文字遊戲，進行一次又一次的機率解謎。
6、在這個」猜機率「的文字遊戲中，大預言模型（LLM，Large Language Model）演進出了最主流的兩個方向：BERT和GPT。
BERT是之前最受歡迎的方向，幾乎統治了所有NLP領域。
並在自然語言理解類別任務中發揮出色(例如文本分類，情感傾向判斷等）。
而GPT方向則較為薄弱，最知名的玩家就是OpenAl了。
事實上在GPT3.0發布前，GPT方向一直是弱於BERT的（GPT3.0是ChatGPT背後模型GPT3.5的前身）。
7、BERT和GPT差別是？
BERT，是雙向語言模型，聯繫前後猜中間的字，所以是雙向，就像完型填空。
例如：我___20號回家
BERT猜的是「我打算20號回家」，猜的是中間的「打算」。
GPT，是單向語言模型，猜下一個字，所以是單向，像寫作文。
例如：我打算20號___
GPT猜的是「我打算20號回家」，猜的是後面「回家」兩個字。
8、怎麼給GPT提問？
有兩種方式：fine-tune和prompt。
fine-tune，調參：需要對模型參數進行更新，來完成產生內容。
fine-tune 專業，門檻高，受眾小。但多元、準確度高，適合複雜任務。少數玩家的遊戲。
prompt，提示詞：不需要修改模型和參數，只需要給一些提示和範例，就能完成任務。
prompt更簡單，門檻低，受眾大。適合處理簡單的任務。所有玩家都。
我們在ChatGPT輸入框中輸入的內容，就是prompt。
9、ChatGPT是生成式AI。
AI從內容產出方式上，分為兩種：分析式AI和生成式AI。
分析式AI，主要用於分析，歸類。你餵給它多少數據，它就能分析出什麼樣的內容，它侷限於數據本身。
生成式AI， 在學習歸納資料分佈的基礎上，創造資料中不存在的新內容。可以產生文字、圖片、程式碼、語音合成、視訊和3D模型。
ChatGPT是生成式AI，最擅長文字和寫入程式碼。
10、最後，從知識獲取的角度說，ChatGPT是全新一代的 「知識表示和調用方式」。
早期，知識以結構化的方式儲存在資料庫中。我們透過 SQL獲取。
後來，隨著網路的誕生，更多文字、圖片、影片等非結構化知識儲存在網路中。我們透過搜尋引擎獲取。
現在，知識以參數的形式儲存在大模型中。我們用自然語言直接呼叫這些知識。
以上是ChatGPT是什麼？ G、P、T代表什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
