本文是新浪微博新技術研發負責人、中國中文資訊學會理事張俊林在知乎問題「OpenAI 發布GPT-4，有哪些技術上的優化或突破？」下的回答，總結了GPT4技術報告裡指出的三個方向，也提及了兩個其它技術方向。
在這個歷史性的時刻，回答個問題，留下自己作為歷史見證人的足跡。
GPT4的技術報告裡很明確地指出了三個新的方向：
第一，LLM最前線研究的封閉化或小圈化。技術報告裡說了，出於競爭以及安全等方面的考慮，未公佈模型規模等技術細節。從GPT 2.0的開源，到GPT 3.0的只有論文，再到ChatGPT連論文也沒有，直到GPT 4.0的技術報告更像效果評測報告。一個很明顯的趨勢是，OpenAI做實了CloseAI的名號，之後OpenAI的LLM最前線研究不會再放出論文。
在這個情況下，其它技術相對領先的公司有兩種選擇。一種是做更極致的LLM開源化，比如Meta貌似選擇了這條道路，這一般是競爭處於劣勢的公司作出的合理選擇，但是往往相關技術不會是最前沿的技術；另外一種選擇是跟進OpenAI，也選擇技術封閉化。 Google之前算是LLM的第二梯隊。但在「微軟 OpenAI」的組合拳下，現在局面有點狼狽不堪。 GPT 4.0去年8月就做好了，估計現在GPT 5.0正在煉丹過程中，這麼長的時間窗口，結果Google都能落到目前這個局面，想想Transformer、CoT等非常關鍵的一些研究都是自己做出來的，竟淪落至此，不知一眾高層作何感想。 Google在後面能快速跟進，維持在第二梯隊應該問題不大，而且很可能比第三名技術也領先很多。出於競爭關係考慮，我猜Google大概率會跟進OpenAI走技術封閉的路線，最先進的LLM技術優先用來煉屬於自己的丹，而不是寫成論文放出來普惠大眾尤其是普惠OpenAI。而這很可能導致LLM最前沿研究的封閉化。
從現在算起，國內在經過一陣時間後（要做到ChatGPT的6到7折應該比較快，要追平估計要較長時間），必然被迫進入自主創新的局面。從最近三個月國內的各種情況來看，未來會如何？大概率不太樂觀。當然，這個關肯定很難，但必須得過，只能祝有能力且有初心者盡力加油了。
第二，GPT 4技術報告裡提到的LLM模型的「能力預測（Capability Prediction）」是個非常有價值的新研究方向（其實之前也有個別其它資料，我記得看過，但具體哪篇記不起來了）。用小模型來預測某些參數組合下對應大模型的某種能力，如果預測足夠精準，能夠極大地縮短煉丹週期，同時極大減少試錯成本，所以無論理論價值還是實際價值巨大，這個絕對是非常值得認真研究具體技術方法的。
第三，GPT 4開源了一個LLM評測框架，這也是後面LLM技術快速發展非常重要的方向。尤其對於中文，建構實用的中文LLM評測資料和框架具備特別重要的意義，好的LLM評測資料可以快速發現LLM目前存在的短板和改進方向，意義重大，但是很明顯目前這塊基本上處於空白狀態。這個對於資源要求其實沒那麼高，適合很多機構去做，但確實是個辛苦活。
除了GPT 4技術報告裡明確指出的三個方向，因為最近LLM各方面新聞比較多，順手再寫兩個其它技術方向。
首先，史丹佛大學近在Meta的7B 開源LLaMA基礎上，加上#Self Instruct#技術建構的Alpaca，也代表了一個技術方向。如果歸納下，這個方向可以被稱為「低成本復現ChatGPT」的方向。所謂Self Instruct，就是採取一定技術手段，不用人工標註Instruct，而是從OpenAI的接口裡，好聽點叫「蒸餾」出Instruct，也就是不用人標註，而是ChatGPT作為teacher，給你的Instruct打上標註結果。這個把Instruct標註成本直接打到了幾百美金的基準，時間成本就更短了。再加上模型7B規模也不大，所以可以看成「低成本重現ChatGPT」的技術路線。
我估計國內早就有不少人採取這個技術路線了。毫無疑問，這是一條捷徑，但是走捷徑有好處有壞處，具體不展開談了。在追趕ChatGPT的過程中，先把成本打下來去復現ChatGPT到七八成，我個人還是覺得可行也支持的，畢竟窮人有窮人的玩法。當然，追求把模型做小，效果又不怎麼往下掉，如果能紮實去做，是非常有價值的。
另外，具身智能毫無疑問會是LLM下一階段的重點研究方向。這方面的代表就是前陣子Google放出來的PaLM-E#。目前的GPT 4，我們可以認為人類創造了一個超級大腦，但還是把它封鎖在GPU叢集裡。而這個超級大腦需要一個身體，GPT 4要和物理世界發生聯繫、交流和互動，並在物理世界中獲得真實的反饋，來學會在真實世界裡生存，並根據真實世界的反饋，利用比如強化學習來學習在世界中遊走的能力。這肯定是最近的將來最熱門的LLM研究方向。
多模態LLM給了GPT 4以眼睛和耳朵，而具身智能給予GPT 4身體、腳和手。 GPT 4和你我發生一些聯繫，而依賴GPT 4本身強大的學習能力，這個事情估計很快就會出現在我們身邊。
如果你細想，其實還有很多它有前途的方向。我的個人判斷是：未來5到10年，將會是AGI最快速發展的黃金十年。如果我們站在未來30年的時間節點，當我們回顧這10年時，我們中一定會有人，想起下面的詩句：「懂得，但為時太晚，他們使太陽在途中悲傷， 也並不溫和地走進那個良夜。」
以上是OpenAI發布GPT-4，有哪些技術趨勢值得關注？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
