智譜AI推出第三代基座大模型ChatGLM3 性能全面突破

2023年10月27日，智譜AI於2023中國電腦大會（CNCC）上，推出了全自研的第三代基座大模型ChatGLM3及相關系列產品，這也是智譜AI繼推出千億基座的對話模型ChatGLM和ChatGLM2之後的另一個重大突破。此次推出的ChatGLM3採用了獨創的多階段增強預訓練方法，讓訓練更充分。評測顯示，在44個中英文公開資料集測試中，ChatGLM3在國內同尺寸模型中排名首位。智譜AI CEO張鵬在現場做了新品發布，並即時示範了最新上線的產品功能。

ChatGLM3全新技術升級 更高效能更低成本

#透過更豐富的訓練資料和更優的訓練方案，智譜AI推出的ChatGLM3效能更加強大。與ChatGLM2相比，MMLU提升36%、CEval提升33%、GSM8K提升179% 、BBH提升126%。

同時，ChatGLM3瞄準向GPT-4V本次實現了若干全新功能的迭代升級，包括多模態理解能力的CogVLM-看圖識語義，在10餘個國際標準圖文評測資料集上取得SOTA ；程式碼增強模組Code Interpreter依使用者需求產生程式碼並執行，自動完成資料分析、檔案處理等複雜任務；網路搜尋增強WebGLM-存取搜尋增強，可自動依問題在網路上尋找相關資料並在回答時提供參考相關文獻或文章連結。 ChatGLM3的語意能力與邏輯能力得到了極大的增強。

ChatGLM3也整合了自研的AgentTuning技術，啟動了模型智能體能力，尤其在智慧規劃與執行方面，相較於ChatGLM2提升了1000% ；開啟了國產大模型原生支援工具呼叫、程式碼執行、遊戲、資料庫操作、知識圖譜搜尋與推理、作業系統等複雜場景。

此外，ChatGLM3本次推出可手機部署的端測模型ChatGLM3-1.5B和ChatGLM3-3B，支援包括vivo、小米、三星在內的多款手機以及車載平台，甚至支援行動平台上CPU晶片的推理，速度可達20 tokens/s。精度方面1.5B和3B模型在公開benchmark上與ChatGLM2-6B模型性能接近。

基於最新的高效動態推理和顯存優化技術，ChatGLM3目前的推理框架在相同硬體、模型條件下，相較於目前最佳的開源實現，包括伯克利大學推出的vLLM 以及Hugging Face TGI的最新版本，推理速度提升了2-3倍，推理成本降低一倍，每千tokens僅0.5分，成本最低。

新一代「智譜清言」上線 國內首推程式碼互動能力

在全新升級的ChatGLM3賦能下，生成式AI助手智譜清言已成為國內首個具備代碼互動能力的大模型產品（Code Interpreter）（https://chatglm.cn/main/code） 。

「程式碼」功能目前已支援影像處理、數學計算、資料分析等使用場景。以下分別為：

§ 處理資料產生圖表

§ 程式碼繪製圖形

§ 上傳SQL程式碼分析

隨著WebGLM大模型能力的加入，智譜清言也具有了搜尋增強能力，可以幫助用戶整理出相關問題的網上文獻或文章鏈接，並直接給出答案。

先前已發布的CogVLM 模型則提高了智譜清言的中文圖文理解能力，取得了接近GPT-4V的圖片理解能力,它可以回答各種類型的視覺問題，並且可以完成複雜的目標偵測，並打上標籤，完成自動資料標註。

自2022年初，智谱AI推出的GLM系列模型已支持在昇腾、神威超算、海光DCU架构上进行大规模预训练和推理。截至目前，智谱AI的产品已支持10余种国产硬件生态，包括昇腾、神威超算、海光DCU、海飞科、沐曦曦云、算能科技、天数智芯、寒武纪、摩尔线程、百度昆仑芯、灵汐科技、长城超云等。通过与国产芯片企业的联合创新，性能不断优化，将有助于国产原生大模型与国产芯片早日登上国际舞台。

智谱AI此次推出的ChatGLM3及相关系列产品，全面提升了自身的模型性能，为业界打造了更开放的开源生态，并进一步降低了普通用户使用AIGC产品的门槛。AI正在引领我们进入一个新的时代，大模型必将加速这一时刻的到来。

以上是智譜AI推出第三代基座大模型ChatGLM3 性能全面突破的詳細內容。更多資訊請關注PHP中文網其他相關文章！