智譜AI推出第三代基座大模型ChatGLM3,以適應更多國產晶片

WBOY
發布: 2023-10-30 18:05:23
轉載
1131 人瀏覽過

2023年10月27日的消息是,智譜AI在中國電腦大會(CNCC)上發布了全新自研的第三代基座大模型ChatGLM3和相關係列產品。這次發布標誌著智譜AI在推出千億基座對話模型ChatGLM和ChatGLM2之後取得了重大突破

ChatGLM3是採用了獨創的多階段增強預訓練方法開發的。這種方法能夠使得訓練更加充分。根據評測結果顯示,在44個中英文公開資料集測試中,ChatGLM3在國內同尺寸模型中排名第一。智譜AI的CEO張鵬在發布會上進行了新品發布,並實時演示了最新上線的產品功能

ChatGLM3全新技術升級 更高效能更低成本

#智譜AI推出的ChatGLM3經過更豐富的訓練資料和更優的訓練方案,表現更加強大。與ChatGLM2相比,MMLU提升了36%、CEval提升了33%、GSM8K提升了179%、BBH提升了126%

同時,ChatGLM3瞄準向GPT-4V本次實現了若干全新功能的迭代升級,包括多模態理解能力的CogVLM-看圖識語義,在10餘個國際標準圖文評測資料集上取得SOTA ;程式碼增強模組Code Interpreter依使用者需求產生程式碼並執行,自動完成資料分析、檔案處理等複雜任務;網路搜尋增強WebGLM-存取搜尋增強,能自動依問題在網路上尋找相關資料並在回答時提供參考相關文獻或文章連結。 ChatGLM3的語意能力與邏輯能力得到了極大的增強。

ChatGLM3也整合了自研的AgentTuning技術,啟動了模型智能體能力,尤其在智慧規劃與執行方面,相較於ChatGLM2提升了1000% ;開啟了國產大模型原生支援工具呼叫、程式碼執行、遊戲、資料庫操作、知識圖譜搜尋與推理、作業系統等複雜場景。

此外,ChatGLM3本次推出可手機部署的端測模型ChatGLM3-1.5B和ChatGLM3-3B,支援包括vivo、小米、三星在內的多款手機以及車載平台,甚至支援行動平台上CPU晶片的推理,速度可達20 tokens/s。精度方面1.5B和3B模型在公開benchmark上與ChatGLM2-6B模型性能接近。

基於最新的高效動態推理和顯存優化技術,ChatGLM3目前的推理框架在相同硬體、模型條件下,相較於目前最佳的開源實現,包括伯克利大學推出的vLLM 以及Hugging Face TGI的最新版本,推理速度提升了2-3倍,推理成本降低一倍,每千tokens僅0.5分,成本最低。

本內容僅供參考,不構成任何投資建議。讀者在使用這些資訊時應自行判斷,並為自己的決策負責。本網站不對任何因使用本內容而導致的損失負責

本號不對發佈的任何資訊的可用性、準確性、時效性、有效性或完整性作出聲明或保證,並在此聲明不承擔資訊可能產生的任何責任、任何後果。 重寫後: 本帳號對所發佈的任何資訊的可用性、準確性、時效性、有效性或完整性不作任何聲明或保證,並且在此聲明中不承擔任何責任或後果

2、 本號非商業、非營利性,轉載的內容並不代表贊同其觀點和對其真實性負責,也無意構成任何其他引導。本號不對轉載或發布的任何資訊存在的不準確或錯誤,負任何直接或間接責任。

3、本文所使用的資料、素材、文字、圖片等皆來自互聯網,所有轉載內容都已標示出處。如果您發現有侵犯您的智慧財產權或個人合法權益的作品,請與我們聯繫,我們將及時進行修改或刪除

智譜AI推出第三代基座大模型ChatGLM3,以適應更多國產晶片

以上是智譜AI推出第三代基座大模型ChatGLM3,以適應更多國產晶片的詳細內容。更多資訊請關注PHP中文網其他相關文章!

來源:sohu.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板