騰訊自研混元大模型正式亮相,透過騰訊雲對外開放

王林
發布: 2023-09-16 20:37:01
轉載
623 人瀏覽過

國產大模型進入長跑期,從參數至上轉向實用優先。

9月7日,在2023騰訊全球數位生態大會上,騰訊混元大模型正式亮相,並宣布透過騰訊雲對外開放。

騰訊混元大模型是由騰訊全鏈路自研的通用大語言模型,擁有超千億參數規模,預訓練語料超2萬億tokens,具備強大的中文創作能力,複雜語境下的邏輯推理能力,以及可靠的任務執行能力。

騰訊自研混元大模型正式亮相,透過騰訊雲對外開放

值得關注的是,騰訊混元大模型是「從實踐來,到實踐中去」的實用級大模型。騰訊雲、騰訊廣告、騰訊遊戲、騰訊金融科技、騰訊會議、騰訊文件、微信搜一搜、QQ瀏覽器等超過50個騰訊業務及產品,已接入騰訊混元大模型測試,並取得初步效果。

據了解,混元大模型將作為騰訊雲MaaS服務的底座,客戶不僅可以直接透過API呼叫混元,也可以將混元作為基底模型,為不同產業場景建構專屬應用。

騰訊集團資深執行副總裁、雲端與智慧產業事業群CEO湯道生表示:「以大模型生成技術為核心,人工智慧正成為下一輪數位化發展的關鍵動力,也為解決產業痛點帶來了全新的思維。大模型需要基於產業場景,與企業數據融合,才能釋放出最大的價值。」

久為功,全鏈路技術自研

#據騰訊集團副總裁蔣傑介紹,騰訊混元大模型從第一個token開始從零訓練,掌握了從模型演算法到機器學習框架,再到AI基礎設施的全鏈路自研技術。

騰訊自研混元大模型正式亮相,透過騰訊雲對外開放

騰訊集團副總裁蔣傑

從2021年開始,騰訊先後推出千億和萬億參數的NLP稀疏大模型,打破CLUE三大榜單紀錄,實現在中文理解能力上的新突破。

目前,業界大模型在場景中的應用依然有限,主要集中在容錯率高、任務簡單的休閒場景。騰訊在演算法層面進行了一系列自研創新,提高了模型可靠性和成熟度。

針對大模型容易「胡言亂語」的問題,騰訊優化了預訓練演算法及策略,讓混元大模型的幻覺相比主流開源大模型降低了30%至50%;透過強化學習的方法,讓模型學會識別陷阱問題;透過位置編碼優化,提高了超長文的處理效果和表現;提出思維鏈的新策略,讓大模型能夠像人一樣結合實際的應用場景進行推理和決策。

此外,騰訊也自研了機器學習架構Angel,讓訓練速度相比業界主流架構提升1 倍,推理速度比業界主流架構提升1.3倍。

騰訊自研混元大模型正式亮相,透過騰訊雲對外開放

騰訊混元大模型全連結自研

得歸功於全鏈路自研技術,騰訊混元大模型能夠理解上下文的含義,並且具有長文記憶能力,可以流暢地進行專業領域的多輪對話。除此之外,它還能進行文學創作、文本摘要、角色扮演等內容創作,做到充分理解用戶意圖,並高效、準確的給出有時效性的答复。

在中國信通院《大規模預訓練模型技術與應用的評估方法》的標準符合性測試中,混元大模型共測評66個能力項,在「模型發展」和「模型能力」兩個重要領域的綜合評估均獲得了目前的最高分。在主流的評測集MMLU、CEval和AGI-eval上,混元大模型均有優異的表現,特別是在中文的理科、高考題和數學等子項上表現突出

上海財經大學校長劉元春認為:「借助於全鏈路自研,中國將持續累積大模型相關人才和技術,逐漸形成體系化的產業鏈、人才鏈、技術鏈和創新鏈,最終走出一條發展通用人工智慧的中國路徑,幫助我們在數位科技的創新上取得突破性進展。」

##騰訊全面擁抱大模型

蔣傑表示:「我們研發大模型的目標不是在評測上獲得高分,而是將科技應用到實際場景中。騰訊將全面擁抱大模型。」

騰訊自研混元大模型正式亮相,透過騰訊雲對外開放

#在此次大會上,蔣傑展示了騰訊會議、騰訊文檔、騰訊廣告等多個業務,在接取騰訊混元大模型後的實際應用情況。

例如騰訊會議基於混元大模型打造了AI小助手,只需要簡單的自然語言指令,就能完成會議資訊擷取、內容分析等複雜任務,會後還能產生智能總結紀要。據實測,在指令理解、會中問答、會議摘要、會議待辦項等多個方面,混元大模型均獲得較高的用戶採納率。

騰訊自研混元大模型正式亮相,透過騰訊雲對外開放

騰訊混元大模型在騰訊會議中的應用

在文件處理方面,騰訊混元大模型支援數十種文字創作場景,在騰訊文件推出的智慧助理功能中已有應用。同時,混元還能夠一鍵生成標準格式文本,精通數百種Excel公式,支援自然語言生成函數,並基於表格內容生成圖表​​,目前這些功能正在內測階段,將在成熟後面向用戶開放。

在廣告業務場景,騰訊混元大模型支援智慧化的廣告素材創作,能夠適應產業與地理特色,滿足千人千面的需求,實現文字、圖片、影片的自然融合。此外,基於混元大模型的能力,廣告智慧導購能夠幫助商家在企業微信等場景,提升服務品質與服務效率。

騰訊自研混元大模型正式亮相,透過騰訊雲對外開放

騰訊混元大模型在騰訊廣告中的應用

據了解,今年6月,騰訊雲推出了模型即服務(MaaS)解決方案,提供涵蓋模型預訓練、模型精調、智慧應用開發等一站式的行業大模型服務。

最近,騰訊雲也全面接入Llama 2、Bloom等20多個主流模型,和混元一樣,都支援直接部署呼叫。客戶可以根據實際需求,基於混元、也可以基於開源模型,打造出自己專屬的產業大模型。

以上是騰訊自研混元大模型正式亮相,透過騰訊雲對外開放的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板