0門檻免費商用！孟子3-13B大模型正式開源，萬億token資料訓練

瀾舟科技官宣：孟子3-13B大模型正式開源！

這款主打高性價比的輕量化大模型，面向學術研究完全開放，並支持免費商用。

在MMLU、GSM8K、HUMAN-EVAL等各項基準測評估中，孟子3-13B都展現了不錯的表現。

尤其在參量20B以內的輕量化大模型領域，中英文語言能力方面尤為突出。數學和程式設計能力也位於前列。

△以上結果基於5-shot。

據介紹，孟子3-13B大模型是基於Llama架構，資料集規模高達3T Tokens。

語料精選自網頁、百科、社群、媒體、新聞，以及高品質的開源資料集。 透過在萬億tokens上進行多語言語料的繼續訓練，模型的中文能力突出並且兼顧多語言能力。

孟子3-13B大模型開源

只要兩步，就能使用孟子3-13B大模型了。

先進行環境配置。

pip install -r requirements.txt

然後快速開始。

import torchfrom transformers import AutoModelForCausalLM, AutoTokenizertokenizer = AutoTokenizer.from_pretrained("Langboat/Mengzi3-13B-Base", use_fast=False, trust_remote_code=True)model = AutoModelForCausalLM.from_pretrained("Langboat/Mengzi3-13B-Base", device_map="auto", trust_remote_code=True)inputs = tokenizer('指令：回答以下问题。输入：介绍一下孟子。输出：', return_tensors='pt')if torch.cuda.is_available():inputs = inputs.to('cuda')pred = model.generate(**inputs, max_new_tokens=512, repetition_penalty=1.01, eos_token_id=tokenizer.eos_token_id)print(tokenizer.decode(pred[0], skip_special_tokens=True))

此外，他們還提供了一個範例程式碼，可用於基礎模型進行單輪交互推理。

cd examplespython examples/base_streaming_gen.py --model model_path --tokenizer tokenizer_path

如果想要進行模型微調，他們也提供了相關檔案和程式碼。

事實上，早在3月18日的瀾舟大模型技術與產品發表會現場，就透露了孟子3-13B大模型的諸多細節。

當時他們表示，孟子3-13B大模型訓練已經完成。

對於選擇13B版本的原因，周明解釋：

首先，瀾舟明確以服務ToB場景為主，ToC為輔。

實務發現，ToB場景使用頻率最高的大模型參數量多為7B、13B、40B、100B，整體集中在10B-100B之間。

其次，在這個區間範圍內，從ROI（投資報酬率）角度來講，既滿足場景需求，又最具性價比。

因此，在很長一段時間內，瀾舟的目標都是在10B-100B參數規模範圍內，打造優質的產業大模型。

作為國內最早一批大模型創業團隊，去年3月，瀾舟就發布了孟子GPT V1（MChat）。

今年1月，孟子大模型GPT V2（含孟子大模型-標準、孟子大模型-輕量、孟子大模型-金融、孟子大模型-編碼）對外開放。

好了，有興趣的朋友可戳下方連結體驗一下。

GitHub連結：https://github.com/Langboat/Mengzi3
HuggingFace：#https:// huggingface.co/Langboat/Mengzi3-13B-Base
ModelScope：https://www.modelscope.cn/models/langboat/Mengzi3-13B-Base
Wisemodel：https://wisemodel.cn/models/Langboat/Mengzi3-13B-Base

以上是0門檻免費商用！孟子3-13B大模型正式開源，萬億token資料訓練的詳細內容。更多資訊請關注PHP中文網其他相關文章！