Databricks DBRX教程：逐步指南

Databricks 啟動了DBRX，這是一種開創性的開源大型語言模型（LLM），建立在精緻的Experts（MOE）體系結構上。 與依賴單個神經網絡的傳統LLM不同，DBRX採用多個專業的“專家”網絡，每個網絡都針對特定的任務和數據類型進行了優化。與GPT-3.5和Llama 2相比，這種創新的方法可以提高性能和效率。 DBRX在語言理解基準方面的得分為73.7％，超過了Llama 2的69.8％。本文深入研究了DBRX的功能，體系結構和用法。

>

理解數據鏈球dbrx

dbrx利用了基於變壓器的純解碼體架構，該體系結構使用下一步的預測進行了訓練。它的核心創新在於其精細的Moe建築。 這些“專家”是專業的LLM代理，具有特定於領域的知識和高級推理功能。 DBRX利用16個較小的專家，為每個輸入選擇4個子集。這種細粒度的方法是專家組合的65倍，是Mixtral和Grok-1等模型，可顯著提高模型質量。 DBRX的關鍵功能包括：

參數大小：

總共1320億個參數，任何給定輸入的360億個活動。
1. 培訓數據：在精心策劃的數據的12萬億代幣上進行了預訓練，至少提供了用於MPT模型的數據集的代幣效率的兩倍。 支持上下文長度為32,000個令牌。
2. dbrx訓練方法
DBRX的培訓涉及精心設計的課程和戰略數據混合調整，以優化各種輸入的性能。 該過程利用數據助劑的功能強大工具，包括Apache Spark，Databricks筆記本電腦和Unity目錄。 預訓練期間採用的關鍵技術包括旋轉位置編碼（繩索），封閉式線性單元（GLU），分組查詢注意（GQA）和Tiktoken存儲庫中的GPT-4 Tokenizer。

>對競爭對手進行基準測試dbrx 與領先的開源LLM相比，Databricks強調了DBRX的卓越效率和性能：

Model Comparison	General Knowledge	Commonsense Reasoning	Databricks Gauntlet	Programming Reasoning	Mathematical Reasoning
DBRX vs LLaMA2-70B	9.8%	3.1%	14%	37.9%	40.2%
DBRX vs Mixtral Instruct	2.3%	1.4%	6.1%	15.3%	5.8%
DBRX vs Grok-1	0.7%	N/A	N/A	6.9%	4%
DBRX vs Mixtral Base	1.8%	2.5%	10%	29.9%	N/A

（在此處可視化其中一些結果的圖。 利用dbrx：實用指南

> 在使用DBRX之前，請確保您的系統至少具有320GB的RAM。 請按照以下步驟：

安裝：

>安裝

庫：
1. 訪問令牌：transformers>獲得帶有讀取權限的擁抱臉訪問令牌。 pip install "transformers>=4.40.0"
>
2. 模型加載：>使用以下代碼（用令牌替換）：>
3. DBRX在各種任務中脫穎而出，包括文本完成，語言理解，查詢優化，代碼生成，說明，調試和脆弱性標識。 > hf_YOUR_TOKEN（在此處將包括一個響應簡單命令的圖像顯示dbrx。

>微調dbrx

from transformers import AutoTokenizer, AutoModelForCausalLM
import torch

tokenizer = AutoTokenizer.from_pretrained("databricks/dbrx-base", token="hf_YOUR_TOKEN")
model = AutoModelForCausalLM.from_pretrained("databricks/dbrx-base", device_map="auto", torch_dtype=torch.bfloat16, token="hf_YOUR_TOKEN")

input_text = "Databricks was founded in "
input_ids = tokenizer(input_text, return_tensors="pt").to("cuda")

outputs = model.generate(**input_ids, max_new_tokens=100)
print(tokenizer.decode(outputs[0]))

使用GitHub的開源LLM Foundry，可以進行微調DBRX。 培訓示例應格式化為字典：

。 Foundry支持來自擁抱麵線，本地數據集和StreamingDataSet（.MDS）格式的數據集進行微調。 每種方法的詳細說明可在原始文章中找到。 （對於簡潔而言，省略了有關用於微調的YAML配置文件的更多詳細信息）。

結論

Databricks DBRX代表了LLM技術的重大進步，利用其創新的MOE架構來提高速度，成本效益和性能。 它的開源自然促進了進一步的發展和社區貢獻。

以上是Databricks DBRX教程：逐步指南的詳細內容。更多資訊請關注PHP中文網其他相關文章！