Apple＆＃x27; s DCLM-7B：セットアップ、使用の例、微調整

Appleの大規模な言語モデル（LLM）フィールドへのオープンソースの貢献DCLM-7Bは、AIを民主化するための重要なステップを示しています。 Apple Sample Codeライセンスの下でリリースされたこの70億パラメーターモデルは、研究者と開発者に、さまざまな自然言語処理（NLP）タスクのための強力でアクセス可能なツールを提供します。 DCLM-7Bの主要な機能には、コヒーレントテキストを生成するために最適化されたDECODERのみのトランスアーキテクチャが含まれます。 2.5兆個のトークンの大規模なデータセットでトレーニングされているため、英語の堅牢な理解を誇っているため、特定のタスクでの微調整に適しています。ベースモデルには2048トークンのコンテキストウィンドウがありますが、8Kトークンウィンドウを備えたバリアントは、より長いテキストを処理するための機能強化機能を提供します。

開始と使用法：

DCLM-7Bは、FaceのTransformersライブラリを抱きしめるシームレスにシームレスに統合します。 インストールにはおよびが必要です。 そのサイズ（約27.5GB）のため、ハイラム/VRAMシステムまたはクラウド環境が推奨されます。

hugging hugging face webページのコードを使用して、その機能を示しています。

pip install transformerspip install git https://github.com/mlfoundations/open_lm.git微調整（概要）：

微調整DCLM-7Bには相当なリソースが必要ですが、プロセスには

from open_lm.hf import *
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained("apple/DCLM-Baseline-7B")
model = AutoModelForCausalLM.from_pretrained("apple/DCLM-Baseline-7B")

inputs = tokenizer(["Machine learning is"], return_tensors="pt")
gen_kwargs = {"max_new_tokens": 50, "top_p": 0.8, "temperature": 0.8, "do_sample": True, "repetition_penalty": 1.1}
output = model.generate(inputs['input_ids'], **gen_kwargs)
output = tokenizer.decode(output[0].tolist(), skip_special_tokens=True)
print(output)

ライブラリとデータセットを使用することが含まれます（例：Faceの

ライブラリなど、など）。 手順には、データセットの準備（トークン化）と、微調整プロセス自体におよび

オブジェクトを使用することが含まれます。 これには重要な計算能力が必要であり、その複雑さのためにここでは詳しく説明されていません。

transformers結論：datasetswikitext TrainingArgumentsAppleのDCLM-7Bは、オープンソースLLMコミュニティへの貴重な貢献を表しています。パフォーマンスとアーキテクチャと相まって、そのアクセシビリティは、さまざまなNLPアプリケーションでの研究開発のための強力なツールとしてそれを位置付けています。 オープンソースの性質は、コラボレーションを促進し、AI分野内のイノベーションを加速します。

以上がApple＆＃x27; s DCLM-7B：セットアップ、使用の例、微調整の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。