Llama モデルの実行中に Google Colab セッションがクラッシュしたのはなぜですか?

meta-llama/Llama-2-7b-hf モデルを使用して社内でローカルに実行しようとしていますが、プロセス中にセッションがクラッシュしました。

metal-llama/Llama-2-7b-hf モデルを使用して、自分の敷地内でローカルに実行しようとしています。これを行うために、私は Google Colab を使用しており、Hugging Face からアクセス キーを取得しています。私は必要なタスクに同社の変圧器ライブラリを利用しています。最初は、12.7 GB のシステム RAM、15.0 GB の GPU RAM、78.2 GB のディスク容量を提供する Google Colab の T4 GPU ランタイム スタックを使用しました。これらのリソースにもかかわらず、セッションがクラッシュし、次のエラーが発生しました:

その後、334.6 GB のシステム RAM と 225.3 GB のディスク容量を提供する TPU V2 ランタイム スタックに切り替えましたが、問題は解決しませんでした。

これが私のコードです:

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)

以上がLlama モデルの実行中に Google Colab セッションがクラッシュしたのはなぜですか?の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。