Maison > développement back-end > Tutoriel Python > Pourquoi ma session Google Colab s'est-elle arrêtée lors de l'exécution du modèle Llama ?

Pourquoi ma session Google Colab s'est-elle arrêtée lors de l'exécution du modèle Llama ?

王林
Libérer: 2024-08-12 22:34:33
original
928 Les gens l'ont consulté

J'essaie d'utiliser le modèle meta-llama/Llama-2-7b-hf et de l'exécuter localement dans mes locaux mais la session s'est écrasée pendant le processus.

J'essaie d'utiliser le modèle meta-llama/Llama-2-7b-hf et de l'exécuter localement dans mes locaux. Pour ce faire, j'utilise Google Colab et j'ai obtenu une clé d'accès auprès de Hugging Face. J'utilise leur bibliothèque de transformateurs pour les tâches nécessaires. Au départ, j'ai utilisé la pile d'exécution GPU T4 sur Google Colab, qui fournissait 12,7 Go de RAM système, 15,0 Go de RAM GPU et 78,2 Go d'espace disque. Malgré ces ressources, ma session a planté et j'ai rencontré l'erreur suivante :
Why did my Google Colab session crash while running the Llama model?

Par la suite, je suis passé à la pile d'exécution TPU V2, qui offre 334,6 Go de RAM système et 225,3 Go d'espace disque, mais le problème a persisté.

Voici mon code :

!pip install transformers
!pip install --upgrade transformers

from huggingface_hub import login
login(token='Access Token From Hugging Face')

import pandas as pd
from transformers import AutoTokenizer, AutoModelForSequenceClassification, TrainingArguments, Trainer
from torch.utils.data import Dataset

# Load pre-trained Meta-Llama-3.1-8B model
model_name = "meta-llama/Llama-2-7b-hf"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSequenceClassification.from_pretrained(model_name)
Copier après la connexion

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

source:dev.to
Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn
Tutoriels populaires
Plus>
Derniers téléchargements
Plus>
effets Web
Code source du site Web
Matériel du site Web
Modèle frontal