Problème de tailles de tenseurs incompatibles lors de l'entraînement avec DeepSpeed

J'entraîne actuellement un modèle à l'aide de** Hugging Face**'s Trainer avec intégration DeepSpeed, et je rencontre une erreur liée à des tailles de tenseurs incompatibles. Plus précisément, j'obtiens l'erreur suivante :

La taille du tenseur a (50) doit correspondre à la taille du tenseur b (3) à la dimension non singleton2

J'espère que quelqu'un pourra le réparer et partager votre version s'il vous plaît !???

mes données :

Voici ma configuration :

J'ai vérifié que les input_ids et les labels ont la même forme. J'ai vérifié la taille du lot dans la configuration Trainer et la configuration DeepSpeed. Je me suis également assuré que le modèle est correctement placé sur l'appareil (cuda ou cpu).

peut-être, je ne suis pas sûr.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!