Problem mit nicht übereinstimmenden Tensorgrößen während des Trainings mit DeepSpeed

Ich trainiere derzeit ein Modell mit dem Trainer von Hugging Face** mit DeepSpeed-Integration und stoße auf einen Fehler im Zusammenhang mit nicht übereinstimmenden Tensorgrößen. Konkret erhalte ich die folgende Fehlermeldung:

Die Größe von Tensor a (50) muss mit der Größe von Tensor b (3) in der Nicht-Singleton-Dimension2 übereinstimmen

Ich hoffe, jemand kann das Problem beheben und bitte Ihre Version teilen!???

meine Daten:

Hier ist mein Setup:

Ich habe überprüft, ob die Eingabe-IDs und Beschriftungen die gleiche Form haben. Ich habe die Batch-Größe sowohl in der Trainer-Konfiguration als auch in der DeepSpeed-Konfiguration überprüft. Ich habe auch sichergestellt, dass das Modell korrekt auf dem Gerät (Cuda oder CPU) platziert ist.

Vielleicht, ich bin mir nicht sicher.

Das obige ist der detaillierte Inhalt vonProblem mit nicht übereinstimmenden Tensorgrößen während des Trainings mit DeepSpeed. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!