DeepSpeed로 훈련하는 동안 텐서 크기가 일치하지 않는 문제

현재 DeepSpeed가 통합된** Hugging Face**의 Trainer를 사용하여 모델을 교육하고 있는데 텐서 크기 불일치와 관련된 오류가 발생했습니다. 구체적으로 다음과 같은 오류가 발생합니다.

텐서 a(50)의 크기는 비싱글톤 차원2에서 텐서 b(3)의 크기와 일치해야 합니다.

누군가가 이를 수정하고 버전을 공유해 주셨으면 좋겠습니다!???

내 데이터:

내 설정은 다음과 같습니다.

input_id와 label의 모양이 동일한 것을 확인했습니다. Trainer 구성과 DeepSpeed ​​구성 모두에서 배치 크기를 확인했습니다. 또한 모델이 장치(cuda 또는 CPU)에 올바르게 배치되었는지 확인했습니다.

아마도 잘 모르겠습니다.

위 내용은 DeepSpeed로 훈련하는 동안 텐서 크기가 일치하지 않는 문제의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!