NVIDIA가 AMD를 강타했습니다. 소프트웨어 지원을 통해 H100의 AI 성능은 MI300X보다 47% 빠릅니다!

12월 14일 뉴스에 따르면 AMD는 이달 초 가장 강력한 AI 칩인 Instinct MI300X를 출시했습니다. 8-GPU 서버의 AI 성능은 NVIDIA H100 8-GPU보다 60% 더 높습니다. 이와 관련해 엔비디아는 최근 H100과 MI300X의 최신 성능 비교 데이터 세트를 공개해 H100이 어떻게 올바른 소프트웨어를 사용해 MI300X보다 빠른 AI 성능을 제공할 수 있는지 보여줬다.

AMD가 이전에 발표한 데이터에 따르면 MI300X의 FP8/FP16 성능은 NVIDIA H100의 1.3배에 달했으며 Llama 2 70B 및 FlashAttention 2 모델의 실행 속도는 H100보다 20% 빠릅니다. 8v8 서버에서 Llama 2 70B 모델을 실행할 때 MI300X는 H100보다 40% 빠르며 Bloom 176B 모델을 실행할 때 MI300X는 H100보다 60% 빠릅니다.

그러나 AMD가 MI300X를 NVIDIA H100과 비교할 때 AMD는 최신 ROCm 6.0 제품군(희소성 등을 포함하여 FP16, Bf16 및 FP8과 같은 최신 컴퓨팅 형식을 지원할 수 있음)의 최적화 라이브러리를 사용했다는 점을 지적해야 합니다. ) , 이 숫자를 얻으려면. 대조적으로, NVIDIA H100은 NVIDIA의 TensorRT-LLM과 같은 최적화 소프트웨어를 사용하지 않고 테스트되지 않았습니다.

NVIDIA H100 테스트에 대한 AMD의 암시적 진술은 vLLM v.02.2.2 추론 소프트웨어와 NVIDIA DGX H100 시스템을 사용하여 Llama 2 70B 쿼리의 입력 시퀀스 길이가 2048이고 출력 시퀀스 길이가 128임을 보여줍니다

DGX H100(8개의 NVIDIA H100 Tensor Core GPU, 80GB HBM3 포함)에 대해 NVIDIA가 발표한 최신 테스트 결과에 따르면 공용 NVIDIA TensorRT LLM 소프트웨어가 사용되었으며, 그 중 v0.5.0이 Batch-1 테스트, v0에 사용되었습니다. .6.1 대기 시간 임계값 측정. 테스트의 작업 부하 세부 사항은 이전 AMD 테스트와 동일합니다

결과에 따르면, 최적화된 소프트웨어를 사용한 후 NVIDIA DGX H100 서버의 성능이 2배 이상 향상되었으며, AMD가 시연한 MI300X 8-GPU 서버보다 47% 더 빠릅니다

DGX H100은 단일 추론 작업을 1.7초 만에 처리할 수 있습니다. 응답 시간과 데이터 센터 처리량을 최적화하기 위해 클라우드 서비스는 특정 서비스에 대해 고정된 응답 시간을 설정합니다. 이를 통해 여러 추론 요청을 더 큰 "배치"로 결합하여 서버의 초당 전체 추론 수를 늘릴 수 있습니다. MLPerf와 같은 업계 표준 벤치마크에서도 이 고정 응답 시간 측정항목을 사용하여 성능을 측정합니다

응답 시간의 약간의 절충으로 인해 서버가 실시간으로 처리할 수 있는 추론 요청 수에 불확실성이 생길 수 있습니다. 고정된 2.5초 응답 시간 예산을 사용하여 NVIDIA DGX H100 서버는 초당 5개 이상의 Llama 2 70B 추론을 처리할 수 있는 반면 Batch-1은 초당 1개 미만을 처리할 수 있습니다.

분명히 Nvidia가 이러한 새로운 벤치마크를 사용하는 것은 상대적으로 공정합니다. 결국 AMD도 GPU 성능을 평가하기 위해 최적화된 소프트웨어를 사용하므로 Nvidia H100을 테스트할 때 동일한 작업을 수행하는 것은 어떨까요?

NVIDIA의 소프트웨어 스택은 CUDA 생태계를 중심으로 이루어지며 수년간의 노력과 개발 끝에 인공 지능 시장에서 매우 강력한 위치를 차지하고 있는 반면, AMD의 ROCm 6.0은 새로운 것이며 아직 실제 시나리오에서 테스트되지 않았습니다.

AMD가 이전에 공개한 정보에 따르면 MI300X GPU를 Nvidia의 H100 솔루션을 대체하는 것으로 간주하는 Microsoft 및 Meta와 같은 주요 회사와의 거래의 상당 부분을 달성했습니다.

AMD의 최신 Instinct MI300X는 2024년 상반기에 대량 출하될 예정입니다. 하지만 NVIDIA의 더욱 강력한 H200 GPU도 그때쯤 출하될 예정이며, NVIDIA도 하반기에 차세대 Blackwell B100을 출시할 예정입니다. 2024. 또한 인텔은 차세대 AI 칩인 가우디 3(Gaudi 3)도 출시할 예정이다. 다음으로 인공지능 분야의 경쟁은 더욱 치열해질 것으로 보인다.

편집자: 핵심 지능 - 루로니 검

위 내용은 NVIDIA가 AMD를 강타했습니다. 소프트웨어 지원을 통해 H100의 AI 성능은 MI300X보다 47% 빠릅니다!의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!