DeepSeek은 FlashMla를 출시합니다

Deepseek의 획기적인 오픈 소스 릴리스 : Flashmla, Cuda 커널 가속 LLM. Hopper GPU 용으로 특별히 설계된이 최적화 된 다단히 해석 된주의 (MLA) 디코딩 커널은 AI 모델 호스팅의 속도와 효율성을 크게 향상시킵니다. 주요 개선 사항에는 BF16 지원 및 PAGED KV 캐시 (64 블록 크기)가 포함되어있어 인상적인 성능 벤치 마크가 발생합니다.

? #opensourceweek의 1 일차 : FlashMla Deepseek는 Hopper GPU의 고효율 MLA 디코딩 커널 인 FlashMla를 자랑스럽게 공개합니다. 가변 길이 시퀀스 및 현재 생산에 최적화되었습니다.

BF16 지원 ✅ PAGED KV 캐시 (블록 크기 64) 3000 GB/S 메모리 바운드 및 580 TFLOPS… - DeepSeek (@deepseek_ai) 2025 년 2 월 24 일 주요 기능 :

BF16 정밀도 :
수치 안정성을 유지하면서 효율적인 계산을 가능하게합니다 PAGED KV 캐시 (64 블록 크기) :
는 메모리 효율을 향상시키고 대기 시간, 특히 대형 모델의 경우 중요한 지연을 줄입니다.

이러한 최적화는 CUDA 12.6을 사용하여 H800 SXM5 GPU의 계산 결합 시나리오에서 최대 3000GB/s 메모리 대역폭 및 580 TFLOPS를 달성합니다. 이것은 AI 추론 성능을 크게 향상시킵니다. DeepSeek 모델에서 이전에 사용 된 FlashMla는 이제 DeepSeek AI의 R1 V3를 가속화합니다. 목차 :

flashmla 란 무엇입니까? 다중 헤드 잠재주의 이해 (MLA) 표준 다중 헤드주의 제한 MLA의 메모리 최적화 전략

키-값 캐싱 및 자동 회귀 디코딩 kv 캐싱 역학

메모리 문제 해결 DeepSeek 모델에서 FlashMla의 역할 nvidia 호퍼 아키텍처 성능 분석 및 시사점 결론

FlashMla 란 무엇입니까?

FlashMla는 NVIDIA HOPPER GPU를 위해 제작 된 고도로 최적화 된 MLA 디코딩 커널입니다. 그것의 설계는 확장 가능한 AI 모델 가속도에 대한 DeepSeek의 약속을 반영하여 속도와 효율성을 우선시합니다. 하드웨어 및 소프트웨어 요구 사항 :

호퍼 아키텍처 gpus (예 : h800 sxm5) Cuda 12.3 Pytorch 2.0

성능 벤치 마크 :

FlashMla는 탁월한 성능을 보여줍니다 :

메모리 대역폭 :
• 최대 3000GB/s (H800 SXM5 이론 피크에 접근). 계산 처리량 : BF16 매트릭스 곱셈을위한
최대 580 TFLOPS (H800의 이론적 피크를 크게 초과).
• 이 우수한 성능은 FlashMla가 AI 워크로드를 요구하는 데 이상적입니다.
  다중 헤드 잠재주의 이해 (mla)
• DeepSeek-V2와 함께 도입 된 MLA는 낮은 순위 인수 프로젝트 매트릭스를 사용하여 표준 멀티 헤드주의 (MHA)의 메모리 제한을 해결합니다. 그룹 쿼리주의와 같은 방법과 달리 MLA는 성능을 향상시키고 메모리 오버 헤드를 줄입니다.

  표준 다중 헤드주의 제한 : MHA의 KV 캐시는 시퀀스 길이로 선형으로 스케일링하여 긴 시퀀스에 대한 메모리 병목 현상을 만듭니다. 캐시 크기는 다음과 같이 계산됩니다. MLA의 메모리 최적화 :

  MLA는 키와 값을 더 작은 잠재 벡터 ()로 압축하여 kv 캐시 크기를 로 줄입니다 (여기서

  는 잠복 벡터 치수입니다). 이것은 메모리 사용량을 크게 줄입니다 (DeepSeek-V2의 최대 93.3% 감소). 키-값 캐싱 및 자동 회귀 디코딩

  kv 캐싱은 이전에 계산 된 키 값 쌍을 재사용하여 자동 회귀 디코딩을 가속화합니다. 그러나 이것은 메모리 사용량을 증가시킵니다. seq_len * n_h * d_h 메모리 문제 해결 : n_h MQA (Multi-Query Interection) 및 그룹화 쿼리주의 (GQA)와 같은 기술은 KV 캐싱과 관련된 메모리 문제를 완화합니다. DeepSeek 모델에서 FlashMla의 역할 : d_h FlashMla는 DeepSeek의 R1 및 V3 모델을 통해 효율적인 대규모 AI 애플리케이션을 가능하게합니다. Nvidia Hopper Architecture

  NVIDIA HOPPER는 AI 및 HPC 워크로드 용으로 설계된 고성능 GPU 아키텍처입니다. 변압기 엔진 및 2 세대 MIG와 같은 혁신은 탁월한 속도와 확장 성을 가능하게합니다. 성능 분석 및 시사점

  FlashMla는 BF16 매트릭스 곱셈을 위해 580 TFLOPS를 달성하여 H800 GPU의 이론적 피크의 두 배 이상입니다. 이는 GPU 자원의 고효율 활용을 보여줍니다.

  결론

  FlashMla는 특히 호퍼 GPU의 AI 추론 효율의 주요 발전을 나타냅니다. BF16 지원 및 PAGED KV 캐싱과 결합 된 MLA 최적화는 놀라운 성능 향상을 제공합니다. 이로 인해 대규모 AI 모델이보다 액세스 가능하고 비용 효율적으로 만들어지고 모델 효율성을위한 새로운 벤치 마크를 설정합니다.

위 내용은 DeepSeek은 FlashMla를 출시합니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!