DeepGemm Dikeluarkan pada Hari 3 Minggu Sumber Terbuka DeepSeek

DeepSeek melepaskan DeepGemm: Perpustakaan FP8 Gemm berprestasi tinggi untuk AI

Sebagai sebahagian daripada #OpensourceWeek, DeepSeek melancarkan DeepGemm, perpustakaan canggih yang dioptimumkan untuk pendaraban matriks umum FP8 yang cekap (GEMM). Perpustakaan ini menyokong kedua-dua GEMM yang padat dan campuran (MOE), membuktikan tidak ternilai untuk latihan dan kesimpulan model V3/R1. DeepGEMM bertujuan untuk meningkatkan prestasi dan kecekapan dalam beban kerja AI dengan ketara, memperkuat komitmen DeepSeek untuk inovasi sumber terbuka.

? Hari 3 dari #OpensourceWeek: DeepGemm

Memperkenalkan DeepGEMM - Perpustakaan FP8 GEMM yang menyokong padat dan MOE GEMM, memanfaatkan latihan dan kesimpulan V3/R1.

⚡ hingga 1350 fp8 tflops pada gpus hopper
✅ Ketergantungan minimum, direka untuk kemudahan penggunaan
✅ sepenuhnya dalam masa yang disusun ...

- DeepSeek (@deepseek_ai) 26 Februari, 2025

Siaran ini mengikuti pelancaran kejayaan DeepSeek FlashML (Hari 1) dan DeepSeek Deepep (Hari 2).

Jadual Kandungan

• Apa itu Gemm?
• Apa itu fp8?
• Keperluan untuk DeepGemm
• Ciri -ciri utama DeepGemm
• Penanda aras prestasi
• Arahan Pemasangan
• Kesimpulan

Apa itu Gemm?

Pendaraban Matriks Umum (GEMM) adalah operasi algebra linear asas mengalikan dua matriks untuk menghasilkan satu pertiga. Digunakan secara meluas dalam pelbagai aplikasi, formulanya ialah:

GEMM adalah penting untuk pengoptimuman prestasi model, terutamanya dalam pembelajaran mendalam untuk latihan dan kesimpulan rangkaian saraf.

Ilustrasi ini menunjukkan GEMM, menonjolkan jubin (membahagikan matriks ke blok yang lebih kecil - mtile, ntile, ktile) untuk penggunaan cache yang dioptimumkan. Ini meningkatkan prestasi melalui kawasan data dan paralelisme yang dipertingkatkan.

Apa itu fp8?

FP8 (8-bit floating-point) adalah format pengkomputeran berprestasi tinggi yang menawarkan ketepatan yang dikurangkan dan perwakilan data berangka yang cekap. Ia amat bermanfaat untuk mengendalikan tuntutan pengiraan dataset besar dalam pembelajaran mesin.

Format FP8 biasa termasuk:

1 tanda bit

• 5 bit eksponen
• 2 pecahan bit
Struktur padat ini membolehkan pengiraan yang lebih cepat dan mengurangkan penggunaan memori, sesuai untuk melatih model besar. Walaupun ketepatan mungkin sedikit dikompromi, ini sering diterima, bahkan membawa kepada keuntungan prestasi akibat pengurangan overhead pengiraan.

Imej ini membandingkan FP8 (format E4M3 dan E5M2) dengan FP16 dan BF16, yang menggambarkan perdagangan antara ketepatan dan julat untuk format terapung yang berbeza.

Keperluan untuk DeepGemm

DeepGEMM menangani cabaran pendaraban matriks dengan menawarkan perpustakaan ringan, berprestasi tinggi, dan mesra pengguna untuk operasi GEMM yang pelbagai.

• memenuhi keperluan kritikal untuk FP8 GEMM yang dioptimumkan dalam komuniti AI.
• prestasi tinggi dengan jejak memori kecil.
• menyokong kedua -dua susun atur padat dan MOE.
• penting untuk latihan dan pelaksanaan model AI berskala besar.
• Mengoptimumkan seni bina MOE dengan jenis GEMM khusus.
• secara langsung meningkatkan model AI DeepSeek.
• memberi manfaat kepada ekosistem pembangunan AI yang lebih luas.

Ciri -ciri utama DeepGemm

Kekuatan DeepGemm termasuk:

Prestasi tinggi:
• mencapai sehingga 1350 fp8 tflops pada GPU NVIDIA HOPPER.
Reka bentuk ringan:
• kebergantungan minimum untuk penggunaan mudah. ​​
kompilasi tepat masa:
• menyusun kernel pada runtime untuk pengalaman pengguna yang diselaraskan.
Logik teras ringkas:
• Kira-kira 300 baris kod teras, mengatasi banyak biji-bijian yang ditunaikan oleh pakar.
Sokongan untuk susun atur yang pelbagai:
• menyokong susun atur padat dan dua moe.

Penanda aras prestasi

Kecekapan DeepGemM merentasi pelbagai konfigurasi matriks ditunjukkan di bawah:

3 /

gaya tersuai untuk jadual

/ .custom-table { Lebar: 100%; Sempadan-keruntuhan: runtuh; /

memastikan sempadan tidak menggandakan / Margin: 20px 0; } .Custom-table th, .Custom-table TD { Sempadan: 1px pepejal #000; / sempadan yang kelihatan / Padding: 12px; / padding selesa

teks berpusat / } .custom-table th { latar belakang warna: #F8F9FA; / kelabu muda untuk header / Font-Weight: Bold; } / Pelarasan responsif / @media (max-width: 768px) { .Custom-table th, .Custom-table TD { saiz font: 14px; / teks yang lebih kecil pada skrin yang lebih kecil / Padding: 8px; } }

Jadual 1: Penanda aras prestasi DeepGemm

Arahan pemasangan

Pemasangan DeepGemm adalah mudah:

Langkah 1: Prasyarat

• Hopper Architecture GPU (SM_90A)
• python 3.8
• CUDA 12.3 (disyorkan: 12.8)
• Pytorch 2.1
• cutlass 3.6 (boleh menjadi submodule git)

Langkah 2: klon repositori

git clone --recursive [email protected]:deepseek-ai/DeepGEMM.git

Langkah 3: Pasang perpustakaan

python setup.py install

Langkah 4: Import DeepGemm

import deep_gemm

Lihat repositori DeepGemm GitHub untuk arahan terperinci.

Kesimpulan

DeepGEMM adalah perpustakaan FP8 GEMM yang berprestasi tinggi, mesra pengguna yang sesuai untuk tugas pembelajaran mesin lanjutan. Reka bentuk, kelajuan, dan fleksibiliti ringan menjadikannya alat yang berharga untuk pemaju AI. Semak blog Analytics Vidhya untuk kemas kini mengenai pelepasan Hari 4 DeepSeek!

Atas ialah kandungan terperinci DeepGemm Dikeluarkan pada Hari 3 Minggu Sumber Terbuka DeepSeek. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!