Microsoft mengeluarkan mesin maya Azure ND H100 v5 dengan 8 GPU NVIDIA H100

Infrastruktur AI Microsoft Azure menerima peningkatan pada 21 November, melancarkan siri mesin maya ND H100 v5 baharu. Mesin maya ini dilengkapi dengan unit pemprosesan grafik (GPU) NVIDIA H100 Tensor Core dan rangkaian kependaman rendah

Menurut laporan, Microsoft baru sahaja mengeluarkan siri mesin maya (VM) Azure ND H100 v5, yang kini boleh didapati di timur Amerika Syarikat dan tersedia di wilayah Azure AS Tengah Selatan.

Siri ini menggunakan GPU Tensor Core NVIDIA H100 dan rangkaian InfiniBand NVIDIA Quantum-2 untuk mengendalikan beban kerja kecerdasan buatan yang semakin kompleks. Sebagai sebahagian daripada pelaburan mendalam Microsoft yang berterusan dalam kecerdasan buatan, Microsoft memanfaatkan kluster GPU 4K yang dioptimumkan AI dan merancang untuk menskalakannya kepada ratusan ribu GPU baharu pada tahun hadapan Laman web ini telah menyusun ciri ND H100 v5 VM siri mesin maya:

AI super pengkomputeran GPU:
• Dilengkapi dengan lapan NVIDIA H100 Tensor Core GPU. Siri ini boleh mempercepatkan model AI dengan ketara berbanding mesin maya generasi sebelumnya.
Unit pemprosesan komputer (CPU) generasi seterusnya:
• Prestasi CPU adalah penting untuk latihan dan inferens AI, dan Microsoft telah memilih pemproses Intel Xeon Scalable generasi keempat.
Rangkaian kependaman rendah:
• Menggunakan NVIDIA Quantum-2 ConnectX-7 InfiniBand, setiap GPU mempunyai 400Gb/s dan setiap VM mempunyai jalur lebar nod silang 3.2 Tb/s.
Prestasi hos-ke-GPU yang dioptimumkan:
• Menyampaikan lebar jalur 64GB/s bagi setiap GPU melalui PCIe Gen5.
Memori berskala besar dan lebar jalur memori:
• Memori DDR5 ialah teras siri mesin maya ini, memberikan kelajuan dan kecekapan pemindahan data yang lebih tinggi.
Microsoft berkata apabila siri mesin maya ini menggunakan jenis data titik terapung 8-bit FP8 baharu untuk melaksanakan operasi pendaraban matriks,

adalah enam kali lebih pantas daripada generasi sebelumnya FP16 Lebih Pantas

. ND H100 v5 VM membantu mencapai inferens sehingga 2x lebih pantas untuk model bahasa besar seperti model hujung ke hujung BLOOM 175B.

Atas ialah kandungan terperinci Microsoft mengeluarkan mesin maya Azure ND H100 v5 dengan 8 GPU NVIDIA H100. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!