Kad grafik NVIDIA RTX mempercepatkan inferens AI sebanyak 5 kali ganda! RTX PC dengan mudah mengendalikan model besar secara tempatan

Di Persidangan Teknologi Global Microsoft Iginte, Microsoft mengeluarkan satu siri model pengoptimuman berkaitan AI baharu dan sumber alat pembangunan, bertujuan untuk membantu pembangun menggunakan sepenuhnya prestasi perkakasan dan mengembangkan medan aplikasi AI

Terutama untuk NVIDIA, yang kini menduduki kedudukan dominan mutlak dalam bidang AI, Microsoft telah menghantar pakej hadiah besar kali ini, Sama ada antara muka pembungkusan TensorRT-LLM untuk OpenAI Chat API atau peningkatan prestasi pemacu RTX DirectML untuk Llama 2, serta model bahasa besar (LLM) popular lain, boleh mencapai pecutan dan aplikasi yang lebih baik pada perkakasan NVIDIA.

Antaranya, TensorRT-LLM ialah perpustakaan yang digunakan untuk mempercepatkan inferens LLM, yang boleh meningkatkan prestasi inferens AI dengan ketara Ia sentiasa dikemas kini untuk menyokong lebih banyak model bahasa, dan ia juga merupakan sumber terbuka.

NVIDIA mengeluarkan TensorRT-LLM untuk platform Windows pada bulan Oktober. Untuk desktop dan komputer riba yang dilengkapi dengan kad grafik GPU siri RTX 30/40, selagi memori grafik mencapai 8GB atau lebih, ia akan menjadi lebih mudah untuk menyelesaikan beban kerja AI yang menuntut

Kini, Tensor RT-LLM untuk Windows boleh serasi dengan API sembang popular OpenAI melalui antara muka pembungkusan baharu, jadi pelbagai aplikasi berkaitan boleh dijalankan terus secara tempatan tanpa perlu menyambung ke awan, yang sesuai untuk pengekalan pada PC Data peribadi dan proprietari untuk mengelakkan kebocoran privasi.

Selagi model bahasa besar yang dioptimumkan oleh TensorRT-LLM, ia boleh digunakan dengan antara muka pakej ini, termasuk Llama 2, Mistral, NV LLM, dll.

Untuk pembangun, tidak perlu menulis semula dan mengalihkan kod yang membosankan Hanya ubah suai satu atau dua baris kod, dan aplikasi AI boleh dilaksanakan dengan cepat secara tempatan.

↑↑↑Pemalam kod Microsoft Visual Studio berdasarkan TensorRT-LLM - Pembantu pengekodan Continue.dev

TensorRT-LLM v0.6.0 akan dikemas kini pada akhir bulan ini, yang akan membawa sehingga 5 kali peningkatan dalam prestasi inferens pada RTX GPU, dan menyokong LLM yang lebih popular, termasuk 7 bilion parameter baharu Mistral, The 8 bilion parameter Nemotron-3 membolehkan desktop dan komputer riba menjalankan LLM secara tempatan pada bila-bila masa, dengan cepat dan tepat.

Mengikut data pengukuran sebenar, Kad grafik RTX 4060 yang digandingkan dengan TenroRT-LLM, prestasi inferens boleh mencapai 319 token sesaat, iaitu 4.2 kali lebih pantas daripada 61 token sesaat bagi hujung belakang yang lain.

RTX 4090 boleh memecut daripada token sesaat kepada 829 token sesaat, peningkatan sebanyak 2.8 kali ganda.

Dengan prestasi perkakasannya yang berkuasa, ekosistem pembangunan yang kaya dan pelbagai senario aplikasi, NVIDIA RTX menjadi pembantu yang sangat diperlukan dan berkuasa untuk AI tempatan. Pada masa yang sama, dengan pengayaan berterusan pengoptimuman, model dan sumber, populariti fungsi AI pada ratusan juta PC RTX juga semakin pantas

Pada masa ini, lebih daripada 400 rakan kongsi telah mengeluarkan aplikasi dan permainan AI yang menyokong pecutan GPU RTX Memandangkan kemudahan penggunaan model terus bertambah baik, saya percaya semakin banyak fungsi AIGC akan muncul pada platform Windows PC.

Atas ialah kandungan terperinci Kad grafik NVIDIA RTX mempercepatkan inferens AI sebanyak 5 kali ganda! RTX PC dengan mudah mengendalikan model besar secara tempatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!