pengelas adaptif: Potong kos LLM anda dengan penghalaan pertanyaan pintar (penjimatan kos ditunjukkan)

Berita menggembirakan! Pustaka sumber terbuka baharu, adaptive-classifier, hadir untuk merevolusikan pengoptimuman kos penggunaan LLM anda. Pustaka pintar ini menghalakan pertanyaan antara model anda secara dinamik berdasarkan kerumitannya, belajar secara berterusan dan memperhalusi strategi penghalaannya melalui penggunaan dunia sebenar.

Ujian kami pada set data arena-hard-auto (menggunakan model kos tinggi dan kos rendah dengan perbezaan kos 2x ganda) membuahkan hasil yang luar biasa:

• Mencapai pengurangan kos yang ketara sebanyak 32.4% dengan penyesuaian didayakan.
• Mengekalkan kadar kejayaan keseluruhan yang sama (22%) seperti garis dasar.
• Menunjukkan keupayaan pembelajaran yang mengagumkan, berjaya menyesuaikan diri dengan 110 contoh baharu semasa penilaian.
• Berjaya mengarahkan 80.4% pertanyaan kepada model yang lebih menjimatkan.

Ini sesuai untuk persekitaran dengan berbilang model Llama (cth., Llama-3.1-70B dan Llama-3.1-8B) di mana pengoptimuman kos adalah penting tanpa menjejaskan prestasi. Perpustakaan ini disepadukan dengan lancar dengan model berasaskan pengubah dan menampilkan ketekunan keadaan terbina dalam untuk kecekapan yang dipertingkatkan.

Terokai repositori untuk mendapatkan butiran pelaksanaan dan data penanda aras. Kami tidak sabar-sabar menanti maklum balas anda selepas mencubanya!

Repositori - https://www.php.cn/link/bbe2977a4c5b136df752894d93b44c72

Atas ialah kandungan terperinci pengelas adaptif: Potong kos LLM anda dengan penghalaan pertanyaan pintar (penjimatan kos ditunjukkan). Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!