Kesannya boleh mencapai 96% daripada model setara OpanAI, dan model bahasa AI sumber terbuka domestik TigerBot dikeluarkan

Menurut berita pada 8 Jun, model bahasa besar berbilang modal domestik TigerBot telah dikeluarkan secara rasmi baru-baru ini, termasuk dua versi 7 bilion parameter dan 180 bilion parameter Ia kini sumber terbuka di GitHub.

▲ Sumber gambar Halaman GitHub TigerBot

Dilaporkan bahawa inovasi yang dibawa oleh TigerBot terutamanya terletak pada:

• Cadangkan arahan dan melengkapkannya Algoritma inovatif untuk penalaan halus diselia meningkatkan kebolehbelajaran model.
• Gunakan kaedah pemodelan ensemble dan probabilistik untuk mencapai fakta dan kreativiti yang boleh dikawal.
• Memecahkan masalah ingatan dan komunikasi dalam rangka kerja arus perdana seperti kelajuan dalam dalam latihan selari.

Selain itu, model ini juga telah membuat pengoptimuman yang lebih sesuai daripada tokenizer kepada algoritma latihan untuk pengedaran bahasa Cina yang lebih tidak teratur.

Penyelidik Chen Ye berkata di laman web rasmi Hubo Technology: "Model ini boleh memahami dengan cepat jenis soalan yang ditanya oleh manusia menggunakan hanya sebilangan kecil parameter. Menurut kertas OpenAI InstructGPT mengenai data NLP awam set Menurut penilaian automatik, TigerBot-7B telah mencapai 96% daripada prestasi komprehensif model saiz yang sama OpenAI Menurut laporan itu, prestasi TigerBot-7B-base adalah "lebih baik daripada model setanding OpenAI." Kod sumber terbuka termasuk latihan asas dan kod inferens, dan kod kuantifikasi dan inferens model 180B inferens dwi-kad. Data tersebut termasuk data pra-latihan 100G dan 1G atau 1 juta keping data untuk penalaan halus diselia.

Rakan IT House boleh mencari projek sumber terbuka GitHub di sini

.

Atas ialah kandungan terperinci Kesannya boleh mencapai 96% daripada model setara OpanAI, dan model bahasa AI sumber terbuka domestik TigerBot dikeluarkan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!