WizardLM-2, yang 'sangat hampir dengan GPT-4', telah ditarik balik dengan segera oleh Microsoft.

Beberapa masa lalu, Microsoft membuat kesilapan sendiri: WizardLM-2 yang bersumberkan terbuka besar, dan kemudian menarik baliknya dengan bersih tidak lama kemudian.

Maklumat keluaran yang tersedia pada masa ini untuk WizardLM-2, model besar sumber terbuka "benar-benar setanding dengan GPT-4" dengan prestasi yang dipertingkatkan dalam sembang kompleks, berbilang bahasa, inferens dan agensi.

Siri ini termasuk tiga model: WizardLM-2 8x22B, WizardLM-2 70B dan WizardLM-2 7B. Antaranya:

• WizardLM-2 8x22B ialah model paling maju dan LLM sumber terbuka terbaik berdasarkan penilaian dalaman untuk tugasan yang sangat kompleks.
• WizardLM-2 70B mempunyai keupayaan inferens peringkat teratas dan merupakan pilihan pertama pada skala ini
• WizardLM-2 7B adalah yang terpantas, dengan prestasi setanding dengan model terkemuka sumber terbuka sedia ada yang 10 kali lebih besar.

Selain itu, melalui penilaian keutamaan manusia, keupayaan WizardLM-28x22B "hanya sedikit di belakang pratonton GPT-4-1106, tetapi jauh lebih kuat daripada CommandRPlus dan GPT4-0314.🜎

Adakah ia akan menjadi satu lagi pencapaian sumber terbuka seperti LLaMa 3?

Semasa semua orang sibuk memuat turun model, pasukan tiba-tiba menarik balik segala-galanya: blog, GitHub, HuggingFace semuanya mendapat 404.

Sumber imej: https://wizardlm.github.io/WizardLM2/

Penjelasan pasukan ialah:

Salam kepada semua rakan Huggingface! Maaf, kami mengalih keluar model itu. Sudah agak lama sejak kami mengeluarkan model dari beberapa bulan yang lalu, jadi kami tidak biasa dengan proses keluaran baharu sekarang: kami secara tidak sengaja meninggalkan item yang diperlukan dalam proses keluaran model - ujian ketoksikan. Ini adalah langkah yang perlu diselesaikan oleh semua model baharu pada masa ini.

Kami sedang menyelesaikan ujian ini dengan cepat dan akan mengeluarkan semula model kami secepat mungkin. Jangan risau, terima kasih atas keprihatinan dan pemahaman anda. . pasukan Semua kerja siri Wizard telah hilang, termasuk WizardMath dan WizardCoder sebelumnya.

Kedua, ada yang mempersoalkan kenapa blog itu turut dipadamkan sedangkan pemberat model dipadamkan? Jika ia hanya kehilangan bahagian ujian, tidak perlu menarik balik sepenuhnya.

Penjelasan pasukan ialah: "Mengikut peraturan yang berkaitan." Apakah peraturan khusus? Belum ada yang tahu.

Ketiga, terdapat juga spekulasi bahawa pasukan di belakang WizardLM telah dipecat, dan penarikan balik projek siri Wizard juga dipaksa.

Namun spekulasi ini dinafikan oleh pasukan:

Sumber: https://x.com/_Mira___Mira_/status/42763

Sumber gambar: https ://x.com/DavidFSWD/status/1783682898786152470

Dan kini kami mencari nama pengarang, dan ia tidak hilang sepenuhnya daripada laman web rasmi Microsoft:

www

.microsoft.com/en-us/research/people/qins/

Keempat, sesetengah orang membuat spekulasi bahawa Microsoft menarik balik model sumber terbuka ini, pertama kerana prestasinya terlalu hampir dengan GPT-4, dan kedua kerana teknikal peta jalan dengan OpenAI " Crash".

Apakah laluan khusus? Kita boleh melihat butiran teknikal halaman blog asal.

Pasukan menyatakan bahawa melalui latihan LLM, data yang dijana manusia secara semula jadi semakin kehabisan, dan data yang dicipta dengan teliti oleh AI dan model yang diselia Langkah demi Langkah AI akan menjadi satu-satunya cara untuk mendapatkan AI yang lebih berkuasa.

Sepanjang tahun lalu, pasukan Microsoft telah membina sistem latihan sintetik yang dikuasakan sepenuhnya oleh kecerdasan buatan, seperti yang ditunjukkan dalam rajah di bawah.

kira -kira dibahagikan kepada beberapa bahagian:

Processing:

1. Data Analisis: Gunakan saluran paip ini untuk mendapatkan pengedaran atribut yang berbeza dari data sumber baru, yang Ia membantu untuk mempunyai pemahaman awal tentang data.
2. Pensampelan berwajaran: Pengagihan data latihan yang optimum selalunya tidak konsisten dengan pengedaran semula jadi korpus sembang manusia Ia adalah perlu untuk melaraskan berat setiap atribut dalam data latihan berdasarkan pengalaman percubaan. Evol Lab:

Pengubahsuaian awal, kaedah baharu membolehkan pelbagai ejen menjana arahan berkualiti tinggi secara automatik. Evol-Jawapan: Bimbing model untuk menjana dan menulis semula respons berbilang kali, yang boleh meningkatkan logik, ketepatan dan pertaliannya. . lain. Kandungan pengajaran termasuk Sembang simulasi, ulasan kualiti, cadangan untuk penambahbaikan, menutup jurang kemahiran dan banyak lagi.

1. Pengajaran Kendiri: WizardLM boleh menjana data latihan evolusi baharu untuk pembelajaran diselia dan data keutamaan untuk pembelajaran pengukuhan melalui pembelajaran pengaktifan.
2. Pembelajaran:

Pembelajaran diselia.

1. Fasa - DPO: Untuk melaksanakan pembelajaran peneguhan luar talian dengan lebih berkesan, data pilihan dibahagikan kepada serpihan yang berbeza dan model dipertingkatkan langkah demi langkah.
2. RLEIF: Menggunakan kaedah yang menggabungkan model ganjaran kualiti arahan (IRM) dan model ganjaran penyeliaan proses (PRM) untuk mencapai ketepatan yang lebih tepat dalam pembelajaran pengukuhan dalam talian.

Perkara terakhir yang saya ingin katakan ialah sebarang spekulasi adalah sia-sia, mari kita nantikan kemunculan semula WizardLM-2.

Atas ialah kandungan terperinci WizardLM-2, yang 'sangat hampir dengan GPT-4', telah ditarik balik dengan segera oleh Microsoft.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!