Selepas 11 hari sumber terbuka, Musk mengeluarkan semula kod Grok-1.5 128K mengalahkan GPT-4

Grok-1 telah diumumkan secara rasmi sebagai sumber terbuka selama setengah bulan sahaja, dan Grok-1.5 yang baru dinaik taraf dikeluarkan.

Sebentar tadi, Musk xAI secara rasmi mengumumkan bahawa konteks 128K Grok-1.5 telah mempertingkatkan keupayaan penaakulannya.

Dan, ia akan berada dalam talian tidak lama lagi.

11 hari yang lalu, pemberat dan seni bina model Grok-1 adalah sumber terbuka, menunjukkan kemajuan yang dicapai Xai sebelum November lalu.

Grok-1 mempunyai 314 bilion parameter, iaitu 4 kali lebih besar daripada Llama 2, dan menggunakan seni bina KPM 2 daripada 8 pakar adalah pakar aktif.

Pengenalan Xai, iaitu sejak itu, pasukan telah meningkatkan keupayaan penaakulan dan penyelesaian masalah model terbaru Grok-1.5.

Bekas ketua perhubungan pembangun di OpenAI berkata bahawa kepantasan dan rasa tergesa-gesa mereka dapat dilihat daripada masa keluaran utama xAI. Mengujakan!

128K konteks, kebolehan penaakulan matematik Grok-1.5 meroket

Menurut pengenalan rasmi, Grok-1.5 telah menambah baik kebolehan penaakulan 1.2K.

Salah satu peningkatan paling ketara kepada Grok-1.5 ialah prestasinya dalam pengekodan dan tugasan berkaitan matematik.

Dalam ujian, Grok-1.5 mencapai markah 50.6% pada penanda aras matematik dan 90% pada penanda aras GSM8K ini merangkumi pelbagai masalah pertandingan dari sekolah rendah hingga sekolah menengah.

Selain itu, Grok-1.5 mencapai skor tinggi sebanyak 74.1% dalam penanda aras HumanEval yang menilai penjanaan kod dan keupayaan menyelesaikan masalah.

Daripada gambar di bawah, berbanding dengan Grok-1, dapat dilihat bahawa keupayaan matematik Grok-1.5 telah bertambah baik, daripada 62.9% kepada 90 pada GSM8K, dan daripada 23.9% kepada 50.6% pada MATH.

128K pemahaman konteks panjang, dikembangkan 16 kali ganda

Satu lagi ciri baharu Grok-1.5 ialah keupayaan untuk mengendalikan teksnya sehingga 12 konteks

Ini meningkatkan kapasiti ingatan Grok kepada 16 kali ganda panjang konteks sebelumnya, membolehkannya memanfaatkan maklumat daripada dokumen yang lebih panjang.

Selain itu, model baharu ini boleh mengendalikan gesaan yang lebih panjang dan lebih kompleks sambil mengekalkan keupayaannya untuk mengikut arahan apabila tetingkap konteksnya berkembang.

Dalam penilaian Needle In A Haystack (NIAH), Grok-1.5 menunjukkan keupayaan mendapatkan semula yang kukuh, mendapatkan semula teks terbenam dalam konteks sehingga 128K bait panjangnya dan mencapai hasil perolehan semula yang sempurna.

Infrastruktur Grok-1.5

Grok-1.5 dibina di atas rangka kerja latihan teragih tersuai berdasarkan JAX, Rust dan Kubernetes.

Timbunan latihan ini membolehkan pasukan xAI membina idea pada skala dan melatih seni bina baharu dengan pelaburan yang minimum.

Cabaran utama dalam melatih LLM pada kelompok pengkomputeran yang besar adalah untuk memaksimumkan kebolehpercayaan dan masa operasi tugas latihan.

Orkestra latihan tersuai xAI memastikan nod yang bermasalah dikesan secara automatik dan dihapuskan daripada tugas latihan.

Pada masa yang sama, mereka juga mengoptimumkan pemeriksaan, pemuatan data dan memulakan semula tugas latihan untuk meminimumkan masa henti sekiranya berlaku kegagalan.

xAI menyatakan bahawa Grok-1.5 akan tersedia kepada penguji awal tidak lama lagi untuk membantu menambah baik model.

Blog ini juga melihat beberapa ciri baharu yang akan dilancarkan oleh Grok-1.5 dalam beberapa hari akan datang.

Akhirnya, xAI menyiarkan maklumat pengambilan seperti biasa.

Atas ialah kandungan terperinci Selepas 11 hari sumber terbuka, Musk mengeluarkan semula kod Grok-1.5 128K mengalahkan GPT-4. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!