Model sumber terbuka memenangi GPT-4 buat kali pertama! Laporan pertempuran terbaru Arena telah mencetuskan perdebatan hangat, Karpathy: Ini adalah satu-satunya senarai yang saya percayai

Model sumber terbuka yang boleh mengalahkan GPT-4 telah muncul!

Laporan pertempuran terkini Arena Model Besar:

Model sumber terbuka 104 bilion parameter Command R+ naik ke tempat ke-6, terikat dengan GPT-4-0314 dan mengatasi GPT-4-0613.

Gambar

Ini juga merupakan model berat terbuka pertama yang mengalahkan GPT-4 dalam arena model besar.

Arena model yang besar adalah satu-satunya penanda aras ujian yang dipercayai oleh master Karpathy.

Gambar

Arahan R+ daripada AI unicorn Cohere. Pengasas bersama dan Ketua Pegawai Eksekutif permulaan model besar ini tidak lain adalah Aidan Gomez, pengarang termuda Transformer (dirujuk sebagai penuai gandum).

Gambar

Sebaik sahaja laporan pertempuran ini keluar, ia mencetuskan lagi gelombang perbincangan hangat dalam komuniti model besar.

Sebab semua orang teruja adalah mudah: model besar asas telah dilancarkan selama setahun tanpa diduga, landskap akan terus berkembang dan berubah pada tahun 2024.

Pengasas bersama HuggingFace, Thomas Wolf berkata:

Situasi dalam arena model besar telah berubah secara mendadak baru-baru ini:

Opus Claude 3 Anthropic mendominasi model sumber tertutup.

Cohere’s Command R+ telah menjadi yang paling kuat dalam kalangan model sumber terbuka.

Saya tidak sangka bahawa pada tahun 2024, pasukan kecerdasan buatan akan berkembang dengan begitu pantas pada kedua-dua laluan sumber terbuka dan sumber tertutup.

Pictures

Selain itu, Pengarah Pembelajaran Mesin Cohere Nils Reimers juga menunjukkan sesuatu yang patut diberi perhatian:

Ciri terbesar Command R+ ialah pengoptimuman menyeluruh RAG terbina dalam (Retrieval Augmentation Generation), dan dalam persaingan model besar Di lapangan, keupayaan pemalam seperti RAG tidak disertakan dalam ujian.

Pictures

Model pengoptimuman RAG naik ke takhta sumber terbuka

Dalam kedudukan rasmi Cohere, Command R+ ialah "model pengoptimuman RAG".

Maksudnya, model besar dengan 104 bilion parameter ini telah dioptimumkan secara mendalam untuk teknologi penjanaan peningkatan perolehan bagi mengurangkan penjanaan halusinasi dan lebih sesuai untuk beban kerja peringkat perusahaan.

Seperti Command R yang dilancarkan sebelum ini, panjang tetingkap konteks Command R+ ialah 128k.

Selain itu, Command R+ juga mempunyai ciri-ciri berikut:

• merangkumi 10+ bahasa, termasuk Inggeris, Cina, Perancis, Jerman, dll.
• boleh menggunakan alat untuk melengkapkan automasi proses perniagaan yang kompleks

Daripada keputusan ujian, Dalam tiga dimensi multibahasa, RAG dan penggunaan alat, Command R+ telah mencapai tahap GPT-4 turbo.

Tetapi dari segi kos input, harga Command R+ hanyalah 1/3 daripada GPT-4 turbo.

Dari segi kos keluaran, Command R+ ialah 1/2 daripada GPT-4 turbo.

Gambar

Inilah yang telah menarik perhatian ramai netizen:

Gambar

Walau bagaimanapun, walaupun penilaiannya masih memukau dalam beberapa model yang subjektif. melontarkan beberapa pandangan yang berbeza.

Pada HumanEval, keupayaan pengekodan Command R+ tidak mengalahkan GPT-3.5, masing-masing berada di kedudukan ke-32 dan ke-33 dalam dua set ujian.

Versi terkini GPT-4 turbo memenangi tempat pertama tanpa sebarang suspen.

Gambar

Selain itu, kami juga menguji secara ringkas kebolehan Cina Command R+ pada Penanda Aras Terencat Akal, yang baru-baru ini telah disenaraikan dalam kertas kerja yang serius.

Gambar

Bagaimana anda menilainya?

Perlu diingat bahawa sumber terbuka Command R+ hanya untuk penyelidikan akademik dan tidak percuma untuk kegunaan komersial.

One More Thing

Akhir sekali, mari bercakap lebih lanjut tentang lelaki pemotong gandum itu.

Aidan Gomez, anak bongsu Transformer Knights of the Round Table, baru bergelar sarjana ketika menyertai pasukan penyelidik -

Namun, dia menyertai makmal Hinton semasa dia masih muda di Universiti Toronto.

Pada 2018, Kao Maozi telah diterima masuk ke Universiti Oxford dan mula belajar untuk PhD dalam CS seperti rakan tesisnya.

Tetapi pada tahun 2019, dengan penubuhan Cohere, dia akhirnya memilih untuk berhenti sekolah dan menyertai gelombang keusahawanan AI.

Cohere terutamanya menyediakan penyelesaian model besar untuk perusahaan, dan penilaian semasanya telah mencecah AS$2.2 bilion.

Pautan rujukan:
[1]https://www.php.cn/link/3be14122a3c78d9070cae09a16adcbb1[2]https://www.php.cn/link/93fc5aed45c08ef

Atas ialah kandungan terperinci Model sumber terbuka memenangi GPT-4 buat kali pertama! Laporan pertempuran terbaru Arena telah mencetuskan perdebatan hangat, Karpathy: Ini adalah satu-satunya senarai yang saya percayai. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!