Olmo 2: Model Yayasan Sumber Terbuka Sepenuhnya

Model bahasa OLMO 2 AI2 adalah sumber terbuka sepenuhnya, menetapkan penanda aras baru untuk prestasi dan ketelusan dalam bidang model bahasa besar (LLMS). Model autoregressive ini mempunyai latihan yang dioptimumkan, campuran data inovatif, dan teknik penalaan arahan lanjutan. Mari kita menyelidiki butirannya.

"Semua orang mahu model bahasa sumber terbuka, tetapi tiada siapa yang mahu mengangkat berat keldai berat ini." - Nathan Lambert (@natolambert)

Tweet ini dengan sempurna merangkumi cabaran AI2 telah diatasi. Kertas "2 Olmo 2 Furious" mereka memperincikan kejayaan mereka.

Jadual Kandungan

• 2 Olmo 2 Furious: menyelam yang mendalam
• Ciri -ciri utama Olmo 2
  • Kestabilan latihan yang mantap
  • Campuran data yang dioptimumkan
  • Peningkatan seni bina
• Penambahbaikan selepas latihan
• Infrastruktur: Bahan utama
• Olmo 2 Benchmarked: Prestasi berbanding
• Mengalami Olmo 2
• Mengakses Olmo 2: Pautan Utama
• Kesimpulan

2 Olmo 2 Furious: menyelam yang mendalam

Olmo 2, yang terdapat dalam saiz parameter 7B dan 13B, membezakan dirinya melalui ketelusan lengkap. AI2 telah mengeluarkan data latihan, kod, resipi, dan juga pusat pemeriksaan pertengahan, memupuk kerjasama dan mempercepatkan penyelidikan. Model -model ini memberikan prestasi yang setanding dengan pemimpin industri seperti Llama 3.1 dan Qwen 2.5, tetapi dengan kecekapan yang lebih baik.

Kertas penyelidikan "2 Olmo 2 Furious" menyediakan butiran yang komprehensif.

Ciri -ciri utama Olmo 2

Kestabilan latihan yang mantap

Olmo 2 menangani ketidakstabilan latihan biasa (kehilangan pancang) menggunakan:

• Penambahbaikan data: Penapisan N-gram berlebihan.
• Inisialisasi yang lebih baik: Skim permulaan yang standard.
• Regularization: Menggunakan Z-loss untuk menstabilkan logit output.

Penambahbaikan ini membolehkan latihan yang lebih lancar dan pengendalian yang cekap bagi dataset yang lebih besar.

Campuran data yang dioptimumkan

Olmo 2 menggunakan pendekatan pretraining dua peringkat:

• Pretraining awal: Memanfaatkan 5 trilion token data web berkualiti tinggi.
• Peningkatan latihan pertengahan: Mengintegrasikan dataset khusus domain (matematik, batang), yang dicontohkan oleh dataset campuran Dolmino 1124.

Peningkatan seni bina

Senibina Olmo 2 menggabungkan:

• RMSNorm: Untuk normalisasi pengaktifan yang stabil.
• Norma lapisan semula: Meningkatkan kestabilan dengan menormalkan perhatian dan output lapisan feedforward.
• Pengekodan kedudukan resolusi tinggi: embeddings posisional berputar dengan resolusi yang meningkat.

Pilihan seni bina ini menyumbang kepada skalabiliti dan kecekapan.

Penambahbaikan selepas latihan

Olmo 2's selepas latihan memanfaatkan resipi Tülu 3, yang memberi tumpuan kepada:

• Penalaan halus (SFT) yang diselia: Arahan Penapisan-Mengikuti kebolehan.
• Pembelajaran Penguatkuasaan dengan Ganjaran yang dapat disahkan (RLVR): Mengoptimumkan prestasi pada tugas tertentu (matematik, penalaran faktual).

Ini menghasilkan model Olmo 2-instruct yang cemerlang dalam tanda aras seperti GSM8K dan MMLU.

Infrastruktur: Bahan utama

Infrastruktur Lanjutan AI2 sangat penting untuk kejayaan Olmo 2:

• Kelompok pengkomputeran berprestasi tinggi: Menggunakan GPU NVIDIA H100 di pelbagai pusat data.
• Pengurusan Beban Kerja Beaker: Untuk pengagihan dan pemantauan beban kerja yang cekap.

Infrastruktur yang mantap ini meminimumkan gangguan latihan dan memaksimumkan penggunaan sumber.

Olmo 2 Benchmarked: Prestasi berbanding

Olmo 2 sering mengatasi qwen 2.5 dan llama 3.1 pada tugas -tugas tertentu, terutamanya dengan kemasukan campuran Dolmino 1124. Ia juga menunjukkan kecekapan yang luar biasa, mencapai hasil yang setanding atau unggul dengan sehingga 20% lebih sedikit flop.

Mengalami Olmo 2

Akses model dan cuba sendiri! Arahan untuk kegunaan tempatan juga disediakan.

Mengakses Olmo 2: Pautan Utama

• Kertas: https://www.php.cn/link/cb14acf78723becd7023f4f56027cece
• Blog: https://www.php.cn/link/96b0548661234c39ac2a02872f8cfcb2
• Demo: https://www.php.cn/link/3eebaed369eb3ae36a90f310fc33638c
• Koleksi: https://www.php.cn/link/ae3b166c302150f4def9a8176fd36460

Kesimpulan

Olmo 2 mewakili kemajuan yang ketara dalam sumber terbuka AI, mengutamakan ketelusan dan inovasi. Dengan secara terbuka berkongsi sumbernya, AI2 memupuk kerjasama dan mempercepatkan kemajuan dalam bidang, memacu masa depan aplikasi AI.

Atas ialah kandungan terperinci Olmo 2: Model Yayasan Sumber Terbuka Sepenuhnya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!