


Dengan hampir separuh parameter, prestasinya hampir dengan Google Minerva, satu lagi model matematik besar ialah sumber terbuka
Kini, model bahasa yang dilatih pada pelbagai data campuran teks akan menunjukkan pemahaman bahasa yang sangat umum dan keupayaan penjanaan dan boleh digunakan sebagai model asas untuk menyesuaikan diri dengan pelbagai aplikasi. Aplikasi seperti dialog terbuka atau penjejakan arahan memerlukan prestasi seimbang merentasi keseluruhan pengedaran teks semula jadi dan oleh itu memilih model tujuan umum.
Tetapi jika anda ingin memaksimumkan prestasi dalam domain tertentu (seperti perubatan, kewangan atau sains), model bahasa khusus domain mungkin memberikan keupayaan yang lebih baik pada kos pengiraan tertentu, atau pada kos yang lebih tinggi kos pengiraan menyediakan tahap keupayaan tertentu.
Penyelidik dari Princeton University, EleutherAI dan yang lain telah melatih model bahasa khusus domain untuk menyelesaikan masalah matematik. Mereka percaya bahawa: pertama, menyelesaikan masalah matematik memerlukan padanan corak dengan sejumlah besar pengetahuan sedia ada profesional, jadi ia adalah persekitaran yang ideal untuk latihan penyesuaian domain kedua, penaakulan matematik itu sendiri adalah tugas utama AI; penaakulan matematik yang kukuh Model bahasa ialah huluan bagi banyak topik penyelidikan, seperti pemodelan ganjaran, pembelajaran peneguhan inferens dan penaakulan algoritma.
Oleh itu, mereka mencadangkan kaedah untuk menyesuaikan model bahasa kepada matematik melalui pra-latihan berterusan Proof-Pile-2. Proof-Pile-2 ialah gabungan teks dan kod berkaitan matematik. Menggunakan pendekatan ini pada Kod Llama menghasilkan LLEMMA: model bahasa asas untuk 7B dan 34B, dengan keupayaan matematik yang sangat dipertingkatkan.
Alamat kertas: https://arxiv.org/pdf/2310.10631.pdf
Alamat projek: https://github.com/EleutherAi Prestasi Matematik 4 pukulan 7B jauh melebihi prestasi Google Minerva 8B dan prestasi LLEMMA 34B adalah hampir dengan prestasi Minerva 62B dengan hampir separuh parameter.
Secara khusus, sumbangan artikel ini adalah seperti berikut:
1 Melatih dan mengeluarkan model LLEMMA: model bahasa 7B dan 34B khusus untuk matematik. Model LLEMMA ialah model terkini dalam model asas yang dikeluarkan secara umum di MATH.
- 2. AlgebraicStack yang dikeluarkan, set data yang mengandungi token kod 11B yang khusus berkaitan dengan matematik.
- 3. Menunjukkan bahawa LLEMMA mampu menyelesaikan masalah matematik menggunakan alat pengiraan, iaitu penterjemah Python dan prover teorem formal.
- 4. Tidak seperti model bahasa matematik sebelumnya (seperti Minerva), model LLEMMA bersifat terbuka. Para penyelidik membuat data latihan dan kod tersedia kepada orang ramai. Ini menjadikan LLEMMA sebagai platform untuk penyelidikan masa depan dalam penaakulan matematik.
- Gambaran Keseluruhan Kaedah
LLEMMA ialah model bahasa 70B dan 34B yang digunakan khusus dalam matematik. Ia diperoleh dengan meneruskan pra-latihan kod Llama pada Proof-Pile-2.
DATA: Proof-Pile-2
Para penyelidik mencipta Proof-Pile-Pile-2, yang mengandungi data Proof-Pile-2, yang mengandungi data saintifik 55, yang mengandungi Proof-Pile-2, yang mengandungi data saintifik A55 kod matematik. Tarikh akhir pengetahuan untuk Proof-Pile-2 ialah April 2023, kecuali untuk subset proofsteps Lean.
Para penyelidik menggunakan OpenWebMath, set data token 15B yang terdiri daripada halaman web berkualiti tinggi, ditapis untuk kandungan matematik. OpenWebMath menapis halaman web CommonCrawl berdasarkan kata kunci berkaitan matematik dan markah matematik berasaskan pengelas, mengekalkan pemformatan matematik (cth., LATEX, AsciiMath), dan termasuk penapis kualiti tambahan (cth., plexity, domain, length) dan hampir-duplikasi. Selain itu, penyelidik juga menggunakan subset ArXiv bagi RedPajama, yang merupakan paparan terbuka set data latihan LLaMA. Subset ArXiv mengandungi 29B ketulan. Campuran latihan terdiri daripada sejumlah kecil data domain umum dan bertindak sebagai penyelaras. Memandangkan set data pra-latihan untuk LLaMA 2 belum lagi tersedia secara terbuka, penyelidik menggunakan Pile sebagai set data latihan alternatif. Model dan latihan Setiap model dimulakan daripada Kod Llama, yang seterusnya dimulakan daripada Llama 2, menggunakan struktur pengubah dekonder sahaja, dengan token kod 500B Diperbuat daripada latihan. Para penyelidik terus melatih model Code Llama pada Proof-Pile-2 menggunakan objektif pemodelan bahasa autoregresif standard. Di sini, model LLEMMA 7B mempunyai token 200B dan model LLEMMA 34B mempunyai token 50B. Para penyelidik menggunakan perpustakaan GPT-NeoX untuk melatih dua model di atas dengan ketepatan campuran bfloat16 pada 256 A100 40GB GPU. Mereka menggunakan selari tensor dengan saiz dunia 2 untuk LLEMMA-7B dan selari tensor dengan saiz dunia 8 untuk 34B, serta keadaan pengoptimum serpihan Peringkat ZeRO 1 merentas replika selari data. Flash Attention 2 juga digunakan untuk meningkatkan daya pengeluaran dan seterusnya mengurangkan keperluan memori. LLEMMA 7B telah dilatih untuk 42,000 langkah, dengan saiz kelompok global sebanyak 4 juta token dan panjang konteks sebanyak 4096 token. Ini bersamaan dengan 23,000 A100 jam. Kadar pembelajaran meningkat sehingga 1·10^−4 selepas 500 langkah dan kemudian pereputan kosinus kepada 1/30 daripada kadar pembelajaran maksimum selepas 48,000 langkah. LLEMMA 34B telah dilatih untuk 12,000 langkah, saiz kelompok global juga ialah 4 juta token, dan panjang konteks ialah 4096. Ini bersamaan dengan 47,000 A100 jam. Kadar pembelajaran menjadi panas sehingga 5·10^−5 selepas 500 langkah, dan kemudian mereput kepada 1/30 daripada kadar pembelajaran puncak. Di bahagian eksperimen, penyelidik bertujuan untuk menilai sama ada LLEMMA boleh digunakan sebagai model asas untuk teks matematik. Mereka menggunakan penilaian beberapa pukulan untuk membandingkan model LLEMMA dan menumpukan terutamanya pada model SOTA yang tidak diperhalusi pada sampel tugasan matematik yang diselia. Para penyelidik mula-mula menggunakan penaakulan rantaian pemikiran dan kaedah undian majoriti untuk menilai keupayaan LLEMMA untuk menyelesaikan masalah matematik. Penanda aras penilaian termasuk MATH dan GSM8k. Kemudian terokai penggunaan alat beberapa pukulan dan pembuktian teorem. Akhirnya, kesan memori dan percampuran data dikaji. Selesaikan masalah matematik menggunakan Chains of Thoughts (CoT) Tugas ini termasuk menjana jawapan tekstual bebas kepada soalan yang diwakili dalam LATEX atau bahasa semula jadi tanpa memerlukan alat luaran. Penanda aras penilaian yang digunakan oleh penyelidik termasuk MATH, GSM8k, OCWCourses, SAT dan MMLU-STEM. Hasilnya ditunjukkan dalam Jadual 1 di bawah pra-latihan berterusan LLEMMA pada korpus Proof-Pile-2 telah meningkatkan prestasi beberapa sampel pada 5 penanda aras matematik Antaranya, LLEMMA 34B telah meningkat sebanyak 20 mata pada GSM8k daripada mata peratusan Kod Llama, 13 mata peratusan lebih tinggi daripada Kod Llama pada MATH. Pada masa yang sama LLEMMA 7B mengatasi prestasi model Minerva proprietari. Oleh itu, penyelidik membuat kesimpulan bahawa pra-latihan berterusan pada Proof-Pile-2 dapat membantu meningkatkan keupayaan model pra-latihan untuk menyelesaikan masalah matematik. Gunakan alatan untuk menyelesaikan masalah matematik Tugas ini termasuk menggunakan alat pengiraan untuk menyelesaikan masalah. Penanda aras penilaian yang digunakan oleh penyelidik termasuk MATH+Python dan GSM8k+Python. Keputusan ditunjukkan dalam Jadual 3 di bawah, LLEMMA mengatasi Kod Llama pada kedua-dua tugas. Prestasi pada MATH dan GSM8k menggunakan kedua-dua alatan juga lebih baik daripada tanpa alatan. Matematik Formal #🎜🎜 #Proof-Pile-2 set data AlgebraicStack memegang 1.5 bilion token data matematik formal, termasuk bukti rasmi yang diekstrak daripada Lean dan Isabelle. Walaupun kajian penuh matematik formal berada di luar skop artikel ini, kami menilai prestasi beberapa pukulan LLEMMA pada dua tugasan berikut. Tidak rasmi kepada tugas pembuktian rasmi, iaitu, diberi tugas pembuktian rasmi Dalam kes proposisi LATEX tidak rasmi dan bukti LATEX tidak rasmi, hasilkan bukti rasmi ) untuk membuktikan proposisi formal. Keputusan ditunjukkan dalam Jadual 4 di bawah pra-latihan berterusan LLEMMA pada Proof-Pile-2 meningkatkan prestasi beberapa sampel pada dua tugas pembuktian teorem formal. Kesan pencampuran data #🎜🎜 model latihan bahasa , pendekatan yang biasa adalah untuk upsample subset berkualiti tinggi data latihan berdasarkan berat campuran. Para penyelidik memilih pemberat adunan dengan melakukan latihan singkat pada beberapa pemberat adunan yang dipilih dengan teliti. Pemberat pencampuran kemudiannya dipilih yang meminimumkan kebingungan pada set teks yang dipegang berkualiti tinggi (di sini set latihan MATH telah digunakan).
Untuk butiran teknikal dan keputusan penilaian, sila rujuk kepada kertas asal . Hasil penilaian
Atas ialah kandungan terperinci Dengan hampir separuh parameter, prestasinya hampir dengan Google Minerva, satu lagi model matematik besar ialah sumber terbuka. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Apa? Adakah Zootopia dibawa menjadi realiti oleh AI domestik? Didedahkan bersama-sama dengan video itu ialah model penjanaan video domestik berskala besar baharu yang dipanggil "Keling". Sora menggunakan laluan teknikal yang serupa dan menggabungkan beberapa inovasi teknologi yang dibangunkan sendiri untuk menghasilkan video yang bukan sahaja mempunyai pergerakan yang besar dan munasabah, tetapi juga mensimulasikan ciri-ciri dunia fizikal dan mempunyai keupayaan gabungan konsep dan imaginasi yang kuat. Mengikut data, Keling menyokong penjanaan video ultra panjang sehingga 2 minit pada 30fps, dengan resolusi sehingga 1080p dan menyokong berbilang nisbah aspek. Satu lagi perkara penting ialah Keling bukanlah demo atau demonstrasi hasil video yang dikeluarkan oleh makmal, tetapi aplikasi peringkat produk yang dilancarkan oleh Kuaishou, pemain terkemuka dalam bidang video pendek. Selain itu, tumpuan utama adalah untuk menjadi pragmatik, bukan untuk menulis cek kosong, dan pergi ke dalam talian sebaik sahaja ia dikeluarkan Model besar Ke Ling telah pun dikeluarkan di Kuaiying.

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,
