Rumah Peranti teknologi AI Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?

Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?

Apr 10, 2024 pm 03:13 PM
data Model

Berapa banyak pengetahuan manusia yang boleh disimpan oleh model bahasa skala 7B LLM? Bagaimana untuk mengukur nilai ini? Bagaimanakah perbezaan dalam masa latihan dan seni bina model akan mempengaruhi nilai ini? Apakah kesan pengkuantitian mampatan titik terapung, model pakar campuran MoE dan perbezaan kualiti data (pengetahuan ensiklopedia vs. sampah Internet) terhadap kapasiti pengetahuan LLM?

Penyelidikan terkini "Fizik Model Bahasa Bahagian 3.3: Menskala Undang-undang Pengetahuan" oleh Zhu Zeyuan (Meta AI) dan Li Yuanzhi (MBZUAI) menggunakan eksperimen besar-besaran (50,000 tugasan, sejumlah 4,200,000 jam GPU) , iaitu Kapasiti pengetahuan LLM di bawah fail yang berbeza menyediakan kaedah pengukuran yang lebih tepat.

Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?

Pengarang pertama kali menegaskan bahawa adalah tidak realistik untuk mengukur undang-undang penskalaan LLM dengan prestasi model sumber terbuka pada set data penanda aras (penanda aras). Sebagai contoh, LLaMA-70B berprestasi 30% lebih baik daripada LLaMA-7B pada set data pengetahuan Ini tidak bermakna mengembangkan model sebanyak 10 kali hanya boleh meningkatkan kapasiti sebanyak 30%. Jika model dilatih menggunakan data rangkaian, sukar juga untuk menganggarkan jumlah pengetahuan yang terkandung di dalamnya.

Untuk contoh lain, apabila kita membandingkan kualiti model Mistral dan Llama, adakah perbezaan itu disebabkan oleh seni bina model mereka yang berbeza, atau adakah ia disebabkan oleh penyediaan data latihan mereka yang berbeza?

Berdasarkan pertimbangan di atas, penulis mengguna pakai idea teras siri kertas "Fizik Model Bahasa" mereka, iaitu untuk mencipta data yang disintesis secara buatan dan mengawal ketat bit pengetahuan dalam data dengan mengawal jumlah dan jenis pengetahuan dalam data). Pada masa yang sama, pengarang menggunakan LLM dengan saiz dan seni bina yang berbeza untuk melatih data sintetik, dan memberikan takrifan matematik untuk mengira dengan tepat berapa banyak bit pengetahuan yang telah dipelajari oleh model terlatih daripada data tersebut. .

Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?

Untuk kajian ini, sesetengah orang mengatakan bahawa arah ini kelihatan munasabah. Kita boleh menganalisis undang-undang skala dengan cara yang sangat saintifik.
  • Sesetengah orang juga percaya bahawa penyelidikan ini membawa undang-undang skala ke tahap yang berbeza. Sudah tentu kertas kerja yang mesti dibaca oleh pengamal.
Gambaran Keseluruhan Penyelidikan

Pengarang mengkaji tiga jenis data sintetik: bioS, bioR, bioD. bioS ialah biografi yang ditulis menggunakan templat bahasa Inggeris, bioR ialah biografi yang ditulis dengan bantuan model LlaMA2 (jumlah 22GB), dan bioD ialah data pengetahuan maya yang boleh mengawal lebih lanjut butiran (contohnya, panjang dan perbendaharaan kata pengetahuan boleh dikawal Tunggu butiran). Pengarang

memfokuskan pada seni bina model bahasa berdasarkan GPT2, LlaMA dan Mistral, antaranya GPT2 menggunakan teknologi Rotary Position Embedding (RoPE) yang dikemas kiniAdakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?.

Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?Gambar kiri menunjukkan undang-undang skala dengan masa latihan yang mencukupi, dan gambar kanan menunjukkan undang-undang skala dengan masa latihan yang tidak mencukupi

Gambar 1 di atas secara ringkas menggariskan 5 undang-undang pertama, di mana dicadangkan oleh pengarang kiri/kanan masing-masing sepadan dengan "latihan" Kedua-dua situasi "masa yang mencukupi" dan "masa latihan yang tidak mencukupi" masing-masing sepadan dengan pengetahuan umum (contohnya, ibu negara China ialah Beijing) dan kurang pengetahuan umum (contohnya, Jabatan Fizik Universiti Tsinghua telah ditubuhkan pada tahun 1926).

Sekiranya masa latihan mencukupi, penulis mendapati tidak kira seni bina model mana yang digunakan, GPT2 atau LlaMA/Mistral, kecekapan penyimpanan model boleh mencapai 2bit/param - iaitu setiap parameter model boleh menyimpan 2 sedikit maklumat secara purata. Ini tiada kaitan dengan kedalaman model, hanya saiz model. Dalam erti kata lain, model 7B, jika dilatih dengan secukupnya, boleh menyimpan 14B bit pengetahuan, yang lebih daripada pengetahuan manusia dalam Wikipedia dan semua buku teks bahasa Inggeris digabungkan!

Apa yang lebih mengejutkan ialah walaupun teori tradisional percaya bahawa pengetahuan dalam model transformer terutamanya disimpan dalam lapisan MLP, kajian penulis menyangkal pandangan ini. Mereka mendapati bahawa walaupun semua lapisan MLP dialih keluar, model itu masih boleh mencapai 2bit/ Kecekapan penyimpanan param.

Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?

Rajah 2: Menskala undang-undang di bawah masa latihan yang tidak mencukupi

Walau bagaimanapun, apabila kita melihat kes masa latihan yang tidak mencukupi, perbezaan antara model menjadi jelas. Seperti yang ditunjukkan dalam Rajah 2 di atas, dalam kes ini, model GPT2 boleh menyimpan lebih daripada 30% lebih pengetahuan daripada LlaMA/Mistral, yang bermaksud bahawa model dari beberapa tahun lalu mengatasi model hari ini dalam beberapa aspek Kenapa ini terjadi? Pengarang membuat pelarasan seni bina pada model LlaMA, menambah atau menolak setiap perbezaan antara model dan GPT2, dan akhirnya mendapati bahawa GatedMLP menyebabkan kerugian 30%.

Untuk menekankan, GatedMLP tidak menyebabkan perubahan dalam kadar storan "akhir" model - kerana Rajah 1 memberitahu kita bahawa mereka tidak akan berbeza jika latihan mencukupi. Walau bagaimanapun, GatedMLP akan membawa kepada latihan yang tidak stabil, jadi pengetahuan yang sama memerlukan masa latihan yang lebih lama, dengan kata lain, untuk pengetahuan yang jarang muncul dalam set latihan, kecekapan penyimpanan model akan berkurangan. . 3 di atas. Satu keputusan ialah memampatkan model terlatih daripada float32/16 kepada int8 tidak mempunyai kesan ke atas storan pengetahuan, walaupun untuk model yang telah mencapai had storan 2bit/param.

Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?Ini bermakna LLM boleh mencapai 1/4 daripada "had teori maklumat" - kerana parameter int8 hanya 8 bit, tetapi secara purata setiap parameter boleh menyimpan 2 bit pengetahuan. Penulis menegaskan bahawa ini adalah undang-undang sejagat dan tidak ada kaitan dengan bentuk ungkapan pengetahuan.

Hasil yang paling menarik datang daripada undang-undang pengarang 10-12 (lihat Rajah 4). Jika data (pra-) latihan kami, 1/8 datang daripada pangkalan pengetahuan berkualiti tinggi (seperti Ensiklopedia Baidu), dan 7/8 datang daripada data berkualiti rendah (seperti rangkak biasa atau perbualan forum, atau malah sampah rawak sepenuhnya data).

Jadi,

adakah data berkualiti rendah menjejaskan penyerapan pengetahuan berkualiti tinggi LLM

? Hasilnya mengejutkan. Walaupun masa latihan untuk data berkualiti tinggi kekal konsisten, "kewujudan sendiri" data berkualiti rendah mungkin mengurangkan penyimpanan pengetahuan berkualiti tinggi model sebanyak 20 kali! Walaupun masa latihan pada data berkualiti tinggi dilanjutkan sebanyak 3 kali, rizab pengetahuan masih akan dikurangkan sebanyak 3 kali. Ini seperti membuang emas ke dalam pasir, dan data berkualiti tinggi dibazirkan.

Adakah ada cara untuk memperbaikinya? Penulis mencadangkan strategi yang mudah tetapi sangat berkesan, yang hanya menambah token nama domain tapak web anda sendiri pada semua data latihan (pra). Contohnya, tambahkan semua data Wikipedia pada wikipedia.org. Model ini tidak memerlukan sebarang pengetahuan terdahulu untuk mengenal pasti tapak web mana yang mempunyai pengetahuan "emas", tetapi boleh secara automatik menemui tapak web dengan pengetahuan berkualiti tinggi semasa proses pra-latihan, dan

secara automatik

mengosongkan ruang storan untuk kualiti tinggi ini data . Pengarang mencadangkan percubaan mudah untuk mengesahkan: jika data berkualiti tinggi ditambah dengan token khas (sebarang token khas akan berjaya, model tidak perlu mengetahui token mana itu terlebih dahulu), maka pengetahuan model storan boleh meningkat dengan serta-merta 10 kali ganda, bukankah ia menakjubkan? Oleh itu, menambah token nama domain pada data pra-latihan ialah operasi penyediaan data yang sangat penting. . model dilatih Kaedah jumlah pengetahuan yang diperoleh dalam proses boleh menyediakan sistem pemarkahan yang sistematik dan tepat untuk "menilai seni bina model, kaedah latihan dan penyediaan data". Ini berbeza sama sekali daripada perbandingan penanda aras tradisional dan lebih dipercayai. Mereka berharap ini akan membantu pereka LLM masa hadapan membuat keputusan yang lebih termaklum.

Atas ialah kandungan terperinci Adakah seni bina Llama lebih rendah daripada GPT2? Token ajaib meningkatkan ingatan 10 kali ganda?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Cara Membuka Segala -galanya Di Myrise
3 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Sumber terbuka! Di luar ZoeDepth! DepthFM: Anggaran kedalaman monokular yang cepat dan tepat! Apr 03, 2024 pm 12:04 PM

0. Apakah fungsi artikel ini? Kami mencadangkan DepthFM: model anggaran kedalaman monokular generatif yang serba boleh dan pantas. Sebagai tambahan kepada tugas anggaran kedalaman tradisional, DepthFM juga menunjukkan keupayaan terkini dalam tugas hiliran seperti mengecat kedalaman. DepthFM cekap dan boleh mensintesis peta kedalaman dalam beberapa langkah inferens. Mari kita baca karya ini bersama-sama ~ 1. Tajuk maklumat kertas: DepthFM: FastMonocularDepthEstimationwithFlowMatching Pengarang: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan Kelajuan Internet Data Selular Perlahan pada iPhone: Pembetulan May 03, 2024 pm 09:01 PM

Menghadapi ketinggalan, sambungan data mudah alih perlahan pada iPhone? Biasanya, kekuatan internet selular pada telefon anda bergantung pada beberapa faktor seperti rantau, jenis rangkaian selular, jenis perayauan, dsb. Terdapat beberapa perkara yang boleh anda lakukan untuk mendapatkan sambungan Internet selular yang lebih pantas dan boleh dipercayai. Betulkan 1 – Paksa Mulakan Semula iPhone Kadangkala, paksa memulakan semula peranti anda hanya menetapkan semula banyak perkara, termasuk sambungan selular. Langkah 1 – Hanya tekan kekunci naikkan kelantangan sekali dan lepaskan. Seterusnya, tekan kekunci Turun Kelantangan dan lepaskannya semula. Langkah 2 - Bahagian seterusnya proses adalah untuk menahan butang di sebelah kanan. Biarkan iPhone selesai dimulakan semula. Dayakan data selular dan semak kelajuan rangkaian. Semak semula Betulkan 2 – Tukar mod data Walaupun 5G menawarkan kelajuan rangkaian yang lebih baik, ia berfungsi lebih baik apabila isyarat lemah

Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Daya hidup kecerdasan super membangkitkan! Tetapi dengan kedatangan AI yang mengemas kini sendiri, ibu tidak perlu lagi bimbang tentang kesesakan data Apr 29, 2024 pm 06:55 PM

Saya menangis hingga mati. Dunia sedang membina model besar. Data di Internet tidak mencukupi. Model latihan kelihatan seperti "The Hunger Games", dan penyelidik AI di seluruh dunia bimbang tentang cara memberi makan data ini kepada pemakan yang rakus. Masalah ini amat ketara dalam tugas berbilang modal. Pada masa mereka mengalami kerugian, pasukan pemula dari Jabatan Universiti Renmin China menggunakan model baharu mereka sendiri untuk menjadi yang pertama di China untuk menjadikan "suapan data yang dijana model itu sendiri" menjadi kenyataan. Selain itu, ia merupakan pendekatan serampang dua mata dari segi pemahaman dan sisi penjanaan Kedua-dua pihak boleh menjana data baharu berbilang modal yang berkualiti tinggi dan memberikan maklum balas data kepada model itu sendiri. Apakah model? Awaker 1.0, model berbilang modal besar yang baru sahaja muncul di Forum Zhongguancun. Siapa pasukan itu? Enjin Sophon. Diasaskan oleh Gao Yizhao, pelajar kedoktoran di Sekolah Kecerdasan Buatan Hillhouse Universiti Renmin.

Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. Tentera Udara A.S. mempamerkan jet pejuang AI pertamanya dengan profil tinggi! Menteri secara peribadi menjalankan pandu uji tanpa campur tangan semasa keseluruhan proses, dan 100,000 baris kod telah diuji selama 21 kali. May 07, 2024 pm 05:00 PM

Baru-baru ini, bulatan tentera telah terharu dengan berita: jet pejuang tentera AS kini boleh melengkapkan pertempuran udara automatik sepenuhnya menggunakan AI. Ya, baru-baru ini, jet pejuang AI tentera AS telah didedahkan buat pertama kali, mendedahkan misterinya. Nama penuh pesawat pejuang ini ialah Variable Stability Simulator Test Aircraft (VISTA). Ia diterbangkan sendiri oleh Setiausaha Tentera Udara AS untuk mensimulasikan pertempuran udara satu lawan satu. Pada 2 Mei, Setiausaha Tentera Udara A.S. Frank Kendall berlepas menggunakan X-62AVISTA di Pangkalan Tentera Udara Edwards Ambil perhatian bahawa semasa penerbangan selama satu jam, semua tindakan penerbangan telah diselesaikan secara autonomi oleh AI! Kendall berkata - "Sejak beberapa dekad yang lalu, kami telah memikirkan tentang potensi tanpa had pertempuran udara-ke-udara autonomi, tetapi ia sentiasa kelihatan di luar jangkauan." Namun kini,

See all articles