Jadual Kandungan
SOTA penuh, tetapi tingkap 8k
Llama mengalu-alukan versi web rasmi
One More Thing
Rumah Peranti teknologi AI Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Apr 19, 2024 pm 12:43 PM
python meta program python

Llama 3 ada di sini!

Sebentar tadi, laman web rasmi Meta telah dikemas kini dan secara rasmi mengumumkan versi parameter Llama 3 8 bilion dan 70 bilion.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Dan pelancaran adalah sumber terbuka SOTA:

Data rasmi daripada Meta menunjukkan bahawa versi Llama 3 8B dan 70B mengatasi semua lawan dalam skala parameter masing-masing.

Model 8B mengatasi prestasi Gemma 7B dan Mistral 7B Arahan pada banyak penanda aras seperti MMLU, GPQA, HumanEval, dll.

Model 70B telah mengatasi Claude 3 Sonnet sumber tertutup yang popular, dan telah berulang-alik dengan Google Gemini Pro 1.5.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Sebaik sahaja pautan Huggingface keluar, komuniti sumber terbuka kembali teruja.

Pelajar buta yang bermata tajam juga menemui titik kecantikan serta-merta:

Meta malah menyembunyikan versi Llama 3 dengan 400 bilion parameter +, yang tidak lebih buruk daripada Opus super besar Claude 3!

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Ketua Pegawai Eksekutif HyperWriteAI, seorang pemula pembantu penulisan AI, tidak dapat menahan nafas apabila dia melihat ini:

Kami memasuki dunia baharu, dunia di mana model tahap GPT-4 adalah sumber terbuka dan bebas. boleh diakses.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Saintis NVIDIA Jim Fan percaya bahawa Llama 3 400B, yang masih dalam latihan, akan menjadi titik permulaan untuk model besar sumber terbuka dan mengubah cara banyak penyelidikan akademik dan syarikat permulaan berkembang.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

SOTA penuh, tetapi tingkap 8k

Maklumat teknikal yang lebih terperinci, Meta berikan dalam catatan blog.

Di peringkat seni bina, Llama 3 memilih seni bina Transformer penyahkod klasik sahaja, menggunakan pembahagian perkataan yang mengandungi perbendaharaan kata token 128K.

Melihat data latihan, skala data latihan Llama 3 telah mencapai 15T token, semuanya datang daripada maklumat awam, 5% daripadanya adalah data bukan bahasa Inggeris, meliputi lebih daripada 30 bahasa.

Llama 3 mempunyai 7 kali lebih banyak data latihan daripada Llama 2, dan mengandungi 4 kali lebih banyak kod daripada Llama 2.

Selain itu, untuk meningkatkan kecekapan penaakulan model Llama 3, Meta AI juga mengguna pakai mekanisme Perhatian Pertanyaan Kumpulan (GQA) untuk melatih model pada urutan 8192 token, dan menggunakan topeng untuk memastikan bahawa diri- perhatian tidak melepasi sempadan dokumen .

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Hasilnya, sama ada versi 8B atau 70B, Llama 3 telah membuat lonjakan besar ke hadapan berbanding Llama 2 generasi sebelumnya dengan saiz yang sama.

Antara model skala parameter 8B dan 70B setakat ini, Llama 3 telah menjadi model SOTA baharu.

Dari segi bahasa (MMLU), pengetahuan (GPQA), pengaturcaraan (HumanEval), matematik (GSM-8K, MATH) dan keupayaan lain, Llama 3 hampir mendahului model lain dalam skala yang sama.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Selain set data biasa ini, Meta AI juga menilai prestasi Llama 3 dalam senario kehidupan sebenar dan membangunkan satu set set data ujian berkualiti tinggi untuk tujuan ini.

Set ujian ini mengandungi 1,800 keping data, meliputi 12 kes penggunaan utama seperti pengekodan, penaakulan, penulisan dan ringkasan, serta sulit kepada pasukan pembangunan.

Hasilnya, Llama 3 bukan sahaja mengatasi Llama 2 dengan ketara, malah turut mengalahkan model terkenal seperti Claude 3 Sonnet, Mistral Medium dan GPT-3.5.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Pada set data yang lebih tinggi dan lebih sukar seperti AGIEval, BIG-Bench dan ARC-Challenge, prestasi Llama 3 juga luar biasa.

Versi 8B mengatasi Mistral dan Gemma dalam tugasan ini, manakala versi 70B mengalahkan Gemini Pro dan Mixtral dengan seni bina MoE, masing-masing memenangi SOTA dengan saiz yang sepadan.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Namun, satu-satunya kelemahan ialah tetingkap konteks Llama 3 hanya 8k Berbanding dengan model besar semasa dengan berpuluh-puluh atau berjuta-juta tingkap, ia nampaknya masih tersangkut pada generasi sebelumnya (kepala anjing manual). .

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Tetapi jangan terlalu risau Matt Shumer optimis tentang perkara ini. Beliau menyatakan kepercayaannya bahawa dengan usaha komuniti sumber terbuka, panjang tetingkap akan diperluaskan tidak lama lagi.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Llama mengalu-alukan versi web rasmi

Pada masa ini, versi asas dan Arahan bagi kedua-dua parameter Llama 3 tersedia di Hugging Face untuk dimuat turun.

Selain itu, platform perkhidmatan awan seperti Microsoft Azure, Google Cloud, Amazon AWS, dan NVIDIA NIM juga akan melancarkan Llama 3 satu demi satu.

Pada masa yang sama, Meta juga berkata bahawa Llama 3 akan disokong oleh platform perkakasan yang disediakan oleh Intel, Nvidia, AMD, Qualcomm dan pengeluar lain.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Perlu dinyatakan bahawa, dikeluarkan bersama model asas kali ini, terdapat juga versi Web rasmi berdasarkan Llama 3, yang dipanggil Meta AI.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Pada masa ini, platform mempunyai dua fungsi utama: dialog dan lukisan Jika anda hanya menggunakan dialog, anda tidak perlu mendaftar dan log masuk, dan ia boleh digunakan segera untuk menggunakan fungsi lukisan perlu log masuk ke akaun anda terlebih dahulu.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Walau bagaimanapun, platform pada masa ini tidak menyokong bahasa Cina, dan fungsi seperti muat naik teks masih belum dilancarkan.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Dari segi kod, platform juga boleh menjalankan beberapa program Python yang mudah, tetapi nampaknya ia hanya boleh mengeluarkan teks, dan tugas yang melibatkan lukisan tidak boleh dijalankan.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Secara amnya, versi web ini masih agak asas, tetapi anda juga boleh menantikan gelombang kemas kini berikutnya.

One More Thing

Sedikit insiden ialah sebenarnya, beberapa jam sebelum pengumuman rasmi Meta, pasaran Azure Microsoft telah pun mencuri berita versi Llama 3 8B Instruct.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Senarai harga Llama 3 pada platform pembelajaran mesin model sumber terbuka dalam talian Replicate juga segera ditarik keluar oleh netizen.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba

Tetapi tidak lama kemudian, "cerita cercaan" ini semuanya 404.

Nasib baik, kesilapan itu sudah selesai, dan pegawai tidak melengahkannya. Rakan-rakan yang mementingkan model besar sumber terbuka boleh mula mengelak.

Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba


参考链接:
[1]https://ai.meta.com/blog/meta-llama-3/。
[2]https://about.fb.com/news/2024 /04/meta-ai-assistant-built-with-llama-3/。
[3]https://huggingface.co/meta-llama/Meta-Llama-3-70B。

Atas ialah kandungan terperinci Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Cara Membuka Format XML Cara Membuka Format XML Apr 02, 2025 pm 09:00 PM

Gunakan kebanyakan editor teks untuk membuka fail XML; Jika anda memerlukan paparan pokok yang lebih intuitif, anda boleh menggunakan editor XML, seperti editor XML oksigen atau XMLSPY; Jika anda memproses data XML dalam program, anda perlu menggunakan bahasa pengaturcaraan (seperti Python) dan perpustakaan XML (seperti XML.Etree.ElementTree) untuk menghuraikan.

Adakah terdapat XML percuma untuk alat PDF untuk telefon bimbit? Adakah terdapat XML percuma untuk alat PDF untuk telefon bimbit? Apr 02, 2025 pm 09:12 PM

Tidak ada XML percuma yang mudah dan langsung ke alat PDF di mudah alih. Proses visualisasi data yang diperlukan melibatkan pemahaman dan rendering data yang kompleks, dan kebanyakan alat yang dipanggil "percuma" di pasaran mempunyai pengalaman yang buruk. Adalah disyorkan untuk menggunakan alat sampingan komputer atau menggunakan perkhidmatan awan, atau membangunkan aplikasi sendiri untuk mendapatkan kesan penukaran yang lebih dipercayai.

Adakah terdapat aplikasi mudah alih yang boleh menukar XML ke PDF? Adakah terdapat aplikasi mudah alih yang boleh menukar XML ke PDF? Apr 02, 2025 pm 08:54 PM

Permohonan yang menukarkan XML terus ke PDF tidak dapat dijumpai kerana mereka adalah dua format yang berbeza. XML digunakan untuk menyimpan data, manakala PDF digunakan untuk memaparkan dokumen. Untuk melengkapkan transformasi, anda boleh menggunakan bahasa pengaturcaraan dan perpustakaan seperti Python dan ReportLab untuk menghuraikan data XML dan menghasilkan dokumen PDF.

Adakah pengubahsuaian XML memerlukan pengaturcaraan? Adakah pengubahsuaian XML memerlukan pengaturcaraan? Apr 02, 2025 pm 06:51 PM

Mengubah kandungan XML memerlukan pengaturcaraan, kerana ia memerlukan penemuan tepat nod sasaran untuk menambah, memadam, mengubah suai dan menyemak. Bahasa pengaturcaraan mempunyai perpustakaan yang sepadan untuk memproses XML dan menyediakan API untuk melaksanakan operasi yang selamat, cekap dan terkawal seperti pangkalan data operasi.

Alat pemformatan XML yang disyorkan Alat pemformatan XML yang disyorkan Apr 02, 2025 pm 09:03 PM

Alat pemformatan XML boleh menaip kod mengikut peraturan untuk meningkatkan kebolehbacaan dan pemahaman. Apabila memilih alat, perhatikan keupayaan penyesuaian, pengendalian keadaan khas, prestasi dan kemudahan penggunaan. Jenis alat yang biasa digunakan termasuk alat dalam talian, pemalam IDE, dan alat baris arahan.

Cara Mencantikkan Format XML Cara Mencantikkan Format XML Apr 02, 2025 pm 09:57 PM

Pengindahan XML pada dasarnya meningkatkan kebolehbacaannya, termasuk lekukan yang munasabah, rehat garis dan organisasi tag. Prinsipnya adalah untuk melintasi pokok XML, tambah lekukan mengikut tahap, dan mengendalikan tag dan tag kosong yang mengandungi teks. Perpustakaan XML.Etree.ElementTree Python menyediakan fungsi Pretty_XML yang mudah yang dapat melaksanakan proses pengindahan di atas.

Bagaimana cara menukar fail XML ke PDF di telefon anda? Bagaimana cara menukar fail XML ke PDF di telefon anda? Apr 02, 2025 pm 10:12 PM

Tidak mustahil untuk menyelesaikan penukaran XML ke PDF secara langsung di telefon anda dengan satu aplikasi. Ia perlu menggunakan perkhidmatan awan, yang boleh dicapai melalui dua langkah: 1. Tukar XML ke PDF di awan, 2. Akses atau muat turun fail PDF yang ditukar pada telefon bimbit.

Bagaimana cara menukar XML ke PDF di telefon anda? Bagaimana cara menukar XML ke PDF di telefon anda? Apr 02, 2025 pm 10:18 PM

Ia tidak mudah untuk menukar XML ke PDF secara langsung pada telefon anda, tetapi ia boleh dicapai dengan bantuan perkhidmatan awan. Adalah disyorkan untuk menggunakan aplikasi mudah alih ringan untuk memuat naik fail XML dan menerima PDF yang dihasilkan, dan menukarnya dengan API awan. API awan menggunakan perkhidmatan pengkomputeran tanpa pelayan, dan memilih platform yang betul adalah penting. Kerumitan, pengendalian kesilapan, keselamatan, dan strategi pengoptimuman perlu dipertimbangkan ketika mengendalikan penjanaan XML dan penjanaan PDF. Seluruh proses memerlukan aplikasi front-end dan API back-end untuk bekerjasama, dan ia memerlukan pemahaman tentang pelbagai teknologi.

See all articles