


Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba
Llama 3 ada di sini!
Sebentar tadi, laman web rasmi Meta telah dikemas kini dan secara rasmi mengumumkan versi parameter Llama 3 8 bilion dan 70 bilion.
Dan pelancaran adalah sumber terbuka SOTA:
Data rasmi daripada Meta menunjukkan bahawa versi Llama 3 8B dan 70B mengatasi semua lawan dalam skala parameter masing-masing.
Model 8B mengatasi prestasi Gemma 7B dan Mistral 7B Arahan pada banyak penanda aras seperti MMLU, GPQA, HumanEval, dll.
Model 70B telah mengatasi Claude 3 Sonnet sumber tertutup yang popular, dan telah berulang-alik dengan Google Gemini Pro 1.5.
Sebaik sahaja pautan Huggingface keluar, komuniti sumber terbuka kembali teruja.
Pelajar buta yang bermata tajam juga menemui titik kecantikan serta-merta:
Meta malah menyembunyikan versi Llama 3 dengan 400 bilion parameter +, yang tidak lebih buruk daripada Opus super besar Claude 3!
Ketua Pegawai Eksekutif HyperWriteAI, seorang pemula pembantu penulisan AI, tidak dapat menahan nafas apabila dia melihat ini:
Kami memasuki dunia baharu, dunia di mana model tahap GPT-4 adalah sumber terbuka dan bebas. boleh diakses.
Saintis NVIDIA Jim Fan percaya bahawa Llama 3 400B, yang masih dalam latihan, akan menjadi titik permulaan untuk model besar sumber terbuka dan mengubah cara banyak penyelidikan akademik dan syarikat permulaan berkembang.
SOTA penuh, tetapi tingkap 8k
Maklumat teknikal yang lebih terperinci, Meta berikan dalam catatan blog.
Di peringkat seni bina, Llama 3 memilih seni bina Transformer penyahkod klasik sahaja, menggunakan pembahagian perkataan yang mengandungi perbendaharaan kata token 128K.
Melihat data latihan, skala data latihan Llama 3 telah mencapai 15T token, semuanya datang daripada maklumat awam, 5% daripadanya adalah data bukan bahasa Inggeris, meliputi lebih daripada 30 bahasa.
Llama 3 mempunyai 7 kali lebih banyak data latihan daripada Llama 2, dan mengandungi 4 kali lebih banyak kod daripada Llama 2.
Selain itu, untuk meningkatkan kecekapan penaakulan model Llama 3, Meta AI juga mengguna pakai mekanisme Perhatian Pertanyaan Kumpulan (GQA) untuk melatih model pada urutan 8192 token, dan menggunakan topeng untuk memastikan bahawa diri- perhatian tidak melepasi sempadan dokumen .
Hasilnya, sama ada versi 8B atau 70B, Llama 3 telah membuat lonjakan besar ke hadapan berbanding Llama 2 generasi sebelumnya dengan saiz yang sama.
Antara model skala parameter 8B dan 70B setakat ini, Llama 3 telah menjadi model SOTA baharu.
Dari segi bahasa (MMLU), pengetahuan (GPQA), pengaturcaraan (HumanEval), matematik (GSM-8K, MATH) dan keupayaan lain, Llama 3 hampir mendahului model lain dalam skala yang sama.
Selain set data biasa ini, Meta AI juga menilai prestasi Llama 3 dalam senario kehidupan sebenar dan membangunkan satu set set data ujian berkualiti tinggi untuk tujuan ini.
Set ujian ini mengandungi 1,800 keping data, meliputi 12 kes penggunaan utama seperti pengekodan, penaakulan, penulisan dan ringkasan, serta sulit kepada pasukan pembangunan.
Hasilnya, Llama 3 bukan sahaja mengatasi Llama 2 dengan ketara, malah turut mengalahkan model terkenal seperti Claude 3 Sonnet, Mistral Medium dan GPT-3.5.
Pada set data yang lebih tinggi dan lebih sukar seperti AGIEval, BIG-Bench dan ARC-Challenge, prestasi Llama 3 juga luar biasa.
Versi 8B mengatasi Mistral dan Gemma dalam tugasan ini, manakala versi 70B mengalahkan Gemini Pro dan Mixtral dengan seni bina MoE, masing-masing memenangi SOTA dengan saiz yang sepadan.
Namun, satu-satunya kelemahan ialah tetingkap konteks Llama 3 hanya 8k Berbanding dengan model besar semasa dengan berpuluh-puluh atau berjuta-juta tingkap, ia nampaknya masih tersangkut pada generasi sebelumnya (kepala anjing manual). .
Tetapi jangan terlalu risau Matt Shumer optimis tentang perkara ini. Beliau menyatakan kepercayaannya bahawa dengan usaha komuniti sumber terbuka, panjang tetingkap akan diperluaskan tidak lama lagi.
Llama mengalu-alukan versi web rasmi
Pada masa ini, versi asas dan Arahan bagi kedua-dua parameter Llama 3 tersedia di Hugging Face untuk dimuat turun.
Selain itu, platform perkhidmatan awan seperti Microsoft Azure, Google Cloud, Amazon AWS, dan NVIDIA NIM juga akan melancarkan Llama 3 satu demi satu.
Pada masa yang sama, Meta juga berkata bahawa Llama 3 akan disokong oleh platform perkakasan yang disediakan oleh Intel, Nvidia, AMD, Qualcomm dan pengeluar lain.
Perlu dinyatakan bahawa, dikeluarkan bersama model asas kali ini, terdapat juga versi Web rasmi berdasarkan Llama 3, yang dipanggil Meta AI.
Pada masa ini, platform mempunyai dua fungsi utama: dialog dan lukisan Jika anda hanya menggunakan dialog, anda tidak perlu mendaftar dan log masuk, dan ia boleh digunakan segera untuk menggunakan fungsi lukisan perlu log masuk ke akaun anda terlebih dahulu.
Walau bagaimanapun, platform pada masa ini tidak menyokong bahasa Cina, dan fungsi seperti muat naik teks masih belum dilancarkan.
Dari segi kod, platform juga boleh menjalankan beberapa program Python yang mudah, tetapi nampaknya ia hanya boleh mengeluarkan teks, dan tugas yang melibatkan lukisan tidak boleh dijalankan.
Secara amnya, versi web ini masih agak asas, tetapi anda juga boleh menantikan gelombang kemas kini berikutnya.
One More Thing
Sedikit insiden ialah sebenarnya, beberapa jam sebelum pengumuman rasmi Meta, pasaran Azure Microsoft telah pun mencuri berita versi Llama 3 8B Instruct.
Senarai harga Llama 3 pada platform pembelajaran mesin model sumber terbuka dalam talian Replicate juga segera ditarik keluar oleh netizen.
Tetapi tidak lama kemudian, "cerita cercaan" ini semuanya 404.
Nasib baik, kesilapan itu sudah selesai, dan pegawai tidak melengahkannya. Rakan-rakan yang mementingkan model besar sumber terbuka boleh mula mengelak.
参考链接:
[1]https://ai.meta.com/blog/meta-llama-3/。
[2]https://about.fb.com/news/2024 /04/meta-ai-assistant-built-with-llama-3/。
[3]https://huggingface.co/meta-llama/Meta-Llama-3-70B。
Atas ialah kandungan terperinci Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Gunakan kebanyakan editor teks untuk membuka fail XML; Jika anda memerlukan paparan pokok yang lebih intuitif, anda boleh menggunakan editor XML, seperti editor XML oksigen atau XMLSPY; Jika anda memproses data XML dalam program, anda perlu menggunakan bahasa pengaturcaraan (seperti Python) dan perpustakaan XML (seperti XML.Etree.ElementTree) untuk menghuraikan.

Tidak ada XML percuma yang mudah dan langsung ke alat PDF di mudah alih. Proses visualisasi data yang diperlukan melibatkan pemahaman dan rendering data yang kompleks, dan kebanyakan alat yang dipanggil "percuma" di pasaran mempunyai pengalaman yang buruk. Adalah disyorkan untuk menggunakan alat sampingan komputer atau menggunakan perkhidmatan awan, atau membangunkan aplikasi sendiri untuk mendapatkan kesan penukaran yang lebih dipercayai.

Permohonan yang menukarkan XML terus ke PDF tidak dapat dijumpai kerana mereka adalah dua format yang berbeza. XML digunakan untuk menyimpan data, manakala PDF digunakan untuk memaparkan dokumen. Untuk melengkapkan transformasi, anda boleh menggunakan bahasa pengaturcaraan dan perpustakaan seperti Python dan ReportLab untuk menghuraikan data XML dan menghasilkan dokumen PDF.

Mengubah kandungan XML memerlukan pengaturcaraan, kerana ia memerlukan penemuan tepat nod sasaran untuk menambah, memadam, mengubah suai dan menyemak. Bahasa pengaturcaraan mempunyai perpustakaan yang sepadan untuk memproses XML dan menyediakan API untuk melaksanakan operasi yang selamat, cekap dan terkawal seperti pangkalan data operasi.

Alat pemformatan XML boleh menaip kod mengikut peraturan untuk meningkatkan kebolehbacaan dan pemahaman. Apabila memilih alat, perhatikan keupayaan penyesuaian, pengendalian keadaan khas, prestasi dan kemudahan penggunaan. Jenis alat yang biasa digunakan termasuk alat dalam talian, pemalam IDE, dan alat baris arahan.

Pengindahan XML pada dasarnya meningkatkan kebolehbacaannya, termasuk lekukan yang munasabah, rehat garis dan organisasi tag. Prinsipnya adalah untuk melintasi pokok XML, tambah lekukan mengikut tahap, dan mengendalikan tag dan tag kosong yang mengandungi teks. Perpustakaan XML.Etree.ElementTree Python menyediakan fungsi Pretty_XML yang mudah yang dapat melaksanakan proses pengindahan di atas.

Tidak mustahil untuk menyelesaikan penukaran XML ke PDF secara langsung di telefon anda dengan satu aplikasi. Ia perlu menggunakan perkhidmatan awan, yang boleh dicapai melalui dua langkah: 1. Tukar XML ke PDF di awan, 2. Akses atau muat turun fail PDF yang ditukar pada telefon bimbit.

Ia tidak mudah untuk menukar XML ke PDF secara langsung pada telefon anda, tetapi ia boleh dicapai dengan bantuan perkhidmatan awan. Adalah disyorkan untuk menggunakan aplikasi mudah alih ringan untuk memuat naik fail XML dan menerima PDF yang dihasilkan, dan menukarnya dengan API awan. API awan menggunakan perkhidmatan pengkomputeran tanpa pelayan, dan memilih platform yang betul adalah penting. Kerumitan, pengendalian kesilapan, keselamatan, dan strategi pengoptimuman perlu dipertimbangkan ketika mengendalikan penjanaan XML dan penjanaan PDF. Seluruh proses memerlukan aplikasi front-end dan API back-end untuk bekerjasama, dan ia memerlukan pemahaman tentang pelbagai teknologi.
