


Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba
Llama 3 ada di sini!
Sebentar tadi, laman web rasmi Meta telah dikemas kini dan secara rasmi mengumumkan versi parameter Llama 3 8 bilion dan 70 bilion.
Dan pelancaran adalah sumber terbuka SOTA:
Data rasmi daripada Meta menunjukkan bahawa versi Llama 3 8B dan 70B mengatasi semua lawan dalam skala parameter masing-masing.
Model 8B mengatasi prestasi Gemma 7B dan Mistral 7B Arahan pada banyak penanda aras seperti MMLU, GPQA, HumanEval, dll.
Model 70B telah mengatasi Claude 3 Sonnet sumber tertutup yang popular, dan telah berulang-alik dengan Google Gemini Pro 1.5.
Sebaik sahaja pautan Huggingface keluar, komuniti sumber terbuka kembali teruja.
Pelajar buta yang bermata tajam juga menemui titik kecantikan serta-merta:
Meta malah menyembunyikan versi Llama 3 dengan 400 bilion parameter +, yang tidak lebih buruk daripada Opus super besar Claude 3!
Ketua Pegawai Eksekutif HyperWriteAI, seorang pemula pembantu penulisan AI, tidak dapat menahan nafas apabila dia melihat ini:
Kami memasuki dunia baharu, dunia di mana model tahap GPT-4 adalah sumber terbuka dan bebas. boleh diakses.
Saintis NVIDIA Jim Fan percaya bahawa Llama 3 400B, yang masih dalam latihan, akan menjadi titik permulaan untuk model besar sumber terbuka dan mengubah cara banyak penyelidikan akademik dan syarikat permulaan berkembang.
SOTA penuh, tetapi tingkap 8k
Maklumat teknikal yang lebih terperinci, Meta berikan dalam catatan blog.
Di peringkat seni bina, Llama 3 memilih seni bina Transformer penyahkod klasik sahaja, menggunakan pembahagian perkataan yang mengandungi perbendaharaan kata token 128K.
Melihat data latihan, skala data latihan Llama 3 telah mencapai 15T token, semuanya datang daripada maklumat awam, 5% daripadanya adalah data bukan bahasa Inggeris, meliputi lebih daripada 30 bahasa.
Llama 3 mempunyai 7 kali lebih banyak data latihan daripada Llama 2, dan mengandungi 4 kali lebih banyak kod daripada Llama 2.
Selain itu, untuk meningkatkan kecekapan penaakulan model Llama 3, Meta AI juga mengguna pakai mekanisme Perhatian Pertanyaan Kumpulan (GQA) untuk melatih model pada urutan 8192 token, dan menggunakan topeng untuk memastikan bahawa diri- perhatian tidak melepasi sempadan dokumen .
Hasilnya, sama ada versi 8B atau 70B, Llama 3 telah membuat lonjakan besar ke hadapan berbanding Llama 2 generasi sebelumnya dengan saiz yang sama.
Antara model skala parameter 8B dan 70B setakat ini, Llama 3 telah menjadi model SOTA baharu.
Dari segi bahasa (MMLU), pengetahuan (GPQA), pengaturcaraan (HumanEval), matematik (GSM-8K, MATH) dan keupayaan lain, Llama 3 hampir mendahului model lain dalam skala yang sama.
Selain set data biasa ini, Meta AI juga menilai prestasi Llama 3 dalam senario kehidupan sebenar dan membangunkan satu set set data ujian berkualiti tinggi untuk tujuan ini.
Set ujian ini mengandungi 1,800 keping data, meliputi 12 kes penggunaan utama seperti pengekodan, penaakulan, penulisan dan ringkasan, serta sulit kepada pasukan pembangunan.
Hasilnya, Llama 3 bukan sahaja mengatasi Llama 2 dengan ketara, malah turut mengalahkan model terkenal seperti Claude 3 Sonnet, Mistral Medium dan GPT-3.5.
Pada set data yang lebih tinggi dan lebih sukar seperti AGIEval, BIG-Bench dan ARC-Challenge, prestasi Llama 3 juga luar biasa.
Versi 8B mengatasi Mistral dan Gemma dalam tugasan ini, manakala versi 70B mengalahkan Gemini Pro dan Mixtral dengan seni bina MoE, masing-masing memenangi SOTA dengan saiz yang sepadan.
Namun, satu-satunya kelemahan ialah tetingkap konteks Llama 3 hanya 8k Berbanding dengan model besar semasa dengan berpuluh-puluh atau berjuta-juta tingkap, ia nampaknya masih tersangkut pada generasi sebelumnya (kepala anjing manual). .
Tetapi jangan terlalu risau Matt Shumer optimis tentang perkara ini. Beliau menyatakan kepercayaannya bahawa dengan usaha komuniti sumber terbuka, panjang tetingkap akan diperluaskan tidak lama lagi.
Llama mengalu-alukan versi web rasmi
Pada masa ini, versi asas dan Arahan bagi kedua-dua parameter Llama 3 tersedia di Hugging Face untuk dimuat turun.
Selain itu, platform perkhidmatan awan seperti Microsoft Azure, Google Cloud, Amazon AWS, dan NVIDIA NIM juga akan melancarkan Llama 3 satu demi satu.
Pada masa yang sama, Meta juga berkata bahawa Llama 3 akan disokong oleh platform perkakasan yang disediakan oleh Intel, Nvidia, AMD, Qualcomm dan pengeluar lain.
Perlu dinyatakan bahawa, dikeluarkan bersama model asas kali ini, terdapat juga versi Web rasmi berdasarkan Llama 3, yang dipanggil Meta AI.
Pada masa ini, platform mempunyai dua fungsi utama: dialog dan lukisan Jika anda hanya menggunakan dialog, anda tidak perlu mendaftar dan log masuk, dan ia boleh digunakan segera untuk menggunakan fungsi lukisan perlu log masuk ke akaun anda terlebih dahulu.
Walau bagaimanapun, platform pada masa ini tidak menyokong bahasa Cina, dan fungsi seperti muat naik teks masih belum dilancarkan.
Dari segi kod, platform juga boleh menjalankan beberapa program Python yang mudah, tetapi nampaknya ia hanya boleh mengeluarkan teks, dan tugas yang melibatkan lukisan tidak boleh dijalankan.
Secara amnya, versi web ini masih agak asas, tetapi anda juga boleh menantikan gelombang kemas kini berikutnya.
One More Thing
Sedikit insiden ialah sebenarnya, beberapa jam sebelum pengumuman rasmi Meta, pasaran Azure Microsoft telah pun mencuri berita versi Llama 3 8B Instruct.
Senarai harga Llama 3 pada platform pembelajaran mesin model sumber terbuka dalam talian Replicate juga segera ditarik keluar oleh netizen.
Tetapi tidak lama kemudian, "cerita cercaan" ini semuanya 404.
Nasib baik, kesilapan itu sudah selesai, dan pegawai tidak melengahkannya. Rakan-rakan yang mementingkan model besar sumber terbuka boleh mula mengelak.
参考链接:
[1]https://ai.meta.com/blog/meta-llama-3/。
[2]https://about.fb.com/news/2024 /04/meta-ai-assistant-built-with-llama-3/。
[3]https://huggingface.co/meta-llama/Meta-Llama-3-70B。
Atas ialah kandungan terperinci Llama3 datang secara tiba-tiba! Komuniti sumber terbuka sedang mendidih lagi: era akses percuma kepada model peringkat GPT4 telah tiba. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

PHP terutamanya pengaturcaraan prosedur, tetapi juga menyokong pengaturcaraan berorientasikan objek (OOP); Python menyokong pelbagai paradigma, termasuk pengaturcaraan OOP, fungsional dan prosedur. PHP sesuai untuk pembangunan web, dan Python sesuai untuk pelbagai aplikasi seperti analisis data dan pembelajaran mesin.

PHP sesuai untuk pembangunan web dan prototaip pesat, dan Python sesuai untuk sains data dan pembelajaran mesin. 1.Php digunakan untuk pembangunan web dinamik, dengan sintaks mudah dan sesuai untuk pembangunan pesat. 2. Python mempunyai sintaks ringkas, sesuai untuk pelbagai bidang, dan mempunyai ekosistem perpustakaan yang kuat.

Python lebih sesuai untuk pemula, dengan lengkung pembelajaran yang lancar dan sintaks ringkas; JavaScript sesuai untuk pembangunan front-end, dengan lengkung pembelajaran yang curam dan sintaks yang fleksibel. 1. Sintaks Python adalah intuitif dan sesuai untuk sains data dan pembangunan back-end. 2. JavaScript adalah fleksibel dan digunakan secara meluas dalam pengaturcaraan depan dan pelayan.

Sambungan kod VS menimbulkan risiko yang berniat jahat, seperti menyembunyikan kod jahat, mengeksploitasi kelemahan, dan melancap sebagai sambungan yang sah. Kaedah untuk mengenal pasti sambungan yang berniat jahat termasuk: memeriksa penerbit, membaca komen, memeriksa kod, dan memasang dengan berhati -hati. Langkah -langkah keselamatan juga termasuk: kesedaran keselamatan, tabiat yang baik, kemas kini tetap dan perisian antivirus.

Kod VS boleh digunakan untuk menulis Python dan menyediakan banyak ciri yang menjadikannya alat yang ideal untuk membangunkan aplikasi python. Ia membolehkan pengguna untuk: memasang sambungan python untuk mendapatkan fungsi seperti penyempurnaan kod, penonjolan sintaks, dan debugging. Gunakan debugger untuk mengesan kod langkah demi langkah, cari dan selesaikan kesilapan. Mengintegrasikan Git untuk Kawalan Versi. Gunakan alat pemformatan kod untuk mengekalkan konsistensi kod. Gunakan alat linting untuk melihat masalah yang berpotensi lebih awal.

Kod VS boleh dijalankan pada Windows 8, tetapi pengalaman mungkin tidak hebat. Mula -mula pastikan sistem telah dikemas kini ke patch terkini, kemudian muat turun pakej pemasangan kod VS yang sepadan dengan seni bina sistem dan pasangnya seperti yang diminta. Selepas pemasangan, sedar bahawa beberapa sambungan mungkin tidak sesuai dengan Windows 8 dan perlu mencari sambungan alternatif atau menggunakan sistem Windows yang lebih baru dalam mesin maya. Pasang sambungan yang diperlukan untuk memeriksa sama ada ia berfungsi dengan betul. Walaupun kod VS boleh dilaksanakan pada Windows 8, disyorkan untuk menaik taraf ke sistem Windows yang lebih baru untuk pengalaman dan keselamatan pembangunan yang lebih baik.

Dalam kod VS, anda boleh menjalankan program di terminal melalui langkah -langkah berikut: Sediakan kod dan buka terminal bersepadu untuk memastikan bahawa direktori kod selaras dengan direktori kerja terminal. Pilih arahan Run mengikut bahasa pengaturcaraan (seperti python python your_file_name.py) untuk memeriksa sama ada ia berjalan dengan jayanya dan menyelesaikan kesilapan. Gunakan debugger untuk meningkatkan kecekapan debug.

PHP berasal pada tahun 1994 dan dibangunkan oleh Rasmuslerdorf. Ia pada asalnya digunakan untuk mengesan pelawat laman web dan secara beransur-ansur berkembang menjadi bahasa skrip sisi pelayan dan digunakan secara meluas dalam pembangunan web. Python telah dibangunkan oleh Guidovan Rossum pada akhir 1980 -an dan pertama kali dikeluarkan pada tahun 1991. Ia menekankan kebolehbacaan dan kesederhanaan kod, dan sesuai untuk pengkomputeran saintifik, analisis data dan bidang lain.
