Meta melancarkan model bahasa AI LLaMA, model bahasa berskala besar dengan 65 bilion parameter

Menurut berita pada 25 Februari, Meta mengumumkan pada hari Jumaat waktu tempatan bahawa ia akan melancarkan model bahasa berskala besar baharu berdasarkan kecerdasan buatan (AI) untuk komuniti penyelidikan, secara perkongsian dengan Microsoft, Google dan syarikat lain yang dirangsang oleh ChatGPT telah menyertai pertandingan kecerdasan buatan.

LLaMA Meta ialah singkatan daripada "Large Language Model Meta AI" (Large Language Model Meta AI), yang tersedia di bawah lesen bukan komersial kepada penyelidik dan entiti dalam kerajaan, komuniti dan akademia.

Syarikat akan menyediakan kod asas untuk digunakan oleh pengguna, supaya mereka boleh menala model itu sendiri dan menggunakannya untuk kes penggunaan berkaitan penyelidikan. Meta berkata keperluan kuasa pengkomputeran model adalah "jauh lebih rendah."

Menurut laporan, syarikat sedang membangunkan LLaMA dengan berbilang parameter (7B, 13B, 33B dan 65B). Antaranya, LLaMA 65B dan LLaMA 33B telah dilatih menggunakan 1.4 trilion token, dan model terkecil LLaMA 7B juga telah dilatih menggunakan 1 trilion token.

Seperti model bahasa besar yang lain, LLaMA berfungsi dengan mengambil urutan perkataan sebagai "input" dan meramalkan perkataan seterusnya untuk menjana teks secara rekursif. Untuk set model ini, Meta memilih teks daripada 20 bahasa yang paling banyak dituturkan untuk latihan, memfokuskan pada Latin dan Cyrillic.

Sudah tentu, seperti model lain, LLaMA menghadapi cabaran berat sebelah, komen toksik dan halusinasi, dan Meta perlu melakukan lebih banyak penyelidikan untuk menangani kekurangan dalam model bahasa jenis ini.

Meta mengatakan bahawa LLaMA sebagai model asas direka bentuk untuk serba boleh dan boleh digunakan pada banyak kes penggunaan yang berbeza, dan bukannya model diperhalusi yang direka untuk tugas tertentu. Dengan sumber terbuka kod LLaMA, penyelidik lain boleh mencari cara baharu dengan lebih mudah untuk mengehadkan atau menghapuskan masalah ini. Meta juga menyediakan dalam artikel ini satu set kriteria penilaian penanda aras untuk menilai bias dan ketoksikan model untuk menunjukkan had model dan menyokong penyelidik dalam penyelidikan lanjut dalam bidang kritikal ini.

Perlu dinyatakan bahawa Meta juga melancarkan model bahasa besar OPT-175B pada Mei tahun lepas. Projek ini juga ditujukan kepada penyelidik, yang membentuk asas untuk lelaran baharu chatbot blenderbotnya.

Kemudian, syarikat itu turut melancarkan model yang dipanggil Galactica, yang dikatakan boleh menulis artikel saintifik dan menyelesaikan masalah matematik, tetapi versi demonya kemudian dialih keluar kerana Ia berulang kali menjana kandungan "berwibawa".

IT Home dengan pautan rasmi:

• ​​Pengenalan laman web rasmi​​
• ​​Github​ ​
• ​​Mohon untuk melawat LLaMA​​

Atas ialah kandungan terperinci Meta melancarkan model bahasa AI LLaMA, model bahasa berskala besar dengan 65 bilion parameter. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!