Meta Memperkenalkan Teknik Ramalan Berbilang Token, Berpotensi Merevolusikan Pembangunan Model Bahasa Besar

Meta telah melepaskan cabaran dalam perlumbaan untuk kecerdasan buatan yang lebih cekap. Gergasi teknologi itu mengeluarkan model pra-latihan pada hari Rabu yang memanfaatkan pendekatan ramalan pelbagai token baru, yang berpotensi mengubah cara model bahasa besar (LLM) dibangunkan dan digunakan.

Meta memperkenalkan model pra-latihan pada hari Rabu yang memanfaatkan pendekatan ramalan berbilang token baru, berpotensi mengubah cara model bahasa besar (LLM) dibangunkan dan digunakan.

Tawaran terbaharu gergasi teknologi itu datang susulan kertas kerja terbaru yang diterbitkan oleh penyelidik Meta, yang menggariskan kaedah latihan baharu untuk LLM yang memanfaatkan ramalan berbilang token. Dalam usaha untuk memacu lagi penyelidikan dalam domain ini, Meta kini telah mengeluarkan model terlatih untuk pelengkapan kod, memanfaatkan pendekatan ini pada Memeluk Wajah.

Teknik ini menandakan perlepasan daripada pendekatan tradisional melatih LLM untuk meramalkan perkataan seterusnya sahaja. dalam urutan. Sebaliknya, kaedah Meta menugaskan model dengan meramalkan beberapa perkataan masa hadapan secara serentak, menjanjikan prestasi yang dipertingkatkan dan masa latihan yang dikurangkan secara drastik. Memandangkan model AI terus berkembang dari segi saiz dan kerumitan, selera mereka yang rakus untuk kuasa pengiraan telah menimbulkan kebimbangan tentang kos dan kesan alam sekitar. Kaedah ramalan berbilang token Meta mungkin menawarkan cara untuk mengekang aliran ini, menjadikan AI termaju lebih mudah diakses dan mampan.

Mendemokrasikan AI: Janji dan bahaya model bahasa yang cekap

Potensi pendekatan baharu ini menjangkaui keuntungan kecekapan semata-mata. Dengan meramalkan berbilang token sekaligus, model ini boleh membangunkan pemahaman yang lebih bernuansa tentang struktur dan konteks bahasa. Ini boleh membawa kepada penambahbaikan dalam tugasan daripada penjanaan kod kepada penulisan kreatif, yang berpotensi merapatkan jurang antara AI dan pemahaman bahasa peringkat manusia.

Undur ke VB Transform 2024

Sertai pemimpin perusahaan di San Francisco dari 9 hingga 11 Julai untuk kami acara AI perdana. Berhubung dengan rakan sebaya, terokai peluang dan cabaran Generative AI, dan pelajari cara mengintegrasikan aplikasi AI ke dalam industri anda. Daftar Sekarang

Atas ialah kandungan terperinci Meta Memperkenalkan Teknik Ramalan Berbilang Token, Berpotensi Merevolusikan Pembangunan Model Bahasa Besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!