Pengenalan kepada Falcon 40b: Senibina, Data Latihan, dan Ciri

Artikel ini meneroka Falcon 40b, model bahasa besar sumber terbuka (LLM) yang dibangunkan oleh Institut Inovasi Teknologi (TII). Sebelum menyelam, pemahaman asas pembelajaran mesin dan pemprosesan bahasa semulajadi (NLP) disyorkan. Pertimbangkan trek kemahiran AI Fundamental kami untuk pengenalan yang komprehensif kepada konsep utama seperti ChatGPT, LLMS, dan AI Generatif.

Memahami Falcon 40b

Falcon 40b milik keluarga Falcon Tii LLMS, bersama Falcon 7b dan Falcon 180b. Sebagai model penyahkod penyebab hanya, ia cemerlang dalam pelbagai tugas generasi bahasa semula jadi. Keupayaan berbilang bahasa termasuk Bahasa Inggeris, Jerman, Sepanyol, dan Perancis, dengan sokongan separa untuk beberapa bahasa lain.

Senibina dan Latihan Model

Seni bina Falcon 40B, versi yang diubahsuai GPT-3, menggunakan embeddings kedudukan berputar dan mekanisme perhatian yang dipertingkatkan (perhatian multi-pertanyaan dan filleattention). Blok penyahkod menggunakan perhatian selari dan struktur MLP dengan skim normalisasi dua lapisan untuk kecekapan. Latihan melibatkan 1 trilion token dari RefinedWeb, korpus internet yang berkualiti tinggi, deduplikasi, dan menggunakan 384 A100 40GB GPU pada Sagemaker AWS.

Imej dari Falcon Blog

Ciri -ciri utama dan kelebihan

mekanisme perhatian multi-pertanyaan Falcon 40B meningkatkan skalabilitas kesimpulan tanpa memberi kesan yang ketara. Versi arahan (Falcon-7B-Instruct dan Falcon-40B-Instruct) juga disediakan, disesuaikan dengan prestasi yang lebih baik pada tugas-tugas gaya pembantu. Lesen Apache 2.0 membolehkan penggunaan komersil tanpa sekatan. Penanda aras di papan pendahulu OpenLLM menunjukkan Falcon 40b mengungguli model sumber terbuka lain seperti Llama, Stablelm, Redpajama, dan Mpt.

imej dari Leaderboard Open LLM

Bermula: Kesimpulan dan penalaan halus

Running Falcon 40b memerlukan sumber GPU yang penting. Walaupun kuantisasi 4-bit membolehkan pelaksanaan pada 40GB A100 GPU, Falcon 7B yang lebih kecil lebih sesuai untuk perkakasan gred pengguna, termasuk Google Colab. Contoh kod yang disediakan menunjukkan kesimpulan menggunakan kuantisasi 4-bit untuk Falcon 7B pada COLAB. Penalaan dengan QLORA dan jurulatih SFT juga dibincangkan, memanfaatkan perpustakaan TRL untuk penyesuaian yang cekap kepada dataset baru. Contohnya menggunakan dataset Guanaco.

falcon-180b: lompatan gergasi

Falcon-180b, dilatih pada token 3.5 trilion, melampaui prestasi Falcon 40b. Walau bagaimanapun, 180 bilion parameternya memerlukan sumber pengiraan yang besar (kira -kira 8xA100 80GB GPU) untuk kesimpulan. Pembebasan Falcon-180b-chat, disesuaikan dengan tugas perbualan, menawarkan alternatif yang lebih mudah. ​​

imej dari falcon-180b demo

Kesimpulan

Falcon 40b menawarkan pilihan LLM sumber terbuka yang menarik, mengimbangi prestasi dan aksesibiliti. Walaupun model penuh menuntut sumber yang penting, varian yang lebih kecil dan keupayaan penalaan yang baik menjadikannya alat yang berharga bagi penyelidik dan pemaju. Bagi mereka yang berminat untuk membina LLM mereka sendiri, saintis pembelajaran mesin dengan trek kerjaya Python adalah pertimbangan yang berbaloi.

Sumber Rasmi:

Halaman muka pelukan rasmi: Tiiuae (Institut Inovasi Teknologi)
Blog: The Falcon telah mendarat di Ecosystem Face Hugging
Leaderboard: Buka Leaderboard LLM
Kad Model: Tiiuae/Falcon-40b · Hugging Face
dataset: tiiuae/falcon-refinedweb

Atas ialah kandungan terperinci Pengenalan kepada Falcon 40b: Senibina, Data Latihan, dan Ciri. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!