Penalaan Google Gemma: Meningkatkan LLM dengan arahan yang disesuaikan

Google Deepmind's Gemma: menyelam mendalam ke dalam sumber terbuka LLMS

Landskap AI berdengung dengan aktiviti, terutamanya mengenai model bahasa besar sumber terbuka (LLMS). Gergasi teknologi seperti Google, Meta, dan Twitter semakin memeluk pembangunan sumber terbuka. Google DeepMind baru-baru ini melancarkan Gemma, sebuah keluarga LLMs yang ringan, sumber terbuka yang dibina menggunakan penyelidikan dan teknologi yang sama seperti model Gemini Google. Artikel ini meneroka model GEMMA, kebolehcapaian mereka melalui GPU Cloud dan TPU, dan menyediakan panduan langkah demi langkah untuk menyempurnakan model GEMMA 7B-IT pada dataset peranan.

Memahami Gemma Google

Gemma (yang bermaksud "batu berharga" dalam bahasa Latin) adalah keluarga model decoder-only, teks-ke-teks yang dibangunkan terutamanya oleh Google Deepmind. Diilhamkan oleh model Gemini, Gemma direka untuk operasi ringan dan keserasian rangka kerja yang luas. Google telah mengeluarkan berat model untuk dua saiz Gemma: 2b dan 7b, masing-masing boleh didapati dalam varian pra-terlatih dan pengajaran (mis., Gemma 2b-it dan Gemma 7b-it). Prestasi Gemma menyaingi model terbuka yang lain, terutamanya melebihi Llama-2 Meta di pelbagai tanda aras LLM.

Sumber Imej

kepelbagaian Gemma meliputi sokongannya untuk pelbagai kerangka (Keras 3.0, Pytorch, Jax, Transformers Face Hugging) dan perkakasan yang pelbagai (komputer riba, desktop, peranti IoT, mudah alih, dan awan). Kesimpulan dan Penyelidikan Fine-Tuning (SFT) boleh dilakukan pada TPU awan percuma menggunakan kerangka pembelajaran mesin popular. Selain itu, Google menyediakan toolkit AI generatif yang bertanggungjawab bersama Gemma, menawarkan bimbingan dan alat pemaju untuk membuat aplikasi AI yang lebih selamat. Pemula di AI dan LLMs digalakkan untuk meneroka trek kemahiran Fundamental AI untuk pengetahuan asas.

Mengakses Model Gemma Google

Mengakses Gemma adalah mudah. Akses percuma boleh didapati melalui Huggingchat dan Poe. Penggunaan tempatan juga mungkin dengan memuat turun berat model dari memeluk muka dan menggunakan gpt4All atau lmstudio. Panduan ini memberi tumpuan kepada menggunakan GPU dan TPU percuma Kaggle untuk kesimpulan.

Running Gemma Inference pada TPU

Untuk menjalankan kesimpulan Gemma pada TPU menggunakan keras, ikuti langkah -langkah ini:

1. Navigasi ke Keras/Gemma, pilih varian model "Gemma_instruct_2b_en", dan klik "Notebook Baru."
Di panel kanan, pilih "TPU VM V3-8" sebagai pemecut.
Pasang perpustakaan python yang diperlukan:

!pip install -q tensorflow-cpu
!pip install -q -U keras-nlp tensorflow-hub
!pip install -q -U keras>=3
!pip install -q -U tensorflow-text

Sahkan ketersediaan TPU menggunakan
4. . jax.devices()
set
5. sebagai backend keras: jax os.environ["KERAS_BACKEND"] = "jax"
Muatkan model menggunakan
6. dan menghasilkan teks menggunakan fungsi keras_nlp. generate

Sumber Imej

Running Gemma Inference on GPU

Untuk kesimpulan GPU menggunakan transformer, ikuti langkah -langkah ini:

Navigasi ke Google/Gemma, pilih "Transformers," pilih varian "7b-it", dan buat buku nota baru.
Pilih GPT T4 X2 sebagai pemecut.
Pasang pakej yang diperlukan:

%%capture
%pip install -U bitsandbytes
%pip install -U transformers
%pip install -U accelerate

Muatkan model menggunakan kuantisasi 4-bit dengan bitsandbytes untuk pengurusan VRAM.
Muatkan tokenizer.
5. 3

Sumber Imej

Fine-Tuning Gemma Google: Panduan Langkah demi Langkah

Bahagian ini butiran halus-penalaan Gemma 7b-it pada dataset

menggunakan Kaggle P100 GPU.

Menyediakan hieunguyenminh/roleplay

Pasang pakej yang diperlukan:

Import Perpustakaan yang diperlukan.

%%capture 
%pip install -U bitsandbytes 
%pip install -U transformers 
%pip install -U peft 
%pip install -U accelerate 
%pip install -U trl
%pip install -U datasets

Tentukan pembolehubah untuk model asas, dataset, dan nama model halus.
Log masuk untuk memeluk Face CLI menggunakan kekunci API anda.
Inisialisasi Berat & Bias (W & B) Ruang Kerja.
5. Memuatkan dataset

Muatkan 1000 baris pertama dataset peranan.

Memuatkan model dan tokenizer

Muatkan model Gemma 7B-It menggunakan ketepatan 4-bit dengan Bitsandbytes. Muatkan tokenizer dan konfigurasikan token pad.

Menambah lapisan penyesuai

Tambahkan lapisan penyesuai LORA untuk menyempurnakan model dengan cekap.

Latihan model

Tentukan hujah latihan (hyperparameters) dan buat sfttrainer. Melatih model menggunakan

.

Menyimpan model .train()

Simpan model yang disesuaikan secara tempatan dan tolaknya ke hab muka yang memeluk.

kesimpulan model

menjana respons menggunakan model yang halus.

kesimpulan Gemma 7b dengan penyesuai permainan peranan

Bahagian ini menunjukkan cara memuatkan model asas dan penyesuai terlatih, menggabungkannya, dan menghasilkan respons.

Pemikiran Akhir

Pelepasan Google Gemma menandakan peralihan ke arah kerjasama sumber terbuka di AI. Tutorial ini menyediakan panduan yang komprehensif untuk menggunakan model Gemma dan penalaan yang baik, yang menonjolkan kuasa pembangunan sumber terbuka dan sumber pengkomputeran awan. Langkah seterusnya ialah membina aplikasi berasaskan LLM anda sendiri menggunakan rangka kerja seperti Langchain.

Atas ialah kandungan terperinci Penalaan Google Gemma: Meningkatkan LLM dengan arahan yang disesuaikan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!