Bagaimana LLMS Berfungsi: Pra-latihan ke Latihan Pasca, Rangkaian Neural, Hallucinations, dan Kesimpulan

Melancarkan sihir di belakang model bahasa besar (LLMS): Eksplorasi dua bahagian

Model bahasa yang besar (LLMs) sering kelihatan ajaib, tetapi kerja dalaman mereka menghairankan sistematik. Siri dua bahagian ini menafikan LLMS, menjelaskan pembinaan, latihan, dan penghalusan mereka ke dalam sistem AI yang kami gunakan hari ini. Diilhamkan oleh video YouTube yang berwawasan (dan panjang!) Andrej Karpathy, versi ini memberikan konsep teras dalam format yang lebih mudah diakses. Walaupun video Karpathy sangat disyorkan (800,000 paparan dalam hanya 10 hari!), Ini 10 minit membaca menyuling kunci utama dari 1.5 jam pertama.

bahagian 1: dari data mentah ke model asas

Pembangunan LLM melibatkan dua fasa penting: pra-latihan dan pasca latihan.

1. Pra-Latihan: Mengajar bahasa

Sebelum menghasilkan teks, LLM mesti belajar struktur bahasa. Proses pra-latihan intensif ini melibatkan beberapa langkah:

• Pengambilalihan data dan pra -proses: dataset besar -besaran, pelbagai dikumpulkan, sering termasuk sumber seperti Crawl Common (250 bilion halaman web). Walau bagaimanapun, data mentah memerlukan pembersihan untuk mengeluarkan spam, pendua, dan kandungan berkualiti rendah. Perkhidmatan seperti FineWeb menawarkan versi pra -diproses yang tersedia pada muka yang memeluk.

• tokenisasi: Teks ditukar menjadi token berangka (perkataan, subwords, atau aksara) untuk pemprosesan rangkaian saraf. GPT-4, sebagai contoh, menggunakan 100,277 token unik. Alat seperti Tiktokenizer menggambarkan proses ini.

Latihan Rangkaian Neural:
• Rangkaian saraf belajar untuk meramalkan token seterusnya dalam urutan berdasarkan konteks. Ini melibatkan berbilion lelaran, menyesuaikan parameter (berat) melalui backpropagation untuk meningkatkan ketepatan ramalan. Senibina rangkaian menentukan bagaimana token input diproses untuk menjana output.

Model asas yang dihasilkan

memahami hubungan perkataan dan corak statistik tetapi tidak mempunyai pengoptimuman tugas dunia nyata. Ia berfungsi seperti autocomplete lanjutan, meramalkan berdasarkan kebarangkalian tetapi dengan keupayaan pengajaran yang terhad. Pembelajaran dalam konteks, menggunakan contoh dalam arahan, boleh digunakan, tetapi latihan selanjutnya diperlukan.

2. Post-Training: Memperbaiki untuk kegunaan praktikal

Model asas ditapis melalui latihan pasca menggunakan dataset yang lebih kecil dan khusus. Ini bukan pengaturcaraan eksplisit tetapi arahan tersirat melalui contoh berstruktur.

Kaedah selepas latihan termasuk:

• Arahan/Perbualan Penalaan halus: Mengajar model untuk mengikuti arahan, terlibat dalam perbualan, mematuhi garis panduan keselamatan, dan menolak permintaan yang berbahaya (mis., InstructGpt).
• Penalaan halus khusus domain: menyesuaikan model untuk bidang tertentu (perubatan, undang-undang, pengaturcaraan).

token khas diperkenalkan untuk menggambarkan input pengguna dan respons AI.

Kesimpulan: Menjana teks

Kesimpulan, dilakukan di mana -mana peringkat, menilai pembelajaran model. Model ini memberikan kebarangkalian kepada potensi token dan sampel yang akan datang dari pengedaran ini, mewujudkan teks yang tidak jelas dalam data latihan tetapi secara statistik konsisten dengannya. Proses stokastik ini membolehkan output bervariasi dari input yang sama.

Hallucinations: Menangani Maklumat Salah

halusinasi, di mana LLM menghasilkan maklumat palsu, timbul dari sifat probabilistik mereka. Mereka tidak "tahu" fakta tetapi meramalkan urutan perkataan yang mungkin. Strategi mitigasi termasuk:

• "Saya tidak tahu" Latihan: Latihan model secara eksplisit untuk mengenali jurang pengetahuan melalui penjanaan soalan sendiri dan automatik.
• Integrasi carian web: Memperluas pengetahuan dengan mengakses alat carian luaran, memasukkan hasil ke dalam tetingkap konteks model.

LLMS mengakses pengetahuan melalui ingatan samar-samar (corak dari pra-latihan) dan memori kerja (maklumat dalam tetingkap konteks). Sistem arahan boleh mewujudkan identiti model yang konsisten.

Kesimpulan (Bahagian 1)

Bahagian ini meneroka aspek asas pembangunan LLM. Bahagian 2 akan menyelidiki pembelajaran tetulang dan mengkaji model canggih. Soalan dan cadangan anda dialu -alukan!

Atas ialah kandungan terperinci Bagaimana LLMS Berfungsi: Pra-latihan ke Latihan Pasca, Rangkaian Neural, Hallucinations, dan Kesimpulan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!