Powerhouse Bilingual ExaOne 3.5 menetapkan piawaian AI baru

LG AI Research melancarkan EXAOne 3.5: Model bahasa besar yang kuat dan berbilang bahasa. Peralihan terbaru ini menawarkan keupayaan dan kebolehcapaian AI yang dipertingkatkan, yang dikeluarkan pada Disember 2024. EXAOne 3.5 menawarkan tiga saiz model yang berbeza: 2.4 bilion, 7.8 bilion, dan 32 bilion parameter, masing -masing dioptimumkan untuk permintaan prestasi yang berbeza -dari aplikasi mudah alih ke tugas -tugas yang komputasi secara intensif. Penguasaan dwibahasa dalam bahasa Inggeris dan Korea, digabungkan dengan pengajaran yang lebih baik-berikut dan pemahaman konteks panjang, meletakkannya sebagai alat serba boleh merentasi pelbagai sektor.

Mata Pembelajaran Utama

memahami pilihan seni bina dan reka bentuk di belakang ExaOne 3.5, termasuk model pengubah decoder sahaja dan keupayaan konteks lanjutan.
meneroka kekuatan dwibahasa (Bahasa Inggeris dan Korea) dan kebolehsuaiannya untuk persekitaran berbilang bahasa.
Memahami proses latihan dua peringkatnya, menonjolkan bagaimana penalaan penalaan menyempurnakan pengajaran-pengikut dan pemahaman konteks panjang.
Ketahui mengenai metodologi latihan lanjutan seperti dekontaminasi data dan pengoptimuman keutamaan langsung (DPO).
Menganalisis prestasi EXAONE 3.5 merentasi pelbagai aplikasi dunia nyata, pemprosesan konteks panjang, dan tugas domain umum.

*Artikel ini adalah sebahagian daripada Blogathon Sains Data *** . Jadual Kandungan

bagaimana fungsi LLMS berasaskan pemikiran?

ExaOne 3.5 Model Architecture

• Inovasi Senibina di ExaOne 3.5
• Memahami Pengoptimuman Keutamaan Langsung (DPO)
• proses dekontaminasi data
• Penanda aras prestasi
• menjalankan EXAOne 3.5 (model parameter 7 bilion) di Google Colab melalui Ollama
• ujian model dengan pelbagai arahan
• contoh aplikasi dunia sebenar
• Kesimpulan
• Soalan Lazim
bagaimana fungsi LLMS berasaskan pemikiran?
LLM berasaskan pemikiran, seperti EXAOne 3.5, cemerlang pada tugas-tugas kompleks yang memerlukan penalaran logik, penyelesaian masalah, dan pengiktirafan corak. Dibina pada rangkaian berasaskan pengubah canggih, mereka dengan cekap mengendalikan data berurutan dan konteks yang luas. Dilatih dalam dataset besar -besaran, mereka mengenal pasti hubungan dalam maklumat, menghasilkan respons yang tepat, menyelesaikan masalah, dan tepat mengikuti arahan.

Teknik seperti yang diselia dengan baik (SFT) dan pengoptimuman keutamaan langsung (DPO) memperbaiki keupayaan penalaran seperti manusia di pelbagai aplikasi, dari mudah hingga membuat keputusan yang kompleks.

ExaOne 3.5 Model Architecture

EXAONE 3.5 menggunakan seni bina pengubah decoder sahaja, standard dalam reka bentuk LLM moden yang dikenali untuk kecekapannya dalam memproses data berurutan. Senibina ini dioptimumkan untuk arahan-mengikuti, memastikan pemahaman dan pelaksanaan perintah pengguna yang berkesan. Spesifikasi utama di tiga variannya (2.4b, 7.8b, dan parameter 32B) adalah:

• panjang konteks maksimum : 32,768 token
• Lapisan : 32
• dimensi feedforward : 14,336

Inovasi Senibina di ExaOne 3.5

EXAONE 3.5 menggabungkan penambahbaikan seni bina yang signifikan, meningkatkan pemprosesan konteksnya yang panjang dan memastikan output yang sejajar dengan pengguna yang tepat. Inovasi ini mentakrifkan semula kecekapan dan piawaian prestasi di LLMS.

• Panjang konteks yang dilanjutkan : panjang konteks maksimum yang meningkat (32,768 token) membolehkan pemprosesan teks yang lebih besar tanpa mengorbankan koheren.
• Latihan dua peringkat: EXAOne 3.5 menggunakan proses latihan dua peringkat: latihan domain umum diikuti oleh penalaan yang khusus untuk pemahaman konteks panjang. Pra-latihan menghilangkan pendua dan maklumat yang dapat dikenal pasti secara peribadi, meningkatkan prestasi dan mengurangkan kos infrastruktur. Post-latihan, SFT dan DPO meningkatkan arahan berikut dan penjajaran keutamaan pengguna. Proses dekontaminasi:
• Proses dekontaminasi yang ketat menghapuskan data yang berat sebelah dari set latihan, memastikan penilaian yang tidak berat sebelah. Ini melibatkan perbandingan berulang data latihan dengan dataset penilaian.
Memahami Pengoptimuman Keutamaan Langsung (DPO)

DPO adalah algoritma novel untuk LLM penalaan halus dengan secara langsung menyelaraskan mereka dengan keutamaan manusia, melangkaui kerumitan pembelajaran pengukuhan tradisional. Tidak seperti RLHF, yang memerlukan pemodelan ganjaran yang rumit, DPO memudahkan proses menggunakan kehilangan klasifikasi mudah untuk mengoptimumkan tindak balas model berdasarkan keutamaan pengguna. Ini menghasilkan latihan yang stabil, cekap, dan komputasi ringan. Perhatikan bahawa DPO memerlukan dataset keutamaan yang mengandungi tiga kali ganda (prompt, jawapan yang dipilih, ditolak jawapan).

proses dekontaminasi data

Dekontaminasi data adalah proses penting untuk meningkatkan generalisasi model dengan membuang contoh yang tercemar dari dataset latihan. Data-data yang digerakkan oleh web sering mengandungi contoh-contoh ujian, yang membawa kepada penilaian berat sebelah. EXAONE 3.5 menggunakan kaedah pemadanan peringkat substring untuk mengenal pasti dan mengeluarkan sampel yang tercemar ini.

Peningkatan seni bina ini membolehkan ExaOne 3.5 untuk cemerlang dalam aplikasi dunia sebenar sambil mengekalkan prestasi yang kuat di seluruh tanda aras.

Penanda aras prestasi

EXAONE 3.5 Penilaian model dikategorikan kepada tiga kumpulan:

• Kes penggunaan dunia nyata: Menilai keupayaan model untuk memahami dan bertindak balas terhadap pertanyaan pengguna praktikal.
• pemprosesan konteks panjang: menilai keupayaan model untuk memproses dan mengekstrak maklumat dari teks lanjutan.
• Tugas Domain Umum: Menguji Kemahiran dalam Matematik, Pengekodan, dan Tugas Berasaskan Pengetahuan.

Hasilnya menunjukkan prestasi kuat ExaOne 3.5 dalam ketiga -tiga kategori, sering mengatasi model setanding.

menjalankan EXAOne 3.5 (model parameter 7 bilion) di Google Colab melalui Ollama

Butiran bahagian ini menyediakan dan menanyakan model parameter 7B EXAOne 3.5 di Google Colab menggunakan Ollama.

(Langkah 1-4: Contoh kod untuk pemasangan, persediaan ollama, muat turun model, dan pertanyaan disediakan dalam teks asal dan tetap tidak berubah di sini.) ujian model dengan pelbagai arahan

(Contoh menguji model dengan pelbagai arahan, termasuk tugas "jarum dalam haystack" dan "jejak nenek moyang", disediakan dalam teks asal dan tetap tidak berubah di sini.)

contoh aplikasi dunia sebenar

(Contoh aplikasi dunia nyata, termasuk sokongan pelanggan, bantuan pendidikan, dan tugas penalaran logik, disediakan dalam teks asal dan tetap tidak berubah di sini.)

Kesimpulan

EXAONE 3.5 mewakili lonjakan yang ketara ke hadapan dalam teknologi LLM, menawarkan tiga saiz model berskala untuk pelbagai aplikasi. Senibina canggihnya, arahan yang kuat-mengikuti, dan keupayaan berbilang bahasa menjadikannya alat yang berharga untuk kedua-dua penyelidik dan perniagaan. Prestasi yang kuat di seluruh tanda aras, ditambah pula dengan amalan pembangunan AI etika, mengukuhkan kedudukannya sebagai LLM terkemuka.

(Takeaways utama dan bahagian soalan yang sering ditanya tetap tidak berubah dari teks asal.)

Nota:

Atas ialah kandungan terperinci Powerhouse Bilingual ExaOne 3.5 menetapkan piawaian AI baru. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!