Senarai LLM Terbuka telah dimuat semula dan 'Platypus' yang lebih kuat daripada Llama 2 ada di sini.

Untuk mencabar penguasaan model tertutup seperti GPT-3.5 dan GPT-4 OpenAI, satu siri model sumber terbuka muncul, termasuk LLaMa, Falcon, dsb. Baru-baru ini, Meta AI melancarkan LLaMa-2, yang dikenali sebagai model paling berkuasa dalam bidang sumber terbuka, dan ramai penyelidik juga telah membina model mereka sendiri atas dasar ini. Sebagai contoh, StabilityAI menggunakan set data gaya Orca untuk memperhalusi model Llama2 70B dan membangunkan StableBeluga2, yang turut mencapai keputusan yang baik pada kedudukan LLM Terbuka Huggingface

Penarafan LLM Terbuka terkini telah berubah, model Platypus (Platypus) berjaya mendahului senarai

Pengarang berasal dari Universiti Boston dan menggunakan PEFT, LoRA dan dataset Open-Platypus untuk memperhalusi dan mengoptimumkan Platypus berdasarkan Llama 2

The pengarang Platypus memperkenalkan

secara terperinci dalam kertas

Kertas ini boleh didapati di: https://arxiv.org/abs/2308.07317

• Berikut adalah sumbangan utama kertas kerja ini :
Open-Platypus ialah set data berskala kecil yang terdiri daripada subset susun atur set data teks awam. Set data ini terdiri daripada 11 set data sumber terbuka dengan tumpuan untuk meningkatkan STEM dan pengetahuan logik LLM. Ia terutamanya terdiri daripada masalah yang direka oleh manusia, dengan hanya 10% daripada masalah yang dihasilkan oleh LLM. Kelebihan utama Open-Platypus ialah skala dan kualitinya, yang membolehkan prestasi yang sangat tinggi dalam masa yang singkat dan dengan masa yang rendah serta kos penalaan halus. Khususnya, melatih model 13B menggunakan masalah 25k mengambil masa hanya 5 jam pada GPU A100 tunggal.
menerangkan proses penghapusan persamaan, mengurangkan saiz set data dan mengurangkan lebihan data.
Analisis terperinci tentang fenomena pencemaran set latihan LLM terbuka yang sentiasa wujud dengan data yang terkandung dalam set ujian LLM yang penting, dan pengenalan kepada proses penapisan data latihan pengarang untuk mengelakkan bahaya tersembunyi ini.
Menghuraikan proses memilih dan menggabungkan modul LoRA khusus yang diperhalusi.

membuka dataset platypus

Penulis kini telah mengeluarkan dataset terbuka-platypus pada memeluk masalah face

contamination

untuk mengelakkan masalah penandaarasan yang bocor ke latihan ditetapkan, kaedah kami terlebih dahulu mempertimbangkan untuk mencegah masalah ini untuk memastikan bahawa keputusan tidak hanya berat sebelah oleh ingatan. Sambil berusaha untuk mendapatkan ketepatan, penulis juga sedar tentang keperluan untuk fleksibiliti dalam menanda sila sebut lagi soalan kerana soalan boleh ditanya dalam pelbagai cara dan dipengaruhi oleh pengetahuan domain am. Untuk menguruskan isu kebocoran yang berpotensi, pengarang mereka bentuk heuristik dengan teliti untuk menapis masalah secara manual dengan lebih daripada 80% persamaan dengan pembenaman kosinus masalah penanda aras dalam Open-Platypus. Mereka membahagikan isu kebocoran yang berpotensi kepada tiga kategori: (1) Sila nyatakan soalan itu semula; Kawasan ini menimbulkan masalah tona kelabu; (3) masalah yang serupa tetapi tidak serupa. Hanya untuk berhati-hati, mereka mengecualikan semua soalan ini daripada set latihan

Sila katakan sekali lagi

Teks ini hampir sama mereplikasi kandungan set soalan ujian, dengan hanya tweak sedikit perkataan Ubah suai atau susun semula. Berdasarkan bilangan kebocoran dalam jadual di atas, penulis percaya ini adalah satu-satunya kategori yang berada di bawah pencemaran. Berikut ialah contoh khusus:

Penerangan semula: Kawasan ini mempunyai warna kelabu

🎜🎜

Soalan berikut dipanggil huraian semula: Kawasan ini mengambil warna kelabu dan termasuk isu yang tidak betul, sila, akal. Walaupun pengarang menyerahkan penghakiman terakhir mengenai isu ini kepada komuniti sumber terbuka, mereka berpendapat bahawa isu ini sering memerlukan pengetahuan pakar. Perlu diingatkan bahawa jenis soalan ini termasuk soalan dengan arahan yang sama tetapi jawapan yang sinonim:

Serupa tetapi tidak betul-betul sama

mempunyai tahap yang tinggi, soalan yang serupa tetapi disebabkan variasi halus antara soalan, terdapat perbezaan yang ketara dalam jawapan. . Tidak seperti penalaan halus penuh, LoRA mengekalkan berat model pra-latihan dan menggunakan matriks penguraian pangkat untuk penyepaduan dalam lapisan pengubah, dengan itu mengurangkan parameter boleh dilatih dan menjimatkan masa dan kos latihan. Pada mulanya, penalaan halus tertumpu terutamanya pada modul perhatian seperti v_proj, q_proj, k_proj dan o_proj. Selepas itu, ia diperluaskan kepada modul gate_proj, down_proj dan up_proj mengikut cadangan He et al. Melainkan parameter yang boleh dilatih adalah kurang daripada 0.1% daripada jumlah parameter, modul ini berprestasi lebih baik. Penulis menggunakan kaedah ini untuk kedua-dua model 13B dan 70B, dan parameter boleh dilatih yang terhasil adalah 0.27% dan 0.2% masing-masing. Satu-satunya perbezaan ialah kadar pembelajaran awal model-model ini

Hasilnya

Menurut data ranking LLM Hugging Face Open pada 10 Ogos 2023, penulis membandingkan Platypus dengan model SOTA lain dan mendapati Platypus2-70Binstruct berubah Model ini berprestasi baik, menduduki tempat pertama dengan purata skor 73.13

Stable-Platypus2-13B Model menonjol dengan purata skor 63.96 antara 13 bilion model parameter, yang patut diberi perhatian

Limitations

Platypus, sebagai lanjutan LLaMa-2 yang diperhalusi, mengekalkan banyak kekangan model asas dan memperkenalkan cabaran khusus melalui latihan yang disasarkan Ia berkongsi asas pengetahuan statik LLaMa-2, yang mungkin menjadi ketinggalan zaman Selain itu, terdapat risiko menghasilkan kandungan yang tidak tepat atau tidak sesuai, terutamanya dalam kes gesaan yang tidak jelas kadangkala menghasilkan kandungan yang berat sebelah atau berbahaya . Platypus mungkin mempunyai beberapa batasan di luar domain utamanya, jadi pengguna harus meneruskan dengan berhati-hati dan mempertimbangkan penalaan halus tambahan untuk prestasi optimum. Pengguna perlu memastikan bahawa data latihan untuk Platypus tidak bertindih dengan set ujian penanda aras yang lain. Penulis sangat berhati-hati tentang isu pencemaran data dan mengelakkan penggabungan model dengan model yang dilatih pada set data yang tercemar. Walaupun tiada pencemaran dalam data latihan yang telah dibersihkan, ia tidak dapat diketepikan bahawa beberapa masalah mungkin telah diabaikan. Untuk mengetahui lebih lanjut tentang had ini, sila lihat bahagian Had dalam kertas

Atas ialah kandungan terperinci Senarai LLM Terbuka telah dimuat semula dan 'Platypus' yang lebih kuat daripada Llama 2 ada di sini.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!