


Pilih GPT-3.5 atau Jordan Llama 2 dan model sumber terbuka yang lain? Selepas perbandingan menyeluruh, jawapannya ialah
Oct 16, 2023 pm 06:45 PMDengan membandingkan parameter GPT-3.5 dan Llama 2 pada tugasan yang berbeza, kita boleh mengetahui dalam keadaan apa memilih GPT-3.5 dan dalam keadaan apa memilih Llama 2 atau model lain.
Nampaknya, tork GPT-3.5 sangat mahal. Kertas kerja ini secara eksperimen mengesahkan sama ada model tork manual boleh mendekati prestasi GPT-3.5 pada sebahagian kecil daripada kos GPT-3.5. Menariknya, kertas itu melakukannya.
Membandingkan keputusan pada tugas SQL dan tugas perwakilan fungsi, kertas itu mendapati:
GPT-3.5 lebih baik daripada Kod selepas Lora pada kedua-dua set data (subset set data Spider dan set data perwakilan fungsi Viggo ) Llama 34B menunjukkan prestasi yang lebih baik sedikit.
Kos latihan GPT-3.5 adalah 4-6 kali lebih tinggi, dan kos penggunaan juga lebih tinggi.
Salah satu kesimpulan eksperimen ini ialah GPT-3.5 sesuai untuk kerja pengesahan awal, tetapi selepas itu, model seperti Llama 2 mungkin pilihan terbaik, untuk meringkaskan secara ringkas:
Jika anda mahukan pengesahan untuk menyelesaikan khusus Pendekatan yang betul untuk tugasan/set data anda, atau jika anda mahukan persekitaran terurus sepenuhnya, kemudian laraskan GPT-3.5.
Jika anda ingin menjimatkan wang, dapatkan prestasi maksimum daripada set data anda, mempunyai lebih fleksibiliti dalam melatih dan menggunakan infrastruktur, dan mahu atau mengekalkan beberapa data, kemudian gunakan sesuatu seperti model sumber Terbuka Llama 2.
Seterusnya mari kita lihat bagaimana kertas kerja itu dilaksanakan.
Rajah di bawah menunjukkan prestasi Kod Llama 34B dan GPT-3.5 yang dilatih untuk menumpu pada tugas SQL dan tugas perwakilan fungsi. Keputusan menunjukkan bahawa GPT-3.5 mencapai ketepatan yang lebih baik pada kedua-dua tugas.

Dari segi penggunaan perkakasan, percubaan menggunakan GPU A40, iaitu lebih kurang AS$0.475.
Selain itu, eksperimen menyenaraikan dua set data yang sangat sesuai untuk menakutkan, subset set data Spider dan fungsi Viggo mewakili set data.
Untuk membuat perbandingan yang adil dengan model GPT-3.5, eksperimen telah dijalankan pada Llama dengan hiperparameter minimum.
Dua pilihan utama untuk percubaan artikel ini ialah menggunakan parameter Kod Llama 34B dan Lora dan bukannya parameter parameter penuh.度 Percubaan ini sebahagian besarnya diikuti oleh peraturan konfigurasi parameter super LoRa Beban LoRA adalah seperti berikut:
Gesaan SQL adalah seperti berikut:
, sila semak bahagian paparan SQL. blog asal untuk gesaan lengkap, sila semak blog asal Percubaan tidak menggunakan set data Spider yang lengkap Borang khusus adalah seperti berikut
department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]
CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)
Contoh gesaan perwakilan fungsi Seperti yang ditunjukkan di bawah: Fungsi 提 menunjukkan bahagian gesaan paparan Untuk gesaan yang lengkap, sila lihat output blog asal seperti yang ditunjukkan di bawah
Fungsi mewakili kod tugas dan alamat data: https://github.com/. samlhuillier/viggo-finetune
Pautan asal:
https://ragntune.com/blog/gpt3.5-vs-llama2-finetuning?continueFlag=11fc7786e20d7786e20d7786e20d498c94daaaAtas ialah kandungan terperinci Pilih GPT-3.5 atau Jordan Llama 2 dan model sumber terbuka yang lain? Selepas perbandingan menyeluruh, jawapannya ialah. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Artikel Panas

Alat panas Tag

Artikel Panas

Tag artikel panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Daripada RLHF kepada DPO kepada TDPO, algoritma penjajaran model besar sudah pun 'peringkat token'

Kerja selepas kematian Pasukan Penyelarasan Super OpenAI: Dua model besar bermain permainan, dan output menjadi lebih mudah difahami

Mendahului senarai jurutera perisian AI sumber terbuka, penyelesaian tanpa ejen UIUC dengan mudah menyelesaikan masalah pengaturcaraan sebenar SWE-bench

Pengarang ControlNet mendapat satu lagi kejayaan! Seluruh proses menghasilkan lukisan daripada gambar, memperoleh 1.4k bintang dalam masa dua hari

Penjanaan video tanpa had, perancangan dan membuat keputusan, penyebaran paksa penyepaduan ramalan token seterusnya dan penyebaran jujukan penuh

Kertas arXiv boleh disiarkan sebagai 'bertubi-tubi', platform perbincangan Stanford alphaXiv dalam talian, LeCun menyukainya

Satu kejayaan ketara dalam Hipotesis Riemann! Tao Zhexuan amat mengesyorkan kertas kerja baharu daripada MIT dan Oxford, dan pemenang Fields Medal berusia 37 tahun mengambil bahagian

Latihan aksiomatik membolehkan LLM mempelajari penaakulan kausal: model 67 juta parameter adalah setanding dengan trilion tahap parameter GPT-4
