Rumah Peranti teknologi AI Pilih GPT-3.5 atau Jordan Llama 2 dan model sumber terbuka yang lain? Selepas perbandingan menyeluruh, jawapannya ialah

Pilih GPT-3.5 atau Jordan Llama 2 dan model sumber terbuka yang lain? Selepas perbandingan menyeluruh, jawapannya ialah

Oct 16, 2023 pm 06:45 PM
gpt-3.5 projek llama 2

Dengan membandingkan parameter GPT-3.5 dan Llama 2 pada tugasan yang berbeza, kita boleh mengetahui dalam keadaan apa memilih GPT-3.5 dan dalam keadaan apa memilih Llama 2 atau model lain.

Nampaknya, tork GPT-3.5 sangat mahal. Kertas kerja ini secara eksperimen mengesahkan sama ada model tork manual boleh mendekati prestasi GPT-3.5 pada sebahagian kecil daripada kos GPT-3.5. Menariknya, kertas itu melakukannya.

Membandingkan keputusan pada tugas SQL dan tugas perwakilan fungsi, kertas itu mendapati:

  • GPT-3.5 lebih baik daripada Kod selepas Lora pada kedua-dua set data (subset set data Spider dan set data perwakilan fungsi Viggo ) Llama 34B menunjukkan prestasi yang lebih baik sedikit.

  • Kos latihan GPT-3.5 adalah 4-6 kali lebih tinggi, dan kos penggunaan juga lebih tinggi.

Salah satu kesimpulan eksperimen ini ialah GPT-3.5 sesuai untuk kerja pengesahan awal, tetapi selepas itu, model seperti Llama 2 mungkin pilihan terbaik, untuk meringkaskan secara ringkas:

  • Jika anda mahukan pengesahan untuk menyelesaikan khusus Pendekatan yang betul untuk tugasan/set data anda, atau jika anda mahukan persekitaran terurus sepenuhnya, kemudian laraskan GPT-3.5.

  • Jika anda ingin menjimatkan wang, dapatkan prestasi maksimum daripada set data anda, mempunyai lebih fleksibiliti dalam melatih dan menggunakan infrastruktur, dan mahu atau mengekalkan beberapa data, kemudian gunakan sesuatu seperti model sumber Terbuka Llama 2.

Seterusnya mari kita lihat bagaimana kertas kerja itu dilaksanakan.

Rajah di bawah menunjukkan prestasi Kod Llama 34B dan GPT-3.5 yang dilatih untuk menumpu pada tugas SQL dan tugas perwakilan fungsi. Keputusan menunjukkan bahawa GPT-3.5 mencapai ketepatan yang lebih baik pada kedua-dua tugas.

选择GPT-3.5、还是乔丹Llama 2等开源模型?综合比较后答案有了

Dari segi penggunaan perkakasan, percubaan menggunakan GPU A40, iaitu lebih kurang AS$0.475.

选择GPT-3.5、还是乔丹Llama 2等开源模型?综合比较后答案有了

Selain itu, eksperimen menyenaraikan dua set data yang sangat sesuai untuk menakutkan, subset set data Spider dan fungsi Viggo mewakili set data.

Untuk membuat perbandingan yang adil dengan model GPT-3.5, eksperimen telah dijalankan pada Llama dengan hiperparameter minimum.

Dua pilihan utama untuk percubaan artikel ini ialah menggunakan parameter Kod Llama 34B dan Lora dan bukannya parameter parameter penuh.度 Percubaan ini sebahagian besarnya diikuti oleh peraturan konfigurasi parameter super LoRa Beban LoRA adalah seperti berikut:

选择GPT-3.5、还是乔丹Llama 2等开源模型?综合比较后答案有了Gesaan SQL adalah seperti berikut:

选择GPT-3.5、还是乔丹Llama 2等开源模型?综合比较后答案有了

, sila semak bahagian paparan SQL. blog asal untuk gesaan lengkap, sila semak blog asal Percubaan tidak menggunakan set data Spider yang lengkap Borang khusus adalah seperti berikut

department : Department_ID [ INT ] primary_key Name [ TEXT ] Creation [ TEXT ] Ranking [ INT ] Budget_in_Billions [ INT ] Num_Employees [ INT ] head : head_ID [ INT ] primary_key name [ TEXT ] born_state [ TEXT ] age [ INT ] management : department_ID [ INT ] primary_key management.department_ID = department.Department_ID head_ID [ INT ] management.head_ID = head.head_ID temporary_acting [ TEXT ]
Salin selepas log masuk

Percubaan memilih untuk menggunakan persilangan sql-create-. set data konteks dan set data Spider. Konteks yang disediakan untuk model ialah perintah cipta SQL seperti ini:

CREATE TABLE table_name_12 (class VARCHAR, frequency_mhz VARCHAR, city_of_license VARCHAR)
Salin selepas log masuk

Kod dan alamat data untuk tugasan SQL: https://github.com/samlhuillier/spider-sql-finetune

Contoh gesaan perwakilan fungsi Seperti yang ditunjukkan di bawah: Fungsi 提 menunjukkan bahagian gesaan paparan Untuk gesaan yang lengkap, sila lihat output blog asal seperti yang ditunjukkan di bawah

Fungsi mewakili kod tugas dan alamat data: https://github.com/. samlhuillier/viggo-finetune选择GPT-3.5、还是乔丹Llama 2等开源模型?综合比较后答案有了

Untuk maklumat lanjut, sila semak blog asal.

Pautan asal:

https://ragntune.com/blog/gpt3.5-vs-llama2-finetuning?continueFlag=11fc7786e20d7786e20d7786e20d498c94daaa

Atas ialah kandungan terperinci Pilih GPT-3.5 atau Jordan Llama 2 dan model sumber terbuka yang lain? Selepas perbandingan menyeluruh, jawapannya ialah. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Tag artikel panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Daripada RLHF kepada DPO kepada TDPO, algoritma penjajaran model besar sudah pun 'peringkat token' Daripada RLHF kepada DPO kepada TDPO, algoritma penjajaran model besar sudah pun 'peringkat token' Jun 24, 2024 pm 03:04 PM

Daripada RLHF kepada DPO kepada TDPO, algoritma penjajaran model besar sudah pun 'peringkat token'

Kerja selepas kematian Pasukan Penyelarasan Super OpenAI: Dua model besar bermain permainan, dan output menjadi lebih mudah difahami Kerja selepas kematian Pasukan Penyelarasan Super OpenAI: Dua model besar bermain permainan, dan output menjadi lebih mudah difahami Jul 19, 2024 am 01:29 AM

Kerja selepas kematian Pasukan Penyelarasan Super OpenAI: Dua model besar bermain permainan, dan output menjadi lebih mudah difahami

Mendahului senarai jurutera perisian AI sumber terbuka, penyelesaian tanpa ejen UIUC dengan mudah menyelesaikan masalah pengaturcaraan sebenar SWE-bench Mendahului senarai jurutera perisian AI sumber terbuka, penyelesaian tanpa ejen UIUC dengan mudah menyelesaikan masalah pengaturcaraan sebenar SWE-bench Jul 17, 2024 pm 10:02 PM

Mendahului senarai jurutera perisian AI sumber terbuka, penyelesaian tanpa ejen UIUC dengan mudah menyelesaikan masalah pengaturcaraan sebenar SWE-bench

Pengarang ControlNet mendapat satu lagi kejayaan! Seluruh proses menghasilkan lukisan daripada gambar, memperoleh 1.4k bintang dalam masa dua hari Pengarang ControlNet mendapat satu lagi kejayaan! Seluruh proses menghasilkan lukisan daripada gambar, memperoleh 1.4k bintang dalam masa dua hari Jul 17, 2024 am 01:56 AM

Pengarang ControlNet mendapat satu lagi kejayaan! Seluruh proses menghasilkan lukisan daripada gambar, memperoleh 1.4k bintang dalam masa dua hari

Penjanaan video tanpa had, perancangan dan membuat keputusan, penyebaran paksa penyepaduan ramalan token seterusnya dan penyebaran jujukan penuh Penjanaan video tanpa had, perancangan dan membuat keputusan, penyebaran paksa penyepaduan ramalan token seterusnya dan penyebaran jujukan penuh Jul 23, 2024 pm 02:05 PM

Penjanaan video tanpa had, perancangan dan membuat keputusan, penyebaran paksa penyepaduan ramalan token seterusnya dan penyebaran jujukan penuh

Kertas arXiv boleh disiarkan sebagai 'bertubi-tubi', platform perbincangan Stanford alphaXiv dalam talian, LeCun menyukainya Kertas arXiv boleh disiarkan sebagai 'bertubi-tubi', platform perbincangan Stanford alphaXiv dalam talian, LeCun menyukainya Aug 01, 2024 pm 05:18 PM

Kertas arXiv boleh disiarkan sebagai 'bertubi-tubi', platform perbincangan Stanford alphaXiv dalam talian, LeCun menyukainya

Satu kejayaan ketara dalam Hipotesis Riemann! Tao Zhexuan amat mengesyorkan kertas kerja baharu daripada MIT dan Oxford, dan pemenang Fields Medal berusia 37 tahun mengambil bahagian Satu kejayaan ketara dalam Hipotesis Riemann! Tao Zhexuan amat mengesyorkan kertas kerja baharu daripada MIT dan Oxford, dan pemenang Fields Medal berusia 37 tahun mengambil bahagian Aug 05, 2024 pm 03:32 PM

Satu kejayaan ketara dalam Hipotesis Riemann! Tao Zhexuan amat mengesyorkan kertas kerja baharu daripada MIT dan Oxford, dan pemenang Fields Medal berusia 37 tahun mengambil bahagian

Latihan aksiomatik membolehkan LLM mempelajari penaakulan kausal: model 67 juta parameter adalah setanding dengan trilion tahap parameter GPT-4 Latihan aksiomatik membolehkan LLM mempelajari penaakulan kausal: model 67 juta parameter adalah setanding dengan trilion tahap parameter GPT-4 Jul 17, 2024 am 10:14 AM

Latihan aksiomatik membolehkan LLM mempelajari penaakulan kausal: model 67 juta parameter adalah setanding dengan trilion tahap parameter GPT-4

See all articles