Jadual Kandungan
Para penyelidik menggunakan pengaktifan campuran jarang MoE dalam set FLAN-MOE yang halus dengan arahan) model (Mixture-of-Experts). Selain itu, mereka menggantikan komponen suapan hadapan lapisan Transformer lain dengan lapisan MoE.
Eksperimen dan Analisis
Rumah Peranti teknologi AI GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

Jul 17, 2023 pm 04:57 PM
Model Penalaan

Sejak kemunculan GPT-4, orang ramai telah kagum dengan keupayaan kemunculannya yang hebat, termasuk keupayaan pemahaman bahasa yang sangat baik, keupayaan penjanaan, keupayaan penaakulan logik, dsb. Keupayaan ini menjadikan GPT-4 sebagai salah satu model paling canggih dalam pembelajaran mesin. Walau bagaimanapun, OpenAI tidak mendedahkan sebarang butiran teknikal GPT-4 setakat ini.

Bulan lepas, George Hotz menyebut GPT-4 dalam temu bual dengan podcast teknologi AI yang dipanggil Latent Space, mengatakan bahawa GPT-4 sebenarnya adalah model hibrid. Secara khusus, George Hotez berkata bahawa GPT-4 menggunakan sistem bersepadu yang terdiri daripada 8 model pakar, setiap satunya mempunyai 220 bilion parameter (lebih sedikit daripada 175 bilion parameter GPT-3), dan Model ini dilatih pada data dan tugas yang berbeza. pengagihan.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

Temu bual dari Latent Space.

Ini mungkin hanya spekulasi oleh George Hotz, tetapi model ini mempunyai sedikit kesahihan. Baru-baru ini, kertas kerja yang diterbitkan bersama oleh penyelidik dari Google, UC Berkeley, MIT dan institusi lain mengesahkan bahawa gabungan model pakar hibrid (MoE) dan penalaan arahan boleh meningkatkan prestasi model bahasa besar (LLM) dengan ketara.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baikGambar

Alamat kertas: https://arxiv.org/pdf/2305.14705.pdf

Model pakar campuran jarang yang boleh mengurangkan kos rangkaian kos saraf khas . Dalam kes ini, tambahkan parameter yang boleh dipelajari pada model bahasa besar (LLM). Penalaan arahan ialah teknik untuk melatih LLM mengikut arahan. Kajian mendapati bahawa model KPM mendapat lebih banyak manfaat daripada penalaan arahan daripada model padat, dan oleh itu dicadangkan untuk menggabungkan KPM dan penalaan arahan.

Kajian ini dijalankan secara empirik dalam tiga tetapan eksperimen, termasuk

  • penalaan terus pada satu tugas hiliran tanpa penalaan arahan; generalisasi sifar; memperhalusi tugas hiliran individu selepas
  • penalaan arahan.
  • Dalam kes pertama, model MoE umumnya lebih rendah daripada model padat dengan kuasa pengiraan yang sama. Walau bagaimanapun, dengan pengenalan penalaan arahan (kes kedua dan ketiga), FLAN-MoE_32B (Language Net yang ditala Halus, disingkat sebagai Flan, ialah model yang ditala arahan, Flan-MoE ialah penalaan arahan yang Cemerlang) mengatasi FLAN -PALM_62B pada empat tugas penanda aras, tetapi hanya menggunakan satu pertiga daripada FLOP.

Seperti yang ditunjukkan dalam rajah di bawah, sebelum menggunakan penalaan arahan, MoE→FT tidak sebaik T5→FT. Selepas penalaan arahan, Flan-MoE→FT mengatasi prestasi Flan-T5→FT. Faedah KPM daripada penalaan arahan (+15.6) lebih besar daripada model padat (+10.2):

Gambar

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baikNampaknya GPT-4 mempunyai asas untuk mengamalkan model hibrid manfaat daripada penalaan arahan. Dapatkan faedah yang lebih besar daripada yang terbaik:

Gambar

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baikGambaran keseluruhan kaedah

Para penyelidik menggunakan pengaktifan campuran jarang MoE dalam set FLAN-MOE yang halus dengan arahan) model (Mixture-of-Experts). Selain itu, mereka menggantikan komponen suapan hadapan lapisan Transformer lain dengan lapisan MoE.

Setiap lapisan KPM boleh difahami sebagai "pakar". Kemudian, pakar ini dimodelkan menggunakan fungsi pengaktifan softmax untuk mendapatkan taburan kebarangkalian.

Walaupun setiap lapisan KPM mempunyai banyak parameter, pakar jarang diaktifkan. Ini bermakna bahawa untuk token input yang diberikan, hanya subset pakar yang terhad boleh menyelesaikan tugas, sekali gus memberikan kapasiti yang lebih besar kepada model.

Untuk lapisan MoE dengan pakar E, ini memberikan O (E^2) kombinasi berbeza rangkaian hadapan suapan yang berbeza, membolehkan fleksibiliti pengiraan yang lebih besar.

Memandangkan FLAN-MoE ialah model yang ditala arahan, penalaan arahan adalah sangat penting Kajian ini memperhalusi FLAN-MOE berdasarkan set data kolektif FLAN. Di samping itu, kajian ini melaraskan panjang jujukan input setiap FLAN-MOE kepada 2048 dan panjang output kepada 512.

Eksperimen dan Analisis

Secara purata, Flan-MoE mengatasi rakan sejawatannya yang padat (Flan-T5) pada semua skala model tanpa menambah sebarang pengiraan tambahan.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baikGambar

Jumlah Pakar. Rajah 4 menunjukkan bahawa apabila bilangan pakar meningkat, pada mulanya model mendapat manfaat daripada set subrangkaian khusus yang lebih kaya, masing-masing mampu mengendalikan tugas atau aspek yang berbeza dalam ruang masalah. Pendekatan ini menjadikan KPM sangat mudah menyesuaikan diri dan cekap dalam mengendalikan tugas yang kompleks, sekali gus meningkatkan prestasi secara keseluruhan. Walau bagaimanapun, apabila bilangan pakar terus meningkat, peningkatan prestasi model mula berkurangan, akhirnya mencapai titik tepu.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baikGambar

Rajah 3 dan Jadual 1 mengkaji secara terperinci bagaimana keputusan penghalaan yang berbeza mempengaruhi prestasi penalaan arahan: Melalui perbandingan antara strategi FLAN-Switch dan FLAN-GS, dapat disimpulkan bahawa meningkatkan prestasi lebih Pakar merentasi empat penanda aras. Antara penanda aras ini, model MMLU-Direct menunjukkan peningkatan yang paling ketara, meningkat daripada 38.0% kepada 39.9% untuk model bersaiz BASE/LARGE.

Terutamanya, penalaan arahan telah meningkatkan prestasi model KPM dengan ketara dalam mengekalkan MMLU, BBH, dan QA dalaman dan penanda aras inferens berbanding model padat dengan kapasiti setara. Kelebihan ini diperkuatkan lagi untuk model MoE yang lebih besar. Sebagai contoh, penalaan arahan meningkatkan prestasi sebanyak 45.2% untuk ST_32B, manakala untuk FLAN-PALM_62B peningkatan ini agak kecil pada kira-kira 6.6%.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

Apabila melakukan sambungan model, Flan-MoE (Flan-ST-32B) mengatasi prestasi Flan-PaLM-62B.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baikPictures

Selain itu, kajian menjalankan beberapa eksperimen analitik dengan membekukan fungsi gating, modul pakar dan parameter KPM bagi model yang diberikan. Seperti yang ditunjukkan dalam Jadual 2 di bawah, keputusan eksperimen menunjukkan bahawa pembekuan modul pakar atau komponen KPM mempunyai kesan negatif terhadap prestasi model.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

Sebaliknya, fungsi pembekuan gating akan meningkatkan sedikit prestasi model, walaupun ia tidak jelas. Para penyelidik membuat spekulasi bahawa pemerhatian ini berkaitan dengan kekurangan FLAN-MOE. Kajian ini juga menjalankan eksperimen ablasi untuk meneroka kajian ablasi kecekapan data penalaan halus yang diterangkan dalam Rajah 5 di bawah.

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

Akhir sekali, untuk membandingkan jurang antara penalaan halus langsung KPM dan FLAN-MOE, kajian ini menjalankan eksperimen ke atas penalaan halus tugas tunggal KPM, penalaan halus tugas tunggal FLAN-KPM dan model padat. Hasilnya adalah seperti berikut Seperti yang ditunjukkan dalam Rajah 6:

GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik

Pembaca yang berminat boleh membaca teks asal kertas untuk mengetahui lebih lanjut tentang kandungan penyelidikan.

Atas ialah kandungan terperinci GPT-4 menggunakan model besar hibrid? Penyelidikan membuktikan bahawa penalaan arahan MoE+ sememangnya menjadikan model besar berprestasi lebih baik. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye Apr 26, 2024 am 11:37 AM

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! Mar 21, 2024 pm 05:21 PM

Kertas kerja ini meneroka masalah mengesan objek dengan tepat dari sudut pandangan yang berbeza (seperti perspektif dan pandangan mata burung) dalam pemanduan autonomi, terutamanya cara mengubah ciri dari perspektif (PV) kepada ruang pandangan mata burung (BEV) dengan berkesan dilaksanakan melalui modul Transformasi Visual (VT). Kaedah sedia ada secara amnya dibahagikan kepada dua strategi: penukaran 2D kepada 3D dan 3D kepada 2D. Kaedah 2D-ke-3D meningkatkan ciri 2D yang padat dengan meramalkan kebarangkalian kedalaman, tetapi ketidakpastian yang wujud dalam ramalan kedalaman, terutamanya di kawasan yang jauh, mungkin menimbulkan ketidaktepatan. Manakala kaedah 3D ke 2D biasanya menggunakan pertanyaan 3D untuk mencuba ciri 2D dan mempelajari berat perhatian bagi kesesuaian antara ciri 3D dan 2D melalui Transformer, yang meningkatkan masa pengiraan dan penggunaan.

See all articles