Jadual Kandungan
Kesimpulan
Rumah Peranti teknologi AI 2% daripada kuasa pengkomputeran RLHF digunakan untuk menghapuskan keluaran berbahaya LLM, dan Byte mengeluarkan teknologi pembelajaran pelupa

2% daripada kuasa pengkomputeran RLHF digunakan untuk menghapuskan keluaran berbahaya LLM, dan Byte mengeluarkan teknologi pembelajaran pelupa

Dec 14, 2023 pm 11:55 PM
Model Kuasa pengkomputeran

Dengan pembangunan model bahasa besar (LLM), pengamal menghadapi lebih banyak cabaran. Bagaimana untuk mengelakkan balasan berbahaya daripada LLM? Bagaimana dengan cepat memadam kandungan yang dilindungi hak cipta dalam data latihan? Bagaimana untuk mengurangkan halusinasi LLM (fakta palsu) Bagaimana dengan cepat melelang LLM selepas perubahan dasar data? Isu-isu ini adalah kritikal kepada penggunaan LLM yang selamat dan boleh dipercayai di bawah trend umum keperluan pematuhan undang-undang dan etika yang semakin matang untuk kecerdasan buatan.

Penyelesaian arus perdana dalam industri adalah untuk memperhalusi data perbandingan (sampel positif dan sampel negatif) dengan menggunakan pembelajaran tetulang untuk menyelaraskan LLM (penjajaran) bagi memastikan output LLM memenuhi jangkaan dan nilai manusia. Walau bagaimanapun, proses penjajaran ini selalunya dihadkan oleh pengumpulan data dan sumber pengkomputeran

ByteDance mencadangkan kaedah untuk LLM melaksanakan pembelajaran melupakan untuk penjajaran. Artikel ini mengkaji cara melakukan operasi "melupakan" pada LLM, iaitu, melupakan tingkah laku berbahaya atau mesin tidak belajar (Machine Unlearning). Pengarang menunjukkan kesan jelas melupakan pembelajaran pada tiga senario penjajaran LLM: (1) mengalih keluar keluaran berbahaya; (2) mengalih keluar kandungan perlindungan pelanggaran; ) Hanya sampel negatif (sampel berbahaya) diperlukan, yang jauh lebih mudah untuk dikumpulkan daripada sampel positif (output tulisan tangan manual berkualiti tinggi) yang diperlukan oleh RLHF (seperti ujian pasukan merah atau laporan pengguna); (3) Melupakan pembelajaran amat berkesan jika diketahui sampel latihan yang membawa kepada tingkah laku berbahaya LLM.

Hujah penulis ialah bagi pengamal yang mempunyai sumber terhad, mereka harus mengutamakan berhenti menghasilkan output yang berbahaya daripada cuba mengejar output yang terlalu ideal dan melupakan bahawa pembelajaran adalah kemudahan. Walaupun hanya mempunyai sampel negatif, penyelidikan menunjukkan bahawa lupa pembelajaran masih boleh mencapai prestasi penjajaran yang lebih baik daripada pembelajaran pengukuhan dan algoritma frekuensi tinggi suhu tinggi menggunakan hanya 2% daripada masa pengkomputeran

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

Alamat kertas: https: //arxiv.org/abs/2310.10683
  • Alamat kod: https://github.com/kevinyaobytedance/llm_unlearn
sumber terhad kita boleh Ambil pendekatan ini untuk memaksimumkan kelebihan anda. Apabila kita tidak mempunyai belanjawan untuk mengupah orang untuk menulis sampel berkualiti tinggi atau sumber pengkomputeran tidak mencukupi, kita harus mengutamakan menghentikan LLM daripada menghasilkan output yang berbahaya, daripada cuba menjadikannya menghasilkan output yang bermanfaat

Kerosakan yang disebabkan oleh keluaran berbahaya tidak boleh digantikan dengan keluaran berfaedah yang diberi pampasan. Jika pengguna bertanya kepada LLM 100 soalan dan jawapan yang diterimanya berbahaya, dia akan kehilangan kepercayaan, tidak kira berapa banyak jawapan yang berguna yang LLM sediakan nanti. Output yang dijangkakan bagi soalan berbahaya mungkin ruang, aksara khas, rentetan tidak bermakna, dsb. Ringkasnya, ia mestilah teks yang tidak berbahaya

menunjukkan tiga kes kejayaan LLM melupakan pembelajaran: (1) Berhenti menjana balasan berbahaya ( Sila tulis semula kandungan ke dalam bahasa Cina (ayat asal tidak perlu dipaparkan); ini serupa dengan senario RLHF, kecuali matlamat kaedah ini adalah untuk menjana balasan yang tidak berbahaya dan bukannya balasan yang berguna. Ini adalah hasil terbaik yang boleh dijangkakan apabila terdapat hanya sampel negatif. (2) Selepas latihan dengan data yang melanggar, LLM berjaya memadamkan data dan tidak dapat melatih semula LLM kerana faktor kos; (3) LLM berjaya melupakan "ilusi"

Sila tulis semula kandungan ke dalam bahasa Cina, The original ayat tidak perlu muncul

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

kaedah

Dalam langkah penalaan halus t, LLM dikemas kini seperti berikut:

Kehilangan pertama ialah penurunan kecerunan), dengan penurunan kecerunan tujuan melupakan sampel berbahaya:

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术 ialah gesaan berbahaya (prompt), RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术 ialah balasan berbahaya yang sepadan. Kehilangan keseluruhan secara terbalik meningkatkan kehilangan sampel berbahaya, yang menjadikan LLM "melupakan" sampel berbahaya.

Kehilangan kedua adalah untuk ketidakpadanan rawak, yang memerlukan LLM meramalkan balasan yang tidak berkaitan dengan kehadiran isyarat berbahaya. Ini serupa dengan pelicinan label [2] dalam pengelasan. Tujuannya adalah untuk menjadikan LLM lebih baik melupakan output berbahaya pada gesaan berbahaya. Pada masa yang sama, eksperimen telah membuktikan bahawa kaedah ini boleh meningkatkan prestasi keluaran LLM dalam keadaan biasa

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

Kerugian ketiga adalah untuk mengekalkan prestasi pada tugas biasa:

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

dalam pra-latihan Mengira perbezaan KL pada LLM boleh mengekalkan prestasi LLM dengan lebih baik.

Selain itu, semua pendakian dan penurunan kecerunan dilakukan hanya pada bahagian output (y), bukan pada pasangan hujung-output (x, y) seperti RLHF.

Senario aplikasi: Melupakan kandungan berbahaya, dsb.

Artikel ini menggunakan data PKU-SafeRLHF sebagai data terlupa, TruthfulQA sebagai data biasa, kandungan Rajah 2 perlu ditulis semula, menunjukkan output LLM terlupa gesaan berbahaya selepas terlupa mempelajari kadar berbahaya. Kaedah yang digunakan dalam artikel ini ialah GA (kenaikan kecerunan dan GA+Ketakpadanan: pendakian kecerunan + ketidakpadanan rawak). Kadar berbahaya selepas melupakan pembelajaran adalah hampir kepada sifar. RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

Kandungan gambar kedua perlu ditulis semula

Gambar ketiga menunjukkan output gesaan berbahaya (tidak dilupakan), yang belum pernah dilihat sebelum ini. Walaupun untuk isyarat berbahaya yang tidak dilupakan, kadar berbahaya LLM adalah hampir sifar, yang membuktikan bahawa LLM bukan sahaja melupakan sampel tertentu, tetapi digeneralisasikan kepada kandungan yang mengandungi konsep berbahayaRLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

Gamb Prestasi LLM pada sampel biasa kekal serupa sebelum terlupa, dan mempunyai ciri-ciri berikut

Jadual 1 menunjukkan sampel yang dijana. Ia boleh dilihat bahawa di bawah gesaan berbahaya, sampel yang dijana oleh LLM adalah rentetan yang tidak bermakna, iaitu, output yang tidak berbahaya.

RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

Jadual 1

Dalam senario lain, seperti melupakan kandungan yang melanggar dan melupakan halusinasi, aplikasi kaedah ini diterangkan secara terperinci dalam teks asal

Apa yang perlu ditulis semula ialah: Jadual kedua menunjukkan perbandingan antara kaedah ini dengan RLHF menggunakan contoh positif, manakala kaedah pembelajaran lupa hanya menggunakan contoh negatif, jadi kaedah itu pada peringkat awal. Tetapi walaupun begitu, melupakan pembelajaran masih boleh mencapai prestasi penjajaran yang serupa dengan RLHF RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

Apa yang perlu ditulis semula ialah: Jadual kedua

Apa yang perlu ditulis semula: Gambar kali keempat menunjukkan pengiraan , kaedah ini hanya memerlukan 2% daripada masa pengiraan RLHF. RLHF 2%的算力应用于消除LLM有害输出,字节发布遗忘学习技术

🎜Apa yang perlu ditulis semula: Gambar keempat🎜🎜

Walaupun hanya dengan sampel negatif, kaedah menggunakan pembelajaran melupakan boleh mencapai kadar yang tidak berbahaya setanding dengan RLHF dan hanya menggunakan 2% daripada kuasa pengkomputeran. Oleh itu, jika matlamatnya adalah untuk berhenti mengeluarkan kandungan berbahaya, melupakan pembelajaran adalah lebih cekap daripada RLHF

Kesimpulan

Kajian ini adalah yang pertama meneroka pembelajaran melupakan tentang LLM. Penemuan menunjukkan bahawa belajar melupakan adalah pendekatan yang menjanjikan untuk penjajaran, terutamanya apabila pengamal kekurangan sumber. Kertas itu menunjukkan tiga situasi: melupakan pembelajaran boleh berjaya memadamkan balasan berbahaya, memadam kandungan yang melanggar dan menghapuskan ilusi. Penyelidikan menunjukkan bahawa walaupun dengan hanya sampel negatif, melupakan pembelajaran masih boleh mencapai kesan penjajaran yang serupa dengan RLHF menggunakan hanya 2% daripada masa pengiraan RLHF

Atas ialah kandungan terperinci 2% daripada kuasa pengkomputeran RLHF digunakan untuk menghapuskan keluaran berbahaya LLM, dan Byte mengeluarkan teknologi pembelajaran pelupa. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
1 bulan yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo May 07, 2024 pm 04:13 PM

Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka Jun 01, 2024 pm 10:03 PM

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU Apr 01, 2024 pm 07:46 PM

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Apr 09, 2024 am 11:52 AM

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye Apr 26, 2024 am 11:37 AM

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini! May 06, 2024 pm 04:13 PM

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! DualBEV: mengatasi BEVFormer dan BEVDet4D dengan ketara, buka buku! Mar 21, 2024 pm 05:21 PM

Kertas kerja ini meneroka masalah mengesan objek dengan tepat dari sudut pandangan yang berbeza (seperti perspektif dan pandangan mata burung) dalam pemanduan autonomi, terutamanya cara mengubah ciri dari perspektif (PV) kepada ruang pandangan mata burung (BEV) dengan berkesan dilaksanakan melalui modul Transformasi Visual (VT). Kaedah sedia ada secara amnya dibahagikan kepada dua strategi: penukaran 2D kepada 3D dan 3D kepada 2D. Kaedah 2D-ke-3D meningkatkan ciri 2D yang padat dengan meramalkan kebarangkalian kedalaman, tetapi ketidakpastian yang wujud dalam ramalan kedalaman, terutamanya di kawasan yang jauh, mungkin menimbulkan ketidaktepatan. Manakala kaedah 3D ke 2D biasanya menggunakan pertanyaan 3D untuk mencuba ciri 2D dan mempelajari berat perhatian bagi kesesuaian antara ciri 3D dan 2D melalui Transformer, yang meningkatkan masa pengiraan dan penggunaan.

See all articles