


Sepuluh baris kod adalah setanding dengan RLHF dan menggunakan data permainan sosial untuk melatih model penjajaran sosial
Menjadikan tingkah laku model bahasa selaras dengan nilai sosial manusia adalah bahagian penting dalam pembangunan model bahasa semasa. Latihan yang sepadan juga dipanggil penjajaran nilai.
Penyelesaian arus perdana semasa ialah RLHF (Reinforcenment Learning from Human Feedback) yang digunakan oleh ChatGPT, iaitu pembelajaran pengukuhan berdasarkan maklum balas manusia. Penyelesaian ini mula-mula melatih model ganjaran (model nilai) sebagai proksi untuk pertimbangan manusia. Model ejen menyediakan ganjaran sebagai isyarat penyeliaan kepada model bahasa generatif semasa fasa pembelajaran pengukuhan.
Kaedah ini mempunyai titik kesakitan berikut:
1. Ganjaran yang dijana oleh model ejen boleh dipecahkan atau diusik dengan mudah.
2 Semasa proses latihan, model ejen perlu terus berinteraksi dengan model generatif, dan proses ini mungkin sangat memakan masa dan tidak cekap. Untuk memastikan isyarat penyeliaan berkualiti tinggi, model ejen tidak boleh lebih kecil daripada model generatif, yang bermaksud semasa proses pengoptimuman pembelajaran pengukuhan, sekurang-kurangnya dua model yang lebih besar perlu melakukan inferens secara bergilir-gilir (penghakiman ganjaran) dan pengemaskinian parameter (pengoptimuman parameter model generatif). Tetapan sedemikian mungkin sangat menyusahkan dalam latihan teragih berskala besar.
3. Model nilai itu sendiri tidak mempunyai kesesuaian yang jelas dengan model pemikiran manusia. Kami tidak mempunyai satu model pemarkahan dalam fikiran, dan sebenarnya amat sukar untuk mengekalkan standard pemarkahan tetap untuk jangka masa yang lama. Sebaliknya, kebanyakan pertimbangan nilai yang kita bentuk semasa kita berkembang datang daripada interaksi sosial harian—dengan menganalisis tindak balas sosial yang berbeza terhadap situasi yang serupa, kita mula menyedari apa yang digalakkan dan apa yang tidak. Pengalaman dan konsensus ini secara beransur-ansur terkumpul melalui sejumlah besar "sosialisasi-maklum balas-penambahbaikan" telah menjadi pertimbangan nilai bersama masyarakat manusia.
Kajian terbaru dari Dartmouth, Stanford, Google DeepMind dan institusi lain menunjukkan bahawa menggunakan data berkualiti tinggi yang dibina oleh permainan sosial digabungkan dengan algoritma penjajaran yang mudah dan cekap mungkin satu-satunya cara untuk mencapai matlamat ini.
- Alamat artikel: https://arxiv.org/pdf/2305.16960.pdf
- Alamat kod: https://github.com/agi-templar/Stable-Alignment
- Muat turun model (termasuk model asas, SFT dan penjajaran): https://huggingface.co/agi-css
Pengarang mencadangkan kaedah penjajaran yang dilatih pada data permainan berbilang ejen. Idea asas boleh difahami sebagai memindahkan interaksi dalam talian model ganjaran dan model generatif dalam fasa latihan kepada interaksi luar talian antara sejumlah besar ejen autonomi dalam permainan (kadar pensampelan tinggi, pratonton permainan terlebih dahulu). Persekitaran permainan berjalan secara bebas daripada latihan dan boleh diselaraskan secara besar-besaran. Isyarat penyeliaan beralih daripada bergantung kepada prestasi model ganjaran ejen kepada bergantung kepada kecerdasan kolektif sebilangan besar ejen autonomi.
Untuk tujuan ini, pengarang mereka bentuk model sosial maya yang dipanggil Sandbox. Kotak pasir ialah dunia yang terdiri daripada titik grid, dan setiap titik grid ialah ejen sosial. Badan sosial mempunyai sistem ingatan yang digunakan untuk menyimpan pelbagai maklumat seperti soalan, jawapan, maklum balas dan sebagainya bagi setiap interaksi. Setiap kali kumpulan sosial menjawab soalan, ia mesti mendapatkan semula dan mengembalikan soalan sejarah N dan jawapan yang paling relevan kepada soalan daripada sistem ingatan sebagai rujukan kontekstual untuk balasan ini. Melalui reka bentuk ini, kedudukan badan sosial boleh dikemas kini secara berterusan dalam pelbagai pusingan interaksi, dan kedudukan yang dikemas kini dapat mengekalkan kesinambungan tertentu dengan masa lalu. Setiap kumpulan sosial mempunyai kedudukan lalai yang berbeza dalam fasa permulaan.
Tukar data permainan kepada data penjajaran
Dalam percubaan, pengarang menggunakan kotak pasir grid 10x10 (sebanyak 100 entiti sosial) untuk menjalankan simulasi sosial dan merumuskan peraturan sosial (yang dipanggil Peraturan Kotak Pasir): semua entiti sosial mesti membuat sendiri menyedari masalah Jawapannya lebih sejajar secara sosial untuk meninggalkan kesan yang baik kepada kumpulan sosial yang lain. Di samping itu, kotak pasir juga menggunakan pemerhati tanpa ingatan untuk menjaringkan respons kumpulan sosial sebelum dan selepas setiap interaksi sosial. Pemarkahan adalah berdasarkan dua dimensi: penjajaran dan penglibatan.
Simulasi masyarakat manusia dalam kotak pasir menggunakan model yang berbeza
Pengarang menggunakan Kotak Pasir untuk menguji model bahasa dengan saiz yang berbeza dan peringkat latihan yang berbeza. Secara keseluruhan, model yang dilatih dengan penjajaran (yang dipanggil "model sejajar"), seperti davinci-003, GPT-4 dan ChatGPT, boleh menjana tindak balas normatif sosial dalam pusingan interaksi yang lebih sedikit. Dalam erti kata lain, kepentingan latihan penjajaran adalah untuk menjadikan model lebih selamat dalam senario "luar kotak" tanpa memerlukan panduan dialog pusingan khas. Model tanpa latihan penjajaran bukan sahaja memerlukan lebih banyak interaksi untuk mencapai tindak balas optimum keseluruhan penjajaran dan penglibatan, tetapi juga had atas optimum keseluruhan ini adalah jauh lebih rendah daripada model sejajar.
Pengarang juga mencadangkan algoritma penjajaran yang ringkas dan mudah dipanggil penjajaran Stabil untuk Belajar daripada data sejarah dalam kotak pasir. Algoritma penjajaran stabil melakukan pembelajaran kontrastif termodulat skor dalam setiap kelompok mini - semakin rendah skor balasan, semakin besar nilai sempadan pembelajaran kontrastif akan ditetapkan - dalam erti kata lain, penjajaran stabil Dengan persampelan kumpulan kecil data secara berterusan , model ini digalakkan untuk menjana respons yang lebih hampir kepada respons berskor tinggi dan kurang menghampiri respons berskor rendah. Penjajaran stabil akhirnya menumpu kepada kehilangan SFT. Penulis juga membincangkan perbezaan antara penjajaran stabil dan SFT, RLHF.
Pengarang terutamanya menekankan data daripada permainan Sandbox Disebabkan penetapan mekanisme, sejumlah besarnya dimasukkan melalui semakan (revision) dan menjadi data yang menepati nilai-nilai sosial. Penulis membuktikan melalui eksperimen ablasi bahawa jumlah data yang besar dengan peningkatan langkah demi langkah ini adalah kunci kepada latihan yang stabil.
Pengarang juga membandingkan prestasi algoritma penjajaran arus perdana semasa Perbandingan prestasi dibuat dengan kestabilan latihan, membuktikan bahawa penjajaran stabil bukan sahaja lebih stabil daripada pemodelan ganjaran, tetapi juga setanding dengan RLHF dalam prestasi umum dan prestasi penjajaran (memandangkan ChatGPT menggunakan model, data dan algoritma yang tidak didedahkan, ia hanya untuk rujukan).
Hasil penjanaan contoh:
Sila rujuk kertas untuk maklumat lanjut butiran.
Atas ialah kandungan terperinci Sepuluh baris kod adalah setanding dengan RLHF dan menggunakan data permainan sosial untuk melatih model penjajaran sosial. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi

FP8 dan ketepatan pengiraan titik terapung yang lebih rendah bukan lagi "paten" H100! Lao Huang mahu semua orang menggunakan INT8/INT4, dan pasukan Microsoft DeepSpeed memaksa diri mereka menjalankan FP6 pada A100 tanpa sokongan rasmi daripada Nvidia. Keputusan ujian menunjukkan bahawa kaedah baharu TC-FPx FP6 kuantisasi pada A100 adalah hampir atau kadangkala lebih pantas daripada INT4, dan mempunyai ketepatan yang lebih tinggi daripada yang terakhir. Selain itu, terdapat juga sokongan model besar hujung ke hujung, yang telah bersumberkan terbuka dan disepadukan ke dalam rangka kerja inferens pembelajaran mendalam seperti DeepSpeed. Keputusan ini juga mempunyai kesan serta-merta pada mempercepatkan model besar - di bawah rangka kerja ini, menggunakan satu kad untuk menjalankan Llama, daya pemprosesan adalah 2.65 kali lebih tinggi daripada dua kad. satu
