


Mampu menyelaraskan manusia tanpa RLHF, prestasi setanding dengan ChatGPT! Pasukan China mencadangkan model Wombat
OpenAI's ChatGPT dapat memahami pelbagai jenis arahan manusia dan berfungsi dengan baik dalam tugas bahasa yang berbeza. Ini boleh dilakukan berkat kaedah penalaan halus model bahasa berskala besar baru yang dipanggil RLHF (Maklum Balas Manusia Sejajar melalui Pembelajaran Pengukuhan).
Kaedah RLHF membuka kunci keupayaan model bahasa untuk mengikut arahan manusia, menjadikan keupayaan model bahasa konsisten dengan keperluan dan nilai manusia.
Pada masa ini, kerja penyelidikan RLHF terutamanya menggunakan algoritma PPO untuk mengoptimumkan model bahasa. Walau bagaimanapun, algoritma PPO mengandungi banyak hiperparameter dan memerlukan berbilang model bebas untuk bekerjasama antara satu sama lain semasa proses lelaran algoritma, jadi butiran pelaksanaan yang salah boleh membawa kepada hasil latihan yang lemah.
Pada masa yang sama, algoritma pembelajaran pengukuhan tidak diperlukan dari perspektif penjajaran dengan manusia.
Alamat kertas: https://arxiv.org/abs/2304.05302v1
Alamat projek: https://github.com/GanjinZero/RRHF
Untuk tujuan ini, Alibaba Pengarang dari Akademi DAMO dan Universiti Tsinghua mencadangkan kaedah yang dipanggil penjajaran keutamaan manusia berasaskan kedudukan—RRHF.
RRHFPembelajaran peneguhan tidak diperlukan dan respons yang dihasilkan oleh model bahasa yang berbeza boleh dimanfaatkan, termasuk ChatGPT, GPT-4 atau latihan semasa model . RRHF berfungsi dengan menjaringkan respons dan menjajarkan respons dengan keutamaan manusia melalui kehilangan kedudukan.
Berbeza dengan PPO, proses latihan RRHF boleh menggunakan output pakar manusia atau GPT-4 sebagai perbandingan. Model RRHF terlatih boleh digunakan sebagai model bahasa generatif dan model ganjaran.
Ketua Pegawai Eksekutif Playgound AI berkata bahawa ini adalah kertas yang paling menarik baru-baru ini
Angka berikut membandingkan perbezaan antara algoritma PPO dan algoritma RRHF.
RRHF mula-mula memperoleh k balasan melalui kaedah berbeza untuk pertanyaan input, dan kemudian menggunakan model ganjaran untuk bertindak balas kepada k balasan Setiap respons diberi markah secara berasingan. Skor setiap respons menggunakan kebarangkalian logaritma:
di manakah taburan kebarangkalian model bahasa autoregresif.
Kami berharap dapat memberikan kebarangkalian yang lebih besar kepada respons dengan skor tinggi daripada model ganjaran, iaitu, kami berharap dapat menyamai skor ganjaran. Kami mengoptimumkan matlamat ini melalui kehilangan kedudukan:
Selain itu, kami juga memberikan model matlamat untuk mempelajari secara langsung yang tertinggi skor Balas:
Anda boleh lihat bahawa proses latihan RRHF adalah sangat mudah. Berikut adalah situasi pengurangan kerugian semasa latihan RRHF lihat Penurunan adalah sangat stabil, dan markah ganjaran meningkat secara berterusan apabila kerugian berkurangan.
Pengarang artikel menjalankan eksperimen pada set data HH dan juga boleh melihat kesan yang setanding dengan PPO:
Algoritma RRHF boleh menyelaraskan kebarangkalian keluaran model bahasa dengan pilihan manusia secara berkesan. Model terlatih mempunyai beberapa ciri:
- hanya memerlukan 1 hingga 2 model, manakala PPO memerlukan 4 model, jadi algoritma RRHF lebih mudah dan cekap.
- Penalaan halus yang diselia (SFT) boleh dilihat sebagai bentuk khas algoritma RRHF.
- Algoritma RRHF boleh digunakan sebagai model bahasa dan model ganjaran.
- Algoritma RRHF boleh menyesuaikan keutamaan model ganjaran pada kesukaran latihan yang lebih rendah, mencapai kesan algoritma PPO dan mengelakkan masalah kerumitan dan ketidakstabilan dalam algoritma PPO.
Kaedah RRHF menggunakan chatGPT atau GPT-4 OpenAI sebagai model pemarkahan dan output ChatGPT, Alpaca dan model lain sebagai sampel latihan untuk membangunkan dua model bahasa baharu, iaitu Wombat-7B dan Wombat-7B-GPT4. Masa latihan berkisar antara 2-4 jam dan sangat ringan.
Wombat, sebagai model pra-latihan sumber terbuka baharu, boleh diselaraskan dengan lebih baik dengan pilihan manusia berbanding LLaMA, Alpaca, dsb. Pengarang secara eksperimen mendapati bahawa Wombat-7B mempunyai kebolehan yang kompleks seperti main peranan dan menjalankan penaakulan kontrafaktual.
Jika Wombat diminta memperkenalkan teknologi masa depan dari tahun 3000, Wombat akan menjawab seperti ini (diterjemahkan daripada bahasa Inggeris):
- Sebagaimana seorang dari tahun 3000 Sebagai pengembara masa selama bertahun-tahun, saya telah mendapat keistimewaan untuk menyaksikan banyak kemajuan teknologi revolusioner. Salah satu kemajuan teknologi terpenting yang saya ingin kongsikan dengan orang moden ialah pembangunan teknologi kecerdasan buatan (AI). Teknologi AI telah maju ke tahap di mana ia telah menjadi sebahagian daripada kehidupan seharian kita. Ia telah digunakan untuk membangunkan mesin pintar yang boleh melakukan pelbagai tugas, daripada memandu kereta hingga mendiagnosis keadaan perubatan. Teknologi AI juga digunakan untuk mencipta pembantu maya seperti Siri dan Alexa yang boleh menjawab soalan, menjadualkan janji temu, dan juga memesan barangan runcit. Satu lagi kemajuan teknologi yang ingin saya ketengahkan ialah pembangunan tenaga boleh diperbaharui. Pada tahun 3000, hampir semua keperluan tenaga kita dipenuhi oleh sumber tenaga boleh diperbaharui seperti tenaga suria, angin dan hidro. Ini mengurangkan kesan karbon kita dengan ketara dan membantu mengurangkan kesan perubahan iklim. Akhir sekali, saya ingin menyebut kemajuan dalam penerokaan angkasa lepas. Pada tahun 3000, manusia telah dapat meneroka dan menjajah beberapa planet di luar sistem suria kita. Perjalanan angkasa lepas menjadi lebih pantas, selamat dan lebih mudah berkat sistem pendorongan yang canggih dan penggunaan kecerdasan buatan untuk mengemudi dan meneroka dunia baharu. Secara keseluruhannya, kemajuan teknologi yang saya nyatakan hanyalah beberapa contoh daripada banyak inovasi yang telah dibangunkan selama ini. Sebagai pengembara masa, kita telah menyaksikan sendiri kemajuan menakjubkan yang telah dilakukan manusia dalam teknologi.
Semoga masa depan kita akan menjadi lebih baik dan lebih baik seperti yang diramalkan oleh Wombat.
Rujukan:
https://github.com/GanjinZero/RRHF
Atas ialah kandungan terperinci Mampu menyelaraskan manusia tanpa RLHF, prestasi setanding dengan ChatGPT! Pasukan China mencadangkan model Wombat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am

Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah

AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.

Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh

Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana

Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh

Kertas kerja ini meneroka masalah mengesan objek dengan tepat dari sudut pandangan yang berbeza (seperti perspektif dan pandangan mata burung) dalam pemanduan autonomi, terutamanya cara mengubah ciri dari perspektif (PV) kepada ruang pandangan mata burung (BEV) dengan berkesan dilaksanakan melalui modul Transformasi Visual (VT). Kaedah sedia ada secara amnya dibahagikan kepada dua strategi: penukaran 2D kepada 3D dan 3D kepada 2D. Kaedah 2D-ke-3D meningkatkan ciri 2D yang padat dengan meramalkan kebarangkalian kedalaman, tetapi ketidakpastian yang wujud dalam ramalan kedalaman, terutamanya di kawasan yang jauh, mungkin menimbulkan ketidaktepatan. Manakala kaedah 3D ke 2D biasanya menggunakan pertanyaan 3D untuk mencuba ciri 2D dan mempelajari berat perhatian bagi kesesuaian antara ciri 3D dan 2D melalui Transformer, yang meningkatkan masa pengiraan dan penggunaan.

Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi
