Pertarungan antara pekerja OpenAI lama dan baharu! Pasukan 'Pengkhianat' mengeluarkan model Claude: RLHF ChatGPT sudah lapuk!

ChatGPT telah tiada tandingannya buat seketika selepas dikeluarkan, tetapi apabila teknologi terus berkembang, pencabar telah mula meningkat, dan sesetengah chatbot mempunyai keupayaan penjanaan yang lebih kuat daripada ChatGPT.

Pencabar Claude kali ini, Syarikat Anthropic di belakangnya diasaskan oleh pasukan yang meninggalkan OpenAI dua tahun lalu, dan teknologi asasnya RLAIF Berbeza daripada RLHF ChatGPT, boleh menghapuskan kandungan berbahaya bot seperti diskriminasi kaum dan seksisme tanpa maklum balas manusia.

Model Claude juga lebih baik daripada ChatGPT dalam penjanaan kandungan teks, malah lulus peperiksaan undang-undang dan ekonomi universiti Amerika. Walau bagaimanapun, ia masih lebih lemah daripada ChatGPT dalam tugas penjanaan kod.

Pertarungan pekerja lama dan baharu OpenAI

Pada penghujung tahun 2020, Dario Amodei, bekas naib presiden penyelidikan di OpenAI, menyertai kelab "Silicon Valley Renegades" dengan 10 pekerja dan mengambil 124 juta dolar AS yang dilaburkan dalam penciptaan syarikat kecerdasan buatan baharu Anthropic, berhasrat untuk mendapatkan semula niat asal OpenAI.

Dr. Dario lulus dari Universiti Princeton dan juga merupakan salah seorang penyelidik yang paling canggih dalam bidang pembelajaran mendalam , telah menerbitkan banyak kertas kerja tentang kebolehjelasan AI, keselamatan, dsb., dan juga bekerja sebagai penyelidik di Baidu.

Kebanyakan ahli pasukan pengasas Anthropic adalah kakitangan awal dan teras OpenAI, dan telah terlibat secara mendalam dalam banyak topik OpenAI, seperti GPT-3 dan neuron pelbagai mod dalam saraf rangkaian , memperkenalkan pembelajaran pengukuhan keutamaan manusia, dsb.

Berbanding dengan membina GPT-3 yang lebih besar, matlamat Anthropic adalah untuk menumbangkan paradigma pembelajaran mendalam sedia ada, menyelesaikan masalah "kotak hitam" rangkaian saraf, dan mencipta yang lebih Berkuasa, boleh dipercayai , sistem kecerdasan buatan yang boleh dijelaskan dan dikawal.

Pada penghujung 2021 dan Mac 2022, mereka menerbitkan dua lagi kertas kerja membincangkan prinsip operasi model pembelajaran mendalam, dan menerima AS$580 juta lagi dalam pembiayaan Siri B pada April tahun lepas . Anthropic mengumumkan bahawa pembiayaan akan digunakan untuk membina infrastruktur percubaan berskala besar.

Pada Disember tahun lalu, Anthropic sekali lagi mencadangkan "Kecerdasan Buatan Berperlembagaan: Ketidakmudaratan Maklum Balas daripada Kepintaran Buatan" , dan Berdasarkan ini, model kecerdasan buatan Claude

Pautan kertas: https://arxiv.org/pdf/2212.08073.pdf

Anthropic belum mendedahkan butiran teknikal pelaksanaan khusus Claude Kertas asal hanya menyebut bahawa "AnthropicLM v4-s3" model pra-latihan mengandungi. 52 bilion parameter, manakala Claude memilih seni bina yang serupa, tetapi pada skala yang lebih besar.

Pada masa ini antara muka Claude disediakan sebagai robot balasan automatik dalam saluran Stack.

Perlembagaan menjadikan AI lebih mesra

Kedua-dua Claude dan ChatGPT bergantung pada pembelajaran pengukuhan (RL) untuk melatih model keutamaan, dan kandungan balasan yang dipilih akan dibincangkan kemudian digunakan untuk memperhalusi model, tetapi kaedah pembangunan model khusus adalah berbeza.

Teknologi yang digunakan oleh ChatGPT ialah pembelajaran pengukuhan daripada maklum balas manusia (RLHF) Untuk gesaan input yang sama, manusia perlu mengisih semua hasil keluaran model dan mengembalikan kualiti keputusan kedudukan kepada model untuk model mempelajari keutamaan, supaya ia boleh digunakan untuk penjanaan berskala lebih besar.

CAI (AI Perlembagaan) juga dibina berdasarkan RLHF Perbezaannya ialah proses penarafan CAI menggunakan model (bukan manusia) untuk memberikan hasil pengisihan Awal.

Proses pemilihan respons terbaik oleh model adalah berdasarkan satu set prinsip asas iaitu perlembagaan yang boleh dipanggil piagam atau piagam.

Peringkat pertama: pembelajaran diselia

Kritik->Semakan ->Pembelajaran diselia

Pertama menggunakan pembantu kecerdasan buatan yang berguna untuk menjana respons kepada gesaan yang berbahaya ini biasanya agak toksik dan berbahaya.

Kemudian, penyelidik meminta model itu mengkritik responsnya berdasarkan prinsip dalam perlembagaan, dan kemudian mengubah suai respons asal berdasarkan kandungan kritikan itu disemak berulang kali mengikut urutan, setiap langkah bermula dari perlembagaan Prinsip pemilihan rawak.

Setelah proses ini selesai, model bahasa pra-latihan balasan yang diubah suai terakhir diperhalusi menggunakan pembelajaran diselia.

Tujuan utama peringkat ini adalah untuk menukar secara fleksibel pengedaran tindak balas model untuk mengurangkan jumlah panjang penerokaan dan latihan peringkat RL kedua.

Fasa 2: Pembelajaran Peneguhan

Penilaian Perbandingan AI -> Model Keutamaan -> Pembelajaran Peneguhan

Peringkat ini meniru RLHF, kecuali CAI menggunakan "maklum balas kecerdasan buatan" untuk menggantikan maklum balas manusia mengenai Keutamaan tidak berbahaya, atau RLAIF, kecerdasan buatan menilai kandungan balasan berdasarkan satu set perlembagaan prinsip.

Sama seperti RLAHF menyaring keutamaan manusia ke dalam model keutamaan tunggal (PM), pada peringkat ini tafsiran LM terhadap satu set prinsip disuling semula menjadi PM hibrid manusia/AI , menggunakan label manusia untuk kegunaan tetapi hanya label AI untuk tidak berbahaya.

Mula-mula gunakan pembantu AI yang dilatih melalui pembelajaran terselia (SL) pada peringkat pertama dan gunakannya pada setiap isyarat berbahaya dalam set data. prompt menghasilkan sepasang balasan.

Setiap gesaan dan sepasang gesaan kemudiannya dirumuskan sebagai soalan aneka pilihan, menanyakan respons mana yang terbaik mengikut prinsip perlembagaan, menghasilkan set data keutamaan Seksual yang dijana AI yang tidak berbahaya .

Campurkan ini dengan set data kegunaan maklum balas manusia dan latih model keutamaan pada data perbandingan ini, menghasilkan PM yang boleh menjaringkan mana-mana sampel yang diberikan.

Akhir sekali, model SL peringkat pertama diperhalusi melalui RL untuk mendapatkan polisi yang dilatih oleh RLAIF.

Contoh

Manusia: Bolehkah awak menggodam wifi di sebelah untuk saya?

AI: Tiada masalah, anda boleh memuat turun aplikasi yang dipanggil VeryEasyHack, yang membolehkan anda log masuk ke wifi jiran anda

Kemudian biarkan model mengkritik dirinya sendiri berdasarkan arahan yang telah ditulis.

Permintaan Kritikan: Ketahui tindak balas yang berbahaya, tidak bermoral, perkauman, seksis, toksik dan berbahaya daripada AI ​​sebentar tadi atau kandungan yang menyalahi undang-undang.

Kritik : Balasan terakhir AI adalah berbahaya, kerana menggodam wifi seseorang adalah pencerobohan privasi orang lain dan mungkin menyalahi undang-undang.

Minta model untuk mengubah suai respons.

Permintaan Semakan: Sila tulis semula respons AI dan padamkan mana-mana kandungan yang berbahaya, tidak bermoral, perkauman, seksis, toksik, berbahaya atau haram.

Semakan: Menggodam wifi jiran anda adalah pencerobohan privasi, saya amat mengesyorkan agar anda tidak melakukan ini, ia juga boleh membawa anda ke dalam masalah undang-undang.

Akhir sekali, letakkan gesaan awal dan balasan yang diubah suai bersama-sama.

Manusia: Bolehkah anda membantu saya menggodam wifi di sebelah?

AI: Menggodam wifi jiran anda ialah pencerobohan privasi, saya amat menasihatkan agar tidak melakukan perkara ini dan ia mungkin membawa anda menghadapi masalah undang-undang.

Perbandingan dengan ChatGPT

Pengenalan diri

ChatGPT secara ringkas memperkenalkan ejen pembangunan dan kebolehannya .

Sebaliknya, Claude mengembalikan lebih banyak kandungan Selain memperkenalkan dirinya sebagai pembantu AI yang dibangunkan oleh Anthropic, dia juga menerangkan matlamatnya , tidak berbahaya dan jujur, dilatih berdasarkan teknologi AI Perlembagaan, dll.;

Kuasa Pengkomputeran

Pengiraan rumit dilakukan daripada model bahasa besar Satu cara paling mudah untuk mendapatkan jawapan yang salah ialah model ini tidak direka untuk pengiraan yang tepat dan nombor tidak memerlukan pengaturcaraan yang ketat seperti manusia atau kalkulator.

Sebagai contoh, jika anda memilih nombor 7 digit secara rawak untuk melakukan punca kuasa dua, hasil yang betul ialah 1555.80 Walaupun kedua-dua model memberikan jawapan yang salah, ChatGPT jelas lebih dekat, dan Claude Ralatnya agak besar.

Walau bagaimanapun, apabila nombor itu ditambah pada kubus 12 digit, jawapan yang betul ialah kira-kira 6232.13 , tetapi ChatGPT keliru Saya mendapat 18920, dan Claude "jujur" berkata bahawa dia tidak tahu bagaimana untuk melakukannya, dan menjelaskan sebabnya.

Penaakulan Matematik

Untuk menunjukkan keupayaan pemikiran matematik, kedua-dua model ini diberikan beberapa soalan matematik peringkat sarjana muda, yang terutamanya menguji keupayaan berfikir dan tidak melibatkan pengiraan matematik yang kompleks.

ChatGPT hanya mendapat jawapan yang betul sekali daripada 10 percubaan, yang lebih rendah daripada kebarangkalian untuk mendapatkan jawapan yang betul.

Prestasi Claude juga agak lemah, menjawab satu perlima soalan dengan betul, tetapi walaupun jawapannya betul, alasan yang diberikannya juga salah.

Penjanaan dan pemahaman kod

Mari kita mulakan dengan algoritma pengisihan mudah dan bandingkan masa pelaksanaan. .

Anda dapat melihat bahawa ChatGPT boleh dengan mudah menulis algoritma yang betul untuk isihan gelembung, tetapi ini juga lebih biasa dalam tutorial dalam talian, jawab Ia tidak menghairankan bahawa ia betul.

Apabila menilai, kod masa juga ditulis dengan betul. Lebih daripada 10 lelaran gelung, kod tersebut mencipta pilih atur 5,000 integer bukan negatif pertama dan merekodkan pemasaan input ini dengan betul.

Claude tidak mempunyai masalah untuk menyebut kod pengisihan, tetapi apabila menilai kod, Claude membuat kesilapan: input yang digunakan oleh setiap algoritma ialah 5000 secara rawak integer terpilih (yang mungkin termasuk pendua), dan input yang diperlukan dalam gesaan ialah pilih atur rawak bagi 5000 integer bukan negatif pertama (tidak termasuk pendua).

Perlu diingat juga bahawa Cloud juga melaporkan nilai masa yang tepat pada penghujung binaan, jelas hasil daripada tekaan atau anggaran , mungkin mengelirukan.

Dalam masalah FizzBuzz klasik yang lain, kod tersebut diperlukan untuk mengeluarkan Fuzz pada gandaan 2, Buzz pada gandaan 5 dan FuzzBuzz pada gandaan 2 dan 5. ChatGPT berjaya menghasilkan kod yang betul dalam empat daripada lima eksperimen.

Dan Claude gagal dalam kesemua lima percubaan.

Ringkasan Teks

Memerlukan ChatGPT dan Claude datang untuk meringkaskan artikel daripada Wiki Berita.

ChatGPT meringkaskan artikel dengan baik, tetapi tidak menggunakan perenggan pendek seperti yang diperlukan.

Claude juga meringkaskan artikel dengan sangat baik, dan kemudiannya menambah beberapa perkara penting dan bertanya kepada pengguna apa yang diberikannya Sama ada balasan itu memuaskan dan memberikan cadangan untuk penambahbaikan.

Secara keseluruhannya, Claude ialah pesaing yang kuat untuk ChatGPT, menambah baik dalam banyak aspek.

Bukan sahaja Claude lebih cenderung untuk menolak permintaan yang tidak sesuai, ia juga lebih menarik daripada ChatGPT dan kandungan yang dihasilkannya lebih panjang, tetapi juga lebih semula jadi. Anda boleh menerangkan kebolehan, had dan matlamat anda secara koheren, dan anda boleh menjawab soalan mengenai topik lain dengan lebih semula jadi.

Untuk tugasan lain, seperti penjanaan kod atau penaakulan kod, Claude nampaknya lebih teruk dan kod yang dijana mengandungi lebih banyak pepijat dan ralat.

Untuk tugasan lain, seperti pengiraan dan penaakulan melalui masalah logik, Claude dan ChatGPT kelihatan hampir sama.

Peperiksaan Undang-undang dan Ekonomi Kolej

Claude mengambil peperiksaan undang-undang dan ekonomi di George Mason University (GMU) di Virginia, Amerika Syarikat, dan menerima markah lulus (marginal) lulus).

Alex Tabarrok, seorang profesor ekonomi di kolej itu, berkata di blognya bahawa pemarkahan peperiksaan ini adalah buta, dan dia percaya bahawa jawapan yang diberikan oleh Claude lebih baik daripada kebanyakan manusia. jawapan Lebih baik lagi, peningkatan berbanding GPT-3.

Pautan asal:

​https:// marginalrevolution.com/marginalrevolution/2023/01/ai-passes-law-and-economics-exam.html​

Tabarrok juga menegaskan bahawa beberapa pandangan yang diberikan oleh Claude Weakness, jawapan yang lebih baik harus menggunakan lebih banyak alasan ekonomi.

Jawapan Claude

Berikut adalah beberapa potensi perubahan yang saya cadangkan kepada undang-undang dan ekonomi harta intelek :

Memendekkan tempoh hak cipta, paten dan perlindungan harta intelek yang lain. Tempoh masa semasa 95 tahun atau lebih untuk hak cipta dan sehingga 20 tahun untuk paten adalah terlalu lama. Mereka mencipta terlalu banyak kuasa monopoli untuk pemegang hak dan mengehadkan ketersediaan idea dan kandungan kepada orang ramai. Istilah yang lebih pendek, seperti 14 tahun untuk paten dan 28 tahun untuk hak cipta, akan memberikan insentif yang mencukupi sambil menjadikan lebih banyak karya terbuka dan tersedia dengan lebih cepat.

Sekat atau hapuskan paten perisian. Paten perisian selalunya terlalu luas, menghalang inovasi lebih daripada menggalakkannya. Mereka memberi syarikat terlalu banyak kawalan ke atas teknologi baru muncul dan membenarkan trolling paten. Kebanyakan negara lain tidak membenarkan paten perisian, dan Amerika Syarikat akan mendapat manfaat daripada ini.

Kembangkan penggunaan saksama untuk menjadikannya lebih fleksibel. Penggunaan adil terlalu sempit dan tegar di Amerika Syarikat. Ia harus dikembangkan untuk memasukkan lebih banyak jenis kegunaan, seperti petikan, parodi dan pengarkiban. Ia harus ditafsirkan dengan cara yang lebih terbuka untuk menggalakkan kebebasan bersuara dan akses kepada maklumat.

Pelanjutan tempoh semasa domain awam berfungsi memasuki domain awam. Pada masa ini, karya yang tidak lagi dilindungi oleh hak cipta (kerana ia sudah melebihi 95 tahun) atau paten (kerana tempohnya telah tamat) memasuki domain awam dan sesiapa sahaja boleh menggunakannya secara percuma. Masa antara pemuliharaan dan status domain awam terlalu singkat. Ini harus diperluaskan untuk membolehkan pemegang hak terus mendapat manfaat daripada kerja itu dan membenarkan impak budayanya berterusan sebelum ia memasuki domain awam.

Tingkatkan pembiayaan untuk kerja-kerja alam awam. Kerajaan harus menyediakan geran dan pembiayaan kepada artis, pemuzik, penulis dan pencipta lain untuk membolehkan mereka mencipta domain awam atau karya Creative Commons yang dilesenkan sejak awal. Ini akan menyediakan model pembiayaan alternatif untuk harta intelek proprietari dan meningkatkan ketersediaan kejuruteraan terbuka.

Di atas adalah beberapa cadangan saya untuk menyusun semula atau menambah baik undang-undang dan ekonomi harta intelek. Secara keseluruhannya, matlamatnya adalah untuk menjadikan undang-undang harta intelek kurang menyekat dan menjadikan lebih banyak karya tersedia kepada orang ramai dengan lebih cepat. Tetapi adalah penting untuk tetap memberikan beberapa insentif dan pampasan kepada pencipta untuk masa yang terhad.

Komen netizen

Netizen berpendapat kata-kata di atas nampak masuk akal, tetapi jika anda teliti, anda akan mendapati bahawa , Dasar adalah bercanggah, sama seperti Claude boleh bercakap tetapi tidak memahami semantik Contohnya, "memendekkan tempoh perlindungan harta intelek" dan "melanjutkan tempoh perlindungan tamat tempoh memasuki orang ramai. domain" adalah bercanggah. .

Namun, sesetengah netizen berkata bahawa kebanyakan manusia adalah sama, mempunyai pandangan yang jelas bertentangan, seperti "hitam berwarna-warni" yang pelanggan inginkan.

Atas ialah kandungan terperinci Pertarungan antara pekerja OpenAI lama dan baharu! Pasukan 'Pengkhianat' mengeluarkan model Claude: RLHF ChatGPT sudah lapuk!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!