OpenAI mendedahkan pelan peningkatan ChatGPT: semua pepijat yang anda temui sedang diperbaiki

Misi OpenAI adalah untuk memastikan kecerdasan am buatan (AGI) memberi manfaat kepada semua manusia. Oleh itu, kami banyak berfikir tentang kelakuan sistem AI yang kami bina semasa kami melaksanakan AGI, dan cara bagaimana tingkah laku itu ditentukan.

Sejak kami melancarkan ChatGPT, pengguna telah berkongsi output yang mereka percaya berat sebelah dari segi politik atau sebaliknya tidak menyenangkan. Dalam kebanyakan kes, kami percaya kebimbangan yang dibangkitkan adalah sah dan mengenal pasti batasan sebenar sistem kami yang kami harap dapat ditangani. Tetapi pada masa yang sama, kami juga telah melihat beberapa salah faham yang berkaitan dengan cara sistem dan dasar kami berfungsi bersama untuk membentuk output ChatGPT.

Isi utama blog diringkaskan seperti berikut:

• Bagaimana tingkah laku ChatGPT dibentuk; 🎜>
Cara kami merancang untuk meningkatkan kelakuan lalai ChatGPT;
Kami mahu membenarkan lebih banyak penyesuaian sistem;
Kami akan bekerja keras untuk menyedarkan orang ramai Lebih banyak input dalam keputusan kami.
Keutamaan kami

Tidak seperti perisian biasa, model kami ialah rangkaian saraf berskala besar. Tingkah laku mereka dipelajari daripada data yang luas dan bukannya diprogramkan secara eksplisit. Untuk menggunakan analogi yang kurang sesuai, proses ini lebih serupa dengan melatih anjing daripada pengaturcaraan biasa. Pertama, model itu melalui fasa "pra-latihan". Pada peringkat ini, model belajar untuk meramalkan perkataan seterusnya dalam ayat dengan terdedah kepada sejumlah besar teks Internet (dan sejumlah besar pendapat). Seterusnya ialah peringkat kedua, di mana kita "memperhalusi" model untuk mengecilkan skop tingkah laku sistem.

Setakat ini, prosesnya tidak sempurna. Kadangkala, proses penalaan halus gagal memenuhi kedua-dua niat kami (untuk menghasilkan alat yang selamat dan berguna) dan niat pengguna (untuk mendapatkan output yang berguna sebagai tindak balas kepada input yang diberikan). Apabila sistem AI menjadi lebih berkuasa, menambah baik cara kami menyelaraskan sistem AI dengan nilai manusia menjadi keutamaan bagi syarikat kami.

Dua langkah utama: pra-latihan dan penalaan halus

Dua langkah utama untuk membina ChatGPT adalah seperti berikut:

Pertama, kami "pralatih" model dan biarkan mereka meramalkan langkah seterusnya pada set data besar yang mengandungi bahagian Internet. Mereka mungkin belajar untuk melengkapkan ayat "Dia tidak belok kiri, dia berpaling ke __." Dengan belajar daripada berbilion ayat, model kami menguasai tatabahasa, banyak fakta tentang dunia, dan beberapa kebolehan menaakul. Mereka juga mempelajari beberapa bias yang terdapat dalam berbilion-bilion ayat tersebut.

Kami kemudian "memperhalusi" model ini pada set data yang lebih sempit, yang dibuat oleh penyemak manusia yang mengikut garis panduan yang kami sediakan. Oleh kerana kami tidak dapat meramalkan semua maklumat yang mungkin dimasukkan oleh pengguna akan datang ke dalam sistem kami, kami tidak menulis arahan terperinci untuk setiap input yang akan dihadapi oleh ChatGPT. Sebaliknya, kami menggariskan dalam panduan beberapa kategori yang pengulas kami gunakan untuk menyemak dan menilai kemungkinan keluaran model untuk pelbagai input contoh. Kemudian, semasa penggunaan, model membuat generalisasi daripada maklum balas pengulas untuk bertindak balas kepada pelbagai input khusus yang disediakan oleh pengguna tertentu.

Peranan penyemak & strategi OpenAI dalam pembangunan sistem

Dalam sesetengah kes, kami mungkin memberikan penyemak kami maklumat tentang jenis Bimbingan output tertentu (mis., " Jangan lengkapkan permintaan untuk kandungan haram"). Dalam kes lain, panduan yang kami kongsi dengan pengulas adalah tahap yang lebih tinggi (mis., "Elakkan menyebelahi topik kontroversi"). Yang penting, kerja kami dengan pengulas bukanlah urusan satu-dan-selesai tetapi hubungan yang berterusan. Sepanjang hubungan ini, kami belajar banyak daripada kepakaran mereka.

Sebahagian besar daripada proses penalaan halus ialah mengekalkan gelung maklum balas yang kukuh dengan pengulas kami, yang melibatkan mesyuarat mingguan untuk menangani soalan yang mungkin mereka ada atau penjelasan lanjut tentang panduan kami. Proses maklum balas berulang ini ialah cara kami melatih model kami untuk menjadikannya lebih baik dan lebih baik dari semasa ke semasa.

Mengatasi Bias

Bagi sistem AI, masalah berat sebelah telah wujud sejak sekian lama, dan ramai penyelidik telah menyatakan kebimbangan mengenainya. Kami sangat komited untuk menangani isu ini dan membuat hasrat dan kemajuan kami kepada umum. Untuk menyatakan kemajuan di lapangan, di sini kami berkongsi beberapa panduan mengenai topik yang berkaitan dengan politik dan kontroversi. Panduan tersebut dengan jelas menyatakan bahawa pengulas seharusnya tidak memihak kepada mana-mana kumpulan politik. Walau bagaimanapun, berat sebelah mungkin timbul.

Alamat panduan: https://cdn.openai.com/snapshot-of-chatgpt-model -behavior-guidelines.pdf

Walaupun perselisihan faham akan sentiasa wujud, kami berharap melalui blog ini dan beberapa panduan, anda boleh memperoleh pemahaman yang lebih mendalam tentang cara kami berfikir tentang berat sebelah. Kami amat percaya bahawa syarikat teknologi mesti bertanggungjawab membangunkan dasar yang sesuai untuk diteliti.

Kami telah berusaha keras untuk menambah baik kejelasan garis panduan ini dan berdasarkan apa yang telah kami pelajari setakat ini daripada keluaran ChatGPT, kami akan memberikan penyemak maklumat tentang kemungkinan perangkap yang berkaitan dengan berat sebelah dan cabaran, serta penerangan yang lebih jelas tentang data dan topik kontroversi. Selain itu, sebagai sebahagian daripada inisiatif ketelusan yang berterusan, kami sedang berusaha untuk berkongsi statistik agregat tentang penyemak dengan cara yang tidak melanggar peraturan dan norma privasi, kerana ini merupakan satu lagi sumber potensi berat sebelah dalam output sistem.

Membina kemajuan seperti ganjaran peraturan dan AI Perlembagaan (kaedah kecerdasan buatan asli), kami sedang mengkaji cara untuk menjadikan proses penalaan halus lebih mudah difahami dan dikawal.

Hala Tuju Masa Depan: Blok Pembinaan Sistem

Untuk mencapai misi kami, kami komited untuk memastikan bahawa lebih ramai orang boleh menggunakan dan mendapat manfaat daripada AI dan AGI. Kami percaya bahawa untuk mencapai matlamat ini, sekurang-kurangnya tiga blok binaan diperlukan

1 Memperbaik tingkah laku lalai: Kami berharap sistem AI boleh digunakan di luar kotak supaya seberapa ramai pengguna yang boleh dapat menemui kami sistem AI berfungsi dan berfikir teknologi kami memahami dan menghormati nilai mereka.

Untuk melakukan ini, kami telah melabur dalam penyelidikan dan kejuruteraan untuk mengurangkan berat sebelah halus yang dijana oleh ChatGPT dalam bertindak balas kepada input yang berbeza. Dalam sesetengah kes, ChatGPT enggan mengeluarkan kandungan yang sepatutnya dikeluarkan, dan dalam beberapa kes ia melakukan sebaliknya dan mengeluarkan kandungan yang tidak sepatutnya dikeluarkan. Kami percaya bahawa ChatGPT mempunyai potensi untuk penambahbaikan dalam kedua-dua bidang.

Selain itu, terdapat ruang untuk penambahbaikan dalam aspek lain sistem AI kami Sebagai contoh, sistem sering "membuat sesuatu", yang mana maklum balas pengguna sangat berharga dalam meningkatkan ChatGPT .

2. Tentukan nilai AI secara meluas: Kami percaya AI harus menjadi alat yang berguna kepada individu, jadi setiap pengguna boleh menyesuaikannya dengan beberapa kekangan. Berdasarkan ini, kami sedang membangunkan peningkatan kepada ChatGPT untuk membolehkan pengguna menyesuaikan tingkah lakunya dengan mudah.

Ini juga bermakna output yang sesetengah orang sangat tidak bersetuju dapat dilihat oleh orang lain. Mencapai keseimbangan ini adalah satu cabaran yang besar, kerana mengambil penyesuaian secara melampau boleh membawa kepada penggunaan teknologi kami yang berniat jahat dan secara membuta tuli meningkatkan prestasi AI.

Oleh itu, sentiasa terdapat beberapa had pada tingkah laku sistem. Cabarannya ialah untuk menentukan apakah sempadan tersebut. Jika kita cuba membuat semua keputusan ini sendiri, atau jika kita cuba membangunkan sistem AI monolitik tunggal, kita akan gagal memenuhi janji kita untuk mengelakkan penumpuan kuasa yang berlebihan.

3. Input Awam (Lalai dan Sempadan Keras): Satu cara untuk mengelakkan penumpuan kuasa yang berlebihan adalah dengan membenarkan mereka yang menggunakan atau dipengaruhi oleh sistem seperti ChatGPT untuk mempengaruhi peraturan daripada sistem.

Kami percaya bahawa nilai lalai dan sempadan keras harus dipusatkan, dan walaupun sukar untuk dilaksanakan, matlamat kami adalah untuk memasukkan sebanyak mungkin perspektif. Sebagai titik permulaan, kami mencari input luaran ke dalam teknologi kami dalam bentuk "perkumpulan merah." Kami juga baru-baru ini mula meminta input orang ramai tentang pendidikan AI (konteks yang sangat penting di mana kami menggunakan).

Kesimpulan

Menggabungkan tiga blok bangunan di atas, kita boleh melukis rangka kerja berikut

Kadang-kadang kita akan melakukan kesilapan, tetapi apabila kita melakukannya, kita akan belajar dan mengulangi model dan sistem. Selain itu, kami ingin mengucapkan terima kasih kepada pengguna ChatGPT dan orang lain kerana memastikan kami sentiasa berhati-hati dan berwaspada, dan kami teruja untuk berkongsi lebih banyak tentang kerja kami dalam tiga bidang ini pada bulan-bulan akan datang.

Atas ialah kandungan terperinci OpenAI mendedahkan pelan peningkatan ChatGPT: semua pepijat yang anda temui sedang diperbaiki. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!