Teknologi ini digunakan oleh ChatGPT dan pesaingnya yang berpotensi

Dengan kemunculan ChatGPT dan perbincangan meluas yang menyusuli, akronim yang tidak jelas seperti RLHF, SFT, IFT, CoT, dll. telah muncul di mata umum, semuanya disebabkan kejayaan ChatGPT. Apakah akronim yang tidak jelas ini? Mengapa mereka begitu penting? Pengarang artikel ini menyemak semua kertas penting mengenai topik ini dan mengklasifikasikan serta meringkaskannya.

ChatGPT bukanlah ejen dialog berasaskan model bahasa pertama (LM) Malah, banyak organisasi telah mengeluarkan ejen dialog model bahasa sebelum OpenAI, termasuk Meta BlenderBot, Google LaMDA, DeepMind's Sparrow. dan Pembantu Antropik. Sesetengah organisasi juga telah mengumumkan rancangan untuk membina bot sembang sumber terbuka dan membuat peta jalan mereka terbuka (seperti Pembantu Terbuka LAION). Mesti ada organisasi lain melakukan perkara yang sama, cuma tidak diumumkan.

Jadual di bawah membandingkan AI ​​chatbots yang dinyatakan di atas berdasarkan sama ada ia boleh diakses secara umum, data latihan, seni bina model dan butiran penilaian. Tiada data yang berkaitan untuk ChatGPT Maklumat yang digunakan di sini ialah InstructGPT, yang merupakan model OpenAI yang diperhalusi dan dianggap sebagai asas ChatGPT.

Walaupun terdapat banyak perbezaan dalam data latihan, model dan penalaan halus, chatbots ini juga berkongsi beberapa persamaan - Arahan mengikut bermakna bertindak balas kepada arahan pengguna. Sebagai contoh, minta ChatGPT menulis puisi tentang siulan.

Dari teks ramalan kepada arahan mengikut

Secara amnya, pemodelan bahasa asas mempunyai matlamat yang tidak mencukupi Untuk membenarkan model untuk mengikuti arahan pengguna dengan cekap. Pencipta model juga menggunakan Penalaan Halus Arahan (IFT), yang boleh memperhalusi model asas pada tugasan yang pelbagai dan juga boleh digunakan pada tugasan NLP klasik seperti analisis sentimen, klasifikasi teks dan ringkasan.

IFT terutamanya terdiri daripada tiga bahagian: arahan, input dan output. Input adalah pilihan dan sesetengah tugas hanya memerlukan arahan, seperti contoh ChatGPT di atas. Input dan output membentuk contoh. Arahan yang diberikan boleh mempunyai berbilang input dan output. Contoh yang relevan adalah seperti berikut ([Wang et al., '22]).

Data IFT biasanya menggunakan set arahan yang diikat oleh arahan manusia dan model bahasa. Untuk bootstrap, LM menjana arahan, input dan output baharu berdasarkan gesaan dengan sampel sifar. Dalam setiap pusingan, model digesa dengan sampel yang dipilih daripada manusia menulis dan menjana model. Sumbangan manusia dan model kepada set data boleh dinyatakan sebagai spektrum, seperti yang ditunjukkan dalam rajah di bawah.

Salah satunya ialah set data IFT yang dijana model semata-mata seperti Arahan Tidak Semulajadi, dan satu lagi ialah himpunan usaha komuniti dan manual Cipta arahan seperti Arahan Super natural. Di antaranya, pilih set data benih berkualiti tinggi dan kemudian bootstrap seperti Arahan Kendiri. Satu lagi cara untuk mengumpul set data untuk IFT ialah menggunakan set data sumber ramai NLP sedia ada yang berkualiti tinggi untuk pelbagai tugas (termasuk menggesa) dan menggunakan set data ini sebagai arahan menggunakan corak bersatu atau templat yang berbeza termasuk T0, set data arahan Semulajadi, FLAN LM dan OPT -IML.

Ikuti arahan dengan selamat

LM Menggunakan arahan yang diperhalusi mungkin tidak selalu menghasilkan respons yang berguna dan selamat. Contoh tingkah laku ini termasuk respons yang tidak sah (subterfuges), sentiasa memberikan respons yang tidak sah seperti "Maaf, saya tidak faham" atau membalas dengan tidak selamat kepada input pengguna tentang topik sensitif.

Untuk menyelesaikan masalah ini, pembangun model menggunakan Penyeliaan Penalaan Halus (SFT) untuk memperhalusi model bahasa asas pada data berlabel manusia berkualiti tinggi untuk mencapai respons yang berkesan dan selamat.

SFT dan IFT berkait rapat. Penalaan arahan boleh dianggap sebagai subset penalaan halus diselia. Dalam literatur terkini, fasa SFT biasanya digunakan untuk topik keselamatan dan bukannya topik khusus arahan yang mengikuti IFT. Pengelasan dan penerangan ini akan mempunyai kes dan kaedah penggunaan yang lebih jelas pada masa hadapan.

LaMDA Google juga diperhalusi berdasarkan set peraturan pada set data perbualan dengan anotasi keselamatan. Peraturan ini biasanya dipratentukan dan digubal oleh pencipta model dan meliputi pelbagai topik seperti kemudaratan, diskriminasi dan maklumat salah.

Penalaan halus model

Sebaliknya, InstructGPT OpenAI, DeepMind’s Sparrow dan ConstitutionalAI Anthropic semuanya menggunakan pembelajaran pengukuhan daripada teknologi maklum balas manusia, RLHF). Dalam RLHF, respons model dinilai berdasarkan maklum balas manusia (seperti memilih jawapan yang lebih baik), kemudian model dilatih dengan respons beranotasi ini untuk mengembalikan ganjaran skalar kepada pengoptimum RL, dan akhirnya agen perbualan dilatih melalui pembelajaran pengukuhan untuk mensimulasikan Model keutamaan.

Chain-of-thought (CoT) ialah kes khas demonstrasi arahan yang menjana output dengan menimbulkan penaakulan langkah demi langkah daripada ejen perbualan. Model yang diperhalusi dengan CoT menggunakan set data arahan beranotasi manusia dengan inferens langkah demi langkah. Seperti yang ditunjukkan dalam contoh di bawah, penanda oren mewakili arahan, penanda merah jambu mewakili input dan output, dan penanda biru mewakili penaakulan CoT.

Model yang diperhalusi dengan CoT berprestasi lebih baik pada tugas yang melibatkan akal sehat, aritmetik dan penaakulan simbolik. Penalaan halus dengan CoT juga telah terbukti sangat berkesan untuk mencapai keadaan tidak berbahaya (kadangkala lebih baik daripada RLHF), dan model itu tidak segan-segan menjana jawapan "Maaf, saya tidak dapat menjawab soalan ini".

Ringkasan perkara utama

Isi utama artikel ini ialah diringkaskan seperti berikut:

1 Berbanding dengan data pra-latihan, hanya sebahagian kecil daripada data yang diperlukan untuk memperhalusi arahan.

2. Penalaan halus diselia menggunakan anotasi manual untuk menjadikan output model lebih selamat dan lebih membantu.

3. Penalaan halus CoT meningkatkan prestasi model pada tugasan pemikiran langkah demi langkah dan mengurangkan respons tidak sah atau pengelakan mereka pada topik sensitif.

Pemikiran mengenai kerja lanjut mengenai ejen dialog

Akhir sekali, penulis memberikan beberapa pemikirannya sendiri tentang perkembangan ejen dialog pada masa hadapan.

1. Betapa pentingnya RL dalam belajar daripada maklum balas manusia? Bolehkah prestasi yang sama seperti RLHF diperoleh melalui latihan mengenai data berkualiti tinggi dalam IFT atau SFT?

2. Sejauh manakah selamat menggunakan SFT+RLHF dalam Sparrow berbanding menggunakan SFT dalam LaMDA?

3. Apakah tahap pra-latihan yang diperlukan untuk IFT, SFT, CoT dan RLHF? Apakah tradeoff? Apakah model asas terbaik yang harus digunakan?

4. Banyak model yang diperkenalkan dalam artikel ini direka dengan teliti, dan jurutera secara khusus mengumpul corak yang membawa kepada kegagalan dan menambah baik latihan masa depan (gesaan dan kaedah) berdasarkan masalah yang telah telah diuruskan. Bagaimanakah kesan kaedah ini boleh didokumenkan dan diterbitkan semula secara sistematik?

Atas ialah kandungan terperinci Teknologi ini digunakan oleh ChatGPT dan pesaingnya yang berpotensi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!