Analisis ringkas: prinsip asas aplikasi ChatGPT

ChatGPT sudah pasti orang paling cantik di Internet baru-baru ini Melalui tempoh penggunaan ini dan semakan beberapa maklumat, Xiao Wang telah mempelajari beberapa prinsip di sebaliknya dan cuba menerangkan prinsip asas aplikasi ChatGPT. Jika terdapat sebarang ketidaktepatan, sila betulkan saya.

Membaca artikel ini mungkin menjawab soalan berikut untuk anda:

Mengapa sesetengah ChatGPT mengenakan bayaran dan ada yang tidak?

Mengapa ChatGPT menjawab perkataan demi perkataan?

Mengapa jawapan kepada soalan Cina kadang-kadang tidak masuk akal?

Mengapa ia menjawab masa dahulu apabila anda bertanya hari ini hari apa?

Mengapa anda enggan menjawab beberapa soalan?

Cara "ChatGPT Domestic Version" berfungsi

Dengan populariti ChatGPT, banyak versi domestik telah muncul versi ini percuma untuk digunakan bilangan kali dan kaedah pengecasan seterusnya adalah berbeza. Saudara Xiao Wang melukis lakaran dan cuba membantu memahami.

[Untuk Kaedah 1]: Selepas mendaftar akaun, anda boleh menggunakan Internet Saintifik buat masa ini tiada had untuk bilangan kali. Untuk kos pendaftaran, sila rujuk artikel saya sebelum ini.

【Kaedah 2】: Difahamkan akses Internet saintifik tidak diperlukan Kos penggunaan adalah untuk membeli perkhidmatan pengendali "Versi domestik ChatGPT", jadi kos penggunaan juga berbeza.

ChatGPT, bagaimana ia berfungsi secara dalaman?

Pertama, OpenAI melancarkan pembantu perbualan baharu pada 30 November 2022. Chatbot adalah berdasarkan model bahasa (LLM untuk Model Bahasa Besar) GPT-3, atau lebih tepat lagi, pada versi 3.5nya. ChatGPT sebenarnya ialah adaptasi InstructGPT, yang telah dilancarkan pada Januari 2022 tetapi tidak membuat kesan yang sama pada masa itu.

Bagaimanakah ChatGPT lebih baik daripada pendahulunya?

Terima kasih kepada keupayaannya untuk menjana teks seperti manusia secara automatik, serta keupayaannya untuk mengambil kira konteks perbualan sambil mengelakkan kekurangan pendahulunya, seperti Tay daripada Microsoft atau Galactica daripada Meta . Tay menjadi rasis dan xenofobia dalam masa 24 jam. Galactica mencipta karut dan maklumat yang salah dan boleh bercakap tentang perkauman dengan cara yang sangat fasih. Tay telah ditutup dalam masa 24 jam, Galactica tiga hari kemudian. OpenAI nampaknya telah belajar daripada kesilapan Microsoft dan Meta. Dalam tempoh yang singkat, sistem telah ditolak ke tahap yang tidak pernah berlaku sebelum ini.

Apakah itu GPT-3?

Siri model GPT (Generative Pre-trained Transformer) terdiri daripada model bahasa berdasarkan teknologi Transformer. Ia dibangunkan oleh syarikat OpenAI yang berpangkalan di San Francisco. OpenAI diasaskan pada Disember 2015 oleh Elon Musk (bos kereta elektrik Tesla) dan ahli perniagaan Amerika Sam Altman, pendahulu kepada inkubator Y Combinator (Scribd, Reddit, Airbnb, Dropbox, GitLab, Women Who Code, dll.) Presiden. ), dan telah berkhidmat sebagai Pengerusi Lembaga Pengarah OpenAI sejak 2020.

Pada tahun 2020, GPT-3 ialah model bahasa terbesar yang pernah dibina, dengan 175 bilion parameter. Ia sangat besar sehingga 800 GB memori diperlukan untuk melatihnya.

LLM biasanya dijana daripada sejumlah besar teks contoh dalam bahasa dan domain yang berbeza. GPT-3 telah dilatih mengenai ratusan bilion perkataan Inggeris daripada Common Crawl, WebText2, Books1/2 dan Wikipedia (Xiao Wangge berpendapat inilah sebab kami bertanya soalan dalam bahasa Cina, dan kadangkala ia menjawab Alasan yang membuat kami ketawa dan menangis ). Ia juga dilatih dengan contoh pengaturcaraan berkod dalam CSS, JSX, Python dan banyak lagi. Ia menerima 2048 token sebagai input, yang membolehkannya mengendalikan ayat yang sangat besar iaitu kira-kira 1,500 perkataan (OpenAI menganggap token sebagai sebahagian daripada perkataan yang mengandungi kira-kira empat aksara, dan menggunakan contoh 1,000 token yang mewakili kira-kira 750 perkataan).

GPT-3 dikelaskan sebagai model generatif, yang bermaksud ia dilatih terutamanya untuk meramalkan token seterusnya pada akhir ayat input, iaitu perkataan seterusnya ( Ini juga sebabnya ia adalah Perkataan demi perkataan yang muncul pada skrin (). Mekanisme autolengkap kini ditemui dalam enjin carian atau Outlook.

GPT-3 telah disebut berkali-kali kerana keupayaannya menjana teks yang sangat hampir dengan keupayaan wartawan atau pengarang. Hanya berikan permulaan ayat dan ia akan melengkapkan seluruh perenggan atau artikel perkataan demi perkataan. Dengan lanjutan, model ini telah menunjukkan keupayaannya untuk mengendalikan pelbagai tugas pemprosesan bahasa, seperti menterjemah, menjawab soalan dan mengisi perkataan yang hilang dalam teks.

GPT-3.5 ialah varian model GPT-3. Ia telah dilatih menggunakan campuran teks dan kod terpilih sehingga S4 2021. Ini menjelaskan sebab ChatGPT tidak dapat membangkitkan fakta selepas tarikh tersebut. (Ini menjelaskan mengapa apabila anda bertanya hari ini hari apa, jawapannya adalah pada masa lalu ).

Adakah kita enggan menjawab beberapa soalan?

Jika kita bertanya beberapa soalan yang tidak beretika, ia akan menolak untuk menjawab: seperti berikut:

Ia akan menolak dengan sopan untuk menjawab. Tidak seperti Tay dan Galactica, latihan ChatGPT disederhanakan pada sumber menggunakan API penyederhanaan, yang membenarkan permintaan yang tidak sesuai ditangguhkan semasa latihan. Walau bagaimanapun, positif palsu dan negatif palsu masih boleh berlaku dan membawa kepada kesederhanaan yang berlebihan. API Kesederhanaan ialah model klasifikasi yang dilakukan oleh model GPT berdasarkan kategori berikut: Keganasan, Mencederakan Diri, Kebencian, Gangguan dan Seksualiti. Untuk melakukan ini, OpenAI menggunakan data tanpa nama dan data sintetik (sampel sifar), terutamanya apabila data tidak mencukupi.

Akhirnya

Keupayaan ChatGPT untuk mensimulasikan perbualan sebenar adalah luar biasa. Walaupun kita tahu ia adalah mesin, algoritma, kita hanya boleh terperangkap dalam permainan menanyakan begitu banyak soalan sehingga mesin itu kelihatan suci oleh pengetahuannya yang terlalu besar.

Tetapi apabila dilihat dengan teliti, ia masih menjadi penjana ayat tanpa pemahaman dan kritikan diri seperti manusia. Saya lebih ingin tahu tentang apa yang akan berlaku seterusnya dan sejauh mana kejayaan mereka dengan seni bina jenis ini.

Rujukan:

Indeks Model: https://beta.openai.com/docs/model-index-for-researchers

InstructGPT: https://openai. com/blog/instruction-following/

ChatGPT: https://openai.com/blog/chatgpt/

BLOOM: https://bigscience.huggingface.co/blog/bloom

Y Combinator: https://fr.wikipedia.org/wiki/Y_Combinator

Atas ialah kandungan terperinci Analisis ringkas: prinsip asas aplikasi ChatGPT. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!