Makmal penyelidikan kecerdasan buatan OpenAI mengeluarkan model penjanaan bahasa semula jadi ChatGPT pada 30 November 2022. Ia telah melebihi 100 juta pengguna dalam tempoh dua bulan selepas pelancarannya, menjadi pemain super yang layak dalam industri kecerdasan buatan. ChatGPT dengan pantas menembusi dengan keupayaan antropomorfik yang berkuasa dan tindak balas tepat pada masanya, membangkitkan perbincangan hangat dalam semua lapisan masyarakat. Ringkasnya, ChatGPT ialah chatbot kecerdasan buatan yang boleh menjana jawapan secara automatik berdasarkan input teks pengguna. Kemudian sesetengah orang pasti akan mengatakan bahawa ini adalah Siri Walaupun kedua-duanya adalah robot interaktif, perbezaan antara kedua-duanya adalah besar. Jadi mengapa ChatGPT berprestasi begitu baik dalam interaksi manusia-komputer? Adakah ia akan menggantikan enjin carian? Adakah 90% orang benar-benar berada dalam bahaya kehilangan pekerjaan kerana kemunculan ChatGPT? Dengan memikirkan soalan-soalan ini, mari kita lihat apakah kelebihan ChatGPT dan perubahan yang akan dibawanya kepada industri pada masa hadapan.
Sam Altman, pengasas OpenAI, adalah seorang genius yang boleh membuat program pada usia 8 tahun. Pada 2015, beliau mengasaskannya bersama bos Tesla Musk, pelabur malaikat Peter Thiel dan taikun Silicon Valley yang lain makmal penyelidikan kecerdasan buatan, terutamanya terdiri daripada organisasi keuntungan OpenAI LP dan organisasi bukan untung syarikat induk OpenAI Inc. Tujuannya adalah untuk mempromosikan dan membangunkan kecerdasan buatan yang mesra dan menghalang kecerdasan buatan daripada melepaskan diri daripada kawalan manusia. OpenAI memfokuskan pada penyelidikan dan pembangunan teknologi kecerdasan buatan termaju, termasuk algoritma pembelajaran mesin, pembelajaran pengukuhan dan pemprosesan bahasa semula jadi. OpenAI mengeluarkan ChatGPT pada 30 November 2022, secara rasmi menyediakan perkhidmatan dialog soal jawab dalam talian masa nyata.
Terdapat petikan ini dalam buku "The Boundaries of Knowledge":
Apabila ilmu menjadi rangkaian, orang yang paling bijak dalam bilik itu bukan lagi yang berdiri di hadapan bilik mengajar kita, mahupun bilik. Kebijaksanaan kolektif semua orang di sini. Orang yang paling bijak di dalam bilik ialah bilik itu sendiri: rangkaian yang mengandungi semua orang dan idea di dalamnya dan menghubungkan mereka dengan dunia luar.
Pemahaman saya tentang ayat ini ialah Internet mempunyai semua pengetahuan dan pengalaman manusia, menyediakan sejumlah besar maklumat untuk Pembelajaran kecerdasan buatan data, apabila pengetahuan dan pengalaman ini disusun dengan teratur, juga menyediakan tanah data yang banyak untuk melatih aplikasi kecerdasan buatan "Knowing King". Selepas ChatGPT diberi makan dan dilatih oleh data teks besar-besaran dan data pangkalan data bahasa di Internet, ia boleh menjana jawapan yang sepadan berdasarkan kandungan teks yang anda masukkan, sama seperti dua orang bersembang antara satu sama lain. Di samping dapat berkomunikasi dengan anda tanpa sebarang halangan, ia juga boleh membuatkan anda berasa bahawa anda tidak bercakap dengan chatbot tetapi orang sebenar yang berpengetahuan dan sedikit lucu jawapannya walaupun mempunyai nada manusia tertentu, yang adalah sangat penting di dunia ini. Ini tidak dapat dibayangkan dalam chatbots sebelumnya.
Berikut ialah penjelasan ringkas tentang maksud literal ChatGPT Ia adalah model penjanaan bahasa semula jadi umum yang bermaksud dialog, dan apa yang dipanggil GPT ialah Transformer Pra-latihan Genaratif, yang bermaksud model transformasi pra-latihan generatif, kedengarannya agak tidak jelas.
Selain itu, anda juga boleh meminta dia membantu anda menyiapkan beberapa kerja amali, seperti menulis copywriting, menulis skrip, dan juga menulis kod terus untuk anda. Ia juga boleh membantu anda mencari pepijat dalam kod Ini adalah irama pengaturcara yang ingin menghancurkan kerja mereka sendiri dan melakukannya secara berkeping-keping Ia boleh dikatakan maha kuasa pada tahap teks dan kod. Kaedah interaktif memasukkan soalan dan segera memberikan jawapan adalah jauh lebih baik daripada pengalaman menggunakan enjin carian tradisional untuk mencari apa yang anda perlukan dalam data besar-besaran Oleh itu, adalah dijangka dalam masa terdekat, ChatGPT akan menumbangkan enjin carian tradisional dan berubah sepenuhnya cara mendapatkan maklumat Penggunaan.
Selain itu, ChatGPT juga boleh menjawab soalan dalam konteks, dan pada masa yang sama, ia secara proaktif boleh mengakui soalannya sendiri kekurangan dan masalah cabaran. Berikut ialah ChatGPT menafikan soalan yang saya bangkitkan.
PS: Saya bertanya kepada ChatGPT bagaimana untuk menjadi lelaki terkaya di dunia.
Ia adalah tepat kerana ChartGPT mempunyai keupayaan pemahaman, pembelajaran dan penciptaan yang begitu kuat sehingga ia menjadi kelahiran kecerdasan buatan AI Sejak itu, ia telah menjadi produk aplikasi pintar yang paling pesat berkembang untuk pengguna akhir C. Pada masa lalu, produk sisi C kecerdasan buatan sentiasa dianggap tidak cukup pintar atau diejek sebagai "terrencat secara buatan." Walaupun pada sisi B, produk itu hanya digunakan dalam senario tertentu yang tidak dapat merasakan kuasa AI . Walau bagaimanapun, kemunculan ChatGPT mungkin menunjukkan bahawa kecerdasan buatan akan disepadukan ke dalam kehidupan orang biasa pada masa hadapan.
PS: Saya sangat takut dia akan menjawab ya.
Kita semua tahu bahawa bahasa semula jadi adalah alat yang paling penting untuk komunikasi manusia, jadi bagaimana untuk membolehkan mesin berkomunikasi dengan orang melalui semula jadi bahasa Komunikasi tanpa halangan sentiasa menjadi matlamat yang dikejar tanpa jemu dalam bidang kecerdasan buatan. NLP (Natural Language Processing) ialah penyelidikan khusus dalam bidang sains komputer dan kecerdasan buatan yang membolehkan mesin memahami bahasa semula jadi dan bertindak balas atas dasar ini. Jika anda mahu komputer mengenali bahasa semula jadi, anda memerlukan model bahasa yang sepadan untuk menganalisis dan memproses teks. Prinsip umum model bahasa adalah untuk menjalankan pemodelan kebarangkalian teks bahasa, dan menggunakan model untuk meramalkan kebarangkalian kandungan keluaran seterusnya. Proses umum adalah seperti berikut Model bahasa digunakan untuk mengeluarkan ayat dengan kebarangkalian kejadian tertinggi selepas perenggan.
Model bahasa boleh dibahagikan kepada model bahasa statistik dan model bahasa rangkaian saraf. ChatGPT ialah model bahasa rangkaian saraf Selepas pengoptimuman berulang dalam berbilang versi, ia mencapai prestasi cemerlang yang mengejutkan semua orang hari ini. Kami boleh menyemak secara ringkas sejarah pembangunan LM (Model Bahasa) dan melihat bagaimana model bahasa berkembang langkah demi langkah. Ini sangat membantu kami untuk memahami prinsip teknikal di sebalik ChatGPT. 
RNN
Walau bagaimanapun, RNN mempunyai masalah kecekapan apabila memproses jujukan bahasa, maksudnya , pemprosesan perkataan terakhir perlu menunggu sehingga status perkataan sebelumnya dikeluarkan sebelum dapat dijalankan Selain itu, terdapat juga masalah seperti letupan kecerunan dan lupa. Oleh itu, pakar kecerdasan buatan terus mengoptimumkan model atas dasar ini. 
Google Brain mencadangkan model Transformer dalam kertas kerja "Attention Is All You Need" pada tahun 2017. Ini Ia adalah model pembelajaran mendalam berdasarkan mekanisme perhatian kendiri, yang dioptimumkan dan direka terutamanya untuk masalah RNN. Terutamanya masalah mensiri urutan teks Model Transformer boleh memproses semua perkataan dalam urutan teks pada masa yang sama, jarak mana-mana perkataan dalam urutan adalah 1, mengelakkan jarak jauh yang disebabkan oleh urutan itu terlalu. panjang dalam soalan model RNN. Pengenalan model Transformer boleh dikatakan sebagai simbol penting pembangunan lonjakan ke hadapan dalam bidang NLP, kerana model BERT dan model GPT terkenal seterusnya semuanya berkembang berdasarkan model Transformer. Rajah di bawah menunjukkan struktur model Transformer.
Kedua-dua model GPT asal dan model ChatGPT terkini sebenarnya adalah model bahasa dengan model Transformer sebagai struktur teras. GPT menggunakan komponen Penyahkod model Transformer, yang lebih sesuai untuk menjawab senario berikut berdasarkan perkara di atas.
Untuk meningkatkan ketepatan latihan, banyak tugasan latihan pembelajaran mesin diselesaikan menggunakan set data berlabel, tetapi sebenarnya pelabelan data adalah beban kerja yang sangat besar mengambil banyak tenaga kerja dan masa. Oleh itu, apabila kuasa pengkomputeran terus meningkat, kami sebenarnya perlu melatih lebih banyak data yang belum dilabelkan secara manual. Oleh itu, GPT mencadangkan paradigma latihan bahasa semula jadi baharu yang menggunakan data teks besar-besaran untuk menjalankan pembelajaran tanpa pengawasan bagi mencapai latihan model. Inilah sebabnya mengapa GPT menggunakan mod latihan Pra-latihan + Penalaan Halus. Struktur model GPT adalah seperti berikut, dan matlamat latihannya adalah untuk meramalkan perkara berikut berdasarkan perkara di atas.
GPT-2 sebenarnya tidak mempunyai perubahan besar dalam struktur model, tetapi hanya pelarasan mudah. Ia adalah GPT-2 yang menggunakan lebih banyak parameter model dan lebih banyak data latihan. Matlamatnya adalah untuk melatih model bahasa dengan kebolehan generalisasi yang lebih kukuh Apa yang dipanggil generalisasi ialah kebolehan menangani masalah yang belum pernah dihadapi sebelum ini.
Pada 2020, OpenAI dicadangkan dalam kertas kerja "Model Bahasa adalah Sedikit Pelajar" Model GPT-3 menggunakan sejumlah besar parameter model dan data latihan. Ia terutamanya mencadangkan keupayaan pembelajaran konteks LLM.
GPT-3 meneroka tiga bentuk input model yang berbeza: Zero-shot, One-shot dan Few -tembakan kesan yang lebih rendah. Ia terutamanya mempertimbangkan cara untuk meramalkan jawapan yang mungkin melalui soalan sedia ada Berikut adalah penjelasan ringkas tentang Zero-shot, One-shot, dan Few-shot bermakna hanya memberi petunjuk, One-shot akan memberi contoh, dan Few-. pukulan Bermaksud untuk memberi beberapa contoh. Walau bagaimanapun, ia tidak mengambil kira sama ada kandungan jawapan memenuhi jangkaan manusia Ini juga merupakan arah pengoptimuman utama InstructGTP dalam tempoh kemudian.
Seperti yang dapat dilihat daripada jadual berikut, magnitud parameter dan magnitud data latihan GPT telah meningkat secara meletup model Apabila lelaran kepada GPT-3, bilangan parameter telah melebihi 100 bilion, dan jumlah data pra-latihan telah mencapai 45TB Ia boleh dikatakan sebagai model super LLM sebenar. Jumlah besar parameter model dan data pra-latihan juga telah menyebabkan peningkatan kos latihan Kos latihan GPT-3 adalah setinggi 1,200 dolar AS.
Pada masa ini OpenAI belum menerbitkan kertas yang sepadan di ChatGPT, tetapi sebenarnya idea terasnya adalah sama seperti yang diterbitkan oleh OpenAI pada tahun 2022 Makalah "Melatih model bahasa untuk mengikuti arahan dengan maklum balas manusia" pada asasnya adalah konsisten Pengoptimuman InstructGPT yang paling penting ialah pengenalan teknologi RLHF (Pembelajaran Pengukuhan daripada Maklum Balas Manusia, pembelajaran pengukuhan berdasarkan maklum balas manusia). Model asal diperhalusi dengan membiarkan model mempelajari proses dialog manusia dan membenarkan manusia membuat anotasi, menilai dan menilai keputusan jawapan model, supaya model tertumpu boleh lebih konsisten dengan niat manusia semasa menjawab soalan.
Selain itu, kaedah latihan InstructGPT yang dicadangkan dalam kertas kerja ini sebenarnya pada asasnya sama dengan ChatGPT, tetapi terdapat sedikit perbezaan dalam cara mendapatkan data, jadi InstructGPT boleh dikatakan sebagai sepasang model abang dengan ChatGPT. Mari kita lihat dengan lebih dekat cara ChatGPT dilatih dan cara ChatGPT menyelesaikan masalah untuk menjadikan jawapan model lebih konsisten dengan niat atau pilihan manusia .
Proses latihan di atas mungkin kelihatan agak rumit, tetapi ia mempunyai telah dipermudahkan Seperti yang ditunjukkan dalam rajah di bawah, ini seharusnya memudahkan pelajar memahami cara model ChatGPT dilatih. Mengikut langkah-langkah yang diberikan di laman web rasmi, idea latihan terasnya adalah untuk mengumpul data maklum balas - "Model ganjaran latihan -" pembelajaran pengukuhan PPO.
Proses latihan ChatGPT terbahagi kepada tiga peringkat:
Malah, untuk LLM (Model Bahasa Besar, model bahasa besar) , ia tidak Dikatakan bahawa lebih banyak data sampel untuk latihan, lebih baik Mengapa anda mengatakan ini? Oleh kerana model pra-latihan bahasa besar seperti ChatGPT dilatih dengan parameter yang sangat besar dan data yang besar, data sampel yang besar ini sebenarnya telus kepada pakar kecerdasan buatan dan tidak boleh dikawal. Oleh itu, jika data sampel mengandungi beberapa data yang tidak baik seperti diskriminasi kaum dan keganasan, model yang telah dilatih mungkin mempunyai atribut kandungan yang tidak baik ini. Walau bagaimanapun, bagi pakar kecerdasan buatan, adalah perlu untuk memastikan bahawa kecerdasan buatan adalah objektif dan adil tanpa sebarang berat sebelah, dan ChatGPT dilatih dalam aspek ini.
Oleh itu, ChatGPT menjalankan latihan model melalui pembelajaran terselia Yang dipanggil pembelajaran terselia bermaksud pembelajaran pada set data yang "mempunyai jawapan". Untuk tujuan ini, OpenAI mengupah 40 kontraktor untuk melaksanakan kerja pelabelan data Pertama, pelabel ini diminta untuk mensimulasikan interaksi manusia-komputer untuk beberapa pusingan interaksi bahasa Dalam proses itu, data pelabelan yang tepat secara manual ini telah dihasilkan Mari kita memperhalusi model GPT-3.5 untuk mendapatkan model SFT (Supervised Fine-Tuning).
Selepas mengekstrak sekumpulan data segera secara rawak, gunakan peringkat pertama penalaan halus Model secara automatik bertindak balas kepada soalan yang berbeza, dan kemudian membenarkan pelabel mengisih jawapan daripada yang terbaik kepada yang paling teruk Data hasil yang diisih digunakan untuk melatih Model Ganjaran Dalam proses itu, hasil yang diisih terus digabungkan secara berpasangan. Membentuk pasangan data latihan yang diisih, Model Ganjaran menerima input pasangan data untuk memberikan skor kualiti jawapan. Model Ganjaran ini pada asasnya adalah abstraksi niat manusia sebenar. Oleh kerana langkah kritikal ini, Model Ganjaran boleh terus membimbing model untuk menghasilkan keputusan jawapan yang sepadan ke arah yang sesuai dengan niat manusia.
PPO ialah algoritma pengoptimuman wilayah amanah yang menggunakan kekangan kecerunan untuk memastikan langkah kemas kini tidak menjejaskan kestabilan proses pembelajaran. Selepas meneruskan mengekstrak sekumpulan data segera pada peringkat ini, gunakan Model Ganjaran yang dibina pada peringkat 2 untuk menjaringkan respons model latihan yang diperhalusi untuk mengemas kini parameter yang telah dilatih. Jawapan berskor tinggi diberi ganjaran melalui Model Ganjaran, dan kecerunan dasar yang terhasil boleh mengemas kini parameter model PPO. Lelaran secara berterusan sehingga model akhirnya menumpu.
Dapat dilihat bahawa proses latihan ChatGPT sebenarnya adalah proses mengaplikasi pembelajaran terselia yang digabungkan dengan teknologi RLHF. ChatGPT Malah, ia bergantung kepada teknologi RLHF untuk menjana jawapan yang lebih sesuai dengan jangkaan manusia.
Melalui proses latihan model di atas, kami membuat kesimpulan bahawa faedah utama keupayaan pemahaman konteks ChatGPT yang berkuasa ialah Keupayaan utama dalam tiga aspek ialah model asas yang berkuasa, data sampel berkualiti tinggi, dan pembelajaran pengukuhan berdasarkan maklum balas manusia.
Intinya ialah teknologi RLHF, yang menggunakan latihan untuk mencari fungsi ganjaran yang paling menerangkan pertimbangan manusia, dan kemudian secara berterusan melatih Meningkatkan kesedaran.
Enjin carian semasa hanya boleh memadankan dan mengindeks halaman web yang sepadan dalam pangkalan data enjin carian untuk mendapatkan maklum balas hasil berdasarkan kata kunci yang kami cari Enjin carian seperti Baidu akan sentiasa memberikan anda beberapa iklan. . Pengguna masih perlu mencari perkara yang paling mereka inginkan antara maklumat yang dikembalikan. Tetapi ChatGPT berbeza Jawapannya ialah, menjimatkan banyak masa dan tenaga pengguna dalam menapis hasil carian yang tidak sah. ChatGPT boleh memahami dengan tepat maksud sebenar pengguna Walau bagaimanapun, enjin carian tradisional masih menggunakan kaedah carian padanan kata kunci dan sebenarnya tidak memahami maksud sebenar pernyataan carian yang dimasukkan oleh pengguna input pengguna. Di samping itu, dia akan menjawab secara kreatif untuk membantu pengguna menyingkirkan kerja yang rumit.
PS: Enjin carian Bing Microsoft telah mula menyambung ke ChatGPT.
Sekarang Perkhidmatan pelanggan pintar yang dipanggil hanyalah pratetap beberapa soalan biasa untuk dijawab secara automatik, yang jauh dari apa yang dipanggil kecerdasan, tetapi pada tahap tertentu, ia boleh mengurangkan kos pelaburan syarikat dalam kakitangan perkhidmatan pelanggan. Tetapi dengan ChatGPT, kerana ia boleh memahami niat sebenar pengguna , dan bukannya menjawab soalan pratetap secara mekanikal, jadi ia boleh membantu pengguna menyelesaikan masalah perkhidmatan pelanggan sebenar dan meminimumkan kos buruh perkhidmatan pelanggan ke tahap yang paling besar.
CtGPT bukan sekadar menjawab soalan; Anda boleh mencipta kandungan, seperti menulis lagu, menulis puisi, menulis rancangan acara, dsb. Oleh itu, ramai pelajar yang terlibat dalam penciptaan kandungan teks telah merasakan krisis yang mendalam Mereka pernah berfikir bahawa robot harus terlebih dahulu menggantikan pekerja buruh kasar, tetapi siapa sangka bahawa kemunculan ChatGPT secara langsung akan menghapuskan pekerjaan banyak pekerja mental. .
Data latihan ChatGPT adalah berdasarkan data teks besar-besaran di dunia Internet Jika data teks itu sendiri tidak tepat atau mengandungi beberapa jenis berat sebelah, ChatGPT semasa tidak dapat membezakannya, jadi ia tidak dapat dielakkan semasa menjawab soalan. untuk menyampaikan ketidaktepatan dan berat sebelah ini.
Pada masa ini ChatGPT boleh mengendalikan soalan dan jawapan serta tugasan dalam bahasa semula jadi seperti Pengecaman imej, pengecaman pertuturan, dll. tidak semestinya mempunyai keupayaan pemprosesan yang sepadan, tetapi saya percaya bahawa mungkin terdapat VoiceGPT dan ViewGPT dalam masa terdekat. Semua orang akan menunggu dan melihat.
CtGPT ialah model pembelajaran mendalam yang sangat besar dalam bidang NPL, parameter latihannya dan Data latihan adalah sangat besar, jadi jika anda ingin melatih ChatGPT, anda perlu menggunakan pusat data yang besar dan sumber pengkomputeran awan, serta banyak kuasa pengkomputeran dan ruang storan untuk memproses data latihan besar-besaran Secara ringkasnya, kosnya latihan dan menggunakan ChatGPT masih sangat tinggi.
AI kecerdasan buatan telah diperkatakan selama bertahun-tahun dan sentiasa berada di peringkat pembangunan, dalam beberapa bidang tertentu Keputusan permohonan telah dicapai. Tetapi untuk pengguna akhir C, pada dasarnya tiada produk aplikasi kecerdasan buatan sebenar yang boleh digunakan. Walau bagaimanapun, pelepasan ChatGPT kali ini adalah peristiwa penting, kerana bagi orang biasa, kecerdasan buatan AI bukan lagi istilah teknikal yang jauh, tetapi alat aplikasi pintar sebenar dalam jangkauan, yang boleh membuatkan orang biasa Orang benar-benar merasakan kuasa AI . Di samping itu, saya ingin mengatakan bahawa mungkin ChatGPT hanyalah permulaan Pada masa ini, ia hanya menyelesaikan tugas yang sepadan mengikut arahan manusia Tetapi pada masa hadapan, dengan lelaran pembelajaran kendiri kecerdasan buatan yang berterusan, ia mungkin menjadi sedar dan melakukannya perkara secara autonomi pada masa itu, tidak jelas sama ada manusia sedang menghadapi penolong yang maha kuasa atau naga jahat yang tidak terkawal.
Atas ialah kandungan terperinci Betapa hebatnya ChatGPT, yang boleh menggantikan 90% pekerjaan orang?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Pendaftaran ChatGPT
Ensiklopedia ChatGPT percuma domestik
Bagaimana untuk memasang chatgpt pada telefon bimbit
Bolehkah chatgpt digunakan di China?
Mengapakah pemacu keras mudah alih begitu lambat dibuka?
Semak sepuluh mata wang kripto teratas yang bernilai melabur
Apakah perbezaan antara Douyin dan Douyin Express Edition?
komen html
![[Web front-end] Permulaan pantas Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
