Ensiklopedia AI: Cara ChatGPT berfungsi
ChatGPT dengan cepat mendapat perhatian berjuta-juta orang, tetapi ramai yang berhati-hati kerana mereka tidak memahami cara ia berfungsi. Dan artikel ini adalah percubaan untuk memecahkannya supaya lebih mudah difahami.
Pada asasnya, bagaimanapun, ChatGPT ialah sistem yang sangat kompleks. Jika anda ingin bermain dengan ChatGPT atau mengetahui apakah itu, antara muka teras ialah tetingkap sembang di mana anda boleh bertanya soalan atau memberikan pertanyaan dan AI akan bertindak balas. Butiran penting untuk diingat ialah dalam sembang, konteks dikekalkan, bermakna mesej boleh merujuk maklumat sebelumnya dan ChatGPT akan dapat memahami perkara ini secara kontekstual.
Apa yang berlaku apabila pertanyaan dimasukkan dalam kotak sembang
Rangkaian Neural
Pertama sekali, terdapat banyak perkara yang boleh ditemui dalam rangka kerja ChatGPT. Pembelajaran mesin telah berkembang pesat sejak 10 tahun yang lalu, dan ChatGPT menggunakan banyak teknologi terkini untuk mencapai keputusannya.
Rangkaian saraf ialah lapisan "neuron" yang saling berkaitan, setiap neuron bertanggungjawab untuk menerima input, memproses input dan menghantarnya ke rangkaian neuron seterusnya dalam . Rangkaian saraf membentuk tulang belakang kecerdasan buatan hari ini. Input biasanya satu set nilai berangka yang dipanggil "ciri" yang mewakili beberapa aspek data yang sedang diproses. Sebagai contoh, dalam kes pemprosesan bahasa, ciri-ciri tersebut mungkin merupakan penyusunan perkataan yang mewakili makna setiap perkataan dalam ayat.
Pembenaman perkataan hanyalah perwakilan berangka teks yang akan digunakan oleh rangkaian saraf untuk memahami semantik teks, yang kemudiannya boleh digunakan untuk tujuan lain seperti membalas dalam cara yang logik semantik! >Jadi selepas menekan enter dalam ChatGPT, teks itu mula-mula ditukar menjadi pembenaman perkataan, yang dilatih mengenai teks dari seluruh internet. Kemudian terdapat rangkaian saraf yang dilatih untuk mengeluarkan satu set pemasukan kata respons yang sesuai diberikan pemasukan kata input. Pembenaman ini kemudiannya diterjemahkan ke dalam perkataan yang boleh dibaca manusia menggunakan operasi songsang yang digunakan pada pertanyaan input. Output yang dinyahkod ini ialah apa yang dicetak oleh ChatGPT.
Saiz model ChatGPT
Penukaran dan penjanaan output adalah sangat mahal dari segi pengiraan. ChatGPT berada di atas GPT-3, model bahasa yang besar dengan 175 bilion parameter. Ini bermakna terdapat 175 bilion pemberat dalam rangkaian saraf meluas OpenAI yang ditala menggunakan set datanya yang besar.
Jadi setiap pertanyaan memerlukan sekurang-kurangnya dua 175 bilion pengiraan, yang menjumlahkan dengan cepat. OpenAI mungkin telah menemui cara untuk menyimpan cache pengiraan ini untuk mengurangkan kos pengiraan, tetapi tidak diketahui jika maklumat ini telah diterbitkan di mana-mana sahaja. Selain itu, GPT-4, yang dijangka dikeluarkan awal tahun ini, dikatakan mempunyai 1000 kali lebih parameter
Kerumitan pengiraan akan mengakibatkan kos sebenar Jangan terkejut jika ChatGPT menjadi produk berbayar tidak lama lagi! sebagai OpenAI pada masa ini Berjuta-juta dolar dibelanjakan untuk menjalankannya secara percuma.
Pengekod, Penyahkod dan RNN
Struktur rangkaian saraf yang biasa digunakan dalam pemprosesan bahasa semula jadi ialah rangkaian penyahkod-pengekod. Rangkaian ini direka bentuk untuk "mengekodkan" urutan input ke dalam perwakilan padat dan kemudian "menyahkod" perwakilan itu ke dalam urutan output.
Secara tradisinya, rangkaian penyahkod pengekod telah dipasangkan dengan Rangkaian Neural Berulang (RNN) untuk memproses data berjujukan. Pengekod memproses jujukan input dan menghasilkan perwakilan vektor panjang tetap, yang kemudiannya dihantar kepada penyahkod. Penyahkod memproses vektor ini dan menghasilkan urutan keluaran.
Rangkaian penyahkod-pengekod telah digunakan secara meluas dalam tugas seperti terjemahan mesin, di mana input ialah ayat dalam satu bahasa dan output ialah terjemahan ayat tersebut ke bahasa lain. Ia juga telah digunakan untuk tugasan ringkasan dan penjanaan kapsyen imej.
Sama seperti struktur pengekod-penyahkod, pengubah terdiri daripada dua komponen, bagaimanapun, penukar adalah berbeza kerana ia menggunakan mekanisme perhatian kendiri yang membolehkan setiap elemen input memfokus pada semua elemen lain, membolehkan ia menangkap hubungan antara elemen tanpa mengira jarak antara satu sama lain.
Transformer juga menggunakan perhatian berbilang kepala, membolehkannya memfokus pada berbilang bahagian input secara serentak. Ini membolehkannya menangkap perhubungan yang kompleks dalam teks input dan menghasilkan keputusan yang sangat tepat.
Apabila kertas "Attention is All You Need" diterbitkan pada 2017, transformer menggantikan seni bina penyahkod pengekod sebagai model terkini untuk pemprosesan bahasa semula jadi kerana ia boleh mencapai prestasi yang lebih baik pada teks yang lebih panjang.
Seni bina Transformer, daripada https://arxiv.org/pdf/1706.03762.pdf
Pralatihan generatif
Pralatihan generatif adalah teknik yang telah berjaya terutamanya dalam bidang pemprosesan bahasa semula jadi. Ia melibatkan latihan rangkaian saraf yang meluas pada set data besar-besaran dengan cara tanpa pengawasan untuk mempelajari perwakilan universal data. Rangkaian pra-latihan ini boleh diperhalusi untuk tugasan tertentu, seperti terjemahan bahasa atau menjawab soalan, dengan itu meningkatkan prestasi.
Seni bina pra-latihan generatif, dipetik daripada "Meningkatkan Pemahaman Bahasa Melalui Pra-latihan Generatif"
Dalam contoh ChatGPT , yang bermaksud memperhalusi lapisan terakhir model GPT-3 agar sesuai dengan kes penggunaan menjawab soalan dalam sembang, yang turut memanfaatkan pengetegan manusia. Rajah berikut boleh memberikan pemahaman yang lebih terperinci tentang penalaan halus ChatGPT:
langkah penalaan halus ChatGPT, daripada https://arxiv.org /pdf/2203.02155.pdf
Menyatukan semuanya
Jadi terdapat banyak bahagian yang bergerak di bawah naungan ChatGPT yang hanya akan berkembang. Ia akan menjadi sangat menarik untuk melihat bagaimana ia terus berkembang, kerana kemajuan dalam banyak bidang yang berbeza akan membantu model seperti GPT mendapat penggunaan selanjutnya.
Dalam satu atau dua tahun akan datang, kita mungkin melihat gangguan yang ketara daripada teknologi pemboleh baharu ini.
Atas ialah kandungan terperinci Ensiklopedia AI: Cara ChatGPT berfungsi. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
AI Hentai Generator
Menjana ai hentai secara percuma.
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
1382
52
ChatGPT kini membenarkan pengguna percuma menjana imej dengan menggunakan DALL-E 3 dengan had harian
Aug 09, 2024 pm 09:37 PM
DALL-E 3 telah diperkenalkan secara rasmi pada September 2023 sebagai model yang jauh lebih baik daripada pendahulunya. Ia dianggap sebagai salah satu penjana imej AI terbaik setakat ini, mampu mencipta imej dengan perincian yang rumit. Walau bagaimanapun, semasa pelancaran, ia adalah tidak termasuk
Bytedance Cutting melancarkan keahlian super SVIP: 499 yuan untuk langganan tahunan berterusan, menyediakan pelbagai fungsi AI
Jun 28, 2024 am 03:51 AM
Laman web ini melaporkan pada 27 Jun bahawa Jianying ialah perisian penyuntingan video yang dibangunkan oleh FaceMeng Technology, anak syarikat ByteDance Ia bergantung pada platform Douyin dan pada asasnya menghasilkan kandungan video pendek untuk pengguna platform tersebut Windows , MacOS dan sistem pengendalian lain. Jianying secara rasmi mengumumkan peningkatan sistem keahliannya dan melancarkan SVIP baharu, yang merangkumi pelbagai teknologi hitam AI, seperti terjemahan pintar, penonjolan pintar, pembungkusan pintar, sintesis manusia digital, dsb. Dari segi harga, yuran bulanan untuk keratan SVIP ialah 79 yuan, yuran tahunan ialah 599 yuan (nota di laman web ini: bersamaan dengan 49.9 yuan sebulan), langganan bulanan berterusan ialah 59 yuan sebulan, dan langganan tahunan berterusan ialah 499 yuan setahun (bersamaan dengan 41.6 yuan sebulan) . Di samping itu, pegawai yang dipotong juga menyatakan bahawa untuk meningkatkan pengalaman pengguna, mereka yang telah melanggan VIP asal
Pembantu pengekodan AI yang ditambah konteks menggunakan Rag dan Sem-Rag
Jun 10, 2024 am 11:08 AM
Tingkatkan produktiviti, kecekapan dan ketepatan pembangun dengan menggabungkan penjanaan dipertingkatkan semula dan memori semantik ke dalam pembantu pengekodan AI. Diterjemah daripada EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, pengarang JanakiramMSV. Walaupun pembantu pengaturcaraan AI asas secara semulajadi membantu, mereka sering gagal memberikan cadangan kod yang paling relevan dan betul kerana mereka bergantung pada pemahaman umum bahasa perisian dan corak penulisan perisian yang paling biasa. Kod yang dijana oleh pembantu pengekodan ini sesuai untuk menyelesaikan masalah yang mereka bertanggungjawab untuk menyelesaikannya, tetapi selalunya tidak mematuhi piawaian pengekodan, konvensyen dan gaya pasukan individu. Ini selalunya menghasilkan cadangan yang perlu diubah suai atau diperhalusi agar kod itu diterima ke dalam aplikasi
Bolehkah penalaan halus benar-benar membolehkan LLM mempelajari perkara baharu: memperkenalkan pengetahuan baharu boleh menjadikan model menghasilkan lebih banyak halusinasi
Jun 11, 2024 pm 03:57 PM
Model Bahasa Besar (LLM) dilatih pada pangkalan data teks yang besar, di mana mereka memperoleh sejumlah besar pengetahuan dunia sebenar. Pengetahuan ini dibenamkan ke dalam parameter mereka dan kemudiannya boleh digunakan apabila diperlukan. Pengetahuan tentang model ini "diperbaharui" pada akhir latihan. Pada akhir pra-latihan, model sebenarnya berhenti belajar. Selaraskan atau perhalusi model untuk mempelajari cara memanfaatkan pengetahuan ini dan bertindak balas dengan lebih semula jadi kepada soalan pengguna. Tetapi kadangkala pengetahuan model tidak mencukupi, dan walaupun model boleh mengakses kandungan luaran melalui RAG, ia dianggap berfaedah untuk menyesuaikan model kepada domain baharu melalui penalaan halus. Penalaan halus ini dilakukan menggunakan input daripada anotasi manusia atau ciptaan LLM lain, di mana model menemui pengetahuan dunia sebenar tambahan dan menyepadukannya
Untuk menyediakan tanda aras dan sistem penilaian menjawab soalan saintifik dan kompleks baharu untuk model besar, UNSW, Argonne, University of Chicago dan institusi lain bersama-sama melancarkan rangka kerja SciQAG
Jul 25, 2024 am 06:42 AM
Editor |ScienceAI Question Answering (QA) set data memainkan peranan penting dalam mempromosikan penyelidikan pemprosesan bahasa semula jadi (NLP). Set data QA berkualiti tinggi bukan sahaja boleh digunakan untuk memperhalusi model, tetapi juga menilai dengan berkesan keupayaan model bahasa besar (LLM), terutamanya keupayaan untuk memahami dan menaakul tentang pengetahuan saintifik. Walaupun pada masa ini terdapat banyak set data QA saintifik yang meliputi bidang perubatan, kimia, biologi dan bidang lain, set data ini masih mempunyai beberapa kekurangan. Pertama, borang data adalah agak mudah, kebanyakannya adalah soalan aneka pilihan. Ia mudah dinilai, tetapi mengehadkan julat pemilihan jawapan model dan tidak dapat menguji sepenuhnya keupayaan model untuk menjawab soalan saintifik. Sebaliknya, Soal Jawab terbuka
Prestasi SOTA, kaedah AI ramalan pertalian protein-ligan pelbagai mod Xiamen, menggabungkan maklumat permukaan molekul buat kali pertama
Jul 17, 2024 pm 06:37 PM
Editor |. KX Dalam bidang penyelidikan dan pembangunan ubat, meramalkan pertalian pengikatan protein dan ligan dengan tepat dan berkesan adalah penting untuk pemeriksaan dan pengoptimuman ubat. Walau bagaimanapun, kajian semasa tidak mengambil kira peranan penting maklumat permukaan molekul dalam interaksi protein-ligan. Berdasarkan ini, penyelidik dari Universiti Xiamen mencadangkan rangka kerja pengekstrakan ciri berbilang mod (MFE) novel, yang buat pertama kalinya menggabungkan maklumat mengenai permukaan protein, struktur dan jujukan 3D, dan menggunakan mekanisme perhatian silang untuk membandingkan ciri modaliti yang berbeza penjajaran. Keputusan eksperimen menunjukkan bahawa kaedah ini mencapai prestasi terkini dalam meramalkan pertalian mengikat protein-ligan. Tambahan pula, kajian ablasi menunjukkan keberkesanan dan keperluan maklumat permukaan protein dan penjajaran ciri multimodal dalam rangka kerja ini. Penyelidikan berkaitan bermula dengan "S
SK Hynix akan memaparkan produk berkaitan AI baharu pada 6 Ogos: HBM3E 12 lapisan, NAND 321 tinggi, dsb.
Aug 01, 2024 pm 09:40 PM
Menurut berita dari laman web ini pada 1 Ogos, SK Hynix mengeluarkan catatan blog hari ini (1 Ogos), mengumumkan bahawa ia akan menghadiri Global Semiconductor Memory Summit FMS2024 yang akan diadakan di Santa Clara, California, Amerika Syarikat dari 6 hingga 8 Ogos, mempamerkan banyak produk penjanaan teknologi baru. Pengenalan kepada Sidang Kemuncak Memori dan Penyimpanan Masa Depan (FutureMemoryandStorage), dahulunya Sidang Kemuncak Memori Flash (FlashMemorySummit) terutamanya untuk pembekal NAND, dalam konteks peningkatan perhatian kepada teknologi kecerdasan buatan, tahun ini dinamakan semula sebagai Sidang Kemuncak Memori dan Penyimpanan Masa Depan (FutureMemoryandStorage) kepada jemput vendor DRAM dan storan serta ramai lagi pemain. Produk baharu SK hynix dilancarkan tahun lepas
Meletakkan pasaran seperti AI, GlobalFoundries memperoleh teknologi gallium nitrida Tagore Technology dan pasukan berkaitan
Jul 15, 2024 pm 12:21 PM
Menurut berita dari laman web ini pada 5 Julai, GlobalFoundries mengeluarkan kenyataan akhbar pada 1 Julai tahun ini, mengumumkan pemerolehan teknologi power gallium nitride (GaN) Tagore Technology dan portfolio harta intelek, dengan harapan dapat mengembangkan bahagian pasarannya dalam kereta dan Internet of Things dan kawasan aplikasi pusat data kecerdasan buatan untuk meneroka kecekapan yang lebih tinggi dan prestasi yang lebih baik. Memandangkan teknologi seperti AI generatif terus berkembang dalam dunia digital, galium nitrida (GaN) telah menjadi penyelesaian utama untuk pengurusan kuasa yang mampan dan cekap, terutamanya dalam pusat data. Laman web ini memetik pengumuman rasmi bahawa semasa pengambilalihan ini, pasukan kejuruteraan Tagore Technology akan menyertai GLOBALFOUNDRIES untuk membangunkan lagi teknologi gallium nitride. G
