Pengeluaran GPT4 akan datang adalah setanding dengan otak manusia, dan ramai pemimpin industri tidak boleh duduk diam!

​Pengarang |. Xu Jiecheng

Penilai |. Jika anda mempunyai kuasa besar memenangi 5 juta tiket loteri setiap hari, maka jika anda menyimpan semua wang tanpa makan atau minum, anda masih perlu hidup kira-kira 5,500 tahun untuk menjimatkan 100 trilion kekayaan. Walau bagaimanapun, 100 trilion yang saya ingin bercakap dengan anda hari ini tidak berada di belakang unit yang diidamkan seperti "RMB" dan "Dollor". 100 trilion di sini merujuk kepada bilangan parameter yang dimiliki oleh OpenAI, sebuah syarikat penyelidikan kecerdasan buatan yang diasaskan bersama oleh banyak taikun teknologi Silicon Valley, yang akan mengeluarkan generasi keempat Transformer-GPT-4 generatif pra-latihan.

Untuk memudahkan semua orang memahami data ini dengan lebih intuitif, kita boleh menggunakan otak manusia untuk membandingkan dengan GPT-4. Dalam keadaan biasa, otak manusia normal mempunyai kira-kira 80-100 bilion neuron dan kira-kira 100 trilion sinaps. Neuron dan sinaps ini secara langsung mengawal hampir semua pemikiran, pertimbangan dan tingkah laku seseorang dalam seratus tahun kehidupan, dan GPT-4 mempunyai parameter sebanyak sinaps dalam otak manusia. Jadi, apakah potensi rangkaian saraf yang padat berskala besar. Apakah kejutan yang akan dibawa oleh kemunculan GPT-4 kepada kita? Adakah kita benar-benar mempunyai keupayaan untuk mencipta otak manusia?

Sebelum meneroka soalan-soalan menarik ini, sebaiknya kita memahami dahulu sejarah pembangunan beberapa "pendahulu" GPT-4.

1 GPT: Tiada lagi, tetapi filem blockbuster

Model siri GPT pertama GPT-1 dilahirkan pada 2018, iaitu kami. Tahun pertama model pra-latihan NLP yang sering dikatakan. Sebagai model pra-latihan pertama berdasarkan Transformer, GPT-1 menggunakan dua peringkat pra-latihan + FineTuning, menggunakan penyahkod Transformer sebagai pengekstrak ciri Ia mempunyai sejumlah 12 lapisan yang disusun dengan 110 juta parameter Peringkat pra-latihan menggunakan "Model Bahasa" tunggal sebagai tugas latihan.

Dari segi prestasi, GPT-1 mempunyai keupayaan generalisasi tertentu dan boleh digunakan dalam tugas NLP yang tidak berkaitan dengan tugas penyeliaan. Tugasan yang biasa digunakan termasuk:

Penaakulan bahasa semula jadi: tentukan hubungan antara dua ayat (pembendungan, percanggahan, berkecuali)

• Soal jawab dan penaakulan akal : masukkan artikel Dan beberapa jawapan, ketepatan jawapan output
• Pengecaman persamaan semantik: Tentukan sama ada semantik dua ayat berkaitan
• Klasifikasi: Tentukan kategori mana teks input ditentukan

Setahun selepas kemunculan GPT-1, GPT-2 juga tiba seperti yang dijadualkan pada 2019. Berbanding dengan abang besarnya GPT-1, GPT-2 tidak membuat terlalu banyak inovasi dan reka bentuk struktur pada rangkaian asal Ia hanya menggunakan lebih banyak parameter rangkaian dan set data yang lebih besar: model terbesar mempunyai jumlah 48 lapisan, dan parameter Jumlahnya mencecah 1.5 bilion, dan sasaran pembelajaran menggunakan model pra-latihan tanpa pengawasan untuk melaksanakan tugasan yang diselia.

Sumber imej: Twitter

Dari segi prestasi, kekuatan hebat OpenAI nampaknya benar-benar membawa beberapa keajaiban. Di samping keupayaan pemahamannya, GPT-2 buat pertama kalinya menunjukkan bakat yang kuat dalam generasi: membaca ringkasan, berbual, meneruskan penulisan, membuat cerita, malah menjana berita palsu, e-mel pancingan data atau berpura-pura menjadi orang lain dalam talian adalah semuanya. angin sepoi-sepoi. Selepas "menjadi lebih besar", GPT-2 telah menunjukkan satu siri keupayaan universal dan berkuasa, dan mencapai prestasi terbaik pada masa itu dalam pelbagai tugas pemodelan bahasa tertentu. Tidak hairanlah OpenAI berkata pada masa itu bahawa "GPT-2 terlalu berbahaya untuk dikeluarkan."

Sejak kejayaan GPT-2, kepercayaan OpenAI terhadap “Hercules” semakin kukuh, dikeluarkan pada 2020, terus mengikuti perkembangan inovasi mikro dan pengembangan idea yang cepat. Kecuali Transformer dalam GPT-3 menggunakan struktur Jarang, hampir tiada perbezaan dalam struktur GPT-3 dan GPT-2. Dari segi "kecergasan", model GPT-3 telah mencapai 96 lapisan, dan parameter latihan telah mencapai 175 bilion (lebih daripada 10 kali ganda GPT-2).

GPT-3 sekali lagi telah membuktikan visi OpenAI Disebabkan prestasi GPT-3 yang lebih kukuh dan lebih banyak parameter, ia mengandungi lebih banyak teks topik, yang jelas lebih baik daripada GPT-2 generasi sebelumnya. Sebagai rangkaian saraf padat terbesar yang ada pada masa ini, GPT-3 boleh menukar perihalan halaman web kepada kod yang sepadan, meniru naratif manusia, mencipta puisi tersuai, menjana skrip permainan, dan juga meniru ahli falsafah yang telah meninggal dunia-meramalkan makna sebenar kehidupan. Dan GPT-3 tidak memerlukan penalaan halus, ia hanya memerlukan beberapa sampel jenis output (sedikit pembelajaran) untuk menangani masalah tatabahasa yang sukar. Boleh dikatakan GPT-3 nampaknya telah memuaskan semua imaginasi kami untuk pakar bahasa.

2 Lulus ujian Turing secara komprehensif dan menurunkan ambang untuk pembelajaran dan penggunaan komersial

Bercakap mengenai perkara ini, saya percaya semua orang akan mempunyai soalan yang sama - GPT-3 sudah sangat Sekarang kerana ia berkuasa, apa lagi yang boleh kita nantikan dalam GPT-4?

Seperti yang kita semua tahu, cara teras untuk menguji kecerdasan sistem AI ialah ujian Turing Apabila kita masih tidak dapat menggunakan piawaian boleh diukur secara saintifik untuk mentakrifkan konsep kecerdasan manusia , Ujian Turing pada masa ini merupakan salah satu daripada beberapa kaedah ujian yang boleh dilaksanakan yang boleh menentukan sama ada pihak lain mempunyai kecerdasan manusia. Untuk menggunakan peribahasa: Jika sesuatu kelihatan seperti itik, berjalan seperti itik, dan cuak seperti itik, maka ia adalah itik. Oleh itu, jika sistem AI berjaya melepasi ujian Turing, bermakna sistem tersebut mempunyai pemikiran manusia dan mungkin menggantikan manusia dalam beberapa aspek. Menurut laporan media IT Korea, sejak pertengahan November, industri telah melaporkan bahawa GPT-4 telah lulus sepenuhnya ujian Turing. Eksekutif syarikat Vodier AI Korea Selatan Nam Se-dong berkata dalam temu bual baru-baru ini dengan "Berita Ekonomi" Korea Selatan: "Walaupun berita bahawa GPT-4 lulus ujian Turing belum disahkan secara rasmi, berita itu sepatutnya boleh dipercayai

Sam Altman, seorang juruteknik dan Ketua Pegawai Eksekutif OpenAI semasa, juga nampaknya mengesahkan maklumat ini di Twitternya. Altman tweet pada 10 November, meniru baris klasik daripada watak "Star Wars" Darth Vader: "Jangan berbangga dengan panik teknologi yang anda cipta ini. Keupayaan untuk lulus Ujian Turing adalah dalam 'asal'. tiada apa yang boleh anda lakukan dalam menghadapi kekerasan."

Sumber imej: Twitter

Seorang eksekutif syarikat permulaan AI menganalisis bahawa “Jika GPT- 4 benar-benar lulus ujian Turing dengan sempurna, jadi impaknya cukup untuk menyebabkan 'kepanikan teknologi' di dunia AI, jadi Altman menggunakan watak Darth Vader untuk mengumumkan maklumat ini."

Jika GPT-4 lulus ujian Turing tanpa sebarang sekatan, ia sememangnya akan mencipta sejarah. Walaupun beberapa model AI sebelum ini mendakwa lulus ujian Turing, mereka tidak pernah diiktiraf sebulat suara oleh industri AI. Ini kerana piawaian dan peraturan ujian Turing tidak jelas, jadi banyak model bijak mengeksploitasi beberapa "bintik buta" dalam ujian. Model AI "Eugene" yang dilancarkan oleh University of Reading di UK pada tahun 2014 adalah contoh biasa Pada masa itu, University of Reading mendakwa kepada hakim bahawa model itu adalah seorang budak lelaki Ukraine berusia 13 tahun, jadi. apabila algoritma tidak dapat memberikan jawapan yang baik Pada masa itu, juri percaya bahawa ini adalah kerana subjek ujian adalah kanak-kanak asing.

Sumber imej: Internet

Walaupun ujian Turing bukanlah titik rujukan mutlak untuk teknologi AI , Tetapi sebagai ujian teknologi AI tertua dan paling terkenal setakat ini, Ujian Turing masih mempunyai kepentingan simbolik yang besar. Jika GPT-4 benar-benar secara rasmi dan pasti lulus ujian Turing, maka kemungkinan besar ia akan mencipta pencapaian terbesar dalam industri AI setakat ini.

Selain itu, tidak seperti GPT-3, GPT-4 kemungkinan besar akan menjadi lebih daripada sekadar model bahasa. Ilya Sutskever, ketua saintis OpenAI, pernah membayangkan perkara ini dalam artikel berkaitan multi-modalnya - "Teks itu sendiri boleh menyatakan banyak maklumat tentang dunia, tetapi ia tidak lengkap, kerana kita juga hidup dalam dunia visual." Oleh itu, sesetengah pakar dalam industri percaya bahawa GPT-4 akan berbilang modal dan boleh menerima input audio, teks, imej dan juga video, dan meramalkan bahawa set data audio Whisper OpenAI akan digunakan untuk mencipta data teks GPT-4. Ini juga bermakna GPT-4 tidak lagi mempunyai sebarang had dalam menerima dan memproses maklumat luaran.

Sebab industri memberi perhatian kepada GPT-4 berkemungkinan besar kerana ambang komersil sebenar GPT-4 akan lebih rendah daripada GPT-3 tradisional. Perusahaan yang sebelum ini tidak dapat menggunakan teknologi berkaitan kerana kos yang besar dan sebab infrastruktur juga dijangka menggunakan GPT-4. GPT-4 kini berada di peringkat akhir penyenaraian dan akan dikeluarkan antara Disember tahun ini dan Februari tahun depan. Alberto Garcia, seorang penganalisis di Cambridge AI Research, menerbitkan blog dan meramalkan: "GPT-4 akan lebih menumpukan pada pengoptimuman pemprosesan data, jadi kos pembelajaran GPT-4 dijangka lebih rendah daripada GPT-3. Kos pembelajaran setiap episod GPT-4 Ia mungkin akan dikurangkan daripada berjuta-juta dolar untuk GPT-3 kepada kira-kira $1 juta."

3. Laluan yang berbeza membawa kepada matlamat yang sama: simulasi otak manusia mungkin datang lebih cepat

Jika semua maklumat di atas adalah benar, maka kita boleh meramalkan pada masa ini bahawa dengan keluaran GPT-4, tahun depan Bidang penyelidikan pembelajaran mendalam akan membawa kepada gelombang baharu sebilangan besar robot perkhidmatan sembang yang lebih maju, lebih semula jadi dan identitinya hampir mustahil untuk dibezakan mungkin akan muncul dalam; pelbagai industri; atas dasar ini, terdapat juga lebih banyak robot perkhidmatan sembang peringkat tinggi yang dihasilkan daripada perniagaan tradisional yang berbeza dengan kecerdasan kognitif untuk kali pertama;

Mari kita kembali kepada isu mencipta atau mensimulasikan otak manusia yang disebutkan pada mulanya. Menurut kajian oleh MIT, walaupun rangkaian saraf dalam GPT-3 tidak cuba meniru secara langsung otak manusia, kaedah pemprosesan bahasa yang dibentangkan oleh GPT-3 mempunyai persamaan tertentu dengan penyelesaian yang diperoleh semasa evolusi otak manusia. apabila rangsangan yang sama seperti ujian otak manusia dimasukkan ke dalam model, model memperoleh jenis pengaktifan yang sama seperti otak manusia, dan dalam lebih daripada 40 ujian model bahasa, GPT-3 membuat kesimpulan yang hampir sempurna Fungsinya memang serupa dengan pusat pemprosesan bahasa otak manusia. Dalam hal ini, Daniel Yamins, penolong profesor psikologi dan sains komputer di Universiti Stanford, juga berkata: "Rangkaian kecerdasan buatan tidak secara langsung meniru otak, tetapi ia akhirnya kelihatan seperti otak. Ini dalam erti kata yang menunjukkan bahawa terdapat jurang antara kecerdasan buatan dan alam semula jadi nampaknya terdapat beberapa evolusi konvergen yang berlaku.

Sumber: Internet

Ia dapat dilihat walaupun model siri GPT tidak menggunakan secara langsung biru Idea reka bentuk Projek Otak adalah untuk mensimulasikan struktur otak, tetapi kesan yang ditunjukkannya nampaknya lebih dekat dengan jangkaan kami berbanding Projek Otak Biru. Oleh itu, jika hala tuju penyelidikan ini benar-benar boleh dilaksanakan dan GPT-4 boleh mencapai kejayaan lompat ke hadapan dalam beberapa aspek berdasarkan GPT-3, maka kita akan selangkah lebih dekat dengan matlamat untuk mensimulasikan beberapa fungsi otak manusia.

Akhir sekali, saya ingin mengakhiri dengan petikan daripada jawatan CEO OpenAI Sam Altman baru-baru ini di Twitter, yang turut diiktiraf oleh “Silicon Valley Iron Man” Elon Musk—— "General artificial kecerdasan akan diwujudkan lebih cepat daripada yang kebanyakan orang bayangkan, dan ia akan 'mengubah' semua yang kebanyakan orang bayangkan dalam jangka masa yang panjang."

Sumber imej: Twitter

Pautan rujukan:

https:// /dzone.com/articles/what-can-you-do-with-the-openai-gpt-3-language-mod

https://analyticsindiamag.com/gpt-4-is-almost- di sini-dan-ia-nampak-lebih baik-daripada-apa-apa-apa-apa-apa-apa-apa-apa-apa-apa-apa-apa pun/

https://analyticsindiamag.com/openais-whisper-might-hold-the-key-to-gpt4/

Atas ialah kandungan terperinci Pengeluaran GPT4 akan datang adalah setanding dengan otak manusia, dan ramai pemimpin industri tidak boleh duduk diam!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!