Wira sebenar di sebalik ChatGPT: lompatan kepercayaan ketua saintis OpenAI Ilya Sutskever

Kemunculan ChatGPT telah menarik perhatian ramai, tetapi kita tidak seharusnya melupakan genius yang tidak diketahui di belakangnya. Ilya Sutskever ialah pengasas bersama dan ketua saintis OpenAI. Di bawah kepimpinannya OpenAI telah mencapai kemajuan yang ketara dalam membangunkan teknologi termaju dan memajukan bidang kecerdasan buatan.

Dalam artikel ini, kami akan meneroka bagaimana Sutskever berubah daripada seorang penyelidik muda kepada salah seorang tokoh terkemuka dalam bidang kecerdasan buatan dalam dua dekad. Sama ada anda seorang peminat AI, penyelidik atau hanya seseorang yang ingin tahu tentang kerja dalaman bidang ini, artikel ini akan memberikan perspektif dan maklumat yang berharga.

Artikel ini mengikut garis masa berikut:

2003: Perjalanan perantisan Ilya Sutskever

2011: Pengenalan pertama kepada AGI

2012: Revolusi pengecaman imej

2013: Lelongan DNNresearch ke Google

2014: Revolusi terjemahan bahasa

2015: Dari Google ke OpenAI: The new era kecerdasan buatan Bab

2018: GPT 1, 2 dan 3

2021: Pembangunan DALL-E 1

2022: Membongkar ChatGPT kepada dunia

Ilya Sutskever​

Pengasas bersama dan ketua saintis OpenAI, lulus dari Universiti Toronto pada tahun 2005 dan menerima CS pada 2012 Ph.D. Dari 2012 hingga sekarang, beliau telah bekerja di Universiti Stanford, DNNResearch dan Google Brain, menjalankan penyelidikan berkaitan pembelajaran mesin dan pembelajaran mendalam Pada tahun 2015, beliau telah melepaskan jawatannya yang bergaji tinggi di Google dan mengasaskan OpenAI bersama Greg Brockman. dan lain-lain model siri GPT-1, 2, 3 dan DALLE. Pada tahun 2022, beliau telah dipilih sebagai felo Persatuan Sains Diraja. Beliau adalah perintis dalam bidang kecerdasan buatan yang telah memainkan peranan penting dalam membentuk landskap semasa kecerdasan buatan dan terus menolak sempadan apa yang mungkin dengan pembelajaran mesin. Keghairahannya terhadap kecerdasan buatan telah memaklumkan penyelidikan terobosannya, yang telah membentuk pembangunan bidang pembelajaran mendalam dan pembelajaran mesin.

2003: Kesan pertama Ilya Sutskever

Sutskever : Saya tidak faham Hinton: Mengapa anda tidak faham Sutskever: Orang ramai melatih rangkaian saraf untuk menyelesaikan masalah. Tetapi saya fikir orang ramai harus mempunyai rangkaian saraf yang boleh menyelesaikan semua masalah.

Semasa dia menjadi sarjana di Universiti Toronto, Sutskever ingin menyertai makmal pembelajaran mendalam Profesor Geoffrey Hinton. Jadi, dia mengetuk pintu pejabat Profesor Hinton pada suatu hari dan bertanya sama ada dia boleh menyertai makmal. Profesor memintanya membuat temu janji terlebih dahulu, tetapi Sutskever tidak mahu membuang masa lagi, jadi dia segera bertanya: "Bagaimana sekarang?"

Hinton menyedari bahawa Sutskever adalah seorang pelajar yang berminat, jadi dia memberikan Dia mempunyai dua kertas untuk dia baca. Seminggu kemudian, Sutskever kembali ke pejabat profesor dan memberitahunya dia tidak faham.

"Kenapa awak tak faham?"

Sutskever menjelaskan: “Orang ramai melatih rangkaian saraf untuk menyelesaikan masalah, dan apabila orang ingin menyelesaikan masalah yang berbeza, mereka perlu memulakan latihan semula dengan rangkaian saraf yang lain . Tetapi saya fikir orang harus mempunyai rangkaian saraf yang boleh menyelesaikan semua masalah "

Petikan ini menunjukkan keupayaan unik Sutskever untuk membuat kesimpulan. walaupun penyelidik berpengalaman bertahun-tahun untuk mencari, Hinton memanjangkan jemputan untuk menyertai makmalnya.

2011: Pengenalan pertama kepada AGI

Sutskever: Saya Tidak bersetuju dengan idea ini (AGI)

Ketika Sutskever masih di Universiti Toronto, dia terbang ke London untuk mencari pekerjaan di DeepMind. Di sana dia bertemu Demis Hassabis dan Shane Legg (pengasas bersama DeepMind), yang sedang membina AGI (Kecerdasan Am Buatan). AGI ialah kecerdasan buatan am yang boleh berfikir dan menaakul seperti manusia dan menyelesaikan pelbagai tugas yang berkaitan dengan kecerdasan manusia, seperti memahami bahasa semula jadi, belajar daripada pengalaman, membuat keputusan, dan menyelesaikan masalah.

Pada masa itu, AGI bukanlah sesuatu yang akan dibincangkan oleh penyelidik yang serius. Sutskever juga merasakan mereka telah terputus hubungan dengan realiti, jadi dia menolak kerja itu, kembali ke kolej dan akhirnya menyertai Google pada tahun 2013.

2012: Revolusi Pengecaman Imej

Menangi pertandingan ImageNet

Geoffrey Hinton mempunyai mata yang unik dan percaya pada pembelajaran mendalam sedangkan orang lain tidak. Dan dia yakin bahawa kejayaan dalam pertandingan ImageNet akan menyelesaikan perdebatan ini untuk selamanya.

Pertandingan ImageNet: Makmal Universiti Stanford mengadakan Pertandingan ImageNet setiap tahun. Mereka menyediakan peserta dengan pangkalan data besar gambar yang dilabel dengan teliti, dan penyelidik dari seluruh dunia datang untuk bersaing untuk cuba mencipta sistem yang boleh mengenali kebanyakan imej.

Dua pelajar Hinton, Ilya Sutskever dan Alex Krizhevsky, telah menyertai pertandingan ini. Mereka melanggar skema reka bentuk manual tradisional, menggunakan rangkaian saraf dalam dan menembusi tanda ketepatan 75%. Jadi mereka memenangi pertandingan ImageNet dan sistem mereka kemudiannya dinamakan AlexNet.

Sejak itu, bidang pengecaman imej telah berwajah baharu.

Kemudian, Sutskever, Krizhevsky, dan Hinton menerbitkan kertas kerja di AlexNet, yang menjadi salah satu kertas yang paling banyak disebut dalam sains komputer, dipetik oleh sejumlah penyelidik lain Lebih daripada 60,000 kali.

2013: Lelongan DNNresearch kepada Google

Sutskever & Krizhevsky : Anda berhak mendapat peratusan yang lebih besar daripada dividen anda. Hinton: Anda berkongsi terlalu banyak wang saya. Sutskever&Krizhevsky: Tetapi kami telah memutuskan untuk memberi anda bahagian yang paling besar. Hinton: Ia bercakap dengan watak mereka.

Hinton, bersama Sutskever dan Krizhevsky, menubuhkan sebuah syarikat baharu yang dipanggil DNNresearch. Mereka tidak mempunyai sebarang produk dan tidak bercadang untuk membina produk pada masa hadapan.

Hinton bertanya kepada peguam bagaimana untuk memaksimumkan nilai syarikat baharunya, walaupun pada masa ini hanya mempunyai tiga pekerja, tiada produk dan tiada asas. Salah satu pilihan peguam memberinya ialah mengadakan lelongan. Empat syarikat terlibat dalam pengambilalihan: Baidu, Google, Microsoft dan DeepMind (kemudian syarikat permulaan muda yang berpangkalan di London). Yang pertama keluar ialah DeepMind, diikuti oleh Microsoft, dan akhirnya hanya Baidu dan Google yang tinggal bersaing.

Menjelang tengah malam pada suatu malam, harga lelongan mencecah $44 juta, dan Hinton menjeda pembidaan dan tidur. Keesokan harinya, dia mengumumkan bahawa lelongan telah tamat dan menjual syarikatnya kepada Google dengan harga $44 juta, memutuskan bahawa mencari rumah yang sesuai untuk penyelidikannya adalah lebih penting. Pada ketika ini, Hinton, seperti pelajarnya, meletakkan idea mereka sebelum keuntungan kewangan.

Apabila tiba masanya untuk membahagikan hasil, Sutskever dan Krizhevsky menegaskan bahawa Hinton harus mendapat bahagian yang lebih besar (40%), walaupun Hinton mencadangkan bahawa mereka juga boleh mengambil tidur siang. Keesokan harinya, mereka masih mendesak kaedah pengedaran ini. Hinton kemudian mengulas: "Ia mencerminkan siapa mereka sebagai manusia, bukan saya."

Selepas ini, Sutskever menjadi saintis penyelidikan di Google Brain Ideanya semakin berubah dan mula sejajar secara beransur-ansur dengan idea pengasas DeepMind. Dia mula percaya bahawa masa depan AGI ada di hadapannya. Sudah tentu, Sutskever sendiri tidak pernah gentar untuk mengubah fikirannya dalam menghadapi maklumat atau pengalaman baharu. Lagipun, mempercayai AGI memerlukan lompatan kepercayaan , Seperti yang dikatakan Sergey Levine (rakan sekerja Sutskever di Google) tentang Sutskever: "Dia seorang lelaki yang tidak takut untuk 'percaya'." 🎜>

Sutskever: Kesimpulan yang betul ialah jika anda mempunyai set data yang sangat besar dan rangkaian saraf yang sangat besar, maka kejayaan adalah tidak dapat dielakkan. (Penterjemah berprestasi terbaik)

Selepas memperoleh DNNResearch, Google mengupah Sutskever sebagai saintis penyelidikan di Google Brain.

Semasa bekerja di Google, Sutskever mencipta varian rangkaian saraf yang boleh menterjemah bahasa Inggeris ke bahasa Perancis. Beliau mencadangkan "Sequence to Sequence Learning", yang menangkap struktur urutan input (seperti ayat bahasa Inggeris) dan memetakannya kepada output yang juga mempunyai struktur urutan (seperti ayat Perancis). Beliau berkata para penyelidik tidak percaya rangkaian saraf boleh menterjemah, jadi ia adalah satu kejutan besar apabila mereka benar-benar melakukannya.

Hasil ciptaannya mengalahkan penterjemah berprestasi terbaik dan menyediakan peningkatan besar kepada Terjemahan Google.

Terjemahan bahasa tidak akan sama lagi.

2015: Daripada Google ke OpenAI: Bab baharu dalam kecerdasan buatan

Sam Altman dan Greg Brockman membawa Sutskever dan sembilan penyelidik lain bersama-sama untuk melihat sama ada masih mungkin untuk membentuk makmal penyelidikan dengan minda terbaik dalam bidang ini.

Apabila tiba masanya untuk membincangkan makmal yang akan menjadi OpenAI, Sutskever menyedari dia telah menemui sekumpulan orang yang berfikiran sama yang berkongsi kepercayaan dan keinginannya.

Brockman menyampaikan jemputan kepada 10 penyelidik untuk menyertai makmalnya dan memberi mereka masa selama tiga minggu untuk membuat keputusan. Apabila Google mengetahui tentang perkara ini, mereka menawarkan Sutskever sejumlah besar wang untuk menyertai mereka. Selepas ditolak, Google meningkatkan gaji mereka kepada hampir $2 juta pada tahun pertama, iaitu dua atau tiga kali ganda daripada yang dibayar OpenAI kepadanya.

Tetapi Sutskever dengan senang hati melepaskan tawaran kerja berjuta-juta dolar di Google untuk akhirnya menjadi pengasas bersama OpenAI bukan untung. Matlamat OpenAI adalah untuk menggunakan kecerdasan buatan untuk memberi manfaat kepada semua manusia dan memajukan kecerdasan buatan dengan cara yang bertanggungjawab.

2018: Pembangunan GPT 1, 2 & 3

Dipimpin oleh Sutskever OpenAI mencipta GPT-1, yang kemudiannya dibangunkan menjadi GPT-2, GPT-3 dan ChatGPT.

Model GPT (Generative Pre-trained Transformer) ialah satu siri model bahasa berdasarkan rangkaian saraf. Setiap kemas kini model GPT adalah satu kejayaan dalam bidang pemprosesan bahasa semula jadi.

• GPT-1 (2018) : Ini ialah model pertama dalam siri ini, dilatih pada set data teks Internet berskala besar. Salah satu inovasi utamanya ialah penggunaan pra-latihan tanpa pengawasan, di mana model belajar meramal perkataan dalam ayat berdasarkan konteks perkataan sebelumnya. Ini membolehkan model mempelajari struktur bahasa dan menjana teks seperti manusia.
• GPT-2 (2019) : dalam GPT-2 1, ia telah dilatih pada set data yang lebih besar, menghasilkan model yang lebih berkuasa. Salah satu kemajuan utama GPT-2 ialah keupayaannya untuk menjana petikan teks yang koheren dan lancar pada pelbagai topik, menjadikannya pemain utama dalam tugas pemahaman dan penjanaan bahasa tanpa pengawasan. ​
• GPT-3 (2020) : GPT-3 ialah lonjakan besar ke hadapan dalam skala dan prestasi. Ia dilatih pada set data besar-besaran menggunakan 175 bilion parameter, jauh lebih besar daripada model sebelumnya. GPT-3 mencapai prestasi terkini dalam pelbagai tugas bahasa, seperti menjawab soalan, terjemahan mesin dan ringkasan, dengan keupayaan hampir manusia. Ia juga menunjukkan keupayaan untuk melaksanakan tugas pengekodan mudah, menulis artikel berita yang koheren, dan juga menjana puisi.
• GPT-4: Dijangka muncul tidak lama lagi, dijangka pada 2023.

2021: Pembangunan DALL-E 1

Sutskever juga mengetuai OpenAI dalam ciptaan DALL-E 1, model penjanaan imej dipacu AI. Ia menggunakan seni bina dan proses latihan yang serupa dengan model GPT, tetapi digunakan pada penjanaan imej dan bukannya teks.

Banyak penjana imej utama hari ini - DALL-E 2, MidJourney - berhutang akarnya kepada DALL-E 1, kerana ia berdasarkan seni bina transformer yang sama dan bekerja pada Latihan yang serupa adalah dilakukan pada set data imej dan huraian teks yang berkaitan. Di samping itu, kedua-dua DALL-E 2 dan MidJourney adalah berdasarkan proses penalaan halus DALL-E 1.

2022: Membongkar ChatGPT kepada dunia

2022 Pada 30 November , 2019, Sutskever membantu melancarkan ChatGPT, yang menarik perhatian umum dan berkembang kepada 1 juta pengguna dalam masa 5 hari sahaja.

CtGPT berfungsi dengan melatih pra-melatih rangkaian saraf dalam pada set data teks yang besar dan kemudian memperhalusinya pada tugas tertentu, seperti menjawab soalan atau menjana teks. Ia adalah sistem kecerdasan buatan perbualan berdasarkan model bahasa GPT-3.

Memahami konteks perbualan dan menjana respons yang sesuai ialah salah satu ciri utama ChatGPT. Bot mengingati urutan perbualan anda dan membuat tindak balas susulan berdasarkan soalan dan jawapan sebelumnya. Tidak seperti chatbots lain, yang selalunya terhad kepada reaksi yang telah diprogramkan, ChatGPT boleh menjana reaksi dalam apl, membolehkan ia mempunyai perbualan yang lebih dinamik dan pelbagai.

Elon Musk, salah seorang pengasas OpenAI, berkata: “ChatGPT sangat bagus. ".

Nota Akhir

Keghairahan Ilya Sutskever terhadap kecerdasan buatan mendorong penyelidikan terobosannya yang mengubah haluan bidang itu. Kerja beliau dalam pembelajaran mendalam dan pembelajaran mesin telah memainkan peranan penting dalam memajukan keadaan seni dan membentuk hala tuju masa depan bidang tersebut.

Kami juga telah menyaksikan sendiri kesan kerja Sutskever dalam bidang kecerdasan buatan. Dia telah mengubah haluan bidang dan akan terus bekerja ke arah ini. Walaupun berdepan dengan godaan material berkali-kali, Sutskever memilih untuk meneruskan minatnya dan menumpukan perhatian pada penyelidikannya adalah contoh teladan bagi mana-mana penyelidik;

Sekarang kita telah menyaksikan kesan Sutskever terhadap dunia kita. Jelas sekali, ini hanyalah permulaan.

Atas ialah kandungan terperinci Wira sebenar di sebalik ChatGPT: lompatan kepercayaan ketua saintis OpenAI Ilya Sutskever. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!