Adakah pembelajaran mendalam melanda dinding selepas sepuluh tahun? Hinton, LeCun dan Li Feifei tidak fikir begitu.

Sudah 10 tahun sejak penemuan teknologi pembelajaran mendalam yang diwakili oleh AlexNet pada tahun 2012.

Sepuluh tahun kemudian, Geoffrey Hinton dan Yann LeCun, yang kini merupakan pemenang Anugerah Turing, dan Li Feifei, pemula utama dan penganjur Cabaran ImageNet, bagaimana anda melihat kejayaan teknologi AI dekad yang lalu? Dan apakah pertimbangan anda tentang perkembangan teknologi dalam sepuluh tahun akan datang?

Baru-baru ini, artikel temu bual eksklusif oleh media luar negara VentureBeat telah membuatkan komuniti AI mula membincangkan isu ini.

Pada pandangan LeCun, pencapaian paling penting dalam dekad yang lalu termasuk pembelajaran diselia sendiri, ResNets, graf sambungan get-perhatian-dinamik, storan yang boleh dibezakan dan Permutasi modul setara, seperti multi-head self-attention-Transformer.

Hinton percaya bahawa momentum pembangunan pesat dalam bidang AI akan terus dipercepatkan. Sebelum ini, dia dan tokoh terkenal lain dalam bidang AI menyangkal pandangan bahawa "pembelajaran mendalam telah melanda dinding." "Kami melihat kemajuan besar dalam robotik, dengan robot yang fleksibel, tangkas dan lebih patuh melakukan sesuatu dengan lebih cekap dan lembut berbanding manusia," kata Hinton. Sumber imej: https://www.thestar.com/

LeCun dan Li Feifei bersetuju dengan Hinton bahawa satu siri kajian terobosan berdasarkan dataset ImageNet pada tahun 2012 membuka penglihatan komputer, terutamanya kedalaman. Kemajuan besar dalam bidang pembelajaran telah mendorong pembelajaran mendalam ke arus perdana dan mencetuskan momentum pembangunan yang tidak dapat dihalang. Li Feifei berkata bahawa perubahan pembelajaran mendalam sejak 2012 adalah di luar impiannya.

Li Feifei

Namun, kejayaan selalunya membawa kepada kritikan. Baru-baru ini, banyak pendapat telah menunjukkan batasan pembelajaran mendalam, mempercayai bahawa kejayaannya terhad kepada julat yang kecil. Pandangan ini berpendapat bahawa pembelajaran mendalam tidak dapat mencapai kejayaan asas yang didakwa akhirnya membantu manusia mencapai kecerdasan buatan am yang mereka inginkan, di mana keupayaan penaakulan AI benar-benar seperti manusia.

Gary Marcus, seorang sarjana AI yang terkenal dan pengasas Robust.AI, menerbitkan artikel "Pembelajaran Mendalam Mencecah Tembok" pada bulan Mac tahun ini pembelajaran hampir tamat, seluruh medan AI mesti mencari jalan keluar yang baharu. Kemudian, kedua-dua Hinton dan LeCun menyangkal pandangannya, yang mencetuskan perbincangan hangat dalam kalangan.

Walaupun kritikan berterusan, mereka tidak boleh menafikan bahawa aplikasi kritikal seperti penglihatan komputer dan bahasa telah mencapai kemajuan yang luar biasa. Beribu-ribu perniagaan juga telah melihat kuasa pembelajaran mendalam dan mencapai hasil yang luar biasa dalam enjin pengesyoran, perisian terjemahan, chatbot dan banyak lagi.

Sekarang 2022. Apabila kita mengimbas kembali dekad lalu AI yang berkembang pesat, apakah yang boleh kita pelajari daripada kemajuan pembelajaran mendalam? Adakah teknologi transformatif yang mengubah dunia ini menjadi lebih baik atau menurun pada masa hadapan? Hinton, LeCun, Li Feifei dan lain-lain menyatakan pendapat mereka tentang perkara ini.

Pada tahun 2012, revolusi pembelajaran mendalam bermula

Hinton sentiasa percaya bahawa revolusi pembelajaran mendalam akan datang. Pada tahun 1986, makalah Hinton et al. "Mempelajari perwakilan dengan ralat penyebaran belakang" mencadangkan algoritma perambatan belakang untuk melatih rangkaian saraf berbilang lapisan, dan dia yakin bahawa ini adalah masa depan kecerdasan buatan. Kemudian, LeCun, yang mempelopori penggunaan backpropagation dan rangkaian neural convolutional pada tahun 1989, bersetuju.

Hinton dan LeCun dan yang lain percaya bahawa seni bina pembelajaran mendalam seperti rangkaian saraf berbilang lapisan boleh digunakan pada bidang seperti penglihatan komputer, pengecaman pertuturan, pemprosesan bahasa semula jadi dan terjemahan mesin serta menjana hasil. yang menyaingi atau mengatasi pakar manusia. Pada masa yang sama, Li Feifei juga mengemukakan hipotesisnya yang dipercayai bahawa selagi algoritma itu betul, set data ImageNet akan menjadi kunci kepada memajukan visi komputer dan penyelidikan pembelajaran mendalam.

Pada tahun 2012, kertas kerja "Klasifikasi ImageNet dengan Rangkaian Neural Convolutional Dalam" oleh Alex Krizhevsky, Ilya Sutskever dan Hinton keluar, menggunakan set data ImageNet untuk mencipta seni bina rangkaian saraf AlexNet yang semua orang sangat biasa dengan hari ini, dan Memenangi kejohanan pertandingan ImageNet pada tahun itu. Seni bina terobosan ini pada masa itu jauh lebih tepat dalam mengklasifikasikan imej yang berbeza daripada kaedah sebelumnya.

Alamat kertas: https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf

Boleh dikatakan bahawa data ImageNet ini lebih berkuasa dalam data ImageNet set dan Dengan sokongan perkakasan GPU, ia telah menyumbang secara langsung kepada kisah kejayaan AI utama dekad yang akan datang, seperti Google Photos, Google Translate, Amazon Alexa, OpenAI DALL-E dan DeepMind AlphaFold.

Pada tahun 2012, apabila AlexNet dilancarkan, orang dan institusi lain mula beralih kepada bidang penyelidikan pembelajaran mendalam. Google

Sementara itu, Jeffrey Dean dan Andrew Ng juga melakukan kerja-kerja pecah tanah dalam bidang pengecaman imej berskala besar. Kertas kerja CVPR 2012 pertengahan penyerahan Dan Ciregan et al. meningkatkan dengan ketara prestasi terkini rangkaian saraf konvolusi pada beberapa set data imej.

Alamat kertas: https://arxiv.org/pdf/1202.2745.pdf

Ringkasnya, menjelang 2013, " Hampir semua penyelidikan penglihatan komputer beralih kepada rangkaian saraf," kata Hinton, yang sejak itu membahagikan masanya antara Penyelidikan Google dan Universiti Toronto. Beliau menambah bahawa terdapat hampir revolusi dalam kecerdasan buatan sejak baru-baru ini pada tahun 2007, dan ketika itu, "ia tidak sesuai untuk menerbitkan dua kertas kerja mengenai pembelajaran mendalam pada satu persidangan."

Sepuluh tahun kemajuan dalam pembelajaran mendalam

Li Feifei berkata bahawa dia terlibat secara mendalam dalam terobosan pembelajaran mendalam - secara peribadi mengumumkan kemenangan pertandingan ImageNet di Persidangan Florence 2012 di Itali - Tidak hairanlah orang ramai menyedari kepentingan detik itu.

"ImageNet ialah visi yang bermula pada tahun 2006 dengan hampir tiada sokongan," kata Li, sambil menambah bahawa ia kemudiannya "sebenarnya membuahkan hasil dengan cara yang begitu ketara dari segi sejarah." 🎜>Sejak 2012, pembelajaran mendalam telah berkembang pada kadar yang menakjubkan dan dengan kedalaman yang mengagumkan.

"Terdapat beberapa halangan yang sedang dibersihkan pada kadar yang luar biasa," kata LeCun, memetik kemajuan dalam pemahaman bahasa semula jadi, terjemahan penjanaan teks dan sintesis imej.

Kemajuan di sesetengah kawasan adalah lebih pantas daripada yang dijangkakan. Bagi Hinton, kemajuan itu termasuk penggunaan rangkaian saraf dalam terjemahan mesin, yang membuat kemajuan besar pada tahun 2014. "Saya fikir ia akan menjadi bertahun-tahun," katanya.

Li Feifei juga mengakui bahawa kemajuan dalam visi komputer - seperti DALL-E - "berlaku lebih cepat daripada yang saya sangkakan."

Walau bagaimanapun, tidak semua orang bersetuju bahawa kemajuan pembelajaran mendalam sangat mengejutkan. Pada November 2012, Gary Marcus menulis artikel untuk The New Yorker, berkata: "Untuk menghuraikan dongeng lama, Hinton membina tangga yang lebih baik, tetapi tangga yang lebih baik tidak semestinya membawa anda ke bulan."

Marcus percaya bahawa pembelajaran mendalam tidak lebih dekat dengan "bulan" berbanding sepuluh tahun yang lalu, di mana bulan merujuk kepada kecerdasan buatan am atau kecerdasan buatan peringkat manusia.

"Sudah tentu ada kemajuan, tetapi untuk pergi ke bulan, anda perlu menyelesaikan pemahaman sebab-akibat dan pemahaman dan penaakulan bahasa semula jadi," katanya. “Tiada banyak kemajuan dalam perkara ini.”

Marcus percaya bahawa model hibrid yang menggabungkan rangkaian saraf dengan AI simbolik (cawangan AI yang menguasai bidang sebelum kebangkitan pembelajaran mendalam) adalah saraf lawan. rangkaian Jalan utama ke hadapan. Tetapi Hinton dan LeCun kedua-duanya menolak kritikan Marcus.

“Pembelajaran mendalam tidak melanda — jika anda melihat kemajuan baru-baru ini, ia sangat mengagumkan,” kata Hinton, walaupun dia telah mengakui bahawa pembelajaran mendalam terhad dalam pelbagai masalah yang dihadapinya. boleh menyelesaikan daripada.

LeCun menambah, "Tiada dinding untuk dilanggar." "Saya fikir terdapat beberapa halangan yang perlu diselesaikan, dan penyelesaian kepada halangan tersebut tidak sepenuhnya jelas," katanya. "Tetapi saya tidak nampak kemajuan semakin perlahan... kemajuan semakin pesat."

Bender tidak yakin. "Setakat yang mereka hanya bercakap tentang kemajuan dalam mengklasifikasikan imej berdasarkan label yang disediakan oleh penanda aras seperti ImageNet, nampaknya terdapat beberapa kejayaan pada 2012. Tetapi jika mereka bercakap tentang sesuatu yang lebih besar daripada itu, itu tidak berlaku. . Ini gembar-gembur.”

Isu berat sebelah dan etika dalam kecerdasan buatan semakin menjulang

Dalam aspek lain, Bender juga percaya bahawa bidang kecerdasan buatan dan pembelajaran mendalam telah pergi terlalu jauh.

"Saya berpendapat bahawa keupayaan (kuasa pengkomputeran + algoritma cekap) untuk memproses set data yang sangat besar ke dalam sistem yang boleh menjana teks dan imej sintetik telah menjejaskan kami dalam beberapa cara," katanya. Sebagai contoh, orang ramai seolah-olah terperangkap dalam kitaran: mereka mendapati bahawa model itu berat sebelah dan bercadang untuk cuba membuang berat sebelah, tetapi keputusan yang diterima ialah tiada set data atau model yang benar-benar debias.

Tambahan pula, dia menyatakan hasrat untuk melihat bidang itu dipegang pada piawaian akauntabiliti sebenar, sama ada untuk ujian dunia sebenar atau keselamatan produk—“Untuk itu, kami memerlukan orang ramai untuk memahami dan cara melihat melalui AI ​​dakwaan gembar-gembur yang dipertaruhkan , kami memerlukan peraturan yang berkesan."

Walau bagaimanapun, LeCun menyatakan bahawa ini adalah isu yang rumit dan penting yang cenderung dipermudahkan oleh orang ramai, dan ramai orang "mempunyai andaian jahat. " Dia menegaskan bahawa kebanyakan syarikat "sebenarnya mahu melakukan perkara yang betul."

Selain itu, beliau turut mengadu tentang mereka yang tidak terlibat dalam teknologi dan penyelidikan kecerdasan buatan. "Ia adalah keseluruhan ekosistem, tetapi sesetengah orang merakam dari tempat penonton," katanya, "pada dasarnya hanya mencari perhatian

Perdebatan mengenai pembelajaran mendalam pasti akan berterusan

<.>Walaupun perdebatan kelihatan hangat, Li Feifei menekankan bahawa inilah yang dimaksudkan dengan sains. "Sains bukanlah kebenaran, sains adalah perjalanan untuk mencari kebenaran. Ia adalah perjalanan penemuan dan peningkatan - jadi perdebatan, kritikan, perayaan adalah sebahagian daripadanya

Walau bagaimanapun, beberapa perdebatan dan kritikan membenarkan Li Feifei merasakan bahawa ia "agak rekaan." Sama ada ia mengatakan bahawa AI salah atau bahawa AGI akan datang, ini adalah kes yang melampau. "Saya rasa ini adalah versi perdebatan saintifik yang agak popular yang lebih mendalam, lebih bernuansa, lebih bernuansa dan lebih berdimensi."

Sudah tentu, Li Feifei menegaskan bahawa dalam dekad yang lalu, kecerdasan buatan Kemajuan telah mengecewakan - dan ia tidak selalu mengenai teknologi.

Masa Depan Kepintaran Buatan dan Pembelajaran Mendalam

LeCun mengakui bahawa beberapa cabaran AI yang orang ramai telah melaburkan sumber yang besar masih belum dapat diselesaikan, seperti pemanduan autonomi. "Saya akan mengatakan orang lain memandang rendah kerumitannya," katanya, sambil menambah bahawa dia tidak meletakkan dirinya dalam kategori itu.

"Saya tahu ia sukar dan ia akan mengambil masa yang lama," dakwanya. "Saya tidak bersetuju dengan sesetengah orang yang mengatakan bahawa kami pada dasarnya telah mengetahuinya... ia hanya soal menjadikan model ini lebih besar." kecerdasan mesin autonomi", yang juga menunjukkan bahawa dia percaya bahawa kaedah kecerdasan buatan semasa tidak dapat mencapai kecerdasan buatan peringkat manusia.

Tetapi dia juga melihat potensi besar pembelajaran mendalam pada masa hadapan, mengatakan bahawa dia paling teruja untuk menjadikan mesin belajar dengan lebih cekap dan lebih seperti haiwan dan manusia.

LeCun berkata baginya secara peribadi, persoalan terbesar ialah apakah prinsip asas pembelajaran haiwan, yang merupakan salah satu sebab mengapa dia menganjurkan perkara seperti pembelajaran penyeliaan sendiri.

"Kemajuan ini akan membolehkan kita membina perkara yang tidak dapat dicapai pada masa ini, seperti sistem pintar yang boleh menggerakkan kehidupan seharian kita seolah-olah ia adalah pembantu manusia. Inilah yang kita perlukan. , kerana semua orang akan memakai cermin mata AR dan kami perlu berinteraksi dengan mereka." Hinton bersetuju bahawa pembelajaran mendalam membuat lebih banyak kemajuan. Selain kemajuan dalam robotik, beliau juga percaya akan ada satu lagi kejayaan dalam infrastruktur pengkomputeran rangkaian saraf, kerana kemudahan semasa hanya melakukan pengiraan berangka dengan pemecut yang sangat baik dalam melakukan pengganda matriks. Bagi perambatan balik, katanya, isyarat analog perlu ditukar kepada isyarat digital.

"Kami akan mencari alternatif kepada perambatan balik yang berfungsi dalam perkakasan analog," katanya. "Saya sangat percaya bahawa dalam jangka masa panjang, hampir semua pengiraan kami akan dilakukan dalam simulasi." “Di Stanford HAI, kami sebenarnya menghabiskan jumlah tenaga yang tidak seimbang untuk menghubungi pemimpin perniagaan, kerajaan, penggubal dasar, media, wartawan dan wartawan, dan masyarakat secara keseluruhannya dan mewujudkan simposium, persidangan, bengkel, taklimat dasar penerbitan, taklimat industri 》.

Untuk teknologi baharu seperti itu, Li Feifei bimbang kekurangan pengetahuan latar belakang tidak akan membantu menyampaikan penerangan yang lebih bernuansa dan bernas tentang era ini.

Bagaimana 10 tahun pembelajaran mendalam akan diingati

Bagi Hinton, pembelajaran mendalam telah mencapai kejayaan di luar imaginasi dalam dekad yang lalu, tetapi dia juga menekankan, kemajuan besar ini harus dikaitkan dengan "kemajuan perkakasan komputer."

Marcus ialah watak seorang pengkritik yang percaya bahawa walaupun pembelajaran mendalam telah membuat sedikit kemajuan, ia kemudiannya boleh dilihat sebagai malang.

"Saya rasa orang pada tahun 2050 akan melihat sistem ini mulai tahun 2022 dan berkata: ya, mereka berani, tetapi mereka tidak benar-benar berfungsi."

Tetapi Li Feifei berharap dekad yang lalu akan diingati sebagai "permulaan revolusi digital yang hebat": "Ia telah menjadikan kehidupan dan kerja lebih baik untuk semua orang, bukan hanya segelintir atau sebilangan manusia

Dia juga menambah bahawa sebagai seorang saintis, "Saya tidak akan pernah berfikir bahawa pembelajaran mendalam hari ini adalah penamat penerokaan kecerdasan buatan." Kecerdasan Buatan dilihat sebagai "alat teknologi luar biasa yang dibangunkan dan digunakan dengan cara yang paling berpusatkan manusia yang mungkin - kita mesti mengenali kesan meluas alat ini dan menerima rangka kerja pemikiran berpusatkan manusia serta mereka bentuk dan menggunakan AI. "

Akhirnya, Li Feifei berkata: "Bagaimana kita diingati bergantung pada apa yang kita lakukan sekarang."

Atas ialah kandungan terperinci Adakah pembelajaran mendalam melanda dinding selepas sepuluh tahun? Hinton, LeCun dan Li Feifei tidak fikir begitu.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!