Pengurusan data telah menjadi hambatan terbesar dalam pembangunan kecerdasan buatan

Tanda kehebatan sebenar dalam hal infrastruktur ialah betapa mudahnya untuk dilalui. Semakin baik prestasinya, semakin kurang kita memikirkannya. Sebagai contoh, kepentingan infrastruktur mudah alih hanya terlintas di fikiran kita apabila kita mendapati diri kita bergelut untuk berhubung. Sama seperti ketika kita memandu di lebuh raya yang baru berturap, kita tidak terlalu memikirkan permukaan jalan ketika ia melalui senyap di bawah roda kita. Lebuh raya yang tidak diselenggara dengan baik, sebaliknya, mengingatkan kita tentang kewujudannya dengan setiap jalan berlubang, rumput dan benjolan yang kita hadapi.

Infrastruktur memerlukan perhatian kita hanya apabila ia hilang, tidak mencukupi atau rosak. Dan dalam penglihatan komputer, infrastruktur—atau lebih tepatnya, apa yang hilang daripadanya—adalah yang menjadi kebimbangan ramai sekarang.

Pengkomputeran menetapkan piawaian untuk infrastruktur

Menyokong setiap projek AI/ML (termasuk visi komputer) ialah tiga tiang pembangunan asas - data, algoritma/model dan pengiraan. Daripada ketiga-tiga tunjang ini, pengkomputeran adalah yang mempunyai infrastruktur yang paling kukuh dan kukuh. Dengan dekad pelaburan dan pembangunan perusahaan yang berdedikasi, pengkomputeran awan telah menjadi piawaian emas untuk infrastruktur IT merentas persekitaran IT perusahaan—dan visi komputer tidak terkecuali.

Dalam model infrastruktur-sebagai-perkhidmatan, pembangun telah menikmati akses atas permintaan, bayar semasa anda-pergi kepada saluran paip kuasa pengkomputeran yang sentiasa berkembang selama hampir 20 tahun. Pada masa itu, ia telah merevolusikan IT perusahaan dengan meningkatkan ketangkasan, kecekapan kos, kebolehskalaan dan banyak lagi secara mendadak. Dengan kemunculan GPU pembelajaran mesin khusus, boleh dikatakan bahawa bahagian timbunan infrastruktur penglihatan komputer ini masih hidup dan sihat. Jika kita ingin melihat visi komputer dan AI merealisasikan potensi penuh mereka, adalah bijak untuk menggunakan pengiraan sebagai model yang menjadi asas timbunan infrastruktur CV yang lain.

Keturunan dan batasan pembangunan dipacu model

Sehingga baru-baru ini, pembangunan algoritma dan model telah menjadi penggerak di sebalik pembangunan penglihatan komputer dan kecerdasan buatan. Dari segi penyelidikan dan pembangunan komersil, pasukan telah bekerja keras selama bertahun-tahun untuk menguji, menampal dan menambah baik model AI/ML secara berperingkat dan berkongsi kemajuan mereka dalam komuniti sumber terbuka seperti Kaggle. Bidang penglihatan komputer dan kecerdasan buatan mencapai kemajuan besar dalam dua dekad pertama alaf baharu dengan menumpukan usaha mereka pada pembangunan dan pemodelan algoritma.

Walau bagaimanapun, dalam beberapa tahun kebelakangan ini, kemajuan ini semakin perlahan kerana pengoptimuman berpaksikan model melanggar undang-undang pulangan yang semakin berkurangan. Tambahan pula, pendekatan berpusatkan model mempunyai beberapa batasan. Contohnya, anda tidak boleh menggunakan data yang sama untuk latihan dan kemudian melatih model itu semula. Pendekatan berpaksikan model juga memerlukan lebih banyak kerja manual dari segi pembersihan data, pengesahan model dan latihan, yang boleh menghilangkan masa dan sumber yang berharga daripada tugas menjana pendapatan yang lebih inovatif.

Hari ini, melalui komuniti seperti Hugging Face, pasukan CV mempunyai akses percuma dan terbuka kepada rangkaian besar algoritma, model dan seni bina yang besar dan kompleks, masing-masing menyokong keupayaan teras CV yang berbeza - daripada pengecaman objek dan pengecaman mercu tanda muka kepada anggaran pose dan padanan ciri. Aset ini telah menjadi hampir dengan penyelesaian "luar biasa" seperti yang boleh dibayangkan - menyediakan visi komputer dan pasukan AI dengan papan putih siap sedia untuk melatih sebarang tugas khusus dan kes penggunaan.

Kebolehan asas manusia seperti koordinasi tangan-mata boleh digunakan dan dilatih pada pelbagai kemahiran yang berbeza - daripada bermain pingpong hingga melempar - dan algoritma ML moden ini juga boleh dilatih untuk melaksanakan pelbagai tugas khusus. permohonan. Walau bagaimanapun, sementara manusia menjadi khusus melalui latihan dan peluh selama bertahun-tahun, mesin melakukan ini melalui latihan mengenai data.

Kepintaran buatan berpusatkan data dan kesesakan data besar

Ini telah mendorong ramai tokoh terkemuka dalam bidang kecerdasan buatan untuk memanggil era baharu pembangunan pembelajaran mendalam - dalam era ini, yang utama enjin kemajuan Ia data. Hanya beberapa tahun yang lalu, Andrew Ng dan yang lain mengumumkan bahawa data-centricity adalah hala tuju pembangunan AI. Dalam masa yang singkat ini, industri berkembang maju. Dalam beberapa tahun sahaja, pelbagai aplikasi komersil baru dan kes penggunaan untuk penglihatan komputer telah muncul, merangkumi pelbagai industri—daripada robotik dan AR/VR kepada pembuatan automotif dan keselamatan rumah.

Baru-baru ini, kami menjalankan penyelidikan tentang pengesanan tangan pada stereng dalam kereta menggunakan pendekatan berpusatkan data. Eksperimen kami menunjukkan bahawa dengan menggunakan pendekatan dan data sintetik ini, kami dapat mengenal pasti dan menjana kes kelebihan khusus yang kekurangan dalam set data latihan.

Datagen menjana imej sintetik untuk ujian stereng pegangan tangan (Imej disediakan oleh: Datagen)

Walaupun industri penglihatan komputer sibuk dengan data, tidak semuanya fanatik. Walaupun medan telah menetapkan bahawa data adalah jalan ke hadapan, terdapat banyak halangan dan perangkap di sepanjang jalan, kebanyakannya telah membingungkan pasukan CV. Tinjauan baru-baru ini ke atas profesional penglihatan komputer A.S. mendedahkan bahawa bidang ini dibelenggu oleh kelewatan projek yang lama, proses tidak standard dan kekurangan sumber-semuanya berpunca daripada data. Dalam tinjauan yang sama, 99% responden menyatakan bahawa sekurang-kurangnya satu projek CV telah dibatalkan selama-lamanya kerana data latihan yang tidak mencukupi.

Malah 1% bertuah yang telah mengelak pembatalan projek setakat ini tidak dapat mengelakkan kelewatan projek. Dalam tinjauan itu, setiap responden melaporkan mengalami kelewatan projek yang ketara disebabkan oleh data latihan yang tidak mencukupi atau tidak mencukupi, dengan 80% kelewatan pelaporan berlangsung selama tiga bulan atau lebih. Pada akhirnya, tujuan infrastruktur ialah satu utiliti—untuk memudahkan, mempercepatkan atau berkomunikasi. Dalam dunia yang kelewatan teruk hanyalah sebahagian daripada menjalankan perniagaan, jelas bahawa beberapa infrastruktur penting telah tiada.

Data latihan tradisional mencabar infrastruktur

Walau bagaimanapun, tidak seperti pengkomputeran dan algoritma, tonggak ketiga pembangunan AI/ML tidak sesuai dengan infrastruktur - terutamanya dalam bidang penglihatan komputer, Dalam bidang ini, data adalah besar, tidak teratur, dan kedua-dua masa dan sumber intensif untuk mengumpul dan mengurus. Walaupun terdapat banyak pangkalan data latihan visual yang berlabel dan tersedia secara percuma dalam talian (seperti pangkalan data ImageNet yang terkenal sekarang), mereka telah terbukti tidak mencukupi dengan sendirinya sebagai sumber data latihan dalam pembangunan CV komersial.

Ini kerana, tidak seperti model yang digeneralisasikan mengikut reka bentuk, data latihan mengikut sifatnya yang khusus untuk aplikasi. Data ialah perkara yang membezakan satu aplikasi model tertentu daripada yang lain, dan oleh itu mestilah unik bukan sahaja untuk tugas tertentu, tetapi juga kepada persekitaran atau konteks di mana tugas itu dilakukan. Tidak seperti kuasa pengkomputeran, yang boleh dijana dan diakses pada kelajuan cahaya, data visual tradisional mesti dicipta atau dikumpulkan oleh manusia (dengan mengambil foto di lapangan atau mencari di Internet untuk imej yang sesuai), dan kemudian dibersihkan dan dilabelkan dengan teliti oleh manusia. (ini adalah proses A yang terdedah kepada kesilapan manusia, ketidakkonsistenan dan berat sebelah).

Ini menimbulkan persoalan, "Bagaimanakah kita boleh membuat visualisasi data yang kedua-duanya sesuai untuk aplikasi tertentu dan mudah dikomoditi (iaitu, cepat, murah dan serba boleh)?" Kualiti ini mungkin kelihatan bercanggah, tetapi penyelesaian yang berpotensi telah muncul menunjukkan janji yang besar sebagai cara untuk mendamaikan kedua-dua kualiti asas tetapi nampaknya tidak serasi.

Laluan ke data sintetik dan timbunan CV penuh

Penglihatan Komputer (CV) ialah Salah satu bidang utama kecerdasan buatan moden

Satu-satunya cara untuk membuat data latihan visual yang mempunyai aplikasi khusus dan menjimatkan masa dan sumber secara berskala adalah dengan menggunakan data sintetik. Bagi mereka yang tidak biasa dengan konsep ini, data sintetik ialah maklumat yang dijana oleh manusia yang direka untuk mewakili beberapa persamaan dunia nyata dengan jujur. Dari segi data sintetik visual, ini bermakna imejan 3D (CGI) janaan komputer realistik dalam bentuk imej pegun atau video.

Sebagai tindak balas kepada banyak isu yang timbul dalam era pusat data, industri baru muncul telah mula terbentuk di sekitar penjanaan data sintetik - ekosistem yang semakin berkembang bagi syarikat permulaan kecil dan sederhana yang menawarkan pelbagai penyelesaian yang memanfaatkan sintetik data untuk menyelesaikan satu siri titik kesakitan yang disenaraikan di atas.

Penyelesaian yang paling menjanjikan ini menggunakan algoritma AI/ML untuk menjana imej 3D fotorealistik dan secara automatik menjana kebenaran asas yang berkaitan (iaitu metadata) untuk setiap titik data. Oleh itu, data sintetik menghapuskan proses pelabelan dan anotasi manual yang sering berbulan-bulan lamanya, sambil turut menghapuskan kemungkinan ralat dan berat sebelah manusia.

Dalam kertas kerja kami (diterbitkan di NeurIPS 2021), Menemui berat sebelah kumpulan dalam pengesanan mercu tanda muka menggunakan data sintetik, kami mendapati bahawa untuk menganalisis prestasi model terlatih dan mengenal pasti kelemahannya, subset data mesti ketepikan Untuk menguji. Set ujian mestilah cukup besar untuk mengesan sisihan ketara secara statistik berkenaan dengan semua subkumpulan yang berkaitan dalam populasi sasaran. Keperluan ini mungkin sukar dipenuhi, terutamanya dalam aplikasi intensif data.

Kami mencadangkan untuk mengatasi kesukaran ini dengan menghasilkan set ujian sintetik. Kami menggunakan tugas pengesanan mercu tanda muka untuk mengesahkan cadangan kami dengan menunjukkan bahawa semua berat sebelah yang diperhatikan pada set data sebenar juga boleh dilihat pada set data sintetik yang direka bentuk dengan baik. Ini menunjukkan bahawa set ujian sintetik dapat mengesan kelemahan model dengan berkesan dan mengatasi had dalam saiz atau kepelbagaian set ujian sebenar.

Hari ini, syarikat permulaan menyediakan pasukan CV perusahaan dengan platform penjanaan data sintetik layan diri yang canggih yang mengurangkan berat sebelah dan membolehkan pengumpulan data skala. Platform ini membenarkan pasukan CV perusahaan menjana data latihan khusus kes penggunaan secara bermeter, berdasarkan permintaan—merapatkan jurang antara kekhususan dan skala yang menjadikan data tradisional tidak sesuai untuk infrastruktur.

Harapan baru untuk apa yang dipanggil "pengurus data" visi komputer

Tidak dapat dinafikan bahawa ini adalah masa yang menarik untuk bidang penglihatan komputer. Tetapi, seperti mana-mana bidang perubahan lain, ini adalah masa yang mencabar. Bakat hebat dan minda yang cemerlang meluru ke bidang yang penuh dengan idea dan semangat, hanya untuk mendapati diri mereka terhalang oleh kekurangan saluran data yang mencukupi. Bidang ini sangat terperangkap dalam ketidakcekapan sehingga saintis data hari ini dikenali sebagai kawasan di mana satu daripada tiga organisasi sudah bergelut dengan jurang kemahiran, dan kami tidak mampu membazirkan sumber manusia yang berharga.

Data sintetik membuka pintu kepada infrastruktur data latihan yang sebenar – satu hari nanti mungkin semudah menghidupkan paip untuk segelas air atau menyediakan pengiraan. Ini pastinya merupakan penyegaran yang dialu-alukan untuk pengurus data di dunia.

Atas ialah kandungan terperinci Pengurusan data telah menjadi hambatan terbesar dalam pembangunan kecerdasan buatan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!