Bagaimana untuk melakukan carian imej dengan cekap dan tepat? Lihatlah model pra-latihan penglihatan ringan

Pernahkah anda menghadapi masalah dengan mendapatkan semula imej?

Sama ada sukar untuk mencari imej yang diperlukan dengan tepat di antara jumlah imej yang besar, atau ia memperoleh hasil yang tidak memuaskan dalam perolehan semula berasaskan teks. Mengenai masalah ini, penyelidik dari Microsoft Research Asia dan Bahagian Pengkomputeran Awan dan Kecerdasan Buatan Microsoft menjalankan penyelidikan mendalam tentang model visual ringan dan mencadangkan satu siri kaedah reka bentuk dan mampatan untuk model pra-latihan visual untuk merealisasikan keperluan penggunaan Visual Lightweight .

Pada masa ini, kaedah dan model ini telah berjaya digunakan pada enjin carian Bing Microsoft, mencapai penaakulan yang tepat dan pantas serta mendapatkan semula berpuluh-puluh bilion imej. Artikel ini akan memberikan penjelasan yang mendalam tentang pembangunan, teknologi utama, aplikasi dan potensi model pra-latihan visual ringan, serta peluang dan cabaran masa hadapan. Saya harap semua orang dapat memahami dengan lebih baik bidang pra-latihan visual ringan dan bersama-sama mempromosikan pembangunan teknologi berkaitan.

Baru-baru ini, model pra-latihan visual berasaskan Transformer telah mencapai prestasi unggul pada banyak tugas penglihatan komputer dan telah mendapat perhatian yang meluas. Walau bagaimanapun, model pra-latihan Transformer visual biasanya mempunyai parameter yang besar dan kerumitan yang tinggi, yang mengehadkan penggunaan dan penggunaannya dalam aplikasi praktikal, terutamanya dalam peranti atau senario kekangan sumber dengan keperluan masa nyata yang tinggi. Oleh itu, penyelidikan "ringan" mengenai model pra-latihan visual yang besar telah menjadi tempat hangat baharu dalam akademik dan industri.

Sehubungan itu, penyelidik dari Microsoft Research Asia dan Bahagian Pengkomputeran Awan dan Kecerdasan Buatan Microsoft menjalankan penerokaan mendalam mengenai reka bentuk struktur dan inferens latihan model visual besar, dan juga menjalankan The penggunaan model besar yang ringan, masa nyata dan awan juga telah digunakan secara inovatif. Artikel ini akan bermula daripada pembangunan model pra-latihan visual ringan, meneroka teknologi utama dalam penyelidikan model ringan, dan aplikasi serta potensi model Transformer visual ringan dalam produk sebenar, dan akhirnya menantikan peluang pembangunan masa depan dan prospek model visual ringan.

Model visual yang besar muncul dalam aliran yang tidak berkesudahan, tetapi model pra-latihan ringan kurang popular

Dalam beberapa tahun kebelakangan ini, pembelajaran mendalam telah digunakan dalam tugas pengelasan imej ImageNet Kemajuan ini terutamanya disebabkan oleh pengembangan besar kapasiti model visual. Seperti yang ditunjukkan dalam Rajah 1, dalam beberapa tahun sahaja, kapasiti model pra-latihan visual telah berkembang lebih daripada 300 kali ganda, daripada model ResNet-101 dengan 44.5 juta parameter kepada model V-MoE dengan 15 bilion parameter ini model pra-latihan visual berskala besar Model latihan telah mencapai kemajuan besar dalam tugas seperti pemahaman imej dan penjanaan kandungan visual.

Rajah 1: Tukar carta arah aliran parameter model pra-latihan visual

Sama ada Microsoft Model 3 bilion parameter Swin-V2 atau model 1.8 bilion parameter ViT-G/14 yang dikeluarkan oleh Google Model visual besar telah menunjukkan prestasi unggul dalam banyak tugas, terutamanya sampel kecil yang berkuasa (sedikit pukulan) dan juga keupayaan generalisasi. pukulan sifar adalah penting untuk mencapai kecerdasan am.

Walau bagaimanapun, dalam banyak senario praktikal, model besar sukar untuk digunakan secara langsung atau tidak dapat memenuhi keperluan masa nyata disebabkan oleh pengehadan dalam storan dan sumber pengkomputeran. Oleh itu, penyelidikan mengenai model pra-latihan visual ringan telah menjadi semakin penting dan mempunyai nilai aplikasi praktikal yang kukuh. Walaupun pada masa ini terdapat beberapa kerja meneroka model ringan, kebanyakan kaedah ini direka untuk tugasan tertentu dan struktur khusus Kepelbagaian model tidak dipertimbangkan semasa proses reka bentuk dan latihan, dan terdapat pengitlakan merentas domain dan tugasan.

Penyelidikan tentang teknologi utama model visual ringan

Untuk mencapai model pra-latihan visual ringan, penyelidik Microsoft menemui dua Soalan utama: 1) Bagaimana untuk mereka bentuk struktur model ringan yang lebih serba boleh? 2) Oleh kerana kapasiti terhad model pra-latihan visual ringan, bagaimana untuk mereka bentuk kaedah pra-latihan yang cekap supaya model kecil boleh mempelajari maklumat yang berkesan daripada data berskala besar? Menghadapi masalah ini, penyelidik telah mencapai beberapa keputusan awal melalui penyelidikan dan penerokaan yang tidak putus-putus.

Memandangkan teras penambahbaikan fleksibiliti model pra-latihan ringan terletak pada cara mengukuhkan keupayaan pembelajaran model di bawah keadaan sumber terhad (jumlah parameter, kelewatan masa, dll.), supaya ia boleh menjadi lebih berkebolehan Adalah baik untuk mempelajari ciri universal dalam data berskala besar Oleh itu, penyelidik telah menjalankan penerokaan mendalam dari tiga perspektif berikut:

.

1. Reka bentuk modul ringan

Modul ringan dan kependaman rendah merupakan bahagian penting dalam model ringan. Dalam rangkaian neural konvolusi, modul ringan perwakilan termasuk Blok Sisa Terbalik MobileNet dan unit silang rawak saluran ShuffleNet (Unit Kocok). Dalam struktur Transformer visual, kerana pengiraan perhatian antara blok imej tidak mengambil kira maklumat pengekodan kedudukan relatif dengan baik, penyelidik mereka bentuk kaedah pengekodan kedudukan relatif imej dua dimensi ringan pasang-dan-main iRPE [1]. boleh meningkatkan prestasi model tanpa mengubah suai sebarang hiperparameter latihan. Di samping itu, untuk menangani masalah redundansi parameter Transformer visual, penyelidik mereka bentuk modul Weight Multiplexing [2]. Seperti yang ditunjukkan dalam Rajah 2, kaedah ini mengurangkan lebihan parameter model melalui penggunaan semula berat berbilang lapisan, dan memperkenalkan transformasi linear yang tidak dikongsi untuk meningkatkan kepelbagaian parameter.

Rajah 2: Modul pemultipleksan berat dalam Transformer

2. Carian model ringan ​

Carian Seni Bina Neural secara automatik boleh mencari struktur model yang lebih ringan dan berprestasi lebih baik daripada ruang reka bentuk model [3]. Dalam rangkaian neural konvolusi, kerja perwakilan termasuk NASNet dan EfficientNet. Dalam carian struktur Transformer visual, penyelidik telah berturut-turut mencadangkan AutoFormer [4] dan S3 [5] untuk pelbagai dimensi seperti lebar saluran, kedalaman rangkaian, dan bilangan kepala dalam model visual, merealisasikan latihan berskala dinamik dan kebolehskalaan model visual. Carian struktur. Di bawah ketepatan model yang sama, model baharu yang diperoleh melalui carian mempunyai bilangan parameter dan pengiraan yang lebih kecil. Perlu diingat bahawa dalam S3, penyelidik menggunakan E-T Error [5] dan supernet perkongsian berat untuk membimbing dan menambah baik ruang carian Semasa mendapatkan struktur model yang lebih cekap, mereka juga menganalisis proses evolusi ruang carian, seperti yang ditunjukkan dalam Rajah 3 ditunjukkan. Pada masa yang sama, proses carian struktur model menyediakan pengalaman reka bentuk yang berkesan dan rujukan untuk reka bentuk model ringan.

Rajah 3: Proses evolusi ruang carian model ringan

3 ​

Satu lagi kesukaran dengan model pra-latihan ringan ialah disebabkan kapasiti model yang terhad, sukar untuk mempelajari secara langsung maklumat dan pengetahuan yang kaya yang terkandung dalam data berskala besar. Bagi menyelesaikan masalah ini, penyelidik telah mencadangkan skim penyulingan pra-latihan pantas untuk memindahkan pengetahuan model besar kepada model kecil ringan [6]. Seperti yang ditunjukkan dalam Rajah 4, tidak seperti penyulingan pengetahuan satu peringkat tradisional, penyulingan pra-latihan pantas dibahagikan kepada dua peringkat: 1) memampatkan dan menyimpan maklumat penambahan data dan maklumat ramalan yang digunakan dalam proses latihan model besar; Selepas maklumat ramalan dan data model besar ditambah, model besar digunakan sebagai guru untuk membimbing pembelajaran dan latihan model pelajar ringan melalui penyulingan pra-latihan. Berbeza daripada pemangkasan dan kuantisasi, kaedah ini menggunakan penggunaan semula berat yang dinyatakan di atas [2] berdasarkan perkongsian berat Dengan memperkenalkan transformasi berat ringan dan penyulingan, ia berjaya memampatkan model pra-latihan visual yang besar dan memperoleh model ringan A yang lebih mantap. Kaedah ini boleh memampatkan model besar asal berpuluh-puluh kali tanpa mengorbankan prestasi.

Rajah 4: Penyulingan pengetahuan pra-latihan pantas

Siri hasil penyelidikan ini bukan sahaja Banyak kertas kerja telah diterbitkan di persidangan akademik teratas mengenai visi komputer (CVPR, ICCV, ECCV, NeurIPS, dll.) [1-6], dan melalui kerjasama dengan Microsoft Bing, model pra-latihan ringan telah berjaya digunakan pada produk carian imej . , meningkatkan keupayaan untuk memahami kandungan imej dan video dalam perniagaan sebenar.

Aplikasi model pra-latihan visual ringan

Model pra-latihan visual ringan mempunyai banyak kegunaan praktikal, terutamanya dalam senario dengan keperluan masa nyata yang tinggi atau kekangan sumber, seperti: pemaparan masa nyata dan peningkatan video awan, ujian imej hujung ke hujung dan video pemahaman kandungan. Model visual ringan telah menunjukkan prospek aplikasi yang luas dalam bidang seperti peruncitan pintar dan pembuatan termaju, dan akan memainkan peranan penting dalam industri baru muncul seperti Metaverse dan pemanduan autonomi pada masa hadapan. Mengambil carian kandungan imej dalam produk Bing Microsoft sebagai contoh, perkara berikut akan menunjukkan kepada anda aplikasi praktikal dan penggunaan model visual ringan.

Pada masa ini, carian imej berasaskan kandungan agak matang dalam memahami atribut kategori imej, tetapi masih terdapat cabaran besar dalam memahami kandungan adegan yang kompleks. Gambar adegan yang kompleks biasanya mempunyai ciri-ciri seperti kedalaman bidang yang besar, latar belakang yang berselerak, banyak watak, dan hubungan objek yang kompleks, yang secara ketara meningkatkan kesukaran pemahaman kandungan, sekali gus meletakkan keperluan yang lebih tinggi pada keteguhan dan generalisasi model pra-latihan.

Contohnya, kualiti carian gambar anime tidak boleh dipertingkatkan dengan berkesan untuk jangka masa yang lama Cabaran utama termasuk: garis lukisan dan warna lebih keterlaluan daripada gambar adegan sebenar, termasuk Lebih banyak aksi dan adegan, dan kandungan gaya sangat berbeza antara komik. Rajah 5 hingga 7 masing-masing menunjukkan tiga watak kartun yang berbeza dan tingkah laku "Slam Dunk", "Pikachu" dan "Kapten" gaya dan kandungan komik mereka sangat berbeza. Cara memahami kandungan gambar komik dengan berkesan mengemukakan keperluan yang lebih tinggi untuk model pra-latihan visual.

Rajah 5: Dalam enjin carian Microsoft Bing, pemahaman tentang tindakan master slam dunk termasuk: mencelup, menggelecek, mencuri, menembak, dsb. .

Rajah 6: Dalam enjin carian Microsoft Bing, pemahaman tentang tingkah laku Pikachu seperti makan epal, makan tembikai, makan ais krim, dll.

Rajah 7: Gambar jarak dekat aksi menembak pemain bola sepak dalam enjin carian Bing Microsoft

Seperti di atas Model am visual ringan dan algoritma penyulingan pra-latihan pantas yang disebutkan telah berjaya digunakan dalam enjin carian Bing Microsoft. Dengan bantuan model pra-latihan pelbagai mod bahasa visual yang disediakan oleh Microsoft Research Asia, fungsi carian imej Bing Microsoft meningkatkan pemahaman kandungan komik dan boleh mengembalikan kandungan imej yang lebih sepadan dengan keperluan pengguna.

Pada masa yang sama, perpustakaan indeks besar enjin carian Bing Microsoft mempunyai keperluan yang sangat tinggi untuk kecekapan mendapatkan semula. Kaedah penyulingan pra-latihan pantas yang disediakan oleh Microsoft Research Asia secara berkesan memindahkan keupayaan pengindeksan model besar yang telah dilatih kepada model ringan, meningkatkan ketepatan pengecaman model sedia ada sebanyak 14% dan sangat mengoptimumkan pengiraan model , mencapai penaakulan pantas pada berpuluh bilion imej.

Peluang dan cabaran masa hadapan

Peringan model ialah teras aplikasi kecerdasan buatan pada masa hadapan. Apabila teknologi penglihatan, algoritma, kuasa pengkomputeran dan data terus bertambah baik, kerumitan model telah meningkat secara mendadak, dan penggunaan tenaga pengiraan rangkaian saraf menjadi semakin mahal. Kecekapan pengkomputeran tinggi model visual ringan dan kos penggunaan dan penggunaan yang rendah boleh memainkan kelebihan besar dalam lebih banyak produk sebenar pada masa hadapan. Selain itu, model visual pra-latihan ringan setempat boleh melindungi data dan privasi pengguna dengan lebih baik sambil menyokong lebih banyak perkhidmatan. Data pengguna tidak lagi perlu meninggalkan peranti, membenarkan peningkatan jauh fungsi seperti perkhidmatan model.

Sudah tentu, penyelidik juga menyedari cabaran yang dihadapi oleh model visual pra-latihan ringan: dalam satu pihak, dari segi reka bentuk struktur model, bagaimana untuk mencapai keupayaan pembelajaran optimum model di bawah kekangan bilangan parameter model dan kelewatan inferens, Ia sentiasa menjadi perkara yang menjadi perhatian dalam akademik dan industri. Walaupun banyak struktur model yang berkesan telah terkumpul dan kemajuan besar telah dicapai dalam bidang seperti Teorem Penghampiran Sejagat (UAT) dan Carian Struktur Rangkaian Neural (NAS), model visual pra-latihan ringan sedia ada dan visual berskala besar Masih terdapat jurang. antara model yang perlu dioptimumkan dan diperbaiki lagi. Sebaliknya, dari segi kaedah latihan, ahli akademik dan industri telah mencadangkan pelbagai kaedah latihan seperti penyeliaan diri, klasifikasi imej, dan pelbagai mod untuk model visual yang besar, yang telah meningkatkan keupayaan am model dengan ketara. Cara mereka bentuk kaedah latihan yang lebih berkesan untuk model ringan dengan kapasiti terhad memerlukan penyelidikan dan penerokaan lanjut. Penyelidik di Microsoft Research Asia akan terus mempromosikan kemajuan penyelidikan saintifik model visual pra-latihan ringan, dan mengalu-alukan lebih ramai rakan teknologi untuk berkomunikasi dan meneroka teknologi berkaitan dalam bidang ini.

Atas ialah kandungan terperinci Bagaimana untuk melakukan carian imej dengan cekap dan tepat? Lihatlah model pra-latihan penglihatan ringan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!