Memecahkan kesesakan NAS, kaedah baharu AIO-P meramalkan prestasi seni bina merentas tugas

Huawei HiSilicon Canada Research Institute dan University of Alberta bersama-sama melancarkan rangka kerja ramalan prestasi rangkaian saraf berdasarkan pra-latihan dan suntikan pengetahuan.

Penilaian prestasi rangkaian saraf (ketepatan, ingat semula, PSNR, dll.) memerlukan banyak sumber dan masa dan merupakan kesesakan utama carian struktur rangkaian saraf (NAS). Kaedah NAS awal memerlukan sumber yang luas untuk melatih setiap struktur baharu yang dicari dari awal. Dalam beberapa tahun kebelakangan ini, peramal prestasi rangkaian menarik lebih banyak perhatian sebagai kaedah penilaian prestasi yang cekap.

Walau bagaimanapun, peramal semasa terhad dalam skop penggunaannya kerana mereka hanya boleh memodelkan struktur rangkaian daripada ruang carian tertentu dan hanya boleh meramalkan prestasi struktur baharu pada tugasan tertentu. Sebagai contoh, sampel latihan hanya mengandungi rangkaian pengelasan dan ketepatannya, jadi peramal terlatih hanya boleh digunakan untuk menilai prestasi struktur rangkaian baharu pada tugas pengelasan imej.

​Untuk memecahkan sempadan ini dan membolehkan peramal meramalkan prestasi struktur rangkaian tertentu pada pelbagai tugas dan mempunyai keupayaan silang tugas dan generalisasi silang data, Institut Penyelidikan Huawei HiSilicon Canada dan Universiti Alberta bersama-sama memperkenalkan rangka kerja ramalan prestasi rangkaian saraf berdasarkan pra-latihan dan suntikan pengetahuan. Rangka kerja ini boleh menilai dengan cepat prestasi struktur dan jenis rangkaian yang berbeza pada pelbagai jenis tugas CV seperti klasifikasi, pengesanan, segmentasi, dll. untuk carian struktur rangkaian saraf. Kertas penyelidikan telah diterima oleh AAI 2023.

• Pautan kertas: https://arxiv.org/abs/2211.17228
• Pautan kod: https://github.com/Ascend -Penyelidikan/AIO-P

Pendekatan AIO-P (All-in-One Predictors) bertujuan untuk memperluaskan skop peramal saraf kepada tugas penglihatan komputer melangkaui klasifikasi. AIO-P menggunakan teknologi K-Adapter untuk menyuntik pengetahuan berkaitan tugas ke dalam model peramal, dan juga mereka bentuk mekanisme penskalaan label berdasarkan FLOP (Operan Titik Terapung) untuk menyesuaikan diri dengan penunjuk prestasi dan pengedaran yang berbeza. AIO-P menggunakan skim pelabelan pseudo yang unik untuk melatih Penyesuai K, menjana sampel latihan baharu dalam beberapa minit sahaja. Keputusan eksperimen menunjukkan bahawa AIO-P mempamerkan keupayaan ramalan prestasi yang kukuh dan mencapai keputusan MAE dan SRCC yang cemerlang pada beberapa tugas penglihatan komputer. Di samping itu, AIO-P boleh secara langsung berhijrah dan meramalkan prestasi struktur rangkaian yang tidak pernah dilihat sebelum ini, dan boleh bekerjasama dengan NAS untuk mengoptimumkan jumlah pengiraan rangkaian sedia ada tanpa mengurangkan prestasi.

Pengenalan kaedah

AIO-P ialah peramal prestasi rangkaian umum yang boleh digeneralisasikan kepada berbilang tugas. AIO-P mencapai keupayaan ramalan prestasi merentas tugas dan ruang carian melalui pra-latihan peramal dan suntikan pengetahuan khusus domain. AIO-P menggunakan teknologi K-Adapter untuk menyuntik pengetahuan berkaitan tugasan ke dalam peramal, dan bergantung pada format graf pengiraan (CG) biasa untuk mewakili struktur rangkaian, akhirnya membolehkannya menyokong rangkaian daripada ruang carian dan tugasan yang berbeza, seperti yang ditunjukkan dalam Rajah 1 di bawah.

Rajah 1. Bagaimana AIO-P mewakili struktur rangkaian untuk tugas yang berbeza

Selain itu, mekanisme penandaan pseudo Penggunaan AIO-P boleh menjana sampel latihan baharu dengan pantas untuk melatih Penyesuai K. Untuk merapatkan jurang antara julat pengukuran prestasi pada tugas yang berbeza, AIO-P mencadangkan kaedah penskalaan label berdasarkan FLOP untuk mencapai pemodelan prestasi merentas tugas. Keputusan eksperimen yang meluas menunjukkan bahawa AIO-P mampu membuat ramalan prestasi yang tepat pada pelbagai tugas CV yang berbeza, seperti anggaran pose dan pembahagian, tanpa memerlukan sampel latihan atau dengan hanya sedikit penalaan halus. Selain itu, AIO-P boleh menilai prestasi dengan betul pada struktur rangkaian yang tidak pernah dilihat sebelum ini dan, apabila digabungkan dengan algoritma carian, digunakan untuk mengoptimumkan rangkaian pengecaman muka Huawei, mengekalkan prestasinya tidak berubah dan mengurangkan FLOP lebih daripada 13.5%. Kertas tersebut telah diterima oleh AAAI-23 dan kod tersebut telah dibuka sumbernya pada GitHub.

Rangkaian penglihatan komputer biasanya terdiri daripada "tulang belakang" yang melakukan pengekstrakan ciri dan "kepala" yang menggunakan ciri yang diekstrak untuk membuat ramalan. Struktur "tulang belakang" biasanya direka berdasarkan struktur rangkaian tertentu yang diketahui (ResNet, Inception, MobileNet, ViT, UNet), manakala "kepala" direka untuk tugas tertentu, seperti klasifikasi, anggaran pose, segmentasi, dll direka. Penyelesaian NAS tradisional secara manual menyesuaikan ruang carian berdasarkan struktur "tulang belakang". Contohnya, jika "tulang belakang" ialah MobileNetV3, ruang carian mungkin termasuk bilangan Blok MBConv, parameter setiap MBConv (saiz kernel, pengembangan. ), bilangan saluran, dsb. Walau bagaimanapun, ruang carian tersuai ini tidak universal Jika terdapat satu lagi "tulang belakang" yang direka berdasarkan ResNet, ia tidak boleh dioptimumkan melalui rangka kerja NAS sedia ada, tetapi ruang carian perlu direka bentuk semula.

Untuk menyelesaikan masalah ini, AIO-P memilih untuk mewakili struktur rangkaian yang berbeza daripada peringkat graf pengiraan, mencapai perwakilan bersatu bagi mana-mana struktur rangkaian. Seperti yang ditunjukkan dalam Rajah 2, format graf pengiraan membolehkan AIO-P mengekod pengepala dan tulang belakang bersama-sama untuk mewakili keseluruhan struktur rangkaian. Ini juga membolehkan AIO-P meramalkan prestasi rangkaian daripada ruang carian yang berbeza (seperti MobileNets dan ResNets) pada pelbagai tugas.

Rajah 2. Perwakilan modul Squeeze-and-Excite dalam MobileNetV3 pada tahap graf pengiraan

Dicadangkan dalam AIO- P Struktur peramal bermula daripada model regresi GNN tunggal (Rajah 3, blok hijau), yang meramalkan prestasi rangkaian pengelasan imej. Untuk menambah pengetahuan tentang tugas CV lain, seperti pengesanan atau segmentasi, kajian itu melampirkan Penyesuai K (Rajah 3, blok oren) pada model regresi asal. K-Adapter dilatih mengenai sampel daripada tugasan baharu, manakala berat model asal dibekukan. Oleh itu, kajian ini secara berasingan melatih berbilang K-Adapter (Rajah 4) untuk menambah pengetahuan daripada pelbagai tugas.

Rajah 3. Peramal AIO-P dengan Penyesuai K

Rajah 4. Peramal AIO-P dengan berbilang K-Adapter

Untuk mengurangkan lagi kos latihan setiap K-Adapter, kajian ini mencadangkan teknologi pelabelan pseudo yang bijak. Teknik ini menggunakan skema pensampelan terpendam untuk melatih model "kepala" yang boleh dikongsi antara tugas yang berbeza. Kepala kongsi kemudiannya boleh digandingkan dengan mana-mana tulang belakang rangkaian dalam ruang carian dan diperhalusi untuk menghasilkan label pseudo dalam masa 10-15 minit (Rajah 5).

Rajah 5. Melatih model "kepala" yang boleh dikongsi antara tugas yang berbeza

Telah terbukti secara eksperimen bahawa menggunakan kongsi kepala Label pseudo yang diperolehi berkorelasi positif dengan prestasi sebenar yang diperoleh dengan melatih rangkaian dari awal selama sehari atau lebih, kadangkala dengan pekali korelasi pangkat melebihi 0.5 (korelasi Spearman).

Selain itu, tugasan yang berbeza akan mempunyai penunjuk prestasi yang berbeza. Penunjuk prestasi ini biasanya mempunyai selang pengedaran khusus mereka sendiri Contohnya, rangkaian pengelasan yang menggunakan tulang belakang tertentu mungkin mempunyai ketepatan klasifikasi kira-kira 75% pada ImageNet, manakala mAP pada tugas pengesanan objek MS-COCO mungkin 30-35 %. . Untuk mengambil kira selang yang berbeza ini, kajian ini mencadangkan satu kaedah untuk memahami prestasi rangkaian daripada taburan normal berdasarkan konsep normalisasi. Dalam istilah orang awam, jika nilai yang diramalkan ialah 0, prestasi rangkaian adalah purata jika >0 adalah rangkaian yang lebih baik, tanpa mengira tugas, set data atau penunjuk, seperti yang ditunjukkan dalam Rajah 6; di bawah.

Rajah 6. Cara menormalkan prestasi rangkaian

FLOP rangkaian berkaitan dengan saiz model, data input dan secara amnya berkorelasi positif dengan trend Berkaitan prestasi. Kajian ini menggunakan transformasi FLOP untuk meningkatkan label yang AIO-P belajar daripadanya.

Eksperimen dan keputusan

Kajian ini mula-mula melatih AIO-P mengenai anggaran pose manusia dan tugas pengesanan objek, dan kemudian menggunakannya untuk meramalkan prestasi struktur rangkaian pada berbilang tugas, termasuk anggaran pose ( LSP dan MPII), pengesanan (OD), segmentasi instance (IS), segmentasi semantik (SS) dan segmentasi panoramik (PS). Walaupun dalam kes penghijrahan langsung sifar pukulan, gunakan AIO-P untuk meramalkan prestasi rangkaian daripada ruang carian Sekali-untuk-Semua (OFA) (ProxylessNAS, MobileNetV3 dan ResNet-50) pada tugasan ini dan ramalan akhir keputusan MAE kurang daripada 1.0% dan korelasi kedudukan melebihi 0.5 telah dicapai.

Selain itu, kajian ini juga menggunakan AIO-P untuk meramalkan prestasi rangkaian dalam perpustakaan model sumber terbuka TensorFlow-Slim (seperti model segmentasi semantik DeepLab, ResNets, Inception nets, MobileNets dan EfficientNets), struktur rangkaian ini mungkin tidak muncul dalam sampel latihan AIO-P.

AIO-P boleh mencapai SRCC yang hampir sempurna pada 3 perpustakaan model segmentasi semantik DeepLab, memperoleh SRCC positif pada semua 4 perpustakaan model klasifikasi dan mencapai SRCC=1.0 pada model EfficientNet dengan menggunakan transformasi FLOP.

Akhir sekali, motivasi teras AIO-P adalah untuk dapat menggandingkannya dengan algoritma carian dan menggunakannya untuk mengoptimumkan struktur rangkaian sewenang-wenangnya, secara bebas dan bukan milik mana-mana Struktur ruang carian atau perpustakaan model yang diketahui, atau bahkan satu untuk tugas yang tidak pernah dilatih. Kajian ini menggunakan AIO-P dan algoritma carian mutasi rawak untuk mengoptimumkan model pengecaman muka (FR) yang digunakan pada telefon mudah alih Huawei Keputusan menunjukkan bahawa AIO-P boleh mengurangkan pengiraan model FLOP lebih daripada 13.5% sambil mengekalkan prestasi (ketepatan. (Pr) dan ingat (Rc)).

Pembaca yang berminat boleh membaca teks asal kertas untuk mengetahui lebih lanjut butiran penyelidikan.

Atas ialah kandungan terperinci Memecahkan kesesakan NAS, kaedah baharu AIO-P meramalkan prestasi seni bina merentas tugas. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!