Berdasarkan pemindahan elemen rentas modal, kaedah pembahagian objek video rujukan Universiti Teknologi Meitu & Dalian hanya memerlukan satu peringkat

Pengenalan

Merujuk VOS (RVOS) ialah tugas yang baru muncul. Ia bertujuan untuk membahagikan objek yang dirujuk oleh teks daripada jujukan video berdasarkan teks rujukan. Berbanding dengan pembahagian objek video separa diselia, RVOS hanya bergantung pada perihalan bahasa abstrak dan bukannya topeng rujukan peringkat piksel, memberikan pilihan yang lebih mudah untuk interaksi manusia-komputer dan oleh itu telah mendapat perhatian yang meluas.

Pautan kertas: https://www.aaai.org/AAAI22Papers/AAAI-1100.LiD.pdf

Tujuan utama penyelidikan ini adalah untuk menyelesaikan dua cabaran utama yang dihadapi dalam tugasan RVOS sedia ada:

• Cara menukar maklumat teks ke dalam , gabungan mod silang maklumat gambar, untuk mengekalkan ketekalan skala antara dua modaliti dan menyepadukan sepenuhnya rujukan ciri berguna yang disediakan oleh teks ke dalam ciri gambar;
• Bagaimana untuk meninggalkan strategi dua peringkat kaedah sedia ada (iaitu, pertama mendapatkan hasil kasar bingkai demi bingkai pada tahap gambar, dan kemudian menggunakan keputusan sebagai rujukan untuk mendapatkan ramalan akhir melalui penghalusan struktur dengan maklumat pemasaan yang dipertingkatkan) dan menyatukan keseluruhan tugas RVOS ke dalam rangka kerja satu peringkat.

Sehubungan dengan itu, penyelidikan ini mencadangkan rangka kerja RVOS hujung ke hujung untuk migrasi elemen rentas mod - YOFO , sumbangan dan inovasi utamanya ialah:

• Dengan hanya penaakulan satu peringkat, adalah mungkin untuk mendapatkan pembahagian sasaran video secara langsung menggunakan teks rujukan maklumat Akibatnya, keputusan yang diperoleh pada dua set data arus perdana - Ref-DAVIS2017 dan Ref-Youtube-VOS mengatasi semua kaedah dua peringkat semasa
• mencadangkan pemindahan meta ( Meta; -Modul Pemindahan) untuk meningkatkan maklumat temporal, dengan itu mencapai lebih banyak pembelajaran ciri berfokuskan sasaran; modul, yang boleh menyepadukan sepenuhnya ciri-ciri berguna dalam bahasa dan gambar.
• Strategi pelaksanaan

Proses utama rangka kerja YOFO adalah seperti berikut: input imej dan teks terlebih dahulu melalui pengekod imej dan pengekod bahasa untuk mengekstrak ciri , dan kemudian dalam modul perlombongan ciri Cross-modal berbilang skala untuk gabungan. Ciri bimodal bercantum dipermudahkan dalam modul pemindahan meta yang mengandungi perpustakaan memori untuk menghapuskan maklumat berlebihan dalam ciri bahasa Pada masa yang sama, maklumat temporal boleh dipelihara untuk meningkatkan korelasi temporal, dan akhirnya hasil pembahagian diperoleh melalui satu. penyahkod.

Rajah 1: Proses utama rangka kerja YOFO.

Modul perlombongan ciri silang mod berbilang skala

: Modul ini melepasi tahap mengikut tahap Penggabungjalinan dua ciri ragam skala yang berbeza dapat mengekalkan ketekalan antara maklumat skala yang disampaikan oleh ciri imej dan ciri bahasa Lebih penting lagi, ia memastikan maklumat bahasa tidak akan dicairkan dan ditenggelami oleh maklumat imej berskala. semasa proses gabungan.

Rajah 2: Modul perlombongan ciri merentas mod berskala.

Modul Migrasi Meta

: Strategi pembelajaran untuk belajar diguna pakai, dan proses itu boleh digambarkan secara ringkas sebagai fungsi pemetaan berikut. Fungsi pemindahan ialah lilitan, kemudian ialah parameter kernel lilitannya:

Proses pengoptimuman boleh dinyatakan sebagai fungsi objektif berikut:

di mana, M mewakili Bank memori yang boleh menyimpan maklumat sejarah W mewakili berat kedudukan yang berbeza dan boleh memberi perhatian yang berbeza kepada kedudukan yang berbeza dalam ciri Y mewakili ciri bimodal setiap bingkai video yang disimpan dalam bank memori. Proses pengoptimuman ini memaksimumkan keupayaan fungsi pemindahan meta untuk membina semula ciri bimodal, dan juga membolehkan keseluruhan rangka kerja dilatih dari hujung ke hujung.

Latihan dan ujian: Fungsi kerugian yang digunakan dalam latihan ialah lovasz loss, dan set latihan ialah dua set data video Ref-DAVIS2017 , Ref-Youtube-VOS dan gunakan set data statik Ref-COCO untuk melakukan transformasi afin rawak untuk mensimulasikan data video sebagai latihan tambahan. Proses meta-migrasi dilakukan semasa latihan dan ramalan, dan keseluruhan rangkaian berjalan pada kelajuan 10FPS pada 1080ti.

Hasil eksperimen

Kaedah yang digunakan dalam kajian telah mencapai keputusan cemerlang pada dua set data RVOS arus perdana (Ref-DAVIS2017 dan Ref-Youtube-VOS). penunjuk dan beberapa pemaparan visualisasi adalah seperti berikut:

Rajah 3: Penunjuk kuantitatif pada dua set data arus perdana.

Rajah 4: Visualisasi pada set data VOS.

Rajah 5: Kesan visualisasi lain YOFO.

Kajian itu turut menjalankan satu siri eksperimen ablasi untuk menggambarkan keberkesanan modul perlombongan ciri (FM) dan modul pemindahan meta (MT).

Rajah 6: Keberkesanan modul perlombongan ciri (FM) dan modul pemindahan meta (MT).

Di samping itu, kajian memvisualisasikan ciri keluaran penyahkod dengan dan tanpa modul MT Ia boleh dilihat dengan jelas bahawa modul MT boleh menangkap kandungan yang diterangkan dalam bahasa dan menapis bunyi gangguan.

Rajah 7: Perbandingan ciri output penyahkod sebelum dan selepas menggunakan modul MT. Mengenai pasukan penyelidik

Kertas kerja ini dicadangkan bersama oleh penyelidik dari Institut Penyelidikan Pengimejan Meitu (MT Lab) dan pasukan Lu Huchuan dari Universiti Dalian daripada Teknologi. Institut Penyelidikan Pengimejan Meitu (MT Lab) ialah pasukan Meitu yang berdedikasi untuk penyelidikan algoritma, pembangunan kejuruteraan dan pengeluaran dalam bidang penglihatan komputer, pembelajaran mesin, realiti tambahan, pengkomputeran awan dan bidang lain Ia menyediakan asas untuk produk Meitu yang sedia ada dan akan datang. Ia menyediakan sokongan algoritma teras dan menggalakkan pembangunan produk Meitu melalui teknologi canggih Ia dikenali sebagai "Pusat Teknologi Meitu Ia telah mengambil bahagian dalam persidangan penglihatan komputer antarabangsa seperti CVPR, ICCV, dan ECCV, dan memenangi lebih banyak lagi. daripada sepuluh kejohanan dan naib juara.

Atas ialah kandungan terperinci Berdasarkan pemindahan elemen rentas modal, kaedah pembahagian objek video rujukan Universiti Teknologi Meitu & Dalian hanya memerlukan satu peringkat. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!