Analisis Ekspresi Wajah: Mengintegrasikan Maklumat Multimodal dengan Transformer

Pengenalan Kertas

Analisis tingkah laku emosi manusia telah menarik banyak perhatian dalam interaksi manusia-komputer (HCI). Artikel ini bertujuan untuk memperkenalkan kertas kerja yang kami serahkan kepada Analisis Tingkah Laku Afektif CVPR 2022 dalam-liar (ABAW). Untuk mengeksploitasi sepenuhnya pengetahuan emosi, kami menggunakan ciri berbilang modal termasuk bahasa pertuturan, prosodi pertuturan dan ekspresi muka yang diekstrak daripada klip video dalam set data Aff-Wild2. Berdasarkan ciri ini, kami mencadangkan rangka kerja berbilang modal berasaskan pengubah untuk pengesanan unit tindakan dan pengecaman ekspresi. Rangka kerja ini menyumbang kepada pemahaman yang lebih komprehensif tentang tingkah laku emosi manusia dan menyediakan hala tuju penyelidikan baharu dalam bidang interaksi manusia-komputer.

Untuk imej bingkai semasa, kami mula-mula mengekodnya untuk mengekstrak ciri visual statik. Pada masa yang sama, kami juga menggunakan tetingkap gelongsor untuk memangkas bingkai bersebelahan dan mengekstrak tiga ciri berbilang modal daripada jujukan imej, audio dan teks. Seterusnya, kami memperkenalkan modul gabungan berasaskan pengubah untuk menggabungkan ciri visual statik dan ciri pelbagai mod dinamik. Modul perhatian silang dalam modul gabungan ini membantu memfokuskan ciri bersepadu output pada bahagian utama yang membantu untuk tugas pengesanan hiliran. Untuk meningkatkan lagi prestasi model, kami menggunakan beberapa teknik pengimbangan data, teknik penambahan data dan kaedah pasca pemprosesan. Dalam ujian rasmi Pertandingan ABAW3, model kami menduduki tempat pertama pada kedua-dua trek EXPR dan AU. Kami menunjukkan keberkesanan kaedah yang dicadangkan melalui penilaian kuantitatif dan kajian ablasi yang meluas pada set data Aff-Wild2.

Pautan kertas

https://arxiv.org/abs/2203.12367

Atas ialah kandungan terperinci Analisis Ekspresi Wajah: Mengintegrasikan Maklumat Multimodal dengan Transformer. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!