SMPLer-X: Menumbangkan tujuh senarai utama, mempersembahkan model tangkapan gerakan manusia pertama!

Pada masa ini, walaupun kemajuan penyelidikan yang hebat telah dibuat dalam Anggaran Pose dan Bentuk Manusia Ekspresif (EHPS, Pose Manusia Ekspresif dan anggaran Bentuk), kaedah yang paling maju masih dihadkan oleh batasan set data latihan

Baru-baru ini , penyelidik dari S-Lab Universiti Teknologi Nanyang, SenseTime, Makmal Kecerdasan Buatan Shanghai, Universiti Tokyo dan Institut Penyelidikan IDEA mencadangkan buat kali pertama model tangkapan gerakan berskala besar SMPLer-X untuk tugasan postur badan manusia dan anggaran saiz badan. Kajian itu menggunakan sehingga 4.5 juta kejadian daripada sumber data yang berbeza untuk melatih model, mencapai prestasi terbaik pada 7 senarai utama

SMPer-X bukan sahaja boleh menangkap pergerakan badan, tetapi juga mengeluarkan muka dan pergerakan tangan, dan menganggarkan bentuk badan

Pautan kertas: https://arxiv.org/abs/2309.17448

Laman utama projek: https://caizhongang.github.io/projects/ SMP

Dengan data yang kaya dan model yang besar, SMPLer-X telah menunjukkan prestasi yang kukuh dalam pelbagai ujian dan penarafan, dan mempunyai fleksibiliti yang sangat baik walaupun dalam persekitaran yang tidak diketahui

at Dari segi pengembangan data, para penyelidik menjalankan penilaian dan analisis komprehensif 32 3D set data badan manusia untuk menyediakan rujukan untuk latihan model

2. Dari segi penskalaan model, model besar visual digunakan untuk mengkaji kesan peningkatan bilangan parameter model terhadap prestasi yang dipertingkatkan

3 .

Ringkasnya, SMPLer-X menjalankan penerokaan penskalaan data dan penskalaan model (lihat Rajah 1) dan disenaraikan pada 32 set data akademik semasa melakukan latihan 4.5 juta contoh, mencapai prestasi terbaik pada 7 senarai utama termasuk AGORA, UBody, EgoBody dan EHF

Rajah 1 Meningkatkan jumlah data dan parameter model mengurangkan senarai kunci (AGORA , UBody, EgoBody, 3DPW dan EHF) semuanya berkesan ( dari segi min MPE)

Menjalankan kajian generalisasi ke atas set data badan manusia 3D sedia ada

Penyelidik menjalankan kajian generalisasi ke atas 32 akademik Set data telah disenaraikan: Untuk mengukur prestasi setiap set data, model telah dilatih menggunakan set data tersebut dan model telah dinilai pada lima set data penilaian: AGORA, UBody, EgoBody, 3DPW dan EHF.

Min Ralat Utama (MPE) juga dikira dalam jadual untuk memudahkan perbandingan mudah antara pelbagai set data.

Inspirasi daripada mengkaji generalisasi set data

Dengan menganalisis sejumlah besar set data (lihat Rajah 3), empat kesimpulan berikut boleh dibuat: 🜎

volum data set data tunggal, set data tertib 100,000 contoh boleh digunakan untuk latihan model untuk mencapai prestasi kos yang lebih tinggi

2 Mengenai senario pengumpulan set data, In-the -set data liar mempunyai kesan terbaik. Jika data hanya boleh dikumpul di dalam rumah, untuk meningkatkan kesan latihan, anda perlu mengelak daripada menggunakan data dari satu adegan

Mengenai pengumpulan set data, dua daripada tiga set data teratas adalah set data yang dijana. Dalam tahun-tahun kebelakangan ini, set data yang dijana telah menunjukkan prestasi yang kukuh

Berkenaan anotasi set data, label pseudo juga memainkan peranan yang sangat penting dalam latihan

Latihan dan penalaan halus model tangkapan gerakan besar

Masa kini kebanyakan kaedah terkini biasanya hanya menggunakan beberapa set data (cth., MSCOCO, MPII dan Human3.6M) untuk latihan, manakala kertas kerja ini mengkaji menggunakan lebih banyak set data

Memandangkan set data yang lebih tinggi lebih diutamakan, kami menggunakan empat saiz data yang berbeza: 5, 10, 20 dan 32 set data sebagai set latihan, dengan jumlah saiz 750,000, 1.5 juta, 3 juta dan 4.5 juta contoh

Selain itu, para penyelidik juga menunjukkan strategi penalaan halus kos rendah untuk menyesuaikan model besar umum kepada senario tertentu.

Jadual di atas menunjukkan beberapa ujian utama, seperti set ujian AGORA (Jadual 3), set pengesahan AGORA (Jadual 4), EHF (Jadual 5), 6), EgoBody-EgoSet (Jadual 7).

Selain itu, para penyelidik juga menilai generalisasi model tangkapan gerakan besar pada dua set ujian, ARCTIC dan DNA-Rendering

Para penyelidik berharap SMPLer-X boleh membawa manfaat melebihi reka bentuk algoritma Inspire dan menyediakan komuniti akademik dengan model tangkapan gerakan manusia seluruh badan yang berkuasa.

Kod dan model pra-latihan telah bersumberkan terbuka pada halaman utama projek Selamat datang untuk melawat https://caizhongang.github.io/projects/SMPler-X/ untuk butiran lanjut

Paparan hasil

.

Atas ialah kandungan terperinci SMPLer-X: Menumbangkan tujuh senarai utama, mempersembahkan model tangkapan gerakan manusia pertama!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!