NPC dengan kecerdasan emosi yang tinggi ada di sini Sebaik sahaja ia menghulurkan tangannya, ia bersedia untuk bekerjasama dengan langkah seterusnya.

Dalam bidang realiti maya, realiti tambahan, permainan dan interaksi manusia-komputer, selalunya perlu untuk membenarkan watak maya berinteraksi dengan pemain di luar skrin. Interaksi ini adalah masa nyata, memerlukan watak maya untuk menyesuaikan secara dinamik mengikut pergerakan pengendali. Sesetengah interaksi juga melibatkan objek, seperti menggerakkan kerusi dengan avatar, yang memerlukan perhatian khusus kepada pergerakan tepat tangan pengendali. Kemunculan watak maya yang pintar dan interaktif akan meningkatkan pengalaman sosial antara pemain manusia dan watak maya dan membawa cara baru untuk hiburan.

Dalam kajian ini, penulis memfokuskan kepada tugas interaksi antara manusia dan manusia maya, terutamanya tugas interaksi yang melibatkan objek, dan mencadangkan tugas baharu yang dipanggil sintesis tindak balas tindakan seluruh badan dalam talian. Tugas baharu itu akan menjana reaksi manusia maya berdasarkan pergerakan manusia. Penyelidikan sebelumnya tertumpu terutamanya pada interaksi manusia dengan manusia, tanpa mengambil kira objek dalam tugasan, dan tindak balas badan yang dihasilkan tidak termasuk pergerakan tangan. Di samping itu, kerja sebelum ini tidak menganggap tugas sebagai penaakulan dalam talian Dalam situasi sebenar, manusia maya meramalkan langkah seterusnya berdasarkan situasi pelaksanaan.

Untuk menyokong tugas baharu, penulis mula-mula membina dua set data, masing-masing dinamakan HHI dan CoChair, dan mencadangkan kaedah bersatu. Khususnya, pengarang mula-mula membina perwakilan kemampuan sosial. Untuk melakukan ini, mereka memilih vektor kemampuan sosial, mempelajari sistem koordinat setempat untuk vektor menggunakan rangkaian neural setara SE (3), dan akhirnya menormalkan kemampuan sosialnya. Selain itu, penulis juga mencadangkan satu skim ramalan kemampuan sosial bagi membolehkan manusia maya membuat keputusan berdasarkan ramalan.

Hasil penyelidikan menunjukkan bahawa kaedah ini boleh menjana tindakan tindak balas berkualiti tinggi dengan berkesan pada set data HHI dan CoChair, dan boleh mencapai kelajuan inferens masa nyata 25 bingkai sesaat pada A100. Selain itu, penulis juga menunjukkan keberkesanan kaedah melalui pengesahan pada set data interaksi manusia sedia ada Interhuman dan Chi3D.

Sila rujuk alamat kertas berikut untuk maklumat lebih terperinci: [https://arxiv.org/pdf/2312.08983.pdf]. Harap ini membantu pemain yang masih mencari cara untuk menyelesaikan teka-teki.

Sila lawati laman utama projek https://yunzeliu.github.io/iHuman/ untuk mendapatkan maklumat lanjut tentang kaedah penyelesaian teka-teki.

Pembinaan Set Data

Dalam artikel ini, penulis membina dua set data untuk menyokong tugas sintesis tindak balas tindakan seluruh badan dalam talian. Satu daripadanya ialah set data HHI interaksi dua orang, dan satu lagi ialah set data CoChair interaksi dua orang dengan objek. Kedua-dua set data ini menyediakan penyelidik dengan sumber yang berharga untuk menerokai lagi bidang sintesis gerakan badan penuh. Set data HHI merekodkan pelbagai interaksi antara dua orang, manakala set data CoChair merekodkan interaksi antara dua orang dan objek. Penubuhan set data ini menyediakan penyelidik dengan lebih banyak eksperimen

Set data HHI ialah set data tindak balas tindakan seluruh badan berskala besar, mengandungi 30 kategori interaksi, 10 pasang jenis rangka manusia dan sejumlah 5000 urutan interaktif.

Set data HHI mempunyai tiga ciri. Ciri pertama ialah kemasukan interaksi seluruh badan berbilang orang, termasuk interaksi badan dan tangan. Penulis percaya bahawa dalam interaksi berbilang orang, interaksi tangan tidak boleh diabaikan Semasa berjabat tangan, pelukan dan penyerahan, maklumat yang kaya dihantar melalui tangan. Ciri kedua ialah set data HHI boleh membezakan pemula tingkah laku dan responden yang jelas. Sebagai contoh, dalam situasi seperti berjabat tangan, menunjuk arah, salam, serahan, dsb., set data HHI boleh mengenal pasti pemula tindakan, yang membantu penyelidik mentakrif dan menilai masalah dengan lebih baik. Ciri ketiga ialah set data HHI mengandungi lebih pelbagai jenis interaksi dan tindak balas, bukan sahaja termasuk 30 jenis interaksi antara dua orang, tetapi juga memberikan pelbagai reaksi munasabah kepada aktor yang sama. Contohnya, apabila seseorang menyapa anda, anda boleh membalas dengan anggukan, dengan satu tangan, atau dengan kedua-dua tangan. Ini juga merupakan ciri semula jadi, tetapi set data sebelumnya jarang memberi perhatian kepada perkara ini dan membincangkannya.

CoChair ialah set data interaksi berbilang orang dan objek berskala besar, yang merangkumi 8 kerusi berbeza, 5 mod interaksi dan 10 pasang rangka berbeza, untuk sejumlah 3000 jujukan. CoChair mempunyai dua ciri penting: Pertama, CoChair mempunyai asimetri maklumat dalam proses kerjasama. Setiap tindakan mempunyai pelaksana/pemula (yang tahu destinasi barang bawaan) dan responden (yang tidak tahu destinasi). Kedua, ia mempunyai pelbagai mod bawaan. Set data termasuk lima mod pembawaan: pembawa tetap satu tangan, pembawa mudah alih satu tangan, pembawa tetap dua tangan, pembawa mudah alih dua tangan dan pembawa fleksibel dua tangan.

Kaedah

Pembawa kemampuan sosial merujuk kepada objek atau orang yang mengekodkan maklumat kemampuan sosial. Apabila manusia berinteraksi dengan manusia maya, manusia biasanya bersentuhan dengan manusia maya secara langsung atau tidak langsung. Dan apabila bercakap mengenai objek, manusia biasanya menyentuh objek.

Untuk mensimulasikan maklumat hubungan langsung atau berpotensi dalam interaksi, vektor perlu dipilih untuk mewakili manusia secara serentak, vektor itu sendiri dan hubungan antara mereka. Dalam kajian ini, pembawa merujuk kepada objek atau templat manusia maya yang mungkin bersentuhan dengan manusia.

Berdasarkan perkara ini, penulis mentakrifkan perwakilan kemampuan sosial yang berpusatkan pembawa. Khususnya, diberikan vektor, penyelidik mengekod tingkah laku manusia untuk mendapatkan perwakilan bersama kenderaan manusia yang padat. Berdasarkan perwakilan ini, penulis mencadangkan perwakilan kemampuan sosial yang mengandungi tindakan tindakan manusia, ciri geometri dinamik vektor, dan hubungan orang-kenderaan pada setiap langkah masa.

Perlu diingatkan bahawa perwakilan kemampuan sosial merujuk kepada aliran data dari saat permulaan ke langkah masa tertentu, dan bukannya perwakilan bingkai tunggal. Kelebihan kaedah ini ialah ia mengaitkan rapat kawasan tempatan pembawa dengan pergerakan tingkah laku manusia, membentuk perwakilan yang mudah untuk pembelajaran rangkaian.

Melalui perwakilan kemampuan sosial, penulis seterusnya mengamalkan normalisasi kemampuan sosial untuk memudahkan ruang ekspresi. Langkah pertama ialah mempelajari rangka kerja tempatan vektor. Melalui rangkaian setara SE (3), sistem koordinat tempatan pembawa dipelajari. Secara khusus, tindakan manusia mula-mula ditukar kepada tindakan dalam setiap sistem koordinat tempatan. Seterusnya, kami mengekod tindakan watak manusia secara padat dari perspektif setiap titik untuk mendapatkan perwakilan tindakan bertumpu vektor padat. Ini boleh dianggap sebagai mengikat "pemerhati" pada setiap titik setempat pada kenderaan, dengan setiap "pemerhati" mengekod tindakan manusia dari perspektif orang pertama. Kelebihan pendekatan ini ialah semasa memodelkan maklumat yang dijana melalui hubungan antara manusia, manusia maya dan objek, normalisasi kemampuan sosial memudahkan pengagihan kemampuan sosial dan memudahkan pembelajaran rangkaian.

Untuk meramal tingkah laku manusia yang berinteraksi dengan manusia maya, penulis mencadangkan modul ramalan kemampuan sosial. Dalam situasi sebenar, manusia maya hanya boleh memerhati dinamik sejarah tingkah laku manusia. Penulis percaya bahawa manusia maya harus mempunyai keupayaan untuk meramal tingkah laku manusia untuk merancang tindakan mereka sendiri dengan lebih baik. Sebagai contoh, apabila seseorang mengangkat tangan mereka dan datang ke arah anda, anda mungkin menganggap mereka akan berjabat tangan anda dan bersedia untuk menerimanya.

Semasa fasa latihan, manusia maya boleh memerhatikan semua tindakan manusia. Semasa fasa ramalan dunia sebenar, manusia maya hanya boleh memerhati dinamika lalu tingkah laku manusia. Modul ramalan yang dicadangkan boleh meramalkan tindakan yang akan diambil oleh manusia untuk meningkatkan persepsi manusia maya. Penulis menggunakan modul ramalan gerakan untuk meramalkan tindakan pelaku manusia dan tindakan objek. Dalam interaksi dua orang, penulis menggunakan HumanMAC sebagai modul ramalan. Dalam interaksi dua orang-objek, pengarang membina modul ramalan gerakan berdasarkan InterDiff dan menambah syarat terdahulu bahawa hubungan orang-objek stabil untuk memudahkan kesukaran meramal gerakan objek.

Eksperimen

Ujian kuantitatif menunjukkan bahawa kaedah penyelidikan mengatasi kaedah sedia ada dalam semua metrik. Untuk mengesahkan keberkesanan setiap reka bentuk dalam kaedah, penulis menjalankan eksperimen ablasi pada dataset HHI. Dapat dilihat bahawa prestasi kaedah ini menurun dengan ketara tanpa normalisasi kemampuan sosial. Ini menunjukkan bahawa menggunakan normalisasi kemampuan sosial untuk memudahkan kerumitan ruang ciri adalah perlu. Tanpa ramalan kemampuan sosial, kaedah kami kehilangan keupayaan untuk meramalkan tindakan aktor manusia, mengakibatkan kemerosotan prestasi. Untuk mengesahkan keperluan penggunaan sistem koordinat tempatan, penulis juga membandingkan kesan penggunaan sistem koordinat global, dan dapat dilihat bahawa sistem koordinat tempatan adalah jauh lebih baik. Ini juga menunjukkan nilai menggunakan sistem koordinat tempatan untuk menerangkan geometri tempatan dan potensi hubungan.

Ia dapat dilihat daripada hasil visualisasi yang berbanding dengan masa lalu, watak maya yang dilatih menggunakan kaedah dalam artikel bertindak balas dengan lebih pantas dan boleh menangkap gerak isyarat tempatan dengan lebih baik, menghasilkan imej yang lebih realistik dan interaktif secara kerjasama tindakan merebut.

Untuk butiran penyelidikan lanjut, sila lihat kertas asal.

Atas ialah kandungan terperinci NPC dengan kecerdasan emosi yang tinggi ada di sini Sebaik sahaja ia menghulurkan tangannya, ia bersedia untuk bekerjasama dengan langkah seterusnya.. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!