Paten anggaran postur manusia selari: Teknologi Microsoft AR/VR merealisasikan perwakilan maya

(Nweon 13 November 2023) Maklumat tentang postur pengguna manusia boleh dipetakan kepada perwakilan artikulasi maya. Sebagai contoh, apabila mengambil bahagian dalam persekitaran realiti maya, prestasi pengguna manusia dalam persekitaran maya akan mempamerkan postur yang serupa dengan postur dunia sebenar. Pose dunia sebenar pengguna boleh ditukar menjadi pose perwakilan artikulasi maya oleh model yang dilatih sebelum ini, dan model itu boleh dilatih untuk mengeluarkan pose perwakilan artikulasi maya yang sama untuk pemaparan akhir.

Kadangkala sistem perlu menunjukkan prestasi yang tidak realistik. Contohnya, pengguna boleh memilih watak kartun dengan perkadaran badan, tulang atau aspek lain yang berbeza

Seperti yang ditunjukkan dalam Rajah 1, pengguna manusia 100 dalam persekitaran dunia sebenar 102 ditunjukkan. Seperti yang dapat dilihat, gerak isyarat pengguna manusia digunakan pada perwakilan yang diartikulasikan 104. Dalam erti kata lain, apabila pengguna manusia melakukan aktiviti dalam persekitaran dunia sebenar, tindakan yang sepadan diterjemahkan ke dalam pergerakan perwakilan yang diartikulasikan 104 dalam persekitaran maya 106

Kadangkala, perwakilan artikulasi maya mungkin berbeza daripada perwakilan yang digunakan untuk melatih model dan perlu ditulis semula. Untuk menyelesaikan masalah ini, paten Microsoft "Anggaran pose manusia serentak untuk perwakilan maya" memperkenalkan teknologi yang boleh menganggarkan secara serentak pose bagi perwakilan yang diartikulasikan dan perwakilan yang diartikulasikan sasaran

Secara khusus, sistem pengkomputeran menerima data kedudukan untuk parameter terperinci satu atau lebih bahagian badan pengguna manusia berdasarkan sekurang-kurangnya sebahagiannya pada input daripada satu atau lebih penderia. Penderia ini boleh termasuk output unit ukuran inersia alat dengar, serta output kamera yang sesuai

Kandungan yang ditulis semula ialah: sistem secara serentak akan mengekalkan satu atau lebih kekangan pemetaan bagi perwakilan bersama model yang dikaitkan dengan perwakilan bersama sasaran, seperti kekangan pemetaan bersama. Peluang pengoptimuman pose menggunakan data kedudukan dan kekangan pemetaan untuk menganggarkan secara serentak pose yang diwakili oleh sendi model dan pose sasaran yang diwakili oleh sendi sasaran. Setelah anggaran selesai, sistem boleh memaparkan perwakilan bersama sasaran bersama-sama dengan pose sasaran sebagai perwakilan maya untuk pengguna manusia melihat

Mesin pengoptimuman pose boleh dilatih menggunakan data penentududukan latihan dengan label kebenaran tanah untuk perwakilan yang diartikulasikan model. Walau bagaimanapun, data penyetempatan latihan mungkin kekurangan label kebenaran tanah untuk perwakilan artikulasi sasaran.

Dengan pendekatan ini, penghasilan semula pose dunia sebenar yang tepat boleh dicapai dengan berkesan tanpa memerlukan pengiraan latihan yang mahal untuk setiap sasaran potensi yang berbeza. Penerangan inventif teknologi ini boleh memberi kesan positif kepada pengguna manusia

Apabila pengguna mengambil bahagian dalam persekitaran maya, mereka boleh memilih avatar yang berbeza untuk mewakili diri mereka, dan boleh menukar penampilan mereka pada bila-bila masa semasa proses komunikasi. Perwakilan yang diartikulasikan sasaran baharu boleh ditambah pada menu perwakilan yang tersedia untuk pemilihan pengguna tanpa perlu melatih semula model untuk perwakilan tertentu, menjimatkan perbelanjaan pengiraan

Penciptaan ini menerangkan teknologi yang boleh memberikan kelebihan teknikal untuk mengurangkan penggunaan sumber pengkomputeran sambil mencipta semula pose dunia sebenar pengguna manusia dengan tepat dan membenarkan pose yang tepat digunakan pada mana-mana representasi berbilang sasaran yang berbeza. . Kaedah khusus adalah dengan menganggar secara serentak pose sasaran dan model.

Kaedah contoh untuk perwakilan maya pose manusia 200

ditunjukkan dalam Rajah 2

Pada 202, data kedudukan untuk parameter terperinci satu atau lebih bahagian badan pengguna manusia diterima berdasarkan input daripada satu atau lebih penderia.

Dalam 204, satu atau lebih kekangan pemetaan yang berkaitan dengan perwakilan artikulasi sasaran perlu dikekalkan untuk memastikan sambungan model. Seperti yang ditunjukkan dalam Rajah 4, contoh model perwakilan yang diartikulasikan 400

ditunjukkan

Seperti yang dinyatakan di atas, perwakilan artikulasi sasaran dipaparkan untuk paparan dalam persekitaran maya, dan boleh dipaparkan dengan mengeluarkan pose sasaran melalui mesin pengoptimuman pose. Sebagai contoh, perwakilan artikulasi sasaran mungkin mempunyai rupa dan perkadaran yang sesuai, dan mungkin mempunyai bilangan anggota badan, sendi dan/atau bahagian badan boleh alih yang lain yang sesuai.

Ini boleh ditulis semula sebagai: Perwakilan yang diartikulasikan sasaran boleh mewakili haiwan bukan manusia, watak fiksyen atau sebarang avatar yang sesuai. Perwakilan diartikulasikan model dan perwakilan diartikulasikan sasaran dikaitkan melalui satu atau lebih kekangan pemetaan 402

Satu atau lebih kekangan pemetaan mungkin termasuk kekangan pemetaan bersama 404. Untuk sambungan dalam perwakilan artikulasi sasaran, kekangan pemetaan bersama menentukan set satu atau lebih sambungan dalam perwakilan artikulasi model. Sebagai contoh, perwakilan artikulasi model 400 termasuk kepelbagaian sendi, dua daripadanya dilabelkan 403A dan 403B, yang sepadan dengan sendi bahu dan sendi siku.

Sasaran Artikulasi No. 104 termasuk sambungan serupa 405A dan 405B. Oleh itu, sambungan perwakilan sasaran 405A dan 405B mungkin mempunyai beberapa kekangan pemetaan bersama yang berbeza, menunjukkan bahawa sambungan ini memetakan kepada sambungan perwakilan model 403A dan 403B

Kekangan pemetaan bersama boleh menentukan lagi berat setiap sambungan model apabila memetakan kepada perwakilan sendi sasaran. Sebagai contoh, apabila perwakilan artikulasi model hanya mempunyai satu sendi yang dipetakan ke sambungan tertentu bagi perwakilan artikulasi sasaran, berat sambungan model mungkin 100%. Apabila dua sambungan model dipetakan kepada sambungan sasaran, berat kedua-dua sambungan model boleh menjadi 50% dan 50%, 30% dan 70%, 10% dan 90%, dsb.

Dalam Rajah 2, kaedah 200 menganggarkan secara serentak pose model yang diwakili oleh artikulasi model dan pose sasaran yang diwakili oleh artikulasi sasaran dengan mengoptimumkan pose yang dilatih sebelum ini. Anggaran pose model dan pose sasaran bergantung sekurang-kurangnya sebahagiannya pada data penyetempatan

Rajah 5A secara skematik menunjukkan contoh mesin pengoptimuman pose 500, yang boleh dilaksanakan sebagai mana-mana gabungan komponen logik komputer yang sesuai. Sebagai contoh tanpa had, mesin pengoptimuman pose 500 boleh dilaksanakan sebagai subsistem logik 602 seperti yang ditunjukkan dalam Rajah 6.

Seperti yang ditunjukkan dalam Rajah 5A, mesin pengoptimuman sikap menganggarkan sikap model 502A secara serentak yang diwakili oleh artikulasi model dan sikap sasaran 502B yang diwakili oleh artikulasi sasaran. Ini dicapai berdasarkan sekurang-kurangnya sebahagiannya pada data kedudukan 504 dan satu atau lebih kekangan pemetaan 506 .

Anggaran pose boleh dicapai, sekurang-kurangnya sebahagiannya, berdasarkan satu atau lebih pose model sebelumnya dan pose sasaran sebelumnya yang dianggarkan pada satu atau lebih bingkai masa sebelumnya. Oleh itu, mesin pengoptimuman pose 500 menyimpan berbilang pose sebelumnya 506, yang boleh diwakili sebagai berbilang putaran tempatan untuk setiap sambungan model.

Satu atau lebih kekangan pemetaan boleh termasuk kekangan kesinambungan pose, yang mengenakan kekangan bingkai-ke-bingkai sejauh mana putaran setempat sendi tertentu boleh berubah dari satu bingkai ke bingkai yang lain. Satu set kekangan pemetaan boleh digunakan untuk menimbulkan kesinambungan untuk mengekang putaran setempat bagi sendi tertentu dengan mengehadkan tahap perubahan dari bingkai ke bingkai

Rajah 5B secara skematik menggambarkan proses menggunakan model anggaran dan pose sasaran untuk memodelkan dan menyasarkan perwakilan yang diartikulasikan. Khususnya, RAJAH 5B sekali lagi menunjukkan pose lalai yang sepadan 407A dan 407B bagi perwakilan yang diartikulasikan 400 dan perwakilan yang diartikulasikan sasaran 104 . Kemudian, dengan menukar arah engsel, perwakilan engsel model 400 menganggap model pose 502A, dan perwakilan engsel sasaran 104 menganggap pose sasaran 502B

Dalam pengoptimuman pose, adalah perlu untuk menganggarkan pose model dan pose sasaran secara serentak. Dalam erti kata lain, tidak seperti kaedah lain, mesin pengoptimuman pose tidak terlebih dahulu mengeluarkan perwakilan pose model dan kemudian menukarnya menjadi perwakilan pose sasaran. Sebaliknya, anggaran pose ialah proses mencari pose model dan pose sasaran secara serentak yang memenuhi satu set kekangan

Sebagai contoh, pose perwakilan artikulasi model boleh dikekang oleh latihan awal mesin pengoptimuman pose untuk mengeluarkan kemungkinan pose manusia yang diberikan satu set data kedudukan, dan pose perwakilan artikulasi sasaran boleh dikekang dengan menggabungkan perwakilan artikulasi sasaran dengan model Artikulasi mewakili kekangan yang dikaitkan dengan satu atau lebih kekangan pemetaan.

Selain itu, dalam latihan sebelumnya, anggaran pose boleh dilaksanakan oleh model pembelajaran mesin 508 yang melakukan pengoptimuman pose. Dalam satu contoh, mesin pengoptimuman pose mungkin dikonfigurasikan untuk mengeluarkan pose berdasarkan data kedudukan input yang jarang. Dalam erti kata lain, mesin pengoptimuman pose boleh dilatih untuk mengeluarkan anggaran pose yang lebih tepat, bergantung pada lebih banyak parameter input yang diterima pada masa jalan

Dalam erti kata lain, data kedudukan yang diterima oleh mesin pengoptimuman postur mungkin mengandungi parameter putaran n sendi pengguna manusia. Dalam latihan sebelumnya, mesin pengoptimuman sikap menerima parameter putaran sambungan n+m sebagai input, di mana m lebih besar daripada 1. Kemudian, anggaran kedudukan model boleh ditentukan dengan menganggar parameter putaran sambungan model n+m yang diwakili oleh artikulasi model, yang memerlukan sekurang-kurangnya parameter putaran berdasarkan n sendi, tetapi tidak perlu berdasarkan parameter putaran m sendi

Selain itu, semasa melatih mesin pengoptimuman sikap, tidak perlu memasukkan label kebenaran tanah bagi perwakilan yang diutarakan sasaran. Sebaliknya, perwakilan bersuara sasaran dikaitkan dengan perwakilan bersuara model melalui satu atau lebih kekangan pemetaan, biasanya mengekang pose sasaran untuk hampir serupa dengan pose model.

Microsoft menegaskan bahawa menggunakan teknologi di atas, kelajuan proses boleh ditingkatkan secara berfaedah dengan dua urutan magnitud. Ini membolehkan anggaran serentak model dan pose sasaran masa nyata tanpa memerlukan pecutan perkakasan khusus.

Dalam RAJAH 2 , kaedah 200 termasuk mengeluarkan perwakilan yang jelas bagi sasaran yang mempunyai pose sasaran sebagai perwakilan maya pengguna manusia untuk paparan, yang mana langkahnya berlaku pada 208 . Sebagai contoh, dalam RAJAH 1 , perwakilan bersuara sasaran 104 dipaparkan melalui peranti paparan elektronik 108 . Peranti paparan yang digunakan untuk memaparkan representasi yang jelas bagi sasaran boleh mengambil sebarang bentuk yang sesuai dan boleh menggunakan mana-mana teknologi paparan asas yang sesuai

Paten berkaitan: Paten Microsoft | Anggaran pose manusia serentak untuk perwakilan maya

Aplikasi paten Microsoft bertajuk "Anggaran pose manusia serentak untuk perwakilan maya" pada asalnya diserahkan pada April 2022 dan baru-baru ini diterbitkan oleh Pejabat Paten dan Tanda Dagangan AS.

Atas ialah kandungan terperinci Paten anggaran postur manusia selari: Teknologi Microsoft AR/VR merealisasikan perwakilan maya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!