Perkongsian paten Microsoft AR/VR menyelesaikan masalah oklusi atau paralaks yang disebabkan oleh sudut kamera yang berbeza

(Nweon 03 November 2023) Memandangkan kedudukan tidak sesuai dengan mata, untuk paparan kepala berdasarkan perspektif kamera, mungkin sukar bagi pengguna untuk melihat dengan betul hubungan spatial objek dalam persekitaran berbanding dengan yang ditentukan angkasa lepas. Selain itu, berbilang pengguna dalam ruang yang ditentukan yang sama mungkin mempunyai perspektif yang berbeza berbanding objek di luar ruang yang ditentukan.

Jadi dalam aplikasi paten bertajuk "Paparan bergantung kepada perspektif persekitaran sekitar", Microsoft mencadangkan imej persekitaran yang betul mewakili ruang yang ditentukan, terutamanya apabila ia berada dalam platform mudah alih seperti kereta. Ringkasnya, sistem pengkomputeran membina peta kedalaman dan data intensiti sekurang-kurangnya sebahagian daripada persekitaran yang mengelilingi ruang yang ditentukan. Data keamatan kemudiannya dikaitkan dengan lokasi peta kedalaman.

Selain itu, sistem pengkomputeran boleh mendapatkan maklumat tentang postur pengguna dalam ruang yang ditentukan dan menentukan, berdasarkan postur pengguna, sebahagian daripada persekitaran sekeliling ruang yang ditentukan yang pengguna lihat. Sistem pengkomputeran seterusnya memperoleh data imej yang mewakili bahagian persekitaran dari perspektif pengguna,

Kemudian, sistem pengkomputeran menjana imej untuk paparan berdasarkan data keamatan di lokasi peta kedalaman dalam medan pandangan pengguna. Dengan cara ini, pandangan persekitaran yang diperolehi oleh satu atau lebih kamera boleh ditayangkan semula mengikut perspektif pengguna, memberikan pandangan persekitaran yang betul tanpa masalah oklusi atau paralaks disebabkan oleh perspektif kamera yang berbeza.

Rajah 1 menggambarkan senario penggunaan teladan 100 di mana pengguna 102 dan 104 terletak dalam ruang 106 yang ditetapkan. Pengguna 102 dan 104 memakai peranti pelekap kepala 112 dan 114, masing-masing.

Sistem pengkomputeran 110 menjana data imej yang mewakili persekitaran di sekeliling ruang yang ditentukan dari perspektif setiap pengguna 102, 104. Untuk melakukan ini, sistem pengkomputeran 110 mendapatkan maklumat tentang postur setiap pengguna 102 dan 104 dalam ruang yang ditentukan 106 .

Dalam satu penjelmaan, pose setiap pengguna 102, 104 boleh ditentukan daripada satu atau lebih peranti pengimejan yang ditetapkan dalam bingkai rujukan ruang yang ditentukan dan dikonfigurasikan untuk imej pengguna dalam ruang yang ditentukan .

Dalam Rajah 1, empat peranti pengimejan tersebut digambarkan sebagai 116, 118, 120 dan 122. Contoh peranti pengimejan sedemikian mungkin termasuk peranti kamera stereo, penderia kedalaman dan seumpamanya.

Sistem pengkomputeran 110 boleh dikonfigurasikan untuk menjana peta kedalaman persekitaran di sekeliling ruang yang ditentukan 106 daripada data daripada kamera 108A-108E. Setiap kamera 108A-108E dikonfigurasikan untuk memperoleh data imej intensiti sebahagian daripada persekitaran sekeliling. Semua kamera mengetahui hubungan ruang antara satu sama lain.

Selain itu, seperti yang ditunjukkan dalam Rajah 1, medan pandangan kamera bersebelahan bertindih. Oleh itu, teknik pengimejan stereo boleh digunakan untuk menentukan jarak objek dalam persekitaran sekeliling untuk menghasilkan peta kedalaman. Dalam contoh lain, penderia kedalaman pilihan 115 yang berasingan daripada kamera 108A-108E boleh digunakan untuk mendapatkan peta kedalaman persekitaran sekeliling. Contoh penderia kedalaman termasuk penderia lidar dan satu atau lebih kamera kedalaman. Dalam contoh sedemikian, medan pandangan kamera yang memperoleh imej intensiti secara pilihan mungkin tidak bertindih.

Data intensiti daripada kamera dikaitkan dengan setiap lokasi dalam peta kedalaman, seperti setiap bucu dalam jaringan atau setiap titik dalam awan titik. Dalam contoh lain, data keamatan daripada kamera digabungkan secara pengiraan untuk membentuk data keamatan gabungan yang dikira untuk setiap lokasi dalam peta kedalaman. Contohnya, apabila lokasi peta kedalaman diimejkan oleh piksel penderia daripada dua atau lebih kamera berbeza, nilai piksel daripada dua atau lebih kamera berbeza boleh dikira dan kemudian disimpan.

Seterusnya, berdasarkan sekurang-kurangnya gerak isyarat setiap pengguna 102, 104, sistem pengkomputeran 110 boleh menentukan sebahagian daripada persekitaran yang mengelilingi ruang yang ditentukan yang dilihat oleh setiap pengguna 102, 104, dari perspektif setiap pengguna 102, 104 Data imej yang mewakili bahagian persekitaran itu dan menyediakan data imej kepada setiap paparan yang dipasang di kepala 112, 114.

Sebagai contoh, dengan mengetahui postur pengguna dalam ruang yang ditentukan 106, dan hubungan ruang peta kedalaman persekitaran sekeliling dengan ruang yang ditentukan 106, postur setiap pengguna boleh dikaitkan dengan peta kedalaman. Medan pandangan setiap pengguna kemudiannya boleh ditakrifkan dan diunjurkan pada peta kedalaman untuk menentukan bahagian peta kedalaman yang berada dalam medan pandangan pengguna.

Seterusnya, teknik seperti tuangan sinar boleh digunakan untuk menentukan lokasi dalam peta kedalaman yang boleh dilihat dalam medan pandangan. Data intensiti yang dikaitkan dengan lokasi boleh digunakan untuk membentuk imej untuk paparan. Sistem pengkomputeran 110 boleh secara pilihan berkomunikasi dengan sistem pengkomputeran jauh 124 seperti perkhidmatan awan. Dalam keadaan sedemikian, satu atau lebih langkah pemprosesan sedemikian boleh dilakukan oleh sistem pengkomputeran jauh 124.

Dengan cara ini, dalam ruang tertentu, pengguna yang berbeza boleh memerhati imej persekitaran sekeliling dari perspektif peribadi. Imej yang dipaparkan oleh set kepala 112 dari perspektif pengguna 102 mungkin termasuk objek 126 dan pandangan objek 128 dalam persekitaran, manakala pandangan objek 128 mungkin tertutup oleh objek 126 dalam imej yang dipaparkan oleh set kepala 114 dari perspektif pengguna 104 .

Rajah 2 menunjukkan gambar rajah blok contoh sistem 200 yang dikonfigurasikan untuk memaparkan imej persekitaran yang mengelilingi ruang yang ditentukan kepada pengguna dalam ruang yang ditentukan dari perspektif pengguna. Sistem 200 termasuk sistem pengkomputeran 202 setempat kepada ruang yang ditentukan dan peranti paparan 204 yang terletak dalam ruang yang ditentukan.

Sistem 200 termasuk satu atau lebih kamera 210 dan dikonfigurasikan untuk imej persekitaran. Dalam satu contoh, kamera 210 digunakan sebagai kamera stereo pasif dan kaedah pengimejan stereo digunakan untuk memperoleh data intensiti dan data kedalaman. Dalam contoh lain, satu atau lebih penderia kedalaman 208 digunakan secara pilihan untuk mendapatkan data kedalaman persekitaran ruang yang ditentukan.

Sistem pengkomputeran 202 termasuk arahan boleh laku untuk membina peta kedalaman 212 persekitaran daripada data kedalaman. Peta kedalaman 212 boleh mengambil sebarang bentuk yang sesuai, seperti awan titik 3D atau mesh. Seperti yang diterangkan di atas, sistem pengkomputeran 202 boleh menerima dan menyimpan data intensiti 214 yang dikaitkan dengan setiap lokasi dalam peta mendalam 212 berdasarkan data imej yang diperoleh oleh satu atau lebih kamera 210 .

Kedudukan spatial relatif bagi penderia kedalaman 208 dan kamera 210 ditentukur antara satu sama lain dan pada geometri ruang yang ditentukan. Oleh itu, Rajah 2 menggambarkan parameter penentukuran 216 yang boleh digunakan sebagai input untuk membantu mengubah pandangan kamera 210 dan sensor kedalaman 208 kepada postur pengguna, dengan itu membantu memproyeksikan semula data imej dari perspektif kamera kepada perspektif pengguna untuk paparan .

Dalam satu penjelmaan, memandangkan peranti paparan 204 dan/atau ruang yang ditentukan boleh terus bergerak relatif kepada persekitaran sekeliling, penentukuran luaran berterusan boleh dilakukan untuk menentukur kedudukan peranti paparan 204 kepada peta kedalaman 212. Contohnya, penentukuran peta kedalaman 212 oleh peranti paparan 204 boleh dilakukan pada kadar bingkai paparan oleh peranti paparan 204 .

Sistem pengkomputeran 202 boleh mendapatkan maklumat lanjut tentang postur pengguna dalam ruang yang ditetapkan. Postur pengguna secara lebih khusus boleh merujuk kepada kedudukan kepala dan orientasi kepala, yang membantu menentukan sebahagian daripada persekitaran mengelilingi ruang yang ditentukan yang dicari pengguna. Sistem pengkomputeran 202 dikonfigurasikan untuk menerima data pengesanan kepala 218 . Data pengesanan kepala 218 secara tambahan atau alternatif boleh diterima daripada satu atau lebih peranti pengimejan yang ditetapkan dalam rangka rujukan dalam ruang yang ditetapkan.

Seperti yang diterangkan di atas, sistem pengkomputeran 202 menggunakan peta kedalaman 212 dan data keamatan yang sepadan 214 bersempena dengan postur pengguna yang ditentukan daripada data pengesanan kepala 218 untuk menentukan data imej untuk paparan daripada perspektif pengguna peranti paparan 204 .

Sistem pengkomputeran 202 boleh menentukan bahagian persekitaran yang dilihat pengguna berdasarkan postur pengguna, menayangkan medan pandangan pengguna ke peta kedalaman, dan kemudian mendapatkan data intensiti untuk lokasi peta kedalaman yang boleh dilihat dari perspektif pengguna.

Data imej yang diberikan kepada peranti paparan untuk paparan mungkin mengalami pasca tayangan semula dalam penimbal bingkai peranti paparan 204. Sebagai contoh, pasca-unjuran boleh digunakan untuk mengemas kini kedudukan objek dalam imej yang diberikan secara langsung sebelum imej yang diberikan dipaparkan.

Di sini, peranti paparan 204 terletak di dalam kenderaan yang bergerak, dan data imej dalam penimbal bingkai peranti paparan 204 boleh ditayangkan semula berdasarkan jarak yang dilalui oleh kenderaan antara pembentukan imej dan paparan imej pada 226. Sistem pengkomputeran 202 mungkin menyediakan vektor gerakan untuk memaparkan peranti berasaskan gerakan kenderaan 204 untuk unjuran semula kemudian. Dalam contoh lain, vektor gerakan boleh ditentukan daripada data daripada unit ukuran inersia tempatan peranti paparan 204 .

Dalam satu penjelmaan, kadar bingkai data keamatan yang diperoleh oleh kamera 210 mungkin berbeza daripada kadar bingkai peta kedalaman yang diperoleh oleh sensor kedalaman 208. Sebagai contoh, kadar bingkai yang digunakan untuk memperoleh peta kedalaman mungkin lebih rendah daripada kadar bingkai yang digunakan untuk memperoleh data intensiti.

Begitu juga, kadar bingkai mungkin berbeza-beza berdasarkan perubahan dalam kelajuan kenderaan, objek bergerak dalam persekitaran dan/atau faktor persekitaran yang lain. Dalam contoh sedemikian, sebelum mengaitkan data keamatan dengan lokasi peta kedalaman, data keamatan dan/atau data kedalaman boleh diterjemahkan untuk membetulkan gerakan yang berlaku antara masa data keamatan diperoleh dan masa peta kedalaman diperoleh.

Dalam kes menggunakan berbilang kamera 210 untuk memperoleh data intensiti, objek dalam persekitaran yang mengelilingi ruang yang ditentukan boleh muncul dalam data imej daripada berbilang kamera 210. Dalam contoh sedemikian, data keamatan daripada setiap kamera pengimejan objek boleh ditayangkan semula kepada perspektif pengguna.

Dalam contoh lain, data intensiti daripada satu kamera atau subset kamera yang mengimejan objek boleh ditayangkan semula mengikut perspektif pengguna. Ini mungkin menggunakan kurang sumber pengkomputeran daripada memindahkan data imej daripada semua kamera yang mengimejan objek kepada perspektif pengguna.

Dalam contoh sedemikian, data imej dari kamera dengan perspektif yang ditentukan paling hampir dengan perspektif pengguna boleh digunakan. Dalam contoh lain, data keamatan piksel daripada berbilang kamera untuk lokasi peta kedalaman yang dipilih mungkin dipuratakan atau digabungkan secara pengiraan dan kemudian disimpan untuk lokasi peta kedalaman.

Dalam contoh Rajah 1, pengguna 102 dan 104 melihat imej yang bergantung kepada perspektif yang dijana oleh sistem pengkomputeran 110 melalui set kepala 112, 114. Dalam senario teladan 300 dalam Rajah 3, pengguna sedang melihat data imej yang diperoleh oleh kamera 306A-306E pada panel paparan yang terletak di lokasi tetap dalam ruang yang ditetapkan 304.

Walau bagaimanapun, daripada memaparkan imej dari perspektif kamera 306A-306E, data imej daripada kamera 306A-306E dikaitkan dengan peta kedalaman yang ditentukan daripada data imej atau peta kedalaman yang ditentukan daripada data yang diperoleh oleh sensor kedalaman.

Ini membolehkan menukar data imej kepada pandangan perspektif pengguna 302. Kamera 312, 314 imej bahagian dalam ruang yang ditentukan 304 untuk melakukan penjejakan gerak isyarat pengguna. Satu atau lebih penderia kedalaman juga digunakan untuk penentuan postur pengguna. Data imej daripada perspektif pengguna 302 mungkin dipaparkan pada panel paparan 310 berdasarkan data gerak isyarat pengguna yang ditentukan daripada data daripada kamera 312, 314.

Dalam contoh ini, mengunjurkan semula data imej kepada perspektif pengguna 302, sebagai tambahan kepada operasi yang diterangkan di atas berkenaan dengan Rajah 2, juga boleh memasukkan gerak isyarat pengguna untuk memaparkan transposisi panel, memandangkan kedudukan pengguna 302 berbanding dengan panel paparan berubah dengan perubahan apabila pengguna bergerak dalam ruang definisi 304.

Jadi apabila pengguna 302 berpindah ke lokasi baharu 318, objek 320, 322 dalam persekitaran akan muncul dari sudut yang berbeza daripada lokasi asal pengguna 302. Sistem pengkomputeran 316 secara pilihan boleh berkomunikasi dengan sistem pengkomputeran jauh 324 seperti perkhidmatan awan.

Rajah 4 menggambarkan kaedah contoh 400 untuk menyediakan data imej persekitaran yang mengelilingi ruang yang ditentukan untuk paparan dari perspektif pengguna dalam ruang yang ditentukan.

Pada 402, kaedah 400 termasuk mendapatkan maklumat tentang postur pengguna dalam ruang yang ditetapkan. Seperti yang dinyatakan di atas, sebagai contoh, postur pengguna mungkin mencerminkan kedudukan dan orientasi kepala. Gerak isyarat pengguna boleh ditentukan berdasarkan data imej daripada satu atau lebih kamera yang ditetapkan dalam bingkai rujukan spatial. Sebagai contoh lain, pada 406, gerak isyarat pengguna mungkin diterima daripada set kepala yang dipakai oleh pengguna, contohnya, ditentukan daripada data imej daripada satu atau lebih penderia imej set kepala.

Dalam 408, sertakan mendapatkan peta kedalaman persekitaran yang mengelilingi ruang yang ditentukan. Peta kedalaman boleh dibina daripada data imej yang diperoleh oleh berbilang kamera yang mengimejan persekitaran pada 410, atau boleh dibina daripada data lidar yang diperoleh oleh sensor lidar pada 412.

Dalam contoh lain, jenis penderiaan kedalaman lain yang sesuai boleh digunakan, seperti pengimejan kedalaman masa penerbangan. Kemudian pada 414, kaedah 400 termasuk menyimpan data intensiti untuk setiap lokasi dalam peta kedalaman.

Seterusnya di 416, berdasarkan postur pengguna, tentukan bahagian persekitaran yang mengelilingi ruang yang ditentukan yang dicari pengguna. Ini mungkin termasuk menentukan pada 418 bahagian peta kedalaman yang sedang dilihat pengguna. Dalam satu contoh, medan pandangan pengguna boleh ditayangkan pada peta kedalaman untuk menentukan lokasi dalam peta kedalaman yang boleh dilihat dari perspektif pengguna.

Kaedah 400 juga termasuk, pada 420, mendapatkan data imej yang mewakili bahagian persekitaran daripada perspektif pengguna. Kaedah 400 juga termasuk, di 426, menyediakan data imej untuk paparan oleh peranti paparan dalam ruang yang ditentukan.

Rajah 5 menunjukkan carta alir kaedah contoh 500 untuk memaparkan data imej persekitaran daripada perspektif pengguna melalui paparan yang dipasang di kepala.

Pada 502, kaedah 500 termasuk mendapatkan maklumat tentang pose set kepala dalam ruang yang ditetapkan. Pose set kepala boleh dikesan berdasarkan data imej daripada satu atau lebih kamera pengesan kepala set kepala. Pada 504, pose set kepala boleh ditentukan berdasarkan satu atau lebih kamera yang ditetapkan dalam bingkai rujukan yang mentakrifkan ruang. Pada 506, satu atau lebih kamera tetap berkomunikasi dengan set kepala.

Pada 508, kaedah 500 juga termasuk mendapatkan peta kedalaman, yang merangkumi data kedalaman dan data keamatan untuk setiap lokasi peta kedalaman, dengan peta kedalaman mewakili persekitaran yang mengelilingi ruang yang ditentukan.

Pada 512, berdasarkan sekurang-kurangnya postur set kepala dalam ruang yang ditentukan, tentukan sebahagian daripada persekitaran yang mengelilingi ruang yang ditetapkan yang pengguna set kepala itu lihat. Ini mungkin termasuk, di 514, menentukan bahagian peta kedalaman yang sedang dilihat pengguna. Bahagian persekitaran/peta kedalaman yang sedang dilihat pengguna mungkin berdasarkan sekurang-kurangnya pada kedudukan mata pengguna.

Kaedah 500 seterusnya termasuk, pada 518, mendapatkan data imej yang mengandungi data intensiti untuk setiap lokasi dalam bahagian peta kedalaman, dan pada 520, memaparkan data imej.

Paten berkaitan: Paten Microsoft |

Aplikasi paten Microsoft bertajuk "Paparan bergantung kepada perspektif persekitaran sekitar" pada asalnya diserahkan pada Mac 2022 dan baru-baru ini diterbitkan oleh Pejabat Paten dan Tanda Dagangan AS.

Atas ialah kandungan terperinci Perkongsian paten Microsoft AR/VR menyelesaikan masalah oklusi atau paralaks yang disebabkan oleh sudut kamera yang berbeza. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!