Peranti teknologi
AI
Artikel pertama: Paradigma baharu untuk melatih model penghunian 3D berbilang paparan menggunakan label 2D sahaja
Artikel pertama: Paradigma baharu untuk melatih model penghunian 3D berbilang paparan menggunakan label 2D sahaja
Artikel ini dicetak semula dengan kebenaran akaun awam Autonomous Driving Heart Sila hubungi sumber untuk mencetak semula.
[RenderOcc, paradigma baharu pertama untuk melatih model penghunian 3D berbilang paparan menggunakan hanya label 2D] Pengarang mengekstrak perwakilan volumetrik 3D gaya NeRF daripada imej berbilang paparan dan menggunakan teknologi pemaparan volum untuk membina pembinaan semula 2D untuk mencapai transformasi semantik daripada Pengawasan 3D Langsung 2D dengan label kedalaman mengurangkan pergantungan pada anotasi penghunian 3D yang mahal. Eksperimen yang meluas menunjukkan bahawa RenderOcc berprestasi setanding dengan model yang diselia sepenuhnya menggunakan label 3D, menyerlahkan kepentingan pendekatan ini dalam aplikasi dunia sebenar. Sudah menjadi sumber terbuka.
Tajuk: RenderOcc: Vision-Centric 3D Occupancy Prediction with 2DRendering Supervision
Afiliasi pengarang: Peking University, Xiaomi Automobile, Hong Kong Chinese MMLAB
Kandungan yang perlu ditulis semula ialah: Alamat sumber terbuka: GitHub/11cc
Ramalan pekerjaan 3D memegang janji penting dalam bidang persepsi robot dan pemanduan autonomi, di mana ia mengkuantifikasi adegan 3D ke dalam sel grid berlabel semantik. Kerja terkini terutamanya menggunakan label penghunian lengkap dalam ruang voxel 3D untuk pengawasan. Walau bagaimanapun, proses anotasi yang mahal dan kadangkala label yang samar-samar mengehadkan kebolehgunaan dan kebolehskalaan model penghunian 3D dengan teruk. Untuk menyelesaikan masalah ini, penulis mencadangkan RenderOcc, paradigma baharu untuk melatih model penghunian 3D menggunakan label 2D sahaja. Khususnya, kami mengekstrak perwakilan volumetrik 3D gaya NeRF daripada imej berbilang paparan dan menggunakan teknik pemaparan volum untuk membina pembinaan semula 2D, membolehkan penyeliaan 3D terus daripada label semantik dan kedalaman 2D. Di samping itu, penulis memperkenalkan kaedah sinar tambahan untuk menyelesaikan masalah sudut pandangan yang jarang dalam adegan pemanduan autonomi, yang menggunakan bingkai berurutan untuk membina pemaparan 2D yang komprehensif untuk setiap sasaran. RenderOcc ialah percubaan pertama untuk melatih model penghunian 3D berbilang paparan menggunakan hanya label 2D, mengurangkan pergantungan pada anotasi penghunian 3D yang mahal. Eksperimen yang meluas menunjukkan bahawa RenderOcc berprestasi setanding dengan model yang diselia sepenuhnya menggunakan label 3D, menyerlahkan kepentingan pendekatan ini dalam aplikasi dunia sebenar.
Struktur rangkaian:
Rajah 1 menunjukkan kaedah latihan baharu RenderOcc. Berbeza daripada kaedah sebelumnya yang bergantung pada label penghunian 3D yang mahal untuk penyeliaan, RenderOcc yang dicadangkan dalam kertas kerja ini menggunakan label 2D untuk melatih rangkaian penghunian 3D. Dengan penyeliaan pemaparan 2D, model ini dapat mendapat manfaat daripada semantik tahap piksel 2D yang terperinci dan penyeliaan kedalaman
Rajah 2. Rangka kerja keseluruhan RenderOcc. Makalah ini mengekstrak ciri volumetrik melalui rangkaian 2D hingga 3D dan meramalkan ketumpatan dan semantik setiap voxel. Oleh itu, kertas kerja ini menjana Medan Ketumpatan Semantik, yang boleh melakukan pemaparan volum untuk menjana semantik dan kedalaman 2D yang diberikan. Untuk penjanaan Rays GT, kertas kerja ini mengekstrak sinar tambahan daripada bingkai bersebelahan untuk menambah sinar bingkai semasa dan menggunakan strategi pensampelan sinar wajaran yang dicadangkan untuk membersihkannya. Kemudian, artikel ini menggunakan GT ringan dan {} untuk mengira kerugian bagi mencapai penyeliaan pemaparan label 2D
Kandungan yang ditulis semula: Rajah 3. Lampu tambahan: Imej bingkai tunggal tidak dapat menangkap maklumat berbilang paparan objek dengan baik. Terdapat hanya kawasan pertindihan kecil antara kamera bersebelahan dan perbezaan sudut tontonan adalah terhad. Dengan memperkenalkan sinar tambahan daripada bingkai bersebelahan, model boleh mendapat manfaat dengan ketara daripada kekangan konsistensi berbilang paparan
Hasil percubaan:
Kandungan yang perlu ditulis semula ialah: Pautan asal: https://mp.weixin.qq.com/s/WzI8mGoIOTOdL8irXrbSPQ
Atas ialah kandungan terperinci Artikel pertama: Paradigma baharu untuk melatih model penghunian 3D berbilang paparan menggunakan label 2D sahaja. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Undress AI Tool
Gambar buka pakaian secara percuma
Clothoff.io
Penyingkiran pakaian AI
AI Hentai Generator
Menjana ai hentai secara percuma.
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Topik panas
1376
52
Model MoE sumber terbuka paling berkuasa di dunia ada di sini, dengan keupayaan bahasa Cina setanding dengan GPT-4, dan harganya hanya hampir satu peratus daripada GPT-4-Turbo
May 07, 2024 pm 04:13 PM
Bayangkan model kecerdasan buatan yang bukan sahaja mempunyai keupayaan untuk mengatasi pengkomputeran tradisional, tetapi juga mencapai prestasi yang lebih cekap pada kos yang lebih rendah. Ini bukan fiksyen sains, DeepSeek-V2[1], model MoE sumber terbuka paling berkuasa di dunia ada di sini. DeepSeek-V2 ialah gabungan model bahasa pakar (MoE) yang berkuasa dengan ciri-ciri latihan ekonomi dan inferens yang cekap. Ia terdiri daripada 236B parameter, 21B daripadanya digunakan untuk mengaktifkan setiap penanda. Berbanding dengan DeepSeek67B, DeepSeek-V2 mempunyai prestasi yang lebih kukuh, sambil menjimatkan 42.5% kos latihan, mengurangkan cache KV sebanyak 93.3% dan meningkatkan daya pemprosesan penjanaan maksimum kepada 5.76 kali. DeepSeek ialah sebuah syarikat yang meneroka kecerdasan buatan am
Apr 09, 2024 am 11:52 AM
AI memang mengubah matematik. Baru-baru ini, Tao Zhexuan, yang telah mengambil perhatian terhadap isu ini, telah memajukan keluaran terbaru "Buletin Persatuan Matematik Amerika" (Buletin Persatuan Matematik Amerika). Memfokuskan pada topik "Adakah mesin akan mengubah matematik?", ramai ahli matematik menyatakan pendapat mereka Seluruh proses itu penuh dengan percikan api, tegar dan menarik. Penulis mempunyai barisan yang kuat, termasuk pemenang Fields Medal Akshay Venkatesh, ahli matematik China Zheng Lejun, saintis komputer NYU Ernest Davis dan ramai lagi sarjana terkenal dalam industri. Dunia AI telah berubah secara mendadak Anda tahu, banyak artikel ini telah dihantar setahun yang lalu.
KAN, yang menggantikan MLP, telah diperluaskan kepada konvolusi oleh projek sumber terbuka
Jun 01, 2024 pm 10:03 PM
Awal bulan ini, penyelidik dari MIT dan institusi lain mencadangkan alternatif yang sangat menjanjikan kepada MLP - KAN. KAN mengatasi MLP dari segi ketepatan dan kebolehtafsiran. Dan ia boleh mengatasi prestasi MLP berjalan dengan bilangan parameter yang lebih besar dengan bilangan parameter yang sangat kecil. Sebagai contoh, penulis menyatakan bahawa mereka menggunakan KAN untuk menghasilkan semula keputusan DeepMind dengan rangkaian yang lebih kecil dan tahap automasi yang lebih tinggi. Khususnya, MLP DeepMind mempunyai kira-kira 300,000 parameter, manakala KAN hanya mempunyai kira-kira 200 parameter. KAN mempunyai asas matematik yang kukuh seperti MLP berdasarkan teorem penghampiran universal, manakala KAN berdasarkan teorem perwakilan Kolmogorov-Arnold. Seperti yang ditunjukkan dalam rajah di bawah, KAN telah
Hello, Atlas elektrik! Robot Boston Dynamics hidup semula, gerakan pelik 180 darjah menakutkan Musk
Apr 18, 2024 pm 07:58 PM
Boston Dynamics Atlas secara rasmi memasuki era robot elektrik! Semalam, Atlas hidraulik hanya "menangis" menarik diri daripada peringkat sejarah Hari ini, Boston Dynamics mengumumkan bahawa Atlas elektrik sedang berfungsi. Nampaknya dalam bidang robot humanoid komersial, Boston Dynamics berazam untuk bersaing dengan Tesla. Selepas video baharu itu dikeluarkan, ia telah pun ditonton oleh lebih sejuta orang dalam masa sepuluh jam sahaja. Orang lama pergi dan peranan baru muncul. Ini adalah keperluan sejarah. Tidak dinafikan bahawa tahun ini adalah tahun letupan robot humanoid. Netizen mengulas: Kemajuan robot telah menjadikan majlis pembukaan tahun ini kelihatan seperti manusia, dan tahap kebebasan adalah jauh lebih besar daripada manusia Tetapi adakah ini benar-benar bukan filem seram? Pada permulaan video, Atlas berbaring dengan tenang di atas tanah, seolah-olah terlentang. Apa yang berikut adalah rahang-jatuh
Google gembira: prestasi JAX mengatasi Pytorch dan TensorFlow! Ia mungkin menjadi pilihan terpantas untuk latihan inferens GPU
Apr 01, 2024 pm 07:46 PM
Prestasi JAX, yang dipromosikan oleh Google, telah mengatasi Pytorch dan TensorFlow dalam ujian penanda aras baru-baru ini, menduduki tempat pertama dalam 7 penunjuk. Dan ujian tidak dilakukan pada TPU dengan prestasi JAX terbaik. Walaupun dalam kalangan pembangun, Pytorch masih lebih popular daripada Tensorflow. Tetapi pada masa hadapan, mungkin lebih banyak model besar akan dilatih dan dijalankan berdasarkan platform JAX. Model Baru-baru ini, pasukan Keras menanda aras tiga hujung belakang (TensorFlow, JAX, PyTorch) dengan pelaksanaan PyTorch asli dan Keras2 dengan TensorFlow. Pertama, mereka memilih satu set arus perdana
Robot Tesla bekerja di kilang, Musk: Tahap kebebasan tangan akan mencapai 22 tahun ini!
May 06, 2024 pm 04:13 PM
Video terbaru robot Tesla Optimus dikeluarkan, dan ia sudah boleh berfungsi di kilang. Pada kelajuan biasa, ia mengisih bateri (bateri 4680 Tesla) seperti ini: Pegawai itu juga mengeluarkan rupanya pada kelajuan 20x - pada "stesen kerja" kecil, memilih dan memilih dan memilih: Kali ini ia dikeluarkan Salah satu sorotan video itu ialah Optimus menyelesaikan kerja ini di kilang, sepenuhnya secara autonomi, tanpa campur tangan manusia sepanjang proses. Dan dari perspektif Optimus, ia juga boleh mengambil dan meletakkan bateri yang bengkok, memfokuskan pada pembetulan ralat automatik: Berkenaan tangan Optimus, saintis NVIDIA Jim Fan memberikan penilaian yang tinggi: Tangan Optimus adalah robot lima jari di dunia paling cerdik. Tangannya bukan sahaja boleh disentuh
FisheyeDetNet: algoritma pengesanan sasaran pertama berdasarkan kamera fisheye
Apr 26, 2024 am 11:37 AM
Pengesanan objek ialah masalah yang agak matang dalam sistem pemanduan autonomi, antaranya pengesanan pejalan kaki adalah salah satu algoritma terawal untuk digunakan. Penyelidikan yang sangat komprehensif telah dijalankan dalam kebanyakan kertas kerja. Walau bagaimanapun, persepsi jarak menggunakan kamera fisheye untuk pandangan sekeliling agak kurang dikaji. Disebabkan herotan jejari yang besar, perwakilan kotak sempadan standard sukar dilaksanakan dalam kamera fisheye. Untuk mengurangkan perihalan di atas, kami meneroka kotak sempadan lanjutan, elips dan reka bentuk poligon am ke dalam perwakilan kutub/sudut dan mentakrifkan metrik mIOU pembahagian contoh untuk menganalisis perwakilan ini. Model fisheyeDetNet yang dicadangkan dengan bentuk poligon mengatasi model lain dan pada masa yang sama mencapai 49.5% mAP pada set data kamera fisheye Valeo untuk pemanduan autonomi
Satu kad menjalankan Llama 70B lebih pantas daripada dua kad, Microsoft hanya meletakkan FP6 ke dalam A100 |
Apr 29, 2024 pm 04:55 PM
FP8 dan ketepatan pengiraan titik terapung yang lebih rendah bukan lagi "paten" H100! Lao Huang mahu semua orang menggunakan INT8/INT4, dan pasukan Microsoft DeepSpeed memaksa diri mereka menjalankan FP6 pada A100 tanpa sokongan rasmi daripada Nvidia. Keputusan ujian menunjukkan bahawa kaedah baharu TC-FPx FP6 kuantisasi pada A100 adalah hampir atau kadangkala lebih pantas daripada INT4, dan mempunyai ketepatan yang lebih tinggi daripada yang terakhir. Selain itu, terdapat juga sokongan model besar hujung ke hujung, yang telah bersumberkan terbuka dan disepadukan ke dalam rangka kerja inferens pembelajaran mendalam seperti DeepSpeed. Keputusan ini juga mempunyai kesan serta-merta pada mempercepatkan model besar - di bawah rangka kerja ini, menggunakan satu kad untuk menjalankan Llama, daya pemprosesan adalah 2.65 kali lebih tinggi daripada dua kad. satu
