Rumah Peranti teknologi AI VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran

VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran

Apr 09, 2023 pm 02:41 PM
bijak pandai memandu

kertas arXiv "VectorFlow: Menggabungkan Imej dan Vektor untuk Penghuni Trafik dan Ramalan Aliran", 9 Ogos 2022, bekerja di Universiti Tsinghua.

VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran

Meramalkan tingkah laku ejen jalan raya pada masa hadapan ialah tugas utama dalam pemanduan autonomi. Walaupun model sedia ada telah mencapai kejayaan besar dalam meramalkan tingkah laku ejen masa depan, meramalkan gelagat berbilang ejen secara berkesan masih menjadi cabaran. Baru-baru ini, seseorang mencadangkan perwakilan medan aliran penghunian (OFF) , yang mewakili keadaan masa depan bersama ejen jalan melalui gabungan grid dan aliran penghunian, menyokong ramalan konsisten bersama.

Kerja ini mencadangkan peramal medan aliran penghunian baharu, pengekod imej yang mempelajari ciri daripada imej trafik raster dan pengekod vektor yang menangkap trajektori ejen berterusan dan maklumat keadaan peta, kedua-duanya Digabungkan untuk menjana ramalan penghunian dan aliran yang tepat . Kedua-dua ciri pengekodan digabungkan oleh pelbagai modul perhatian sebelum menjana ramalan akhir. Model ini menduduki tempat ketiga dalam Cabaran Penghunian Set Data Terbuka dan Ramalan Aliran Waymo dan mencapai prestasi terbaik dalam tugasan ramalan aliran dan penghunian tertutup.

Perwakilan OFF ("Medan Aliran Penghuni untuk Ramalan Pergerakan dalam Pemanduan Autonomi", arXiv 2203.03875, 3, 2022) ialah grid ruang masa di mana setiap sel grid termasuk i) Kebarangkalian bahawa mana-mana ejen menduduki unit dan ii) mewakili aliran pergerakan ejen yang menduduki unit itu. Ia memberikan kecekapan dan kebolehskalaan yang lebih baik kerana kerumitan pengiraan untuk meramal medan aliran penghunian adalah bebas daripada bilangan ejen jalan di tempat kejadian.

Gambar menunjukkan gambar rajah bingkai OFF. Struktur pengekod adalah seperti berikut. Peringkat pertama menerima ketiga-tiga jenis titik input dan memprosesnya dengan pengekod terinspirasi PointPillars. Lampu isyarat dan titik jalan diletakkan terus pada grid. Pengekodan keadaan ejen pada setiap langkah masa input t adalah untuk menyampel grid titik bersaiz tetap secara seragam daripada setiap kotak BEV ejen, dan menggabungkan titik ini dengan atribut keadaan ejen yang berkaitan (termasuk pengekodan satu panas masa t ) diletakkan pada grid. Setiap tiang mengeluarkan benam untuk semua titik yang terkandung di dalamnya. Struktur penyahkod adalah seperti berikut. Tahap kedua menerima setiap pembenaman tiang sebagai input dan menjana setiap penghunian sel grid dan ramalan aliran. Rangkaian penyahkod adalah berdasarkan EfficientNet, menggunakan EfficientNet sebagai tulang belakang untuk memproses setiap pembenaman tiang untuk mendapatkan peta ciri (P2,...P7), di mana Pi diturunkan sampel 2^i daripada input. Rangkaian BiFPN kemudiannya digunakan untuk menggabungkan ciri berbilang skala ini dalam cara dua arah. Kemudian, peta ciri peleraian tertinggi P2 digunakan untuk mengundur ramalan penghunian dan aliran untuk semua kelas ejen K pada setiap langkah masa. Khususnya, penyahkod mengeluarkan vektor untuk setiap sel grid sambil meramalkan penghunian dan aliran.

VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran

Untuk artikel ini, buat tetapan masalah berikut: memandangkan sejarah 1 saat dan konteks adegan ejen trafik di tempat kejadian, seperti koordinat peta, matlamatnya ialah untuk meramalkan i) penghunian pemerhatian masa hadapan, ii) penghunian oklusi masa hadapan, dan iii) aliran masa depan semua kenderaan pada 8 titik laluan masa hadapan dalam sesuatu kejadian, di mana setiap titik laluan meliputi selang 1 saat.

Proses input menjadi imej raster dan set vektor. Untuk mendapatkan imej, grid raster dicipta pada setiap langkah masa lalu berbanding koordinat tempatan kereta pandu sendiri (SDC), memandangkan trajektori ejen pemerhati dan data peta. Untuk mendapatkan input vektor yang konsisten dengan imej raster, transformasi yang sama diikuti, memutar dan menggerakkan ejen input dan koordinat peta berbanding dengan paparan tempatan SDC.

Pengekod terdiri daripada dua bahagian: model VGG-16 yang mengekod perwakilan raster dan model VectorNe yang mengekod perwakilan vektor. Ciri vektor digabungkan dengan ciri dua langkah terakhir VGG-16 melalui modul perhatian silang. Melalui rangkaian gaya FPN, ciri yang dicantumkan dicontohi kepada resolusi asal dan digunakan sebagai ciri rasterisasi input.

Penyahkod ialah lapisan konvolusi 2D tunggal yang memetakan output pengekod kepada ramalan medan aliran penghunian, yang terdiri daripada satu siri 8 peta grid yang mewakili setiap kali dalam 8 saat Langkah seterusnya penghunian dan ramalan aliran.

Seperti yang ditunjukkan dalam gambar:

VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran

Gunakan model VGG-16 standard torchvision sebagai pengekod rasterisasi dan ikuti VectorNet (kod https://github.com/Tsinghua -Pelaksanaan MAR S-Lab/DenseTNT). Input kepada VectorNet terdiri daripada i) set vektor elemen jalan berbentuk B×Nr×9, di mana B ialah saiz kelompok, Nr=10000 ialah bilangan maksimum vektor elemen jalan, dan dimensi terakhir 9 mewakili setiap vektor dan ID vektor Kedudukan (x, y) dan arah (cosθ, sinθ) bagi dua titik akhir; ii) satu set vektor ejen dengan bentuk B×1280×9, termasuk vektor sehingga 128 ejen di tempat kejadian, di mana setiap ejen Dengan 10 vektor dari kedudukan pemerhatian.

Mengikuti VectorNet, mula-mula jalankan peta setempat mengikut ID setiap elemen trafik, dan kemudian jalankan peta global pada semua ciri tempatan untuk mendapatkan ciri vektor bentuk B×128×N, dengan N ialah trafik Jumlah elemen, termasuk elemen laluan dan kecerdasan. Saiz ciri ditambah lagi empat kali melalui lapisan MLP untuk mendapatkan ciri vektor terakhir V, yang bentuknya ialah B × 512 × N, dan saiz cirinya konsisten dengan saiz saluran ciri imej.

Ciri output setiap tahap VGG diwakili sebagai {C1, C2, C3, C4, C5}, berbanding imej input dan 512 dimensi tersembunyi, langkahnya ialah {1, 2, 4, 8 , 16} piksel. Ciri vektor V digabungkan dengan ciri imej raster C5 bentuk B×512×16×16 melalui modul perhatian silang untuk mendapatkan F5 bentuk yang sama. Item pertanyaan perhatian silang ialah ciri imej C5, yang diratakan menjadi bentuk B×512×256 dengan 256 token, dan item Kunci dan Nilai ialah ciri vektor V dengan token N.

Kemudian sambungkan F5 dan C5 pada dimensi saluran, dan lalui dua lapisan konvolusi 3×3 untuk mendapatkan P5 dengan bentuk B×512×16×16. P5 ditingkatkan melalui modul pensampelan 2×2 gaya FPN dan disambungkan kepada C4 (B×512×32x32) untuk menjana U4 dengan bentuk yang sama seperti C4. Satu lagi pusingan gabungan kemudiannya dilakukan antara V dan U4, mengikut prosedur yang sama, termasuk perhatian silang, untuk mendapatkan P4 (B × 512 × 32 × 32). Akhir sekali, P4 ditingkatkan sampel secara beransur-ansur oleh rangkaian gaya FPN dan disambungkan dengan {C3, C2, C1} untuk menjana EP1 dengan bentuk B×512×256×256. Lulus P1 melalui dua lapisan konvolusi 3×3 untuk mendapatkan ciri keluaran akhir dengan bentuk B×128×256.

Penyahkod ialah lapisan konvolusi 2D tunggal dengan saiz saluran input 128 dan saiz saluran output 32 (8 titik laluan × 4 dimensi output).

Keputusannya adalah seperti berikut:

VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran

VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran

Atas ialah kandungan terperinci VectorFlow: Menggabungkan imej dan vektor untuk penghunian trafik dan ramalan aliran. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Repo: Cara menghidupkan semula rakan sepasukan
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Cara mendapatkan biji gergasi
4 minggu yang lalu By 尊渡假赌尊渡假赌尊渡假赌

Alat panas

Notepad++7.3.1

Notepad++7.3.1

Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina

SublimeText3 versi Cina

Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1

Hantar Studio 13.0.1

Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

SublimeText3 versi Mac

SublimeText3 versi Mac

Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Kawalan Apl Pintar pada Windows 11: Cara menghidupkan atau mematikannya Kawalan Apl Pintar pada Windows 11: Cara menghidupkan atau mematikannya Jun 06, 2023 pm 11:10 PM

Kawalan Apl Pintar ialah alat yang sangat berguna dalam Windows 11 yang membantu melindungi PC anda daripada apl tidak dibenarkan yang boleh merosakkan data anda, seperti perisian tebusan atau perisian intip. Artikel ini menerangkan maksud Kawalan Aplikasi Pintar, cara ia berfungsi dan cara menghidupkan atau mematikannya dalam Windows 11. Apakah Kawalan Aplikasi Pintar dalam Windows 11? Kawalan Aplikasi Pintar (SAC) ialah ciri keselamatan baharu yang diperkenalkan dalam kemas kini Windows 1122H2. Ia berfungsi dengan Microsoft Defender atau perisian antivirus pihak ketiga untuk menyekat apl yang mungkin tidak diperlukan yang boleh memperlahankan peranti anda, memaparkan iklan yang tidak dijangka atau melakukan tindakan lain yang tidak dijangka. Aplikasi pintar

Ciri-ciri wajah berterbangan, mulut terbuka, mata terbuka, dan kening terangkat AI boleh menirunya dengan sempurna Penipuan video adalah mustahil untuk dicegah. Ciri-ciri wajah berterbangan, mulut terbuka, mata terbuka, dan kening terangkat AI boleh menirunya dengan sempurna Penipuan video adalah mustahil untuk dicegah. Dec 14, 2023 pm 11:30 PM

Dengan kebolehan tiruan AI yang begitu kuat, ia benar-benar mustahil untuk menghalangnya, sama sekali mustahil untuk menghalangnya. Adakah pembangunan AI mencapai tahap ini sekarang? Kaki hadapan anda membuat ciri-ciri wajah anda terbang, dan pada kaki belakang anda, ekspresi yang sama direproduksi Menatap, mengangkat kening, mencebik, tidak kira betapa berlebihan ekspresi itu, semuanya ditiru dengan sempurna. Tingkatkan kesukaran, angkat kening lebih tinggi, buka mata lebih luas, malah bentuk mulutnya bengkok, dan avatar watak maya dapat menghasilkan semula ekspresi dengan sempurna. Apabila anda melaraskan parameter di sebelah kiri, avatar maya di sebelah kanan juga akan menukar pergerakannya dengan sewajarnya untuk memberikan gambaran dekat mulut dan mata Tiruan itu tidak boleh dikatakan sama, tetapi ungkapan itu betul-betul sama (paling kanan). Penyelidikan ini datang dari institusi seperti Universiti Teknikal Munich, yang mencadangkan GaussianAvatars, yang

Adakah anda tahu bahawa pengaturcara akan merosot dalam beberapa tahun? Adakah anda tahu bahawa pengaturcara akan merosot dalam beberapa tahun? Nov 08, 2023 am 11:17 AM

Majalah "ComputerWorld" pernah menulis artikel yang mengatakan bahawa "pengaturcaraan akan hilang menjelang 1960" kerana IBM membangunkan bahasa baharu FORTRAN, yang membolehkan jurutera menulis formula matematik yang mereka perlukan dan kemudian menyerahkannya kepada komputer, jadi pengaturcaraan tamat. Beberapa tahun kemudian, kami mendengar pepatah baru: mana-mana ahli perniagaan boleh menggunakan istilah perniagaan untuk menerangkan masalah mereka dan memberitahu komputer apa yang perlu dilakukan Menggunakan bahasa pengaturcaraan yang dipanggil COBOL ini, syarikat tidak lagi memerlukan pengaturcara. Kemudian, dikatakan bahawa IBM membangunkan bahasa pengaturcaraan baharu yang dipanggil RPG yang membolehkan pekerja mengisi borang dan menjana laporan, jadi kebanyakan keperluan pengaturcaraan syarikat dapat diselesaikan melaluinya.

MotionLM: Teknologi pemodelan bahasa untuk ramalan gerakan berbilang ejen MotionLM: Teknologi pemodelan bahasa untuk ramalan gerakan berbilang ejen Oct 13, 2023 pm 12:09 PM

Artikel ini dicetak semula dengan kebenaran daripada akaun awam Autonomous Driving Heart. Sila hubungi sumber untuk mencetak semula. Tajuk asal: MotionLM: Multi-Agent Motion Forecasting as Language Modelling Paper pautan: https://arxiv.org/pdf/2309.16534.pdf Gabungan pengarang: Waymo Conference: ICCV2023 Idea kertas: Untuk perancangan keselamatan kenderaan autonomi, ramalkan tingkah laku masa hadapan dengan pasti ejen jalan raya adalah penting. Kajian ini mewakili trajektori berterusan sebagai jujukan token gerakan diskret dan menganggap ramalan gerakan berbilang agen sebagai tugas pemodelan bahasa. Model yang kami cadangkan, MotionLM, mempunyai kelebihan berikut: Pertama

Robot Humanoid Universal Pintar Fourier GR-1 akan memulakan pra-jualan! Robot Humanoid Universal Pintar Fourier GR-1 akan memulakan pra-jualan! Sep 27, 2023 pm 08:41 PM

Robot humanoid, yang berketinggian 1.65 meter, beratnya 55 kilogram dan mempunyai 44 darjah kebebasan dalam badannya, boleh berjalan dengan cepat, mengelak halangan dengan cepat, memanjat cerun naik dan turun secara berterusan, dan menahan hentaman dan gangguan Anda kini boleh membawanya pulang ! Robot humanoid universal Fourier Intelligence GR-1 telah memulakan pra-jualan Dewan Kuliah Robot Robot humanoid universal Fourier GR-1 Fourier Intelligence kini telah dibuka untuk pra-jualan. GR-1 mempunyai konfigurasi batang yang sangat bionik dan kawalan pergerakan antropomorfik Ia mempunyai 44 darjah kebebasan di seluruh badan Ia mempunyai keupayaan untuk berjalan, mengelakkan halangan, memanjat halangan, naik dan turun cerun, menentang gangguan, dan menyesuaikan diri. ke permukaan jalan yang berbeza Ia adalah sistem kecerdasan buatan umum. Halaman pra-jualan tapak web rasmi: www.fftai.cn/order#FourierGR-1# Fourier Intelligence perlu ditulis semula.

Baca casis papan selaju kereta pintar dalam satu artikel Baca casis papan selaju kereta pintar dalam satu artikel May 24, 2023 pm 12:01 PM

01 Apakah itu casis papan selaju? Apa yang dipanggil casis papan selaju menyepadukan bateri, sistem pemacu elektrik, suspensi, brek dan komponen lain pada casis terlebih dahulu untuk mencapai pemisahan dan penyahgandingan badan dan casis. Berdasarkan jenis platform ini, syarikat kereta boleh mengurangkan R&D awal dan kos ujian dengan ketara, sambil bertindak balas dengan pantas kepada permintaan pasaran untuk mencipta model yang berbeza. Lebih-lebih lagi dalam era pemanduan tanpa pemandu, susun atur kereta tidak lagi tertumpu kepada pemanduan, tetapi akan memfokuskan pada atribut ruang Casis jenis papan selaju boleh memberikan lebih banyak kemungkinan untuk pembangunan kabin atas. Seperti yang ditunjukkan dalam gambar di atas, sudah tentu apabila kita melihat casis papan selaju, kita tidak sepatutnya dibingkai oleh kesan pertama "Oh, ia adalah badan yang tidak menanggung beban" apabila kita muncul. Tiada kereta elektrik ketika itu, jadi tiada pek bateri bernilai ratusan kilogram, tiada sistem stereng demi wayar yang boleh menghapuskan tiang stereng, dan tiada sistem brek demi wayar.

Analisis mendalam teknologi casis kawalan wayar untuk kereta bersambung pintar Analisis mendalam teknologi casis kawalan wayar untuk kereta bersambung pintar May 02, 2023 am 11:28 AM

01 Teknologi kawalan-dengan-wayar Teknologi kawalan-dengan-wayar kognitif (XbyWire) menukar tindakan pengendalian pemandu melalui penderia kepada isyarat elektrik untuk mencapai kawalan penghantaran, menggantikan sistem mekanikal tradisional atau sistem hidraulik, dan isyarat elektrik secara langsung mengawal penggerak untuk mencapai kawalan Tujuan dan prinsip asas ditunjukkan dalam Rajah 1. Teknologi ini berasal dari pesawat FlybyWire yang dilancarkan oleh National Aeronautics and Space Administration (NASA) pada tahun 1972. Antaranya, "X" adalah seperti nombor yang tidak diketahui dalam persamaan matematik, mewakili pelbagai komponen dan operasi berkaitan dalam kereta yang dikawal secara tradisional secara mekanikal atau hidraulik. Rajah 1 Prinsip asas teknologi kawalan talian

Huawei akan melancarkan sistem penderiaan Xuanji dalam bidang boleh pakai pintar, yang boleh menilai keadaan emosi pengguna berdasarkan kadar denyutan jantung Huawei akan melancarkan sistem penderiaan Xuanji dalam bidang boleh pakai pintar, yang boleh menilai keadaan emosi pengguna berdasarkan kadar denyutan jantung Aug 29, 2024 pm 03:30 PM

Baru-baru ini, Huawei mengumumkan bahawa ia akan melancarkan produk boleh pakai pintar baharu yang dilengkapi sistem penderiaan Xuanji pada bulan September, yang dijangka menjadi jam tangan pintar terbaru Huawei. Produk baharu ini akan menyepadukan fungsi pemantauan kesihatan emosi termaju Sistem Persepsi Xuanji menyediakan pengguna dengan penilaian kesihatan yang komprehensif dengan enam cirinya - ketepatan, kekomprehensif, kelajuan, fleksibiliti, keterbukaan dan skalabiliti. Sistem ini menggunakan modul penderiaan super dan mengoptimumkan teknologi seni bina laluan optik berbilang saluran, yang meningkatkan ketepatan pemantauan penunjuk asas seperti kadar jantung, oksigen darah dan kadar pernafasan. Selain itu, Sistem Penderiaan Xuanji juga telah mengembangkan penyelidikan mengenai keadaan emosi berdasarkan data kadar jantung Ia tidak terhad kepada penunjuk fisiologi, tetapi juga boleh menilai keadaan emosi dan tahap tekanan pengguna. Ia menyokong pemantauan lebih daripada 60 sukan penunjuk kesihatan, meliputi kardiovaskular, pernafasan, neurologi, endokrin,

See all articles