Model dunia bersinar! Realisme 20+ data senario pemanduan autonomi ini adalah luar biasa...

Adakah anda fikir ini adalah video memandu sendiri yang membosankan?

Maksud asal kandungan ini tidak perlu diubah, ia perlu ditulis semula ke dalam bahasa Cina

Tiada satu bingkai pun "nyata".

Keadaan jalan yang berbeza, keadaan cuaca yang berbeza, lebih daripada 20 situasi boleh disimulasikan, dan kesannya sama seperti yang sebenar.

Model dunia sekali lagi menunjukkan kesannya yang hebat! Kali ini, LeCun dengan teruja memajukannya selepas melihatnya

Kesan di atas dibawakan oleh versi terbaru GAIA-1.

Ia mempunyai skala 9 bilion parameter, dan dilatih dengan 4700 jammemandu video untuk mencapai kesan menjana video memandu sendiri dengan memasukkan video, teks atau operasi.

Faedah paling langsung ialah keupayaan untuk meramalkan peristiwa masa depan dengan lebih baik. Ia boleh mensimulasikan lebih daripada 20 senario, dengan itu meningkatkan lagi keselamatan pemanduan autonomi dan mengurangkan kos

Pasukan kreatif berkata bahawa ini akan mengubah peraturan permainan untuk pemanduan autonomi!

Bagaimana GAIA-1 dilaksanakan? Malah, sebelum ini kami telah memperkenalkan secara terperinci GAIA-1 yang dibangunkan oleh pasukan Wayve dalam Autonomous Driving Daily: model dunia generatif untuk pemanduan autonomi. Jika anda berminat dengan ini, anda boleh pergi ke akaun rasmi kami untuk membaca kandungan yang berkaitan!

Semakin besar skala, semakin baik kesannya

GAIA-1 ialah model dunia generatif pelbagai mod yang boleh memahami dan menjana ekspresi dunia dengan menyepadukan pelbagai modaliti deria seperti penglihatan, pendengaran dan bahasa. Model ini menggunakan algoritma pembelajaran mendalam untuk mempelajari dan menaakul tentang struktur dan undang-undang dunia daripada sejumlah besar data. Matlamat GAIA-1 adalah untuk mensimulasikan persepsi manusia dan kebolehan kognitif untuk lebih memahami dan berinteraksi dengan dunia. Ia mempunyai aplikasi yang luas dalam banyak bidang, termasuk pemanduan autonomi, robotik dan realiti maya. Melalui latihan dan pengoptimuman berterusan, GAIA-1 akan terus berkembang dan bertambah baik, menjadi model dunia yang lebih pintar dan komprehensif

Ia menggunakan video, teks dan tindakan sebagai input dan menjana video adegan pemanduan yang realistik, sambil mendayakan tingkah laku dan adegan kenderaan pemanduan autonomi ciri dikawal dengan baik

dan video boleh dijana hanya dengan gesaan teks.

Prinsip model adalah serupa dengan prinsip model bahasa besar, iaitu meramalkan token seterusnya

Model boleh menggunakan perwakilan pengkuantitian vektor kepada bingkai video diskret, dan kemudian meramalkan adegan masa hadapan, yang ditukar kepada ramalan seterusnya dalam token urutan. Model resapan kemudiannya digunakan untuk menjana video berkualiti tinggi daripada ruang bahasa model dunia.

Langkah-langkah khusus adalah seperti berikut:

Langkah pertama mudah difahami, iaitu mengekod semula dan menyusun serta menggabungkan pelbagai input.

Input yang berbeza boleh ditayangkan ke dalam perwakilan bersama dengan menggunakan pengekod khusus untuk mengekod pelbagai input. Pengekod teks dan video mengasingkan dan membenamkan input, manakala perwakilan operasi diunjurkan secara individu menjadi perwakilan dikongsi

Perwakilan yang dikodkan ini konsisten secara sementara

Selepas pilih atur, bahagian utama Model Dunia muncul di atas pentas.

Sebagai Transformer autoregresif, ia mempunyai keupayaan untuk meramalkan set token imej seterusnya dalam jujukan. Ia bukan sahaja mempertimbangkan token imej terdahulu, tetapi juga mempertimbangkan maklumat kontekstual teks dan tindakan secara serentak

Kandungan yang dihasilkan oleh model bukan sahaja mengekalkan konsistensi dengan imej, tetapi juga dengan teks dan tindakan yang diramalkan

Pengenalan pasukan, GAIA Saiz daripada model dunia dalam -1 ialah 6.5 bilion parameter, yang dilatih pada 64 A100 selama 15 hari.

Dengan menggunakan penyahkod video dan model penyebaran video, token ini akhirnya ditukar kembali kepada video

Langkah ini adalah mengenai kualiti semantik, ketepatan imej dan ketekalan temporal video.

Penyahkod video GAIA-1 mempunyai skala 2.6 bilion parameter dan telah dilatih menggunakan 32 A100 selama 15 hari.

Perlu dinyatakan bahawa GAIA-1 bukan sahaja serupa pada prinsipnya dengan model bahasa besar, tetapi juga menunjukkan ciri-ciri apabila skala model berkembang, kualiti penjanaan bertambah baik.

Pasukan membandingkan versi awal yang dikeluarkan pada bulan Jun sebelum ini dengan kesan terkini

Yang terakhir adalah 480 kali lebih besar daripada yang pertama.

Anda boleh melihat secara intuitif bahawa butiran dan peleraian video telah dipertingkatkan dengan ketara.

Dari segi aplikasi praktikal, GAIA-1 juga telah memberi kesan kepada pasukan kreatifnya bahawa ini akan mengubah peraturan pemanduan autonomi.

Sebabnya datang dari tiga aspek:

• Keselamatan
• Data latihan yang komprehensif
• Senario ekor panjang

Pertama sekali, dunia masa depan dan boleh memberi simulasi kepada model AI untuk merealisasikan keputusannya sendiri, yang sangat penting untuk Keselamatan pemanduan autonomi adalah kritikal.

Kedua, data latihan juga sangat kritikal untuk pemanduan autonomi. Data yang dijana lebih selamat, lebih murah dan berskala tidak terhingga.

AI Generatif boleh menyelesaikan cabaran utama yang dihadapi oleh pemanduan autonomi - senario ekor panjang. Ia boleh mengendalikan lebih banyak kes tepi, seperti berhadapan dengan pejalan kaki yang melintas jalan dalam cuaca berkabus. Ini akan meningkatkan lagi prestasi pemanduan autonomi

Siapakah Wayve?

GAIA-1 berasal dari permulaan pemanduan autonomi British Wayve.

Wayve diasaskan pada 2017. Pelabur termasuk Microsoftdsb., dan penilaiannya telah mencapai Unicorn.

Pengasasnya ialah CEO semasa Alex Kendall dan Amar Shah (halaman kepimpinan laman web rasmi syarikat itu tidak lagi mempunyai maklumat, kedua-duanya lulus dari Universiti Cambridge dan mempunyai ijazah kedoktoran dalam pembelajaran mesin

Pada peta jalan teknikal). , seperti Tesla, Wayve menyokong penyelesaian visual semata-mata menggunakan kamera, meninggalkan peta berketepatan tinggi sangat awal dan dengan tegas mengikuti laluan "persepsi segera".

Tidak lama dahulu, sebuah lagi model besar LINGO-1 yang dikeluarkan oleh pasukan turut menimbulkan sensasi.

Model pandu kendiri ini boleh menjana penjelasan dalam masa nyata semasa pemanduan, sekali gus meningkatkan lagi kebolehtafsiran model

Pada bulan Mac tahun ini, Bill Gates turut memandu uji dalam kereta pandu sendiri Wayve.

Alamat kertas: https://arxiv.org/abs/2309.17080

Kandungan yang perlu ditulis semula ialah: Pautan asal: //qmp.weix: com/ s/bwTDovx9-UArk5lx5pZPag

Atas ialah kandungan terperinci Model dunia bersinar! Realisme 20+ data senario pemanduan autonomi ini adalah luar biasa.... Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!