Table des matières
Pourquoi la simulation d'éclairage de conduite autonome est-elle nécessaire ?
Capacités de simulation.
Résumé et Outlook
Maison Périphériques technologiques IA Réaliste, contrôlable et évolutive, la plateforme de simulation d'éclairage de conduite autonome LightSim vient d'être lancée

Réaliste, contrôlable et évolutive, la plateforme de simulation d'éclairage de conduite autonome LightSim vient d'être lancée

Dec 15, 2023 pm 03:09 PM
模型 训练

Récemment, des chercheurs de Waabi AI, de l'Université de Toronto, de l'Université de Waterloo et du MIT ont proposé une nouvelle plateforme de simulation d'éclairage de conduite autonome LightSim au NeurIPS 2023. Les chercheurs ont proposé une méthode pour générer des données d'entraînement d'éclairage appariées à partir de données réelles, résolvant ainsi les problèmes de données manquantes et de perte de migration de modèle. LightSim utilise des champs de rayonnement neuronal (NeRF) et des réseaux profonds basés sur la physique pour restituer des vidéos de conduite de véhicules, réalisant pour la première fois une simulation d'éclairage de scènes dynamiques sur des données réelles à grande échelle

Réaliste, contrôlable et évolutive, la plateforme de simulation déclairage de conduite autonome LightSim vient dêtre lancée

  • Site Web du projet : https : //waabi .ai/lightsim
  • Lien papier : https://openreview.net/pdf?id=mcx8IGneYw

Pourquoi la simulation d'éclairage de conduite autonome est-elle nécessaire ?

En robotique, la simulation de caméra est très importante, notamment pour que les véhicules autonomes perçoivent les scènes extérieures. Cependant, les systèmes de perception par caméra existants fonctionnent mal lorsqu'ils sont confrontés à des conditions d'éclairage extérieur non adaptées. En utilisant la simulation de caméra pour générer divers ensembles de données sur les changements d'éclairage extérieur, la stabilité du système de conduite autonome peut être améliorée. Les méthodes courantes de simulation de caméra sont généralement basées sur des moteurs physiques. Cette méthode restitue la scène en définissant le modèle 3D et les conditions d'éclairage. Cependant, les effets de simulation manquent souvent de diversité et ne sont pas suffisamment réalistes. De plus, en raison du nombre limité de modèles 3D de haute qualité, les résultats du rendu physique ne correspondent pas exactement aux scènes du monde réel. Cela conduit à une faible capacité de généralisation du modèle formé sur des données réelles.

Une autre méthode est basée sur la méthode de simulation basée sur les données. Cette approche utilise la technologie de rendu neuronal pour reconstruire un jumeau numérique du monde réel afin de reproduire les données observées par les capteurs. De cette façon, nous pouvons créer des scènes avec plus de flexibilité et augmenter le réalisme. Cependant, la technologie actuelle intègre les informations d'éclairage de la scène dans le modèle 3D, ce qui limite l'édition du jumeau numérique, comme la modification des conditions d'éclairage ou l'ajout ou la suppression d'objets. Dans un travail réalisé à NeurIPS 2023, des chercheurs de Waabi AI ont démontré une fonctionnalité. système de simulation d'éclairage LightSim basé sur un moteur physique et un réseau neuronal : Simulation d'éclairage neuronal pour les scènes urbaines.

Contrairement aux travaux précédents, LightSim peut atteindre les points suivants en même temps :

1. Réaliste, contrôlable et évolutive, la plateforme de simulation déclairage de conduite autonome LightSim vient dêtre lancée : Pour la première fois, il peut simuler l'éclairage de scènes dynamiques extérieures à grande échelle et simuler plus précisément les ombres, les effets d'éclairage entre les objets, etc.

2.

Contrôleable

 : prend en charge l'édition de scènes de conduite dynamiques (ajout, suppression d'objets, positions et paramètres de caméra, modification de l'éclairage, génération de scènes critiques pour la sécurité, etc.), générant ainsi des vidéos plus réalistes et cohérentes pour améliorer la robustesse du système à l'éclairage et aux conditions de périphérie. 3.

Évolutif

 : Il est facile de s'étendre à davantage de scénarios et à différents ensembles de données. Il suffit de collecter des données une seule fois (un seul passage) pour reconstruire et effectuer des tests de simulation réels et contrôlables.

Construire un système de simulation

Étape 1 : Construire un jumeau numérique rééclairable dans le monde réelRéaliste, contrôlable et évolutive, la plateforme de simulation déclairage de conduite autonome LightSim vient dêtre lancée

Afin de recréer des scènes de conduite autonome dans le monde numérique, LightSim a d'abord commence à partir de Les données collectées sont divisées en objets dynamiques et scènes statiques. Cette étape utilise UniSim pour reconstruire la scène et supprimer la dépendance à la vue de la caméra dans le réseau. Utilisez ensuite le cube de marche pour obtenir la géométrie, puis convertissez-la en un maillage avec des matériaux de base.

En plus des matériaux et de la géométrie, LightSim peut également estimer l'éclairage extérieur en fonction du soleil et du ciel, les principales sources lumineuses des scènes extérieures de jour, et obtenir une carte d'environnement à plage dynamique élevée (dôme HDR Sky). Grâce aux données des capteurs et à la géométrie extraite, LightSim peut estimer une image panoramique incomplète puis la compléter pour obtenir une vue complète à 360° du ciel. Cette image panoramique et les informations GPS sont ensuite utilisées pour générer une carte de l'environnement HDR qui estime avec précision l'intensité du soleil, la direction du soleil et l'apparence du ciel.

Réaliste, contrôlable et évolutive, la plateforme de simulation déclairage de conduite autonome LightSim vient dêtre lancée


Récapitulatif : La deuxième étape consiste à effectuer une simulation d'éclairage neuronal de scènes urbaines dynamiques

Après avoir obtenu le jumeau numérique, il peut être modifié davantage, par exemple en ajoutant ou en supprimant objets, modifier les trajectoires des véhicules, ou changer l'éclairage, etc., pour générer des représentations en réalité augmentée. LightSim effectuera un rendu basé sur la physique, générant des données liées à l'éclairage pour modifier la scène, telles que la couleur de base, la profondeur, les vecteurs normaux et les ombres. En utilisant ces données liées à l'éclairage et une estimation des conditions d'éclairage source et cible de la scène, le flux de travail LightSim est le suivant.

Réaliste, contrôlable et évolutive, la plateforme de simulation déclairage de conduite autonome LightSim vient dêtre lancée

Bien que les images rendues physiquement soient efficaces pour reconstruire les effets d'éclairage dans une scène, en raison des imperfections de la géométrie et des erreurs de décomposition du matériau/de l'éclairage, les résultats du rendu manquent souvent de réalisme, comme le flou, les réflexions de surface irréalistes. et les artefacts de frontière. Par conséquent, les chercheurs proposent un rendu neuronal différé pour un réalisme amélioré. Ils ont introduit un réseau de synthèse d'images qui génère l'image finale à l'aide d'images sources dans un tampon précalculé et de données liées à l'éclairage générées par le moteur de rendu. Dans le même temps, la méthode décrite dans l'article fournit également au réseau une carte de l'environnement pour améliorer le contexte d'éclairage et génère des images appariées via le jumeau numérique, fournissant ainsi une nouvelle simulation par paire et un schéma de formation de données réelles

Capacités de simulation.

Changement d'éclairage de scène (Scene Relighting)

LightSim peut restituer la même scène de manière cohérente dans le temps dans de nouvelles conditions d'éclairage. Comme le montre la vidéo, la nouvelle position du soleil et l'apparence du ciel modifient les ombres et l'apparence de la scène.

LightSim peut rééclairer automatiquement les scènes par lots. Il peut générer de nouveaux changements d'éclairage 3D, cohérents dans le temps, à partir de cartes d'environnement HDR estimées et réelles identiques à la scène d'origine. La représentation est modifiable et la direction du soleil peut être modifiée, mettant ainsi à jour les changements d'éclairage et les ombres liées. à la direction de la lumière du soleil. En faisant pivoter la carte de l'environnement HDR et en la transmettant au module de rendu neuronal différé, LightSim génère la vidéo suivante

LightSim prend également en charge l'édition par lots des ombres Insertion de caractères prenant en charge l'éclairage

Dans En plus de modifier l'éclairage, LightSim peut également effectuer des ajouts tenant compte de l'éclairage à des objets inhabituels tels que des obstacles architecturaux. Ces objets ajoutés peuvent mettre à jour les ombres d'éclairage de l'objet, occulter avec précision les objets et s'adapter spatialement à l'ensemble de la configuration de la caméra.

Transfert de simulation (généralisation à nuScenes)

Étant donné que le réseau de rendu neuronal différé de LightSim est formé sur plusieurs vidéos de conduite, LightSim peut être généralisé à de nouvelles scènes. La vidéo suivante démontre les capacités de généralisation de LightSim pour piloter des scènes dans nuScenes. LightSim peut créer un jumeau numérique prenant en compte l'éclairage de chaque scène, qui est ensuite appliqué à un modèle de rendu neuronal différé pré-entraîné sur PandaSet. LightSim a de bonnes performances de migration et peut fournir une solution plus robuste pour le rééclairage de scène

Simulation de caméra réelle et contrôlableBasé sur toutes les fonctions présentées ci-dessus, LightSim réalise une simulation de caméra contrôlable, diversifiée et réaliste. La vidéo suivante montre les capacités de simulation de scène de LightSim. Dans la vidéo, une voiture blanche a effectué un changement de voie d'urgence vers la voie SDV, introduisant un nouveau barrage routier, ce qui a fait entrer la voiture blanche dans une scène complètement nouvelle. Les effets générés par LightSim dans diverses conditions d'éclairage dans la nouvelle scène sont les suivants. : .

Dans la vidéo ci-dessous, un nouvel exemple est démontré. De nouveaux obstacles ont été insérés dans les obstacles routiers existants et un nouvel ensemble de véhicules a été ajouté. En utilisant LightSim pour l'éclairage simulé, les véhicules nouvellement ajoutés peuvent être parfaitement intégrés à la scène

Résumé et Outlook

LightSim est une plate-forme de simulation de caméra sensible à l'éclairage qui fournit des services pour traiter des scènes de conduite dynamiques à grande échelle. Il peut créer un jumeau numérique sensible à l'éclairage basé sur des données du monde réel et le modifier pour créer de nouvelles scènes avec différentes dispositions d'objets et perspectives de véhicules autonomes. LightSim est capable de simuler de nouvelles conditions d'éclairage, permettant des simulations de caméra diverses, réalistes et contrôlables pour produire des vidéos cohérentes dans le temps et dans l'espace. Il convient de noter que LightSim peut également être combiné avec le rendu inversé, la simulation météorologique et d'autres technologies pour améliorer encore les performances de simulation

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Où trouver la courte de la grue à atomide atomique
1 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire ! Open source! Au-delà de ZoeDepth ! DepthFM : estimation rapide et précise de la profondeur monoculaire ! Apr 03, 2024 pm 12:04 PM

0. À quoi sert cet article ? Nous proposons DepthFM : un modèle d'estimation de profondeur monoculaire génératif de pointe, polyvalent et rapide. En plus des tâches traditionnelles d'estimation de la profondeur, DepthFM démontre également des capacités de pointe dans les tâches en aval telles que l'inpainting en profondeur. DepthFM est efficace et peut synthétiser des cartes de profondeur en quelques étapes d'inférence. Lisons ce travail ensemble ~ 1. Titre des informations sur l'article : DepthFM : FastMonocularDepthEstimationwithFlowMatching Auteur : MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. Le modèle MoE open source le plus puissant au monde est ici, avec des capacités chinoises comparables à celles du GPT-4, et le prix ne représente que près d'un pour cent de celui du GPT-4-Turbo. May 07, 2024 pm 04:13 PM

Imaginez un modèle d'intelligence artificielle qui non seulement a la capacité de surpasser l'informatique traditionnelle, mais qui permet également d'obtenir des performances plus efficaces à moindre coût. Ce n'est pas de la science-fiction, DeepSeek-V2[1], le modèle MoE open source le plus puissant au monde est ici. DeepSeek-V2 est un puissant mélange de modèle de langage d'experts (MoE) présentant les caractéristiques d'une formation économique et d'une inférence efficace. Il est constitué de 236B paramètres, dont 21B servent à activer chaque marqueur. Par rapport à DeepSeek67B, DeepSeek-V2 offre des performances plus élevées, tout en économisant 42,5 % des coûts de formation, en réduisant le cache KV de 93,3 % et en augmentant le débit de génération maximal à 5,76 fois. DeepSeek est une entreprise explorant l'intelligence artificielle générale

KAN, qui remplace MLP, a été étendu à la convolution par des projets open source KAN, qui remplace MLP, a été étendu à la convolution par des projets open source Jun 01, 2024 pm 10:03 PM

Plus tôt ce mois-ci, des chercheurs du MIT et d'autres institutions ont proposé une alternative très prometteuse au MLP – KAN. KAN surpasse MLP en termes de précision et d’interprétabilité. Et il peut surpasser le MLP fonctionnant avec un plus grand nombre de paramètres avec un très petit nombre de paramètres. Par exemple, les auteurs ont déclaré avoir utilisé KAN pour reproduire les résultats de DeepMind avec un réseau plus petit et un degré d'automatisation plus élevé. Plus précisément, le MLP de DeepMind compte environ 300 000 paramètres, tandis que le KAN n'en compte qu'environ 200. KAN a une base mathématique solide comme MLP est basé sur le théorème d'approximation universelle, tandis que KAN est basé sur le théorème de représentation de Kolmogorov-Arnold. Comme le montre la figure ci-dessous, KAN a

Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Bonjour, Atlas électrique ! Le robot Boston Dynamics revient à la vie, des mouvements étranges à 180 degrés effraient Musk Apr 18, 2024 pm 07:58 PM

Boston Dynamics Atlas entre officiellement dans l’ère des robots électriques ! Hier, l'Atlas hydraulique s'est retiré "en larmes" de la scène de l'histoire. Aujourd'hui, Boston Dynamics a annoncé que l'Atlas électrique était au travail. Il semble que dans le domaine des robots humanoïdes commerciaux, Boston Dynamics soit déterminé à concurrencer Tesla. Après la sortie de la nouvelle vidéo, elle a déjà été visionnée par plus d’un million de personnes en seulement dix heures. Les personnes âgées partent et de nouveaux rôles apparaissent. C'est une nécessité historique. Il ne fait aucun doute que cette année est l’année explosive des robots humanoïdes. Les internautes ont commenté : Les progrès des robots ont fait ressembler la cérémonie d'ouverture de cette année à des êtres humains, et le degré de liberté est bien plus grand que celui des humains. Mais n'est-ce vraiment pas un film d'horreur ? Au début de la vidéo, Atlas est allongé calmement sur le sol, apparemment sur le dos. Ce qui suit est à couper le souffle

L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao L'IA bouleverse la recherche mathématique ! Le lauréat de la médaille Fields et mathématicien sino-américain a dirigé 11 articles les mieux classés | Aimé par Terence Tao Apr 09, 2024 am 11:52 AM

L’IA change effectivement les mathématiques. Récemment, Tao Zhexuan, qui a prêté une attention particulière à cette question, a transmis le dernier numéro du « Bulletin de l'American Mathematical Society » (Bulletin de l'American Mathematical Society). En se concentrant sur le thème « Les machines changeront-elles les mathématiques ? », de nombreux mathématiciens ont exprimé leurs opinions. L'ensemble du processus a été plein d'étincelles, intense et passionnant. L'auteur dispose d'une équipe solide, comprenant Akshay Venkatesh, lauréat de la médaille Fields, le mathématicien chinois Zheng Lejun, l'informaticien de l'Université de New York Ernest Davis et de nombreux autres universitaires bien connus du secteur. Le monde de l’IA a radicalement changé. Vous savez, bon nombre de ces articles ont été soumis il y a un an.

La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données. La vitalité de la super intelligence s'éveille ! Mais avec l'arrivée de l'IA qui se met à jour automatiquement, les mères n'ont plus à se soucier des goulots d'étranglement des données. Apr 29, 2024 pm 06:55 PM

Je pleure à mort. Le monde construit à la folie de grands modèles. Les données sur Internet ne suffisent pas du tout. Le modèle de formation ressemble à « The Hunger Games », et les chercheurs en IA du monde entier se demandent comment nourrir ces personnes avides de données. Ce problème est particulièrement important dans les tâches multimodales. À une époque où rien ne pouvait être fait, une équipe de start-up du département de l'Université Renmin de Chine a utilisé son propre nouveau modèle pour devenir la première en Chine à faire de « l'auto-alimentation des données générées par le modèle » une réalité. De plus, il s’agit d’une approche à deux volets, du côté compréhension et du côté génération, les deux côtés peuvent générer de nouvelles données multimodales de haute qualité et fournir un retour de données au modèle lui-même. Qu'est-ce qu'un modèle ? Awaker 1.0, un grand modèle multimodal qui vient d'apparaître sur le Forum Zhongguancun. Qui est l'équipe ? Moteur Sophon. Fondé par Gao Yizhao, doctorant à la Hillhouse School of Artificial Intelligence de l’Université Renmin.

L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois. L'US Air Force présente son premier avion de combat IA de grande envergure ! Le ministre a personnellement effectué l'essai routier sans intervenir pendant tout le processus, et 100 000 lignes de code ont été testées 21 fois. May 07, 2024 pm 05:00 PM

Récemment, le milieu militaire a été submergé par la nouvelle : les avions de combat militaires américains peuvent désormais mener des combats aériens entièrement automatiques grâce à l'IA. Oui, tout récemment, l’avion de combat IA de l’armée américaine a été rendu public pour la première fois, dévoilant ainsi son mystère. Le nom complet de ce chasseur est Variable Stability Simulator Test Aircraft (VISTA). Il a été personnellement piloté par le secrétaire de l'US Air Force pour simuler une bataille aérienne en tête-à-tête. Le 2 mai, le secrétaire de l'US Air Force, Frank Kendall, a décollé à bord d'un X-62AVISTA à la base aérienne d'Edwards. Notez que pendant le vol d'une heure, toutes les actions de vol ont été effectuées de manière autonome par l'IA ! Kendall a déclaré : "Au cours des dernières décennies, nous avons réfléchi au potentiel illimité du combat air-air autonome, mais cela a toujours semblé hors de portée." Mais maintenant,

La version Kuaishou de Sora 'Ke Ling' est ouverte aux tests : génère plus de 120 s de vidéo, comprend mieux la physique et peut modéliser avec précision des mouvements complexes La version Kuaishou de Sora 'Ke Ling' est ouverte aux tests : génère plus de 120 s de vidéo, comprend mieux la physique et peut modéliser avec précision des mouvements complexes Jun 11, 2024 am 09:51 AM

Quoi? Zootopie est-elle concrétisée par l’IA domestique ? Avec la vidéo est exposé un nouveau modèle de génération vidéo domestique à grande échelle appelé « Keling ». Sora utilise une voie technique similaire et combine un certain nombre d'innovations technologiques auto-développées pour produire des vidéos qui comportent non seulement des mouvements larges et raisonnables, mais qui simulent également les caractéristiques du monde physique et possèdent de fortes capacités de combinaison conceptuelle et d'imagination. Selon les données, Keling prend en charge la génération de vidéos ultra-longues allant jusqu'à 2 minutes à 30 ips, avec des résolutions allant jusqu'à 1080p, et prend en charge plusieurs formats d'image. Un autre point important est que Keling n'est pas une démo ou une démonstration de résultats vidéo publiée par le laboratoire, mais une application au niveau produit lancée par Kuaishou, un acteur leader dans le domaine de la vidéo courte. De plus, l'objectif principal est d'être pragmatique, de ne pas faire de chèques en blanc et de se mettre en ligne dès sa sortie. Le grand modèle de Ke Ling est déjà sorti à Kuaiying.

See all articles