Table des matières
RawNeRF dans la nuit noire
Cinq scènes classiques
Avantages de RAW
Commentaires des internautes
Maison Périphériques technologiques IA L'incroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

L'incroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Apr 13, 2023 pm 04:16 PM
谷歌 3d

Récemment, une vidéo de tournage d'une scène nocturne IA de Google est devenue virale !

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

La technologie présentée dans la vidéo s'appelle RawNeRF et, comme son nom l'indique, il s'agit d'une nouvelle variante de NeRF.

NeRF est un réseau neuronal entièrement connecté qui utilise les informations d'image 2D comme données d'entraînement pour restaurer des scènes 3D.

RawNeRF présente de nombreuses améliorations par rapport au NeRF précédent. Non seulement il réduit parfaitement le bruit, mais il modifie également la perspective de la caméra et ajuste la mise au point, l'exposition et le mappage des tons. Cet article de Google a été publié en novembre 2021 et inclus dans le CVPR 2022.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Adresse du projet : https://bmild.github.io/rawnerf/

RawNeRF dans la nuit noire

Auparavant, NeRF était une image LDR à faible plage dynamique utilisant le mappage de tons comme entrée .

RawNeRF de Google s'entraîne directement sur des images brutes linéaires, ce qui peut préserver toute la plage dynamique de la scène.

Dans le domaine des vues composites, gérer des photos sombres a toujours été un problème.

Parce que dans ce cas, il y a un minimum de détails dans l'image. Et ces images rendent difficile l’assemblage de nouvelles vues.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Heureusement, nous avons une nouvelle solution : utiliser les données brutes des capteurs.

C'est une photo comme celle-ci, donc nous avons plus de détails.

Cependant, il reste un problème : il y a trop de bruit.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Il faut donc faire un choix : moins de détails et moins de bruit, ou plus de détails et plus de bruit.

La bonne nouvelle est que nous pouvons utiliser la technologie de réduction du bruit de l'image.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Vous pouvez voir que l'effet d'image après réduction du bruit est bon, mais pour les vues composites, cette qualité n'est toujours pas suffisante.

Cependant, la technologie de débruitage d'images nous donne une idée : puisque nous pouvons débruiter une seule image, nous pouvons également débruiter un groupe d'images.

Jetons un coup d'œil à l'effet de RawNeRF.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Et il possède des fonctionnalités encore plus étonnantes : le mappage tonal des données sous-jacentes pour extraire plus de détails des images sombres.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Par exemple, changez la mise au point de l'image pour créer un grand effet de profondeur de champ.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Ce qui est encore plus étonnant, c'est que c'est en temps réel.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

De plus, l'exposition de l'image changera également en conséquence à mesure que la mise au point change !

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Ensuite, jetons un coup d'œil à cinq scénarios d'application classiques de RawNeRF.

Cinq scènes classiques

1. Clarté de l'image

En regardant cette image, pouvez-vous voir les informations sur le panneau de signalisation ?

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Vous pouvez constater qu'après le traitement RawNeRF, les informations sur les panneaux routiers sont beaucoup plus claires.

Dans l'animation suivante, nous pouvons clairement voir la différence de synthèse d'image entre la technologie NeRF originale et RawNeRF.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

En fait, ce qu'on appelle le NeRF n'est pas une technologie si ancienne, cela ne fait que 2 ans...

On peut voir que RawNeRF fonctionne toujours très bien dans le traitement des hautes lumières Oui. , on peut même voir le changement de surbrillance autour de la plaque d'immatriculation dans le coin inférieur droit.

2. Faits saillants spéculaires

Les reflets spéculaires sont des objets très difficiles à capturer car ils changent beaucoup lorsque vous déplacez l'appareil photo et la distance relative entre les photos est également relativement grande. Ces facteurs constituent d’énormes défis pour les algorithmes d’apprentissage.
Comme vous pouvez le voir sur l'image ci-dessous, on peut dire que la surbrillance spéculaire générée par RawNeRF est assez restaurée.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

3. Structure fine

Même dans un scénario bien éclairé, la technologie précédente n'affichait pas bien la clôture.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Et RawNeRF peut gérer les photos de nuit avec un tas de clôtures, et il peut tenir le coup.

Même là où la clôture chevauche la plaque d'immatriculation, l'effet est toujours très bon.

L'incroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

4. Réflexion spéculaire

La réflexion sur la route est un point culminant spéculaire plus stimulant. Comme vous pouvez le constater, RawNeRF le gère également de manière très naturelle et réaliste.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

5. Changez la mise au point, ajustez l'exposition

Dans cette scène, essayons de changer la perspective, de changer constamment la mise au point et d'ajuster l'exposition en même temps.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Dans le passé, pour accomplir ces tâches, nous avions besoin d'une collection de 25 à 200 photos.

Maintenant, il ne nous faut plus que quelques secondes pour terminer le tournage.

Bien sûr, RawNeRF n'est pas parfait maintenant. Nous pouvons voir qu'il existe encore quelques différences entre l'image RawNeRF de gauche et la vraie photo de droite.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Cependant, RAWnerf a fait des progrès considérables depuis un ensemble d'images originales pleines de bruit jusqu'à l'effet actuel. Vous savez, il y a deux ans, la technologie était totalement incapable de faire cela.

Avantages de RAW

Pour résumer brièvement, le pipeline de formation NeRF reçoit des images LDR traitées par la caméra, et la reconstruction de scène et le rendu de vue ultérieurs sont basés sur l'espace colorimétrique LDR. Par conséquent, la sortie de NeRF a en fait été post-traitée et il est impossible de la modifier et de l'éditer de manière significative.

En revanche, RawNeRF est formé directement sur les données d'entrée HDR brutes linéaires. Le rendu obtenu peut être modifié comme n'importe quelle photo originale, en modifiant la mise au point et l'exposition, etc.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Les principaux avantages apportés par cela sont deux points : la synthèse de vue HDR et le traitement de réduction du bruit.

Dans les scènes présentant des changements extrêmes de luminosité, une vitesse d'obturation fixe ne suffit pas pour capturer toute la plage dynamique. Le modèle RawNeRF peut optimiser simultanément les expositions courtes et longues pour restaurer la plage dynamique complète.

Par exemple, la scène à grand rapport de lumière en (b) nécessite un algorithme de mappage de tons local plus complexe (tel que HDR + post-traitement) pour préserver les détails des parties sombres et des hautes lumières extérieures en même temps.

De plus, RawNeRF peut restituer des effets de défocalisation synthétiques avec des reflets « flous » correctement saturés en utilisant une couleur linéaire.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

En termes de traitement du bruit d'image, l'auteur a entraîné RawNeRF sur des images originales linéaires HDR entièrement non traitées, le transformant en un algorithme capable de gérer des dizaines, voire des centaines d'images d'entrée.

Cette robustesse signifie que RawNeRF peut parfaitement accomplir la tâche de reconstruction de scènes dans l'obscurité.

Par exemple, dans (a) cette scène nocturne éclairée par une seule bougie, RawNeRF peut extraire des détails des données brutes bruyantes qui seraient autrement détruites par le post-traitement (b, c).

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Introduction à l'auteur

Le premier auteur de l'article, Ben Mildenhall, est un chercheur scientifique chez Google Research, engagé dans les problèmes de vision par ordinateur et de graphisme.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Il a obtenu une licence en informatique et en mathématiques de l'Université de Stanford en 2015, et un doctorat en informatique de l'Université de Californie à Berkeley en 2020.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Le CVPR 2022 qui vient de se terminer peut être considéré comme le moment fort de Ben.

5 des 7 communications acceptées ont remporté l'Oral, et une a remporté la mention honorable pour la meilleure communication étudiante.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Commentaires des internautes

Dès que la vidéo est sortie, elle a immédiatement étonné tous les internautes. Amusons-nous tous ensemble.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Au vu de la vitesse des progrès technologiques, il ne faudra pas longtemps avant que vous n'ayez plus à vous soucier de prendre des photos de nuit~

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

Video Face Swap

Video Face Swap

Échangez les visages dans n'importe quelle vidéo sans effort grâce à notre outil d'échange de visage AI entièrement gratuit !

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Sesame Open Door Exchange Page d'enregistrement de page Enregistrement Gate Trading App The Registration Site Web Sesame Open Door Exchange Page d'enregistrement de page Enregistrement Gate Trading App The Registration Site Web Feb 28, 2025 am 11:06 AM

Cet article présente le processus d'enregistrement de la version Web de Sesame Open Exchange (GATE.IO) et l'application Gate Trading en détail. Qu'il s'agisse de l'enregistrement Web ou de l'enregistrement de l'application, vous devez visiter le site Web officiel ou l'App Store pour télécharger l'application authentique, puis remplir le nom d'utilisateur, le mot de passe, l'e-mail, le numéro de téléphone mobile et d'autres informations et terminer la vérification des e-mails ou du téléphone mobile.

Pourquoi le lien d'échange de Bybit ne peut-il pas être téléchargé directement et installé? Pourquoi le lien d'échange de Bybit ne peut-il pas être téléchargé directement et installé? Feb 21, 2025 pm 10:57 PM

Pourquoi le lien d'échange de Bybit ne peut-il pas être téléchargé directement et installé? Bybit est un échange de crypto-monnaie qui fournit des services de trading aux utilisateurs. Les applications mobiles de l'échange ne peuvent pas être téléchargées directement via AppStore ou GooglePlay pour les raisons suivantes: 1. La politique de l'App Store empêche Apple et Google d'avoir des exigences strictes sur les types d'applications autorisées dans l'App Store. Les demandes d'échange de crypto-monnaie ne répondent souvent pas à ces exigences car elles impliquent des services financiers et nécessitent des réglementations et des normes de sécurité spécifiques. 2. Conformité des lois et réglementations Dans de nombreux pays, les activités liées aux transactions de crypto-monnaie sont réglementées ou restreintes. Pour se conformer à ces réglementations, l'application ByBit ne peut être utilisée que via des sites Web officiels ou d'autres canaux autorisés

Sesame Open Door Exchange Page Web Login Dernière version GATEIO Entrée du site officiel Sesame Open Door Exchange Page Web Login Dernière version GATEIO Entrée du site officiel Mar 04, 2025 pm 11:48 PM

Une introduction détaillée à l'opération de connexion de la version Web Sesame Open Exchange, y compris les étapes de connexion et le processus de récupération de mot de passe.

Top 10 recommandé pour l'application de trading d'actifs numériques crypto (2025 Global Ranking) Top 10 recommandé pour l'application de trading d'actifs numériques crypto (2025 Global Ranking) Mar 18, 2025 pm 12:15 PM

Cet article recommande les dix principales plates-formes de trading de crypto-monnaie qui méritent d'être prêtées, notamment Binance, Okx, Gate.io, Bitflyer, Kucoin, Bybit, Coinbase Pro, Kraken, Bydfi et Xbit décentralisées. Ces plateformes ont leurs propres avantages en termes de quantité de devises de transaction, de type de transaction, de sécurité, de conformité et de fonctionnalités spéciales. Le choix d'une plate-forme appropriée nécessite une considération complète en fonction de votre propre expérience de trading, de votre tolérance au risque et de vos préférences d'investissement. J'espère que cet article vous aide à trouver le meilleur costume pour vous-même

Sesame Open Door Trading Platform Download Version mobile Gateio Trading Plateforme de téléchargement Adresse de téléchargement Sesame Open Door Trading Platform Download Version mobile Gateio Trading Plateforme de téléchargement Adresse de téléchargement Feb 28, 2025 am 10:51 AM

Il est crucial de choisir un canal formel pour télécharger l'application et d'assurer la sécurité de votre compte.

Binance Binance Site officiel Dernière version Portail de connexion Binance Binance Site officiel Dernière version Portail de connexion Feb 21, 2025 pm 05:42 PM

Pour accéder à la dernière version du portail de connexion du site Web de Binance, suivez simplement ces étapes simples. Accédez au site officiel et cliquez sur le bouton "Connectez-vous" dans le coin supérieur droit. Sélectionnez votre méthode de connexion existante. Entrez votre numéro de mobile ou votre mot de passe enregistré et votre mot de passe et complétez l'authentification (telles que le code de vérification mobile ou Google Authenticator). Après une vérification réussie, vous pouvez accéder à la dernière version du portail de connexion du site Web officiel de Binance.

Bitget Trading Plateforme Adresse de téléchargement et d'installation de l'application officielle Bitget Trading Plateforme Adresse de téléchargement et d'installation de l'application officielle Feb 25, 2025 pm 02:42 PM

Ce guide fournit des étapes de téléchargement et d'installation détaillées pour l'application officielle Bitget Exchange, adaptée aux systèmes Android et iOS. Le guide intègre les informations de plusieurs sources faisant autorité, y compris le site officiel, l'App Store et Google Play, et met l'accent sur les considérations pendant le téléchargement et la gestion des comptes. Les utilisateurs peuvent télécharger l'application à partir des chaînes officielles, y compris l'App Store, le téléchargement officiel du site Web APK et le saut de site Web officiel, ainsi que des paramètres d'enregistrement, de vérification d'identité et de sécurité. De plus, le guide couvre les questions et considérations fréquemment posées, telles que

La dernière adresse de téléchargement de Bitget en 2025: étapes pour obtenir l'application officielle La dernière adresse de téléchargement de Bitget en 2025: étapes pour obtenir l'application officielle Feb 25, 2025 pm 02:54 PM

Ce guide fournit des étapes de téléchargement et d'installation détaillées pour l'application officielle Bitget Exchange, adaptée aux systèmes Android et iOS. Le guide intègre les informations de plusieurs sources faisant autorité, y compris le site officiel, l'App Store et Google Play, et met l'accent sur les considérations pendant le téléchargement et la gestion des comptes. Les utilisateurs peuvent télécharger l'application à partir des chaînes officielles, y compris l'App Store, le téléchargement officiel du site Web APK et le saut de site Web officiel, ainsi que des paramètres d'enregistrement, de vérification d'identité et de sécurité. De plus, le guide couvre les questions et considérations fréquemment posées, telles que

See all articles