Table des matières
RawNeRF dans la nuit noire
Cinq scènes classiques
Avantages de RAW
Commentaires des internautes
Maison Périphériques technologiques IA L'incroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

L'incroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Apr 13, 2023 pm 04:16 PM
谷歌 3d

Récemment, une vidéo de tournage d'une scène nocturne IA de Google est devenue virale !

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

La technologie présentée dans la vidéo s'appelle RawNeRF et, comme son nom l'indique, il s'agit d'une nouvelle variante de NeRF.

NeRF est un réseau neuronal entièrement connecté qui utilise les informations d'image 2D comme données d'entraînement pour restaurer des scènes 3D.

RawNeRF présente de nombreuses améliorations par rapport au NeRF précédent. Non seulement il réduit parfaitement le bruit, mais il modifie également la perspective de la caméra et ajuste la mise au point, l'exposition et le mappage des tons. Cet article de Google a été publié en novembre 2021 et inclus dans le CVPR 2022.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Adresse du projet : https://bmild.github.io/rawnerf/

RawNeRF dans la nuit noire

Auparavant, NeRF était une image LDR à faible plage dynamique utilisant le mappage de tons comme entrée .

RawNeRF de Google s'entraîne directement sur des images brutes linéaires, ce qui peut préserver toute la plage dynamique de la scène.

Dans le domaine des vues composites, gérer des photos sombres a toujours été un problème.

Parce que dans ce cas, il y a un minimum de détails dans l'image. Et ces images rendent difficile l’assemblage de nouvelles vues.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Heureusement, nous avons une nouvelle solution : utiliser les données brutes des capteurs.

C'est une photo comme celle-ci, donc nous avons plus de détails.

Cependant, il reste un problème : il y a trop de bruit.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Il faut donc faire un choix : moins de détails et moins de bruit, ou plus de détails et plus de bruit.

La bonne nouvelle est que nous pouvons utiliser la technologie de réduction du bruit de l'image.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Vous pouvez voir que l'effet d'image après réduction du bruit est bon, mais pour les vues composites, cette qualité n'est toujours pas suffisante.

Cependant, la technologie de débruitage d'images nous donne une idée : puisque nous pouvons débruiter une seule image, nous pouvons également débruiter un groupe d'images.

Jetons un coup d'œil à l'effet de RawNeRF.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Et il possède des fonctionnalités encore plus étonnantes : le mappage tonal des données sous-jacentes pour extraire plus de détails des images sombres.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Par exemple, changez la mise au point de l'image pour créer un grand effet de profondeur de champ.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Ce qui est encore plus étonnant, c'est que c'est en temps réel.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

De plus, l'exposition de l'image changera également en conséquence à mesure que la mise au point change !

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Ensuite, jetons un coup d'œil à cinq scénarios d'application classiques de RawNeRF.

Cinq scènes classiques

1. Clarté de l'image

En regardant cette image, pouvez-vous voir les informations sur le panneau de signalisation ?

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Vous pouvez constater qu'après le traitement RawNeRF, les informations sur les panneaux routiers sont beaucoup plus claires.

Dans l'animation suivante, nous pouvons clairement voir la différence de synthèse d'image entre la technologie NeRF originale et RawNeRF.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

En fait, ce qu'on appelle le NeRF n'est pas une technologie si ancienne, cela ne fait que 2 ans...

On peut voir que RawNeRF fonctionne toujours très bien dans le traitement des hautes lumières Oui. , on peut même voir le changement de surbrillance autour de la plaque d'immatriculation dans le coin inférieur droit.

2. Faits saillants spéculaires

Les reflets spéculaires sont des objets très difficiles à capturer car ils changent beaucoup lorsque vous déplacez l'appareil photo et la distance relative entre les photos est également relativement grande. Ces facteurs constituent d’énormes défis pour les algorithmes d’apprentissage.
Comme vous pouvez le voir sur l'image ci-dessous, on peut dire que la surbrillance spéculaire générée par RawNeRF est assez restaurée.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

3. Structure fine

Même dans un scénario bien éclairé, la technologie précédente n'affichait pas bien la clôture.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Et RawNeRF peut gérer les photos de nuit avec un tas de clôtures, et il peut tenir le coup.

Même là où la clôture chevauche la plaque d'immatriculation, l'effet est toujours très bon.

L'incroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

4. Réflexion spéculaire

La réflexion sur la route est un point culminant spéculaire plus stimulant. Comme vous pouvez le constater, RawNeRF le gère également de manière très naturelle et réaliste.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

5. Changez la mise au point, ajustez l'exposition

Dans cette scène, essayons de changer la perspective, de changer constamment la mise au point et d'ajuster l'exposition en même temps.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Dans le passé, pour accomplir ces tâches, nous avions besoin d'une collection de 25 à 200 photos.

Maintenant, il ne nous faut plus que quelques secondes pour terminer le tournage.

Bien sûr, RawNeRF n'est pas parfait maintenant. Nous pouvons voir qu'il existe encore quelques différences entre l'image RawNeRF de gauche et la vraie photo de droite.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Cependant, RAWnerf a fait des progrès considérables depuis un ensemble d'images originales pleines de bruit jusqu'à l'effet actuel. Vous savez, il y a deux ans, la technologie était totalement incapable de faire cela.

Avantages de RAW

Pour résumer brièvement, le pipeline de formation NeRF reçoit des images LDR traitées par la caméra, et la reconstruction de scène et le rendu de vue ultérieurs sont basés sur l'espace colorimétrique LDR. Par conséquent, la sortie de NeRF a en fait été post-traitée et il est impossible de la modifier et de l'éditer de manière significative.

En revanche, RawNeRF est formé directement sur les données d'entrée HDR brutes linéaires. Le rendu obtenu peut être modifié comme n'importe quelle photo originale, en modifiant la mise au point et l'exposition, etc.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Les principaux avantages apportés par cela sont deux points : la synthèse de vue HDR et le traitement de réduction du bruit.

Dans les scènes présentant des changements extrêmes de luminosité, une vitesse d'obturation fixe ne suffit pas pour capturer toute la plage dynamique. Le modèle RawNeRF peut optimiser simultanément les expositions courtes et longues pour restaurer la plage dynamique complète.

Par exemple, la scène à grand rapport de lumière en (b) nécessite un algorithme de mappage de tons local plus complexe (tel que HDR + post-traitement) pour préserver les détails des parties sombres et des hautes lumières extérieures en même temps.

De plus, RawNeRF peut restituer des effets de défocalisation synthétiques avec des reflets « flous » correctement saturés en utilisant une couleur linéaire.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

En termes de traitement du bruit d'image, l'auteur a entraîné RawNeRF sur des images originales linéaires HDR entièrement non traitées, le transformant en un algorithme capable de gérer des dizaines, voire des centaines d'images d'entrée.

Cette robustesse signifie que RawNeRF peut parfaitement accomplir la tâche de reconstruction de scènes dans l'obscurité.

Par exemple, dans (a) cette scène nocturne éclairée par une seule bougie, RawNeRF peut extraire des détails des données brutes bruyantes qui seraient autrement détruites par le post-traitement (b, c).

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Introduction à l'auteur

Le premier auteur de l'article, Ben Mildenhall, est un chercheur scientifique chez Google Research, engagé dans les problèmes de vision par ordinateur et de graphisme.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Il a obtenu une licence en informatique et en mathématiques de l'Université de Stanford en 2015, et un doctorat en informatique de l'Université de Californie à Berkeley en 2020.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Le CVPR 2022 qui vient de se terminer peut être considéré comme le moment fort de Ben.

5 des 7 communications acceptées ont remporté l'Oral, et une a remporté la mention honorable pour la meilleure communication étudiante.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Commentaires des internautes

Dès que la vidéo est sortie, elle a immédiatement étonné tous les internautes. Amusons-nous tous ensemble.

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Lincroyable caméra « à vision nocturne » de Google est soudainement devenue populaire ! Réduction parfaite du bruit et synthèse de perspective 3D

Au vu de la vitesse des progrès technologiques, il ne faudra pas longtemps avant que vous n'ayez plus à vous soucier de prendre des photos de nuit~

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
1 Il y a quelques mois By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Comment commenter Deepseek Comment commenter Deepseek Feb 19, 2025 pm 05:42 PM

Deepseek est un puissant outil de récupération d'informations. .

Comment rechercher Deepseek Comment rechercher Deepseek Feb 19, 2025 pm 05:39 PM

Deepseek est un moteur de recherche propriétaire qui ne recherche que dans une base de données ou un système spécifique, plus rapide et plus précis. Lorsque vous l'utilisez, il est conseillé aux utilisateurs de lire le document, d'essayer différentes stratégies de recherche, de demander de l'aide et des commentaires sur l'expérience utilisateur afin de tirer le meilleur parti de leurs avantages.

Sesame Open Door Exchange Page d'enregistrement de page Enregistrement Gate Trading App The Registration Site Web Sesame Open Door Exchange Page d'enregistrement de page Enregistrement Gate Trading App The Registration Site Web Feb 28, 2025 am 11:06 AM

Cet article présente le processus d'enregistrement de la version Web de Sesame Open Exchange (GATE.IO) et l'application Gate Trading en détail. Qu'il s'agisse de l'enregistrement Web ou de l'enregistrement de l'application, vous devez visiter le site Web officiel ou l'App Store pour télécharger l'application authentique, puis remplir le nom d'utilisateur, le mot de passe, l'e-mail, le numéro de téléphone mobile et d'autres informations et terminer la vérification des e-mails ou du téléphone mobile.

Sesame Open Door Trading Platform Download Version mobile Gateio Trading Plateforme de téléchargement Adresse de téléchargement Sesame Open Door Trading Platform Download Version mobile Gateio Trading Plateforme de téléchargement Adresse de téléchargement Feb 28, 2025 am 10:51 AM

Il est crucial de choisir un canal formel pour télécharger l'application et d'assurer la sécurité de votre compte.

Pourquoi le lien d'échange de Bybit ne peut-il pas être téléchargé directement et installé? Pourquoi le lien d'échange de Bybit ne peut-il pas être téléchargé directement et installé? Feb 21, 2025 pm 10:57 PM

Pourquoi le lien d'échange de Bybit ne peut-il pas être téléchargé directement et installé? Bybit est un échange de crypto-monnaie qui fournit des services de trading aux utilisateurs. Les applications mobiles de l'échange ne peuvent pas être téléchargées directement via AppStore ou GooglePlay pour les raisons suivantes: 1. La politique de l'App Store empêche Apple et Google d'avoir des exigences strictes sur les types d'applications autorisées dans l'App Store. Les demandes d'échange de crypto-monnaie ne répondent souvent pas à ces exigences car elles impliquent des services financiers et nécessitent des réglementations et des normes de sécurité spécifiques. 2. Conformité des lois et réglementations Dans de nombreux pays, les activités liées aux transactions de crypto-monnaie sont réglementées ou restreintes. Pour se conformer à ces réglementations, l'application ByBit ne peut être utilisée que via des sites Web officiels ou d'autres canaux autorisés

portail d'enregistrement officiel de Gate.io Exchange portail d'enregistrement officiel de Gate.io Exchange Feb 20, 2025 pm 04:27 PM

Gate.io est un échange de crypto-monnaie de premier plan qui offre une large gamme d'actifs cryptographiques et de paires de trading. Enregistrer Gate.io est très simple. Complétez l'inscription. Avec Gate.io, les utilisateurs peuvent profiter d'une expérience de trading de crypto-monnaie sûre et pratique.

Binance Binance Site officiel Dernière version Portail de connexion Binance Binance Site officiel Dernière version Portail de connexion Feb 21, 2025 pm 05:42 PM

Pour accéder à la dernière version du portail de connexion du site Web de Binance, suivez simplement ces étapes simples. Accédez au site officiel et cliquez sur le bouton "Connectez-vous" dans le coin supérieur droit. Sélectionnez votre méthode de connexion existante. Entrez votre numéro de mobile ou votre mot de passe enregistré et votre mot de passe et complétez l'authentification (telles que le code de vérification mobile ou Google Authenticator). Après une vérification réussie, vous pouvez accéder à la dernière version du portail de connexion du site Web officiel de Binance.

La dernière adresse de téléchargement de Bitget en 2025: étapes pour obtenir l'application officielle La dernière adresse de téléchargement de Bitget en 2025: étapes pour obtenir l'application officielle Feb 25, 2025 pm 02:54 PM

Ce guide fournit des étapes de téléchargement et d'installation détaillées pour l'application officielle Bitget Exchange, adaptée aux systèmes Android et iOS. Le guide intègre les informations de plusieurs sources faisant autorité, y compris le site officiel, l'App Store et Google Play, et met l'accent sur les considérations pendant le téléchargement et la gestion des comptes. Les utilisateurs peuvent télécharger l'application à partir des chaînes officielles, y compris l'App Store, le téléchargement officiel du site Web APK et le saut de site Web officiel, ainsi que des paramètres d'enregistrement, de vérification d'identité et de sécurité. De plus, le guide couvre les questions et considérations fréquemment posées, telles que

See all articles