Table des matières
Bénéficiant de la conception de nouveaux matériels optiques et d'algorithmes d'imagerie, le système Snapshot Compressive Imaging
Présentation de modèles avancés pour améliorer les performances
Quels sont les résultats expérimentaux ?
Maison Périphériques technologiques IA Un instantané peut restaurer une vidéo ! L'article AAAI 2023 propose un nouvel algorithme pour l'imagerie par compression d'instantanés

Un instantané peut restaurer une vidéo ! L'article AAAI 2023 propose un nouvel algorithme pour l'imagerie par compression d'instantanés

Apr 13, 2023 am 10:40 AM
视频 压缩

Cet article est réimprimé avec l'autorisation d'AI New Media Qubit (ID de compte public : QbitAI). Veuillez contacter la source pour la réimpression.

Avec le développement des algorithmes optiques, nous pouvons désormais « capturer » des signaux de haute dimension avec des capteurs de basse dimension.

Par exemple, il s'agit d'une "photo" que nous avons prise avec un capteur 2D, qui semble pleine de données bruitées :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

Cependant, c'est grâce aux données contenues dans cette "photo", que l'on peut restituer une vidéo dynamique !

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

Cela semble magique, mais cela peut en effet être réalisé grâce à une méthode appelée Snapshot Compressive Imaging (Snapshot Compressive Imaging, SCI).

Cette méthode peut échantillonner des données de haute dimension sous forme de mesure bidimensionnelle, permettant ainsi une acquisition efficace de signaux visuels de haute dimension.

Prenons un appareil photo comme exemple. Bien qu'il s'agisse d'un capteur 2D, si vous trouvez un moyen d'ajouter un appareil de mesure à micromiroir numérique derrière l'objectif de l'appareil photo (Digital Micromirror Devices, DMD, il s'agit d'un appareil qui peut mesurer avec précision contrôler la source de lumière), il existe un moyen d'utiliser des caméras ordinaires pour effectuer des mesures de réduction de dimensionnalité sur des données de haute dimension, obtenir des données 2D simples, puis restaurer des signaux visuels 3D de haute dimension.

Par exemple, la fréquence d'images d'un appareil photo ordinaire est très faible et il ne peut prendre que quelques dizaines de photos par seconde (en supposant qu'il puisse prendre 30 photos).

Lorsque nous voulons filmer des objets en mouvement à grande vitesse, tant que nous ajoutons ce dispositif à micromiroir numérique à un appareil photo ordinaire, il compressera le signal vidéo le long de la dimension temporelle, et chaque fois qu'une photo est prise, plusieurs images ou même des dizaines d'images de photos (c'est-à-dire qu'une vidéo est restaurée) .

Supposons que le taux de compression prédéfini pour l'appareil à micromiroir numérique soit de 10. Ensuite, prendre une photo maintenant peut restaurer 10 photos (ou une vidéo contenant 10 images de photos), et la caméra La fréquence d'images a également été directement augmentée par 10 fois, et il peut prendre 300 photos en une seconde. Maintenant, la question se pose : comment récupérer le signal original de haute dimension à partir de ces données de mesure compressées de basse dimension contenant du bruit aussi efficacement que possible ?

Avec le développement du deep learning, divers algorithmes de reconstruction ont été proposés. Cependant, la précision et la stabilité des signaux reconstruits par ces algorithmes ne sont toujours pas suffisantes.

À cette fin, des chercheurs de l'

Université de Hong Kong, de l'Académie chinoise des sciences et de l'Université de Westlake

ont proposé une méthode de modèles d'équilibre profond (DEQ) pour l'imagerie par compression d'instantanés vidéo, qui a été incluse dans l'AAAI 2023 :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

Cette méthode améliore non seulement la précision et la stabilité de la reconstruction, mais optimise également davantage l'empreinte mémoire -

L'algorithme ne nécessite que de la

mémoire de niveau constant

pendant l'entraînement et les tests, c'est-à-dire : lors de l'utilisation du deep learning, il l'espace mémoire consommé ne change pas avec la profondeur du réseau (alors que lorsqu'on utilise des méthodes d'optimisation traditionnelles, l'espace mémoire qu'il consomme ne change pas avec le nombre d'itérations) . Jetons un coup d’œil.

Quelle est la difficulté de l'imagerie par compression d'instantanés ?

Bénéficiant de la conception de nouveaux matériels optiques et d'algorithmes d'imagerie, le système Snapshot Compressive Imaging

(Snapshot Compressive Imaging, SCI) peut échantillonner des données de grande dimension sous forme de mesure bidimensionnelle en une seule mesure instantanée, permettant ainsi une acquisition efficace de hautes dimensions. -Données dimensionnelles.

Comme le montre la figure 1, le système SCI peut être divisé en deux parties, l'encodage matériel et le décodage logiciel :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés△ Figure 1. Le système d'imagerie compressée Snapshot utilise des capteurs de faible dimension pour capturer des données de haute dimension. dans les mesures instantanées

Prenons l'exemple de la prise de vue vidéo. Grâce au codage matériel, le système SCI échantillonne les données vidéo et les compresse dans la dimension temporelle, puis un algorithme est utilisé pour reconstruire les données vidéo originales en haute dimension.
Nous considérons ici le système vidéo SCI, comme le montre la vidéo 1. La partie supérieure de la vidéo montre les mesures de compression obtenues par la partie matérielle du système SCI, et la partie inférieure de la vidéo montre les résultats vidéo récupérés à l'aide du algorithme proposé dans l’article.

De toute évidence, l'ensemble du processus d'imagerie doit résoudre un problème inverse :

Comment récupérer une vidéo à partir de mesures compressées bruyantes

.

Bien qu'il existe de nombreuses méthodes de reconstruction capables de résoudre le problème inverse de l'imagerie des lésions médullaires, chacune de ces méthodes présente ses propres inconvénients, comme le montre la figure 2 :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

△Figure 2. Méthodes existantes des méthodes de reconstruction SCI et principaux problèmes

Parmi eux, l'algorithme d'optimisation traditionnel (a) a des performances limitées.

Avec le développement du deep learning, les réseaux profonds de bout en bout (b) et les méthodes de déploiement (c), bien qu'ils puissent améliorer les performances, souffrent inévitablement d'une mémoire croissante à mesure que la profondeur du réseau de couches augmente. exigences d'occupation, et le modèle doit être soigneusement conçu.

Plug and Play(PnP)Framework(d)Tout en bénéficiant des avantages de la régularisation basée sur les données et de l'optimisation itérative flexible, cet algorithme doit garantir des résultats précis grâce à des paramètres de paramétrage appropriés, et nécessite même certaines stratégies complexes pour obtenir des résultats satisfaisants. performance.

Par rapport à d'autres méthodes, l'article propose de nouveaux algorithmes DE-RNN et DE-GAP pour garantir la précision et la stabilité des résultats de reconstruction. Les performances des résultats de reconstruction peuvent converger vers un niveau supérieur, comme le montre la figure 3. Montré :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

△ Figure 3. Comparaison des résultats de reconstruction entre DE-GAP et d'autres méthodes

De manière générale, les résultats de reconstruction des méthodes précédentes telles que RNN et PnP sont instables, et les performances se détériorent même à long terme itérations.

Cependant, les résultats de la reconstruction DE-GAP peuvent maintenir l'amélioration des performances à mesure que le nombre d'itérations augmente, et finalement converger vers un résultat stable.

Comment cela se fait-il ?

Présentation de modèles avancés pour améliorer les performances

Afin de résoudre les problèmes des méthodes précédentes et de réaliser une reconstruction SCI plus avancée, cet article propose pour la première fois une nouvelle idée -

Utiliser le modèle DEQ pour résoudre le problème inverse de la question de reconstruction vidéo SCI.

Le modèle DEQ a été proposé pour la première fois en 2019 et est principalement utilisé dans les tâches de traitement du langage à séquence longue à grande échelle dans le traitement du langage naturel.

Comme le montre la figure 4, le modèle DEQ peut résoudre directement le point fixe dans le processus de propagation vers l'avant et vers l'arrière grâce à des méthodes de recherche de racine telles que la méthode d'itération de Newton, atteignant ainsi efficacement l'infini en utilisant uniquement un réseau profond. :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

△ Figure 4. Méthode du point fixe pour résoudre le modèle DEQ (à gauche) et l'utilisation de la mémoire de niveau constant (à droite)

(La figure 4 est tirée de l'article : S. Bai et al, " Deep équilibre models », NeurIPS 2019.)

Plus précisément, cet article applique pour la première fois le modèle DEQ à deux cadres de reconstruction vidéo SCI existants : RNN et PnP.

L'effet est également très bon. RNN équivaut à réaliser un réseau infiniment profond en utilisant uniquement de la mémoire à niveau constant équivaut à réaliser une infinité d'étapes d'optimisation itératives et à résoudre directement le point fixe pendant le processus d'optimisation itératif.

Comme le montre la figure 5, l'article conçoit des fonctions itératives combinées avec le modèle DEQ pour RNN et PnP respectivement, où x est le résultat de la reconstruction, y est la mesure de compression et Φ est la matrice de mesure :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

△Figure 5. Les fonctions itératives de RNN et PnP combinées respectivement avec le modèle DEQ

(veuillez consulter l'article pour plus de détails sur le processus de dérivation spécifique et la propagation vers l'avant et vers l'arrière)

Quels sont les résultats expérimentaux ?

L'article a mené des expériences sur six ensembles de données SCI classiques et des données réelles. Par rapport aux méthodes précédentes, les résultats globaux de reconstruction sont meilleurs.

Comme le montre le tableau 1, en moyenne, cette méthode permet d'obtenir une amélioration d'environ 0,1 dB du PSNR et d'environ 0,04 amélioration du SSIM. L'amélioration du SSIM montre que cette méthode peut reconstruire des images avec des structures relativement fines :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

△ Tableau 1. PSNR (dB) et SSIM de différents algorithmes sur six jeux de données classiques de reconstruction vidéo SCI

Figure 6 C'est une comparaison des résultats de reconstruction de différents algorithmes sur des ensembles de données classiques, et la présentation de certains détails est plus fluide et plus claire :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

△Figure 6

La figure 7 est une comparaison des résultats de reconstruction de différents algorithmes sur des données réelles, et l'effet est meilleur en comparaison :

Un instantané peut restaurer une vidéo ! Larticle AAAI 2023 propose un nouvel algorithme pour limagerie par compression dinstantanés

△Figure 7

Plus de résultats expérimentaux peuvent être vu du papier.

À l'heure actuelle, le code papier est open source et les amis intéressés peuvent l'utiliser ~

(La vidéo d'explication de l'auteur est également jointe à la fin de l'article, qui explique les choses simples et en profondeur)

Adresse papier :
​https://www.php.cn/link/b8002139cdde66b87638f7f91d169d96​

Code adresse :
​https ://www.php.cn/link /fa95123aa5f89781ed4e89a55eb2edcc​
Vidéo d'explication du papier par l'auteur :
Anglais : bilibili.com/vidéo /BV1X54y1g7D9/
Chinois : https://www.bilibili.com/video/BV1V54y137QK/
Cantonais en plastique : https://www.bilibili.com/video/BV1224y1 G7ee/

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Comment supprimer le filigrane vidéo dans Wink Comment supprimer le filigrane vidéo dans Wink Feb 23, 2024 pm 07:22 PM

Comment supprimer les filigranes des vidéos dans Wink ? Il existe un outil pour supprimer les filigranes des vidéos dans winkAPP, mais la plupart des amis ne savent pas comment supprimer les filigranes des vidéos dans Wink. Voici ensuite l'image de la façon de supprimer les filigranes des vidéos dans Wink. apporté par l'éditeur Tutoriel texte, les utilisateurs intéressés viennent y jeter un oeil ! Comment supprimer le filigrane vidéo dans Wink 1. Ouvrez d'abord l'application Wink et sélectionnez la fonction [Supprimer le filigrane] dans la zone de la page d'accueil ; 2. Sélectionnez ensuite la vidéo dont vous souhaitez supprimer le filigrane dans l'album ; dans le coin supérieur droit après avoir édité la vidéo [√] ; 4. Enfin, cliquez sur [Imprimer en un clic] comme indiqué dans la figure ci-dessous, puis cliquez sur [Traiter].

Est-ce une infraction de publier des vidéos d'autres personnes sur Douyin ? Comment éditer des vidéos sans infraction ? Est-ce une infraction de publier des vidéos d'autres personnes sur Douyin ? Comment éditer des vidéos sans infraction ? Mar 21, 2024 pm 05:57 PM

Avec l'essor des plateformes de vidéos courtes, Douyin est devenu un élément indispensable de la vie quotidienne de chacun. Sur TikTok, nous pouvons voir des vidéos intéressantes du monde entier. Certaines personnes aiment publier les vidéos d’autres personnes, ce qui soulève une question : Douyin enfreint-il la publication de vidéos d’autres personnes ? Cet article abordera ce problème et vous expliquera comment éditer des vidéos sans infraction et comment éviter les problèmes d'infraction. 1. Cela porte-t-il atteinte à la publication par Douyin de vidéos d'autres personnes ? Selon les dispositions de la loi sur le droit d'auteur de mon pays, l'utilisation non autorisée des œuvres du titulaire du droit d'auteur sans l'autorisation du titulaire du droit d'auteur constitue une infraction. Par conséquent, publier des vidéos d’autres personnes sur Douyin sans l’autorisation de l’auteur original ou du titulaire des droits d’auteur constitue une infraction. 2. Comment monter une vidéo sans contrefaçon ? 1. Utilisation de contenu du domaine public ou sous licence : Public

Comment gagner de l'argent en publiant des vidéos sur Douyin ? Comment un débutant peut-il gagner de l'argent sur Douyin ? Comment gagner de l'argent en publiant des vidéos sur Douyin ? Comment un débutant peut-il gagner de l'argent sur Douyin ? Mar 21, 2024 pm 08:17 PM

Douyin, la plateforme nationale de courtes vidéos, nous permet non seulement de profiter d'une variété de courtes vidéos intéressantes et originales pendant notre temps libre, mais nous donne également une scène pour nous montrer et réaliser nos valeurs. Alors, comment gagner de l’argent en postant des vidéos sur Douyin ? Cet article répondra à cette question en détail et vous aidera à gagner plus d’argent sur TikTok. 1. Comment gagner de l’argent en publiant des vidéos sur Douyin ? Après avoir posté une vidéo et obtenu un certain nombre de vues sur Douyin, vous aurez la possibilité de participer au plan de partage publicitaire. Cette méthode de revenus est l’une des plus connues des utilisateurs de Douyin et constitue également la principale source de revenus pour de nombreux créateurs. Douyin décide d'offrir ou non des opportunités de partage de publicités en fonction de divers facteurs tels que le poids du compte, le contenu vidéo et les commentaires du public. La plateforme TikTok permet aux téléspectateurs de soutenir leurs créateurs préférés en envoyant des cadeaux,

Comment publier des vidéos sur Weibo sans compresser la qualité de l'image_Comment publier des vidéos sur Weibo sans compresser la qualité de l'image Comment publier des vidéos sur Weibo sans compresser la qualité de l'image_Comment publier des vidéos sur Weibo sans compresser la qualité de l'image Mar 30, 2024 pm 12:26 PM

1. Ouvrez d'abord Weibo sur votre téléphone mobile et cliquez sur [Moi] dans le coin inférieur droit (comme indiqué sur l'image). 2. Cliquez ensuite sur [Gear] dans le coin supérieur droit pour ouvrir les paramètres (comme indiqué sur l'image). 3. Ensuite, recherchez et ouvrez [Paramètres généraux] (comme indiqué sur l'image). 4. Entrez ensuite l'option [Video Follow] (comme indiqué sur l'image). 5. Ensuite, ouvrez le paramètre [Résolution de téléchargement vidéo] (comme indiqué sur l'image). 6. Enfin, sélectionnez [Qualité d'image originale] pour éviter la compression (comme indiqué sur l'image).

2 façons de supprimer le ralenti des vidéos sur iPhone 2 façons de supprimer le ralenti des vidéos sur iPhone Mar 04, 2024 am 10:46 AM

Sur les appareils iOS, l'application Appareil photo vous permet de filmer des vidéos au ralenti, voire à 240 images par seconde si vous possédez le dernier iPhone. Cette capacité vous permet de capturer une action à grande vitesse avec des détails riches. Mais parfois, vous souhaiterez peut-être lire des vidéos au ralenti à vitesse normale afin de mieux apprécier les détails et l'action de la vidéo. Dans cet article, nous expliquerons toutes les méthodes pour supprimer le ralenti des vidéos existantes sur iPhone. Comment supprimer le ralenti des vidéos sur iPhone [2 méthodes] Vous pouvez utiliser l'application Photos ou l'application iMovie pour supprimer le ralenti des vidéos sur votre appareil. Méthode 1 : ouvrir sur iPhone à l’aide de l’application Photos

Comment publier les œuvres vidéo de Xiaohongshu ? À quoi dois-je faire attention lorsque je publie des vidéos ? Comment publier les œuvres vidéo de Xiaohongshu ? À quoi dois-je faire attention lorsque je publie des vidéos ? Mar 23, 2024 pm 08:50 PM

Avec l'essor des plateformes de vidéos courtes, Xiaohongshu est devenue une plateforme permettant à de nombreuses personnes de partager leur vie, de s'exprimer et de gagner du trafic. Sur cette plateforme, la publication d’œuvres vidéo est un moyen d’interaction très prisé. Alors, comment publier les œuvres vidéo de Xiaohongshu ? 1. Comment publier les œuvres vidéo de Xiaohongshu ? Tout d’abord, assurez-vous d’avoir un contenu vidéo prêt à partager. Vous pouvez utiliser votre téléphone portable ou un autre équipement photo pour prendre des photos, mais vous devez faire attention à la qualité de l'image et à la clarté du son. 2. Editer la vidéo : Afin de rendre le travail plus attrayant, vous pouvez éditer la vidéo. Vous pouvez utiliser un logiciel de montage vidéo professionnel, tel que Douyin, Kuaishou, etc., pour ajouter des filtres, de la musique, des sous-titres et d'autres éléments. 3. Choisissez une couverture : La couverture est la clé pour inciter les utilisateurs à cliquer. Choisissez une image claire et intéressante comme couverture pour inciter les utilisateurs à cliquer dessus.

Comment convertir des vidéos téléchargées par le navigateur UC en vidéos locales Comment convertir des vidéos téléchargées par le navigateur UC en vidéos locales Feb 29, 2024 pm 10:19 PM

Comment transformer les vidéos téléchargées par le navigateur UC en vidéos locales ? De nombreux utilisateurs de téléphones mobiles aiment utiliser UC Browser. Ils peuvent non seulement naviguer sur le Web, mais également regarder diverses vidéos et programmes télévisés en ligne et télécharger leurs vidéos préférées sur leurs téléphones mobiles. En fait, nous pouvons convertir des vidéos téléchargées en vidéos locales, mais beaucoup de gens ne savent pas comment le faire. Par conséquent, l'éditeur vous propose spécialement une méthode pour convertir les vidéos mises en cache par le navigateur UC en vidéos locales. J'espère que cela pourra vous aider. Méthode pour convertir les vidéos mises en cache du navigateur uc en vidéos locales 1. Ouvrez le navigateur uc et cliquez sur l'option "Menu". 2. Cliquez sur « Télécharger/Vidéo ». 3. Cliquez sur « Vidéo mise en cache ». 4. Appuyez longuement sur n'importe quelle vidéo, lorsque les options apparaissent, cliquez sur « Ouvrir le répertoire ». 5. Cochez ceux que vous souhaitez télécharger

Paramètres du taux de compression maximum de 7-zip, comment compresser 7zip au minimum Paramètres du taux de compression maximum de 7-zip, comment compresser 7zip au minimum Jun 18, 2024 pm 06:12 PM

J'ai découvert que le package compressé téléchargé à partir d'un certain site Web de téléchargement sera plus volumineux que le package compressé d'origine après décompression. La différence est de plusieurs dizaines de Ko et de dizaines de Mo. S'il est téléchargé sur un disque cloud ou un espace payant, cela n'a pas d'importance. si le fichier est petit, s'il y a beaucoup de fichiers, le coût de stockage sera considérablement augmenté. J'ai fait quelques recherches à ce sujet et je peux en tirer des leçons si nécessaire. Niveau de compression : compression 9 extrême Taille du dictionnaire : 256 ou 384, plus le dictionnaire est compressé, plus il est lent. La différence de taux de compression est plus grande avant 256 Mo, et il n'y a aucune différence de taux de compression après 384 Mo. Taille du mot : maximum 273. Paramètres : f=BCJ2, le taux de compression des paramètres de test et d'ajout sera plus élevé

See all articles