Table des matières
Pas besoin de réglage fin, utilisez l'IA pour reproduire directement ce que vous pensez
Maison Périphériques technologiques IA Le cerveau de lecture de l'IA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Le cerveau de lecture de l'IA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Apr 12, 2023 pm 03:52 PM
ai 图像 大脑画面

Même sans la magie de Poudlard, vous pouvez toujours voir ce que pensent les autres !

La méthode est très simple, et elle est basée sur la diffusion stable pour visualiser des images cérébrales.

Par exemple, les ours, les avions et les trains que vous voyez ressemblent à ceci.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Lorsque l'IA voit le signal cérébral, l'image générée est la suivante, ce qui montre que tous les points nécessaires sont présents.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Cette technologie de lecture cérébrale par IA vient d'être acceptée par le CVPR 2023, offrant aux fans un "orgasme intracrânien" instantané.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

C'est tellement sauvage ! Oubliez les projets incitatifs, il vous suffit désormais d'utiliser votre cerveau pour « penser » à ces images.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Imaginez utiliser la diffusion stable pour reconstruire des images visuelles à partir de données IRMf, ce qui pourrait signifier le développement d'interfaces cerveau-ordinateur non invasives à l'avenir.

Laissez l'IA ignorer directement le langage humain et percevoir ce qui pense dans le cerveau humain.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

D'ici là, Neuralink développé par Musk rattrapera également ce plafond d'IA.

Pas besoin de réglage fin, utilisez l'IA pour reproduire directement ce que vous pensez

Alors, comment l'IA réalise-t-elle la lecture cérébrale ?

Les dernières recherches proviennent d'une équipe de recherche de l'Université d'Osaka au Japon.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Adresse papier : https://www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0

École supérieure de Frontier Biosciences de l'Université d'Osaka et CiNet du Japon Les chercheurs en NTIC s’appuient sur la potentielle prolifération des modèle (LDM), plus spécifiquement, pour reconstruire l'expérience visuelle à partir de données IRMf via Stable Diffusion.

Le cadre de l'ensemble du processus opérationnel est également très simple : 1 encodeur d'image, 1 décodeur d'image et 1 décodeur sémantique.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

En faisant cela, l'équipe a éliminé le besoin de former et d'affiner des modèles d'IA complexes.

Tout ce qui doit être formé est un modèle linéaire simple qui mappe les signaux IRMf des régions visuelles inférieures et supérieures du cerveau vers un seul composant de diffusion stable.

Plus précisément, les chercheurs ont cartographié des régions du cerveau comme entrée pour les encodeurs d'images et de texte. Les zones inférieures du cerveau sont mappées sur des encodeurs d’images et les zones supérieures du cerveau sont mappées sur des encodeurs de texte. Cela permet au système d'utiliser la composition de l'image et le contenu sémantique pour la reconstruction.

La première est l'analyse du décodage. Le modèle LDM utilisé dans l'étude se compose d'un encodeur d'image ε, d'un décodeur d'image D et d'un encodeur de texte τ.

Les chercheurs ont décodé la représentation latente de l'image reconstruite z et le texte associé c à partir des signaux IRMf du cortex visuel précoce et élevé respectivement, et les ont utilisés comme entrée pour générer l'image reproduite Xzc par l'auto-encodeur.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Ensuite, les chercheurs ont également construit un modèle de codage pour prédire les signaux IRMf de différents composants du LDM afin d'explorer le mécanisme de fonctionnement interne du LDM.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Les chercheurs ont mené des expériences en utilisant des images IRMf de l'ensemble de données sur les scènes naturelles (NSD) et ont testé s'ils pouvaient utiliser la diffusion stable pour reconstruire ce que les sujets ont vu.

On peut voir que le modèle de codage et la précision de prédiction des images latentes liées au LDM, le dernier modèle produit la précision de prédiction la plus élevée dans le cortex visuel à l'arrière du cerveau.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Les résultats de la reconstruction visuelle d'un sujet montrent que l'image reconstruite avec seulement z est visuellement cohérente avec l'image originale, mais ne peut pas capturer le contenu sémantique.

Bien que l'image reconstruite en utilisant uniquement c ait une meilleure fidélité sémantique, mais une mauvaise cohérence visuelle, l'image reconstruite en utilisant zc peut avoir à la fois une haute fidélité sémantique et une haute résolution.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Les résultats de reconstruction de la même image de tous les sujets montrent que l'effet de reconstruction est stable et relativement précis entre différents sujets.

Les différences dans des détails spécifiques peuvent provenir des expériences perceptuelles de différents individus ou de différences dans la qualité des données, plutôt que d'erreurs dans le processus de reconstruction.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Enfin, les résultats de l'évaluation quantitative sont représentés graphiquement.

Divers résultats montrent que la méthode utilisée dans l'étude peut non seulement capturer l'apparence visuelle de bas niveau, mais également capturer le contenu sémantique de haut niveau du stimulus original.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

De ce point de vue, les expériences montrent que la combinaison du décodage d'image et de texte permet une reconstruction précise.

Les chercheurs ont déclaré qu'il y avait des différences de précision entre les sujets, mais ces différences étaient liées à la qualité des images IRMf. Selon l'équipe, la qualité de la reconstruction est comparable aux méthodes SOTA actuelles, mais ne nécessite pas de formation du modèle d'IA utilisé.

Dans le même temps, l'équipe utilise également des modèles dérivés des données IRMf pour étudier les éléments constitutifs individuels de la diffusion stable, tels que la manière dont le contenu sémantique est généré pendant le processus de rétrodiffusion ou ce qui se passe dans le processus U-Net. .

Dans les premiers stades du processus de débruitage, la couche de goulot d'étranglement (orange) d'U-Net produit les performances de prédiction les plus élevées. Au fur et à mesure que le processus de débruitage progresse, les premières couches (bleues) effectuent des prédictions sur l'activité précoce du cortex visuel. La couche de goulot d'étranglement se tourne vers le cortex visuel de haut niveau.

Cela signifie qu'au début du processus de diffusion, les informations de l'image sont compressées dans la couche du goulot d'étranglement, et avec le débruitage, la séparation entre les couches U-Net apparaît dans le cortex visuel.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

De plus, l'équipe travaille sur une explication quantitative des transformations d'images à différentes étapes de diffusion. Les chercheurs visent ainsi à contribuer à une meilleure compréhension des modèles de diffusion d’un point de vue biologique, largement utilisés mais dont la compréhension est encore limitée.

Les images du cerveau humain ont déjà été décodées par l'IA ?

Depuis des années, les chercheurs utilisent des modèles d'intelligence artificielle pour décoder les informations du cerveau humain.

Le cœur de la plupart des méthodes consiste à utiliser des images IRMf préenregistrées comme entrée dans des modèles d'IA génératifs de texte ou d'images.

Par exemple, début 2018, une équipe de chercheurs japonais a démontré comment un réseau neuronal pouvait reconstruire des images à partir d’enregistrements IRMf.

En 2019, un groupe a reconstruit des images de neurones de singe, et le groupe de recherche de Meta, dirigé par Jean-Remi King, a publié de nouveaux travaux tels que la dérivation de texte à partir de données IRMf.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

En octobre 2022, une équipe de l'Université du Texas à Austin a montré qu'un modèle GPT pouvait déduire un texte à partir d'analyses IRMf qui décrit le contenu sémantique de ce qu'une personne a vu dans une vidéo.

En novembre 2022, des chercheurs de l'Université nationale de Singapour, de l'Université chinoise de Hong Kong et de l'Université de Stanford ont utilisé le modèle de diffusion MinD-Vis pour reconstruire des images à partir d'analyses IRMf avec une précision nettement supérieure à celle des méthodes disponibles à l'époque.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Si vous remontez plus loin, certains internautes ont souligné que "la génération d'images basées sur les ondes cérébrales existe depuis au moins 2008, ce qui implique d'une manière ou d'une autre que la diffusion stable peut lire les pensées des gens. C'est tout simplement ridicule. ”

Cet article publié dans Nature par l'Université de Californie à Berkeley, affirme que l'activité des ondes cérébrales humaines peut être convertie en images à l'aide d'un décodeur visuel.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Pour retracer l'histoire, certaines personnes ont directement cité une étude de 1999 de Stanford Li Feifei sur la reconstruction d'images à partir du cortex cérébral.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Li Feifei l'a également commenté et transmis, disant qu'elle était encore stagiaire universitaire à l'époque.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Également en 2011, une étude de l'UC Berkeley a utilisé l'imagerie par résonance magnétique fonctionnelle (IRMf) et des modèles informatiques pour reconstruire initialement « l'image visuelle dynamique » du cerveau.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

C'est-à-dire qu'ils ont recréé des clips que les gens ont vus.

Mais par rapport aux dernières recherches, cette reconstruction n'est pas du tout "haute définition" et est presque méconnaissable.

Présentation de l'auteur

Yu Takagi

Yu Takagi est professeur adjoint à l'Université d'Osaka. Ses intérêts de recherche se situent à l’intersection des neurosciences computationnelles et de l’intelligence artificielle.

Au cours de son doctorat, il a étudié des techniques permettant de prédire différentes différences individuelles à partir de la connectivité fonctionnelle du cerveau entier à l'aide de l'imagerie par résonance magnétique fonctionnelle (IRMf) au laboratoire de recherche sur la communication et l'information cérébrale ATR.

Récemment, il a utilisé des techniques d'apprentissage automatique pour comprendre les calculs dynamiques dans des tâches de prise de décision complexes au Centre d'Oxford pour l'activité cérébrale humaine de l'Université d'Oxford et au Département de psychologie de l'Université de Tokyo.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Shinji Nishimoto

Shinji Nishimoto est professeur à l'Université d'Osaka. Ses recherches portent sur la compréhension quantitative des processus visuels et cognitifs dans le cerveau.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Plus précisément, l'objectif de recherche de l'équipe du professeur Nishimoto est de comprendre le traitement et la représentation neuronaux en construisant des modèles prédictifs de l'activité cérébrale évoquée dans des conditions perceptuelles et cognitives naturelles.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Certains internautes ont demandé à l'auteur si cette recherche pouvait être utilisée pour interpréter les rêves ?

"Il est possible d'appliquer la même technologie à l'activité cérébrale pendant le sommeil, mais l'exactitude d'une telle application n'est actuellement pas claire." .

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réalisteRéférence :

https://www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0

https://www . php.cn/link/02d72b702eed900577b953ef7a9c1182

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
2 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Repo: Comment relancer ses coéquipiers
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Adventure: Comment obtenir des graines géantes
4 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
Combien de temps faut-il pour battre Split Fiction?
3 Il y a quelques semaines By DDD

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Pourquoi une erreur se produit-elle lors de l'installation d'une extension à l'aide de PECL dans un environnement Docker? Comment le résoudre? Pourquoi une erreur se produit-elle lors de l'installation d'une extension à l'aide de PECL dans un environnement Docker? Comment le résoudre? Apr 01, 2025 pm 03:06 PM

Causes et solutions pour les erreurs Lors de l'utilisation de PECL pour installer des extensions dans un environnement Docker Lorsque nous utilisons un environnement Docker, nous rencontrons souvent des maux de tête ...

Comment implémenter le tri et ajouter des classements dans des tableaux bidimensionnels PHP? Comment implémenter le tri et ajouter des classements dans des tableaux bidimensionnels PHP? Apr 01, 2025 am 07:00 AM

Explication détaillée du tri et de la mise en œuvre du tableau bidimensionnel PHP Cet article expliquera en détail comment trier un tableau bidimensionnel PHP et utiliser chaque sous-tableau en fonction des résultats de tri ...

Comment obtenir le code de retour lorsque l'envoi par e-mail échoue à Laravel? Comment obtenir le code de retour lorsque l'envoi par e-mail échoue à Laravel? Apr 01, 2025 pm 02:45 PM

Méthode pour obtenir le code de retour lorsque l'envoi par e-mail de Laravel échoue. Lorsque vous utilisez Laravel pour développer des applications, vous rencontrez souvent des situations où vous devez envoyer des codes de vérification. Et en réalité ...

Comment PHP implémente-t-il le cryptage AES et le décryptage conformément à Java? Comment PHP implémente-t-il le cryptage AES et le décryptage conformément à Java? Apr 01, 2025 am 07:15 AM

Comment implémenter le cryptage et le déchiffrement AES avec Java ...

Comment implémenter la fonction de dialogue liée au contexte dans l'API d'Openai? Comment implémenter la fonction de dialogue liée au contexte dans l'API d'Openai? Apr 01, 2025 am 08:33 AM

Comment implémenter les paramètres de l'interface contextuelle de Chatgpt? Lorsque vous utilisez l'interface d'Openai, la fonction de mise en œuvre d'une fonction de questions-réponses est relativement simple et la documentation officielle fournit également des détails ...

Déploiement de l'environnement de production: comment éviter les dépendances de développement de chargement des compositeurs? Déploiement de l'environnement de production: comment éviter les dépendances de développement de chargement des compositeurs? Apr 01, 2025 am 07:36 AM

Gérer efficacement les dépendances des compositeurs: comment éviter de charger les dépendances de développement dans les environnements de production. Lorsque vous utilisez Composer pour gérer les dépendances du projet PHP, nous faisons souvent le processus de développement ...

Éléments dynamiques de la page Web XPATH et les noms de classe changent fréquemment. Comment ramper de manière stable la cible une étiquette? Éléments dynamiques de la page Web XPATH et les noms de classe changent fréquemment. Comment ramper de manière stable la cible une étiquette? Apr 01, 2025 pm 04:12 PM

Problème de rampe d'éléments Web dynamique: traitant des changements XPath et du nom de classe, de nombreux développeurs de compresseur rencontreront un problème difficile lors de la rampe de pages Web dynamiques: l'objectif ...

See all articles