Table des matières
Pas besoin de réglage fin, utilisez l'IA pour reproduire directement ce que vous pensez
Maison Périphériques technologiques IA Le cerveau de lecture de l'IA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Le cerveau de lecture de l'IA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Apr 12, 2023 pm 03:52 PM
ai 图像 大脑画面

Même sans la magie de Poudlard, vous pouvez toujours voir ce que pensent les autres !

La méthode est très simple, et elle est basée sur la diffusion stable pour visualiser des images cérébrales.

Par exemple, les ours, les avions et les trains que vous voyez ressemblent à ceci.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Lorsque l'IA voit le signal cérébral, l'image générée est la suivante, ce qui montre que tous les points nécessaires sont présents.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Cette technologie de lecture cérébrale par IA vient d'être acceptée par le CVPR 2023, offrant aux fans un "orgasme intracrânien" instantané.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

C'est tellement sauvage ! Oubliez les projets incitatifs, il vous suffit désormais d'utiliser votre cerveau pour « penser » à ces images.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Imaginez utiliser la diffusion stable pour reconstruire des images visuelles à partir de données IRMf, ce qui pourrait signifier le développement d'interfaces cerveau-ordinateur non invasives à l'avenir.

Laissez l'IA ignorer directement le langage humain et percevoir ce qui pense dans le cerveau humain.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

D'ici là, Neuralink développé par Musk rattrapera également ce plafond d'IA.

Pas besoin de réglage fin, utilisez l'IA pour reproduire directement ce que vous pensez

Alors, comment l'IA réalise-t-elle la lecture cérébrale ?

Les dernières recherches proviennent d'une équipe de recherche de l'Université d'Osaka au Japon.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Adresse papier : https://www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0

École supérieure de Frontier Biosciences de l'Université d'Osaka et CiNet du Japon Les chercheurs en NTIC s’appuient sur la potentielle prolifération des modèle (LDM), plus spécifiquement, pour reconstruire l'expérience visuelle à partir de données IRMf via Stable Diffusion.

Le cadre de l'ensemble du processus opérationnel est également très simple : 1 encodeur d'image, 1 décodeur d'image et 1 décodeur sémantique.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

En faisant cela, l'équipe a éliminé le besoin de former et d'affiner des modèles d'IA complexes.

Tout ce qui doit être formé est un modèle linéaire simple qui mappe les signaux IRMf des régions visuelles inférieures et supérieures du cerveau vers un seul composant de diffusion stable.

Plus précisément, les chercheurs ont cartographié des régions du cerveau comme entrée pour les encodeurs d'images et de texte. Les zones inférieures du cerveau sont mappées sur des encodeurs d’images et les zones supérieures du cerveau sont mappées sur des encodeurs de texte. Cela permet au système d'utiliser la composition de l'image et le contenu sémantique pour la reconstruction.

La première est l'analyse du décodage. Le modèle LDM utilisé dans l'étude se compose d'un encodeur d'image ε, d'un décodeur d'image D et d'un encodeur de texte τ.

Les chercheurs ont décodé la représentation latente de l'image reconstruite z et le texte associé c à partir des signaux IRMf du cortex visuel précoce et élevé respectivement, et les ont utilisés comme entrée pour générer l'image reproduite Xzc par l'auto-encodeur.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Ensuite, les chercheurs ont également construit un modèle de codage pour prédire les signaux IRMf de différents composants du LDM afin d'explorer le mécanisme de fonctionnement interne du LDM.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Les chercheurs ont mené des expériences en utilisant des images IRMf de l'ensemble de données sur les scènes naturelles (NSD) et ont testé s'ils pouvaient utiliser la diffusion stable pour reconstruire ce que les sujets ont vu.

On peut voir que le modèle de codage et la précision de prédiction des images latentes liées au LDM, le dernier modèle produit la précision de prédiction la plus élevée dans le cortex visuel à l'arrière du cerveau.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Les résultats de la reconstruction visuelle d'un sujet montrent que l'image reconstruite avec seulement z est visuellement cohérente avec l'image originale, mais ne peut pas capturer le contenu sémantique.

Bien que l'image reconstruite en utilisant uniquement c ait une meilleure fidélité sémantique, mais une mauvaise cohérence visuelle, l'image reconstruite en utilisant zc peut avoir à la fois une haute fidélité sémantique et une haute résolution.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Les résultats de reconstruction de la même image de tous les sujets montrent que l'effet de reconstruction est stable et relativement précis entre différents sujets.

Les différences dans des détails spécifiques peuvent provenir des expériences perceptuelles de différents individus ou de différences dans la qualité des données, plutôt que d'erreurs dans le processus de reconstruction.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Enfin, les résultats de l'évaluation quantitative sont représentés graphiquement.

Divers résultats montrent que la méthode utilisée dans l'étude peut non seulement capturer l'apparence visuelle de bas niveau, mais également capturer le contenu sémantique de haut niveau du stimulus original.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

De ce point de vue, les expériences montrent que la combinaison du décodage d'image et de texte permet une reconstruction précise.

Les chercheurs ont déclaré qu'il y avait des différences de précision entre les sujets, mais ces différences étaient liées à la qualité des images IRMf. Selon l'équipe, la qualité de la reconstruction est comparable aux méthodes SOTA actuelles, mais ne nécessite pas de formation du modèle d'IA utilisé.

Dans le même temps, l'équipe utilise également des modèles dérivés des données IRMf pour étudier les éléments constitutifs individuels de la diffusion stable, tels que la manière dont le contenu sémantique est généré pendant le processus de rétrodiffusion ou ce qui se passe dans le processus U-Net. .

Dans les premiers stades du processus de débruitage, la couche de goulot d'étranglement (orange) d'U-Net produit les performances de prédiction les plus élevées. Au fur et à mesure que le processus de débruitage progresse, les premières couches (bleues) effectuent des prédictions sur l'activité précoce du cortex visuel. La couche de goulot d'étranglement se tourne vers le cortex visuel de haut niveau.

Cela signifie qu'au début du processus de diffusion, les informations de l'image sont compressées dans la couche du goulot d'étranglement, et avec le débruitage, la séparation entre les couches U-Net apparaît dans le cortex visuel.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

De plus, l'équipe travaille sur une explication quantitative des transformations d'images à différentes étapes de diffusion. Les chercheurs visent ainsi à contribuer à une meilleure compréhension des modèles de diffusion d’un point de vue biologique, largement utilisés mais dont la compréhension est encore limitée.

Les images du cerveau humain ont déjà été décodées par l'IA ?

Depuis des années, les chercheurs utilisent des modèles d'intelligence artificielle pour décoder les informations du cerveau humain.

Le cœur de la plupart des méthodes consiste à utiliser des images IRMf préenregistrées comme entrée dans des modèles d'IA génératifs de texte ou d'images.

Par exemple, début 2018, une équipe de chercheurs japonais a démontré comment un réseau neuronal pouvait reconstruire des images à partir d’enregistrements IRMf.

En 2019, un groupe a reconstruit des images de neurones de singe, et le groupe de recherche de Meta, dirigé par Jean-Remi King, a publié de nouveaux travaux tels que la dérivation de texte à partir de données IRMf.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

En octobre 2022, une équipe de l'Université du Texas à Austin a montré qu'un modèle GPT pouvait déduire un texte à partir d'analyses IRMf qui décrit le contenu sémantique de ce qu'une personne a vu dans une vidéo.

En novembre 2022, des chercheurs de l'Université nationale de Singapour, de l'Université chinoise de Hong Kong et de l'Université de Stanford ont utilisé le modèle de diffusion MinD-Vis pour reconstruire des images à partir d'analyses IRMf avec une précision nettement supérieure à celle des méthodes disponibles à l'époque.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Si vous remontez plus loin, certains internautes ont souligné que "la génération d'images basées sur les ondes cérébrales existe depuis au moins 2008, ce qui implique d'une manière ou d'une autre que la diffusion stable peut lire les pensées des gens. C'est tout simplement ridicule. ”

Cet article publié dans Nature par l'Université de Californie à Berkeley, affirme que l'activité des ondes cérébrales humaines peut être convertie en images à l'aide d'un décodeur visuel.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Pour retracer l'histoire, certaines personnes ont directement cité une étude de 1999 de Stanford Li Feifei sur la reconstruction d'images à partir du cortex cérébral.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Li Feifei l'a également commenté et transmis, disant qu'elle était encore stagiaire universitaire à l'époque.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Également en 2011, une étude de l'UC Berkeley a utilisé l'imagerie par résonance magnétique fonctionnelle (IRMf) et des modèles informatiques pour reconstruire initialement « l'image visuelle dynamique » du cerveau.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

C'est-à-dire qu'ils ont recréé des clips que les gens ont vus.

Mais par rapport aux dernières recherches, cette reconstruction n'est pas du tout "haute définition" et est presque méconnaissable.

Présentation de l'auteur

Yu Takagi

Yu Takagi est professeur adjoint à l'Université d'Osaka. Ses intérêts de recherche se situent à l’intersection des neurosciences computationnelles et de l’intelligence artificielle.

Au cours de son doctorat, il a étudié des techniques permettant de prédire différentes différences individuelles à partir de la connectivité fonctionnelle du cerveau entier à l'aide de l'imagerie par résonance magnétique fonctionnelle (IRMf) au laboratoire de recherche sur la communication et l'information cérébrale ATR.

Récemment, il a utilisé des techniques d'apprentissage automatique pour comprendre les calculs dynamiques dans des tâches de prise de décision complexes au Centre d'Oxford pour l'activité cérébrale humaine de l'Université d'Oxford et au Département de psychologie de l'Université de Tokyo.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Shinji Nishimoto

Shinji Nishimoto est professeur à l'Université d'Osaka. Ses recherches portent sur la compréhension quantitative des processus visuels et cognitifs dans le cerveau.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Plus précisément, l'objectif de recherche de l'équipe du professeur Nishimoto est de comprendre le traitement et la représentation neuronaux en construisant des modèles prédictifs de l'activité cérébrale évoquée dans des conditions perceptuelles et cognitives naturelles.

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réaliste

Certains internautes ont demandé à l'auteur si cette recherche pouvait être utilisée pour interpréter les rêves ?

"Il est possible d'appliquer la même technologie à l'activité cérébrale pendant le sommeil, mais l'exactitude d'une telle application n'est actuellement pas claire." .

Le cerveau de lecture de lIA explose ! Scannez les images cérébrales et la diffusion stable reproduit les images de manière réalisteRéférence :

https://www.php.cn/link/0424d20160a6a558e5bf86a7bc9b67f0

https://www . php.cn/link/02d72b702eed900577b953ef7a9c1182

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!

Déclaration de ce site Web
Le contenu de cet article est volontairement contribué par les internautes et les droits d'auteur appartiennent à l'auteur original. Ce site n'assume aucune responsabilité légale correspondante. Si vous trouvez un contenu suspecté de plagiat ou de contrefaçon, veuillez contacter admin@php.cn

Outils d'IA chauds

Undresser.AI Undress

Undresser.AI Undress

Application basée sur l'IA pour créer des photos de nu réalistes

AI Clothes Remover

AI Clothes Remover

Outil d'IA en ligne pour supprimer les vêtements des photos.

Undress AI Tool

Undress AI Tool

Images de déshabillage gratuites

Clothoff.io

Clothoff.io

Dissolvant de vêtements AI

AI Hentai Generator

AI Hentai Generator

Générez AI Hentai gratuitement.

Article chaud

R.E.P.O. Crystals d'énergie expliqués et ce qu'ils font (cristal jaune)
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Meilleurs paramètres graphiques
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Comment réparer l'audio si vous n'entendez personne
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Comment déverrouiller tout dans Myrise
3 Il y a quelques semaines By 尊渡假赌尊渡假赌尊渡假赌

Outils chauds

Bloc-notes++7.3.1

Bloc-notes++7.3.1

Éditeur de code facile à utiliser et gratuit

SublimeText3 version chinoise

SublimeText3 version chinoise

Version chinoise, très simple à utiliser

Envoyer Studio 13.0.1

Envoyer Studio 13.0.1

Puissant environnement de développement intégré PHP

Dreamweaver CS6

Dreamweaver CS6

Outils de développement Web visuel

SublimeText3 version Mac

SublimeText3 version Mac

Logiciel d'édition de code au niveau de Dieu (SublimeText3)

Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Quelle méthode est utilisée pour convertir les chaînes en objets dans vue.js? Apr 07, 2025 pm 09:39 PM

Lors de la conversion des chaînes en objets dans vue.js, JSON.Parse () est préféré pour les chaînes JSON standard. Pour les chaînes JSON non standard, la chaîne peut être traitée en utilisant des expressions régulières et réduisez les méthodes en fonction du format ou du codé décodé par URL. Sélectionnez la méthode appropriée en fonction du format de chaîne et faites attention aux problèmes de sécurité et d'encodage pour éviter les bogues.

Comment utiliser MySQL après l'installation Comment utiliser MySQL après l'installation Apr 08, 2025 am 11:48 AM

L'article présente le fonctionnement de la base de données MySQL. Tout d'abord, vous devez installer un client MySQL, tel que MySQLWorkBench ou le client de ligne de commande. 1. Utilisez la commande MySQL-UROot-P pour vous connecter au serveur et connecter avec le mot de passe du compte racine; 2. Utilisez Createdatabase pour créer une base de données et utilisez Sélectionner une base de données; 3. Utilisez CreateTable pour créer une table, définissez des champs et des types de données; 4. Utilisez InsertInto pour insérer des données, remettre en question les données, mettre à jour les données par mise à jour et supprimer les données par Supprimer. Ce n'est qu'en maîtrisant ces étapes, en apprenant à faire face à des problèmes courants et à l'optimisation des performances de la base de données que vous pouvez utiliser efficacement MySQL.

Comment définir le délai de Vue Axios Comment définir le délai de Vue Axios Apr 07, 2025 pm 10:03 PM

Afin de définir le délai d'expiration de Vue Axios, nous pouvons créer une instance AxiOS et spécifier l'option Timeout: dans les paramètres globaux: vue.prototype. $ Axios = axios.create ({timeout: 5000}); Dans une seule demande: ce. $ axios.get ('/ api / utilisateurs', {timeout: 10000}).

Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Vue.js Comment convertir un tableau de type de chaîne en un tableau d'objets? Apr 07, 2025 pm 09:36 PM

Résumé: Il existe les méthodes suivantes pour convertir les tableaux de chaîne Vue.js en tableaux d'objets: Méthode de base: utilisez la fonction de carte pour convenir à des données formatées régulières. Gameplay avancé: l'utilisation d'expressions régulières peut gérer des formats complexes, mais ils doivent être soigneusement écrits et considérés. Optimisation des performances: Considérant la grande quantité de données, des opérations asynchrones ou des bibliothèques efficaces de traitement des données peuvent être utilisées. MEILLEUR PRATIQUE: Effacer le style de code, utilisez des noms de variables significatifs et des commentaires pour garder le code concis.

Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Géospatial de Laravel: optimisation des cartes interactives et de grandes quantités de données Apr 08, 2025 pm 12:24 PM

Traiter efficacement 7 millions d'enregistrements et créer des cartes interactives avec la technologie géospatiale. Cet article explore comment traiter efficacement plus de 7 millions d'enregistrements en utilisant Laravel et MySQL et les convertir en visualisations de cartes interactives. Exigences initiales du projet de défi: extraire des informations précieuses en utilisant 7 millions d'enregistrements dans la base de données MySQL. Beaucoup de gens considèrent d'abord les langages de programmation, mais ignorent la base de données elle-même: peut-il répondre aux besoins? La migration des données ou l'ajustement structurel est-il requis? MySQL peut-il résister à une charge de données aussi importante? Analyse préliminaire: les filtres et les propriétés clés doivent être identifiés. Après analyse, il a été constaté que seuls quelques attributs étaient liés à la solution. Nous avons vérifié la faisabilité du filtre et établi certaines restrictions pour optimiser la recherche. Recherche de cartes basée sur la ville

Comment résoudre MySQL ne peut pas être démarré Comment résoudre MySQL ne peut pas être démarré Apr 08, 2025 pm 02:21 PM

Il existe de nombreuses raisons pour lesquelles la startup MySQL échoue, et elle peut être diagnostiquée en vérifiant le journal des erreurs. Les causes courantes incluent les conflits de port (vérifier l'occupation du port et la configuration de modification), les problèmes d'autorisation (vérifier le service exécutant les autorisations des utilisateurs), les erreurs de fichier de configuration (vérifier les paramètres des paramètres), la corruption du répertoire de données (restaurer les données ou reconstruire l'espace de la table), les problèmes d'espace de la table InNODB (vérifier les fichiers IBDATA1), la défaillance du chargement du plug-in (vérification du journal des erreurs). Lors de la résolution de problèmes, vous devez les analyser en fonction du journal d'erreur, trouver la cause profonde du problème et développer l'habitude de sauvegarder régulièrement les données pour prévenir et résoudre des problèmes.

Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Les ingénieurs de backend senior à distance (plates-formes) ont besoin de cercles Apr 08, 2025 pm 12:27 PM

Ingénieur backend à distance Emploi Vacant Société: Emplacement du cercle: Bureau à distance Type d'emploi: Salaire à temps plein: 130 000 $ - 140 000 $ Description du poste Participez à la recherche et au développement des applications mobiles Circle et des fonctionnalités publiques liées à l'API couvrant l'intégralité du cycle de vie de développement logiciel. Les principales responsabilités complètent indépendamment les travaux de développement basés sur RubyOnRails et collaborent avec l'équipe frontale React / Redux / Relay. Créez les fonctionnalités de base et les améliorations des applications Web et travaillez en étroite collaboration avec les concepteurs et le leadership tout au long du processus de conception fonctionnelle. Promouvoir les processus de développement positifs et hiérarchiser la vitesse d'itération. Nécessite plus de 6 ans de backend d'applications Web complexe

Comment optimiser les performances de la base de données après l'installation de MySQL Comment optimiser les performances de la base de données après l'installation de MySQL Apr 08, 2025 am 11:36 AM

L'optimisation des performances MySQL doit commencer à partir de trois aspects: configuration d'installation, indexation et optimisation des requêtes, surveillance et réglage. 1. Après l'installation, vous devez ajuster le fichier my.cnf en fonction de la configuration du serveur, tel que le paramètre innodb_buffer_pool_size, et fermer query_cache_size; 2. Créez un index approprié pour éviter les index excessifs et optimiser les instructions de requête, telles que l'utilisation de la commande Explication pour analyser le plan d'exécution; 3. Utilisez le propre outil de surveillance de MySQL (ShowProcessList, Showstatus) pour surveiller la santé de la base de données, et sauvegarde régulièrement et organisez la base de données. Ce n'est qu'en optimisant en continu ces étapes que les performances de la base de données MySQL peuvent être améliorées.

See all articles