Inhaltsverzeichnis
Wie ist die Dekodierung der Gehirnaktivität zu interpretieren?
Insgesamt ist das in dieser Untersuchung entwickelte MEG-Decodierungsmodell beim Bildabruf siebenmal schneller als der lineare Decoder.
Heim Technologie-Peripheriegeräte KI KI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCun

KI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCun

Oct 19, 2023 pm 02:13 PM
数据 数据集 meg

Jetzt kann KI Gehirnsignale in Echtzeit interpretieren!

Das ist keine Sensation, sondern eine neue Studie von Meta, die anhand von Gehirnsignalen das Bild, das Sie gerade betrachten, in 0,5 Sekunden erraten und mithilfe von KI in Echtzeit wiederherstellen kann.

Obwohl die KI bisher in der Lage war, Bilder aus Gehirnsignalen relativ genau wiederherzustellen, gab es immer noch einen Fehler – sie ist nicht schnell genug.

Zu diesem Zweck hat Meta ein neues Dekodierungsmodell entwickelt, das allein die Geschwindigkeit des KI-Bildabrufs um das Siebenfache erhöht. Es kann fast „sofort“ lesen, was die Leute sehen, und eine grobe Vermutung anstellen.

Sieht aus wie ein stehender Mann. Nach mehreren Restaurierungen hat die KI tatsächlich einen „stehenden Mann“ interpretiert:

KI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunBild

LeCun leitete es weiter, um visuelle und andere Eingaben aus MEG-Gehirnsignalen zu rekonstruieren. Die Forschung ist wirklich großartig .

KI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunBilder

Wie ermöglicht Meta es der KI, „Gehirne schnell zu lesen“?

Wie ist die Dekodierung der Gehirnaktivität zu interpretieren?

Derzeit gibt es zwei Hauptmethoden für die KI, Gehirnsignale zu lesen und Bilder wiederherzustellen.

Eine davon ist die fMRT (funktionelle Magnetresonanztomographie), die Bilder des Blutflusses zu bestimmten Teilen des Gehirns erzeugen kann; die andere ist die MEG (Magnetoenzephalographie), die extrem schwache biologische Magnetfelder messen kann, die von Nervenströmen im Gehirn abgegeben werden .

Allerdings ist die Geschwindigkeit der fMRT-Neurobildgebung oft sehr langsam, mit durchschnittlich 2 Sekunden, um ein Bild zu erzeugen (≈0,5 Hz). Im Gegensatz dazu kann MEG sogar Tausende von Gehirnaktivitätsbildern pro Sekunde aufzeichnen (≈5000 Hz).

Warum also nicht im Vergleich zu fMRT MEG-Daten verwenden, um zu versuchen, das „vom Menschen gesehene Bild“ wiederherzustellen?

Basierend auf dieser Idee haben die Autoren ein MEG-Dekodierungsmodell entworfen, das aus drei Teilen besteht.

Der erste Teil ist ein vorab trainiertes Modell, das für das Erhalten von Einbettungen aus Bildern verantwortlich ist.

Der zweite Teil ist ein End-to-End-Trainingsmodell, das für die Ausrichtung von MEG-Daten mit Bildeinbettungen verantwortlich ist vorab trainierter Bildgenerator, verantwortlich für die Wiederherstellung des endgültigen Bildes.

BilderKI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunFür das Training verwendeten die Forscher einen Datensatz namens THINGS-MEG, der MEG-Daten enthält, die aufgezeichnet wurden, als 4 junge Menschen (2 Männer und 2 Frauen, Durchschnittsalter 23,25) Bilder betrachteten.

Diese jungen Leute sahen sich insgesamt 22.448 Bilder (1.854 Typen) an. Jedes Bild wurde 0,5 Sekunden lang angezeigt und das Intervall betrug 0,8 bis 1,2 Sekunden.

Darüber hinaus gibt es 3659 Bilder, die den Teilnehmern nicht gezeigt wurden, aber auch bei der Bildsuche verwendet wurden.

Was bewirkt also die so trainierte KI?

Bildabrufgeschwindigkeit um das Siebenfache erhöht

Insgesamt ist das in dieser Untersuchung entwickelte MEG-Decodierungsmodell beim Bildabruf siebenmal schneller als der lineare Decoder.

Unter anderem schneidet die von Meta entwickelte visuelle Transformer-Architektur DINOv2 im Vergleich zu Modellen wie CLIP besser beim Extrahieren von Bildmerkmalen ab und kann MEG-Daten und Bildeinbettungen besser ausrichten.

BilderKI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunDie Autoren haben die insgesamt generierten Bilder in drei Hauptkategorien unterteilt: den höchsten Übereinstimmungsgrad, den mittleren Übereinstimmungsgrad und den schlechtesten Übereinstimmungsgrad:

BilderKI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCun Schauen Sie sich jedoch die generierten Beispiele an , der von dieser KI wiederhergestellte Bildeffekt ist tatsächlich nicht sehr gut.

Selbst das am besten restaurierte Bild wird von einigen Internetnutzern immer noch in Frage gestellt: Warum sieht der Panda überhaupt nicht wie ein Panda aus?

BilderKI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunDer Autor sagte: Zumindest wie ein Schwarz-Weiß-Bär. (Der Panda ist wütend!)

BilderKI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunNatürlich geben Forscher auch zu, dass der aus MEG-Daten wiederhergestellte Bildeffekt derzeit tatsächlich nicht sehr gut ist und der Hauptvorteil in der Geschwindigkeit liegt.

Zum Beispiel kann eine frühere Studie namens 7T fMRI der University of Minnesota und anderer Institutionen das vom menschlichen Auge gesehene Bild aus fMRT-Daten mit einem hohen Wiederherstellungsgrad wiederherstellen.

KI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunBilder

Ob es sich um menschliche Surfbewegungen, die Form eines Flugzeugs, die Farbe von Zebras oder den Hintergrund eines Zuges handelt, eine auf fMRT-Daten trainierte KI kann das Bild besser wiederherstellen:

KI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCunBilder

Die Autoren gaben auch eine Erklärung dafür und gingen davon aus, dass dies darauf zurückzuführen sei, dass die von der auf MEG basierenden KI wiederhergestellten visuellen Funktionen relativ weit fortgeschritten seien.

Aber im Vergleich dazu kann 7T fMRI visuelle Merkmale auf niedrigerer Ebene im Bild extrahieren und wiederherstellen, sodass die Gesamtwiederherstellung des erzeugten Bildes höher ist.

Wo kann diese Art der Forschung Ihrer Meinung nach eingesetzt werden?

Papieradresse:
https://www.php.cn/link/f40723ed94042ea9ea36bfb5ad4157b2

Das obige ist der detaillierte Inhalt vonKI interpretiert Gehirnsignale in Echtzeit und stellt wichtige visuelle Merkmale von Bildern mit 7-facher Geschwindigkeit wieder her, weitergeleitet von LeCun. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Verwenden Sie ddrescue, um Daten unter Linux wiederherzustellen Verwenden Sie ddrescue, um Daten unter Linux wiederherzustellen Mar 20, 2024 pm 01:37 PM

DDREASE ist ein Tool zum Wiederherstellen von Daten von Datei- oder Blockgeräten wie Festplatten, SSDs, RAM-Disks, CDs, DVDs und USB-Speichergeräten. Es kopiert Daten von einem Blockgerät auf ein anderes, wobei beschädigte Blöcke zurückbleiben und nur gute Blöcke verschoben werden. ddreasue ist ein leistungsstarkes Wiederherstellungstool, das vollständig automatisiert ist, da es während der Wiederherstellungsvorgänge keine Unterbrechungen erfordert. Darüber hinaus kann es dank der ddasue-Map-Datei jederzeit gestoppt und fortgesetzt werden. Weitere wichtige Funktionen von DDREASE sind: Es überschreibt die wiederhergestellten Daten nicht, füllt aber die Lücken im Falle einer iterativen Wiederherstellung. Es kann jedoch gekürzt werden, wenn das Tool explizit dazu aufgefordert wird. Stellen Sie Daten aus mehreren Dateien oder Blöcken in einer einzigen wieder her

Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Open Source! Jenseits von ZoeDepth! DepthFM: Schnelle und genaue monokulare Tiefenschätzung! Apr 03, 2024 pm 12:04 PM

0.Was bewirkt dieser Artikel? Wir schlagen DepthFM vor: ein vielseitiges und schnelles generatives monokulares Tiefenschätzungsmodell auf dem neuesten Stand der Technik. Zusätzlich zu herkömmlichen Tiefenschätzungsaufgaben demonstriert DepthFM auch hochmoderne Fähigkeiten bei nachgelagerten Aufgaben wie dem Tiefen-Inpainting. DepthFM ist effizient und kann Tiefenkarten innerhalb weniger Inferenzschritte synthetisieren. Lassen Sie uns diese Arbeit gemeinsam lesen ~ 1. Titel der Papierinformationen: DepthFM: FastMonocularDepthEstimationwithFlowMatching Autor: MingGui, JohannesS.Fischer, UlrichPrestel, PingchuanMa, Dmytr

So verwenden Sie die Excel-Filterfunktion mit mehreren Bedingungen So verwenden Sie die Excel-Filterfunktion mit mehreren Bedingungen Feb 26, 2024 am 10:19 AM

Wenn Sie wissen müssen, wie Sie die Filterung mit mehreren Kriterien in Excel verwenden, führt Sie das folgende Tutorial durch die Schritte, um sicherzustellen, dass Sie Ihre Daten effektiv filtern und sortieren können. Die Filterfunktion von Excel ist sehr leistungsstark und kann Ihnen dabei helfen, aus großen Datenmengen die benötigten Informationen zu extrahieren. Diese Funktion kann Daten entsprechend den von Ihnen festgelegten Bedingungen filtern und nur die Teile anzeigen, die die Bedingungen erfüllen, wodurch die Datenverwaltung effizienter wird. Mithilfe der Filterfunktion können Sie Zieldaten schnell finden und so Zeit beim Suchen und Organisieren von Daten sparen. Diese Funktion kann nicht nur auf einfache Datenlisten angewendet werden, sondern auch nach mehreren Bedingungen gefiltert werden, um Ihnen dabei zu helfen, die benötigten Informationen genauer zu finden. Insgesamt ist die Filterfunktion von Excel sehr praktisch

Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Google ist begeistert: JAX-Leistung übertrifft Pytorch und TensorFlow! Es könnte die schnellste Wahl für das GPU-Inferenztraining werden Apr 01, 2024 pm 07:46 PM

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen Langsame Internetgeschwindigkeiten für Mobilfunkdaten auf dem iPhone: Korrekturen May 03, 2024 pm 09:01 PM

Stehen Sie vor einer Verzögerung oder einer langsamen mobilen Datenverbindung auf dem iPhone? Normalerweise hängt die Stärke des Mobilfunk-Internets auf Ihrem Telefon von mehreren Faktoren ab, wie z. B. der Region, dem Mobilfunknetztyp, dem Roaming-Typ usw. Es gibt einige Dinge, die Sie tun können, um eine schnellere und zuverlässigere Mobilfunk-Internetverbindung zu erhalten. Fix 1 – Neustart des iPhone erzwingen Manchmal werden durch einen erzwungenen Neustart Ihres Geräts viele Dinge zurückgesetzt, einschließlich der Mobilfunkverbindung. Schritt 1 – Drücken Sie einfach einmal die Lauter-Taste und lassen Sie sie los. Drücken Sie anschließend die Leiser-Taste und lassen Sie sie wieder los. Schritt 2 – Der nächste Teil des Prozesses besteht darin, die Taste auf der rechten Seite gedrückt zu halten. Lassen Sie das iPhone den Neustart abschließen. Aktivieren Sie Mobilfunkdaten und überprüfen Sie die Netzwerkgeschwindigkeit. Überprüfen Sie es erneut. Fix 2 – Datenmodus ändern 5G bietet zwar bessere Netzwerkgeschwindigkeiten, funktioniert jedoch besser, wenn das Signal schwächer ist

Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Die Vitalität der Superintelligenz erwacht! Aber mit der Einführung der sich selbst aktualisierenden KI müssen sich Mütter keine Sorgen mehr über Datenengpässe machen Apr 29, 2024 pm 06:55 PM

Ich weine zu Tode. Die Daten im Internet reichen überhaupt nicht aus. Das Trainingsmodell sieht aus wie „Die Tribute von Panem“, und KI-Forscher auf der ganzen Welt machen sich Gedanken darüber, wie sie diese datenhungrigen Esser ernähren sollen. Dieses Problem tritt insbesondere bei multimodalen Aufgaben auf. Zu einer Zeit, als sie ratlos waren, nutzte ein Start-up-Team der Abteilung der Renmin-Universität von China sein eigenes neues Modell, um als erstes in China einen „modellgenerierten Datenfeed selbst“ in die Realität umzusetzen. Darüber hinaus handelt es sich um einen zweigleisigen Ansatz auf der Verständnisseite und der Generierungsseite. Beide Seiten können hochwertige, multimodale neue Daten generieren und Datenrückmeldungen an das Modell selbst liefern. Was ist ein Modell? Awaker 1.0, ein großes multimodales Modell, das gerade im Zhongguancun-Forum erschienen ist. Wer ist das Team? Sophon-Motor. Gegründet von Gao Yizhao, einem Doktoranden an der Hillhouse School of Artificial Intelligence der Renmin University.

Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet. Die U.S. Air Force präsentiert ihren ersten KI-Kampfjet mit großem Aufsehen! Der Minister führte die Testfahrt persönlich durch, ohne in den gesamten Prozess einzugreifen, und 100.000 Codezeilen wurden 21 Mal getestet. May 07, 2024 pm 05:00 PM

Kürzlich wurde die Militärwelt von der Nachricht überwältigt: US-Militärkampfflugzeuge können jetzt mithilfe von KI vollautomatische Luftkämpfe absolvieren. Ja, erst kürzlich wurde der KI-Kampfjet des US-Militärs zum ersten Mal der Öffentlichkeit zugänglich gemacht und sein Geheimnis gelüftet. Der vollständige Name dieses Jägers lautet „Variable Stability Simulator Test Aircraft“ (VISTA). Er wurde vom Minister der US-Luftwaffe persönlich geflogen, um einen Eins-gegen-eins-Luftkampf zu simulieren. Am 2. Mai startete US-Luftwaffenminister Frank Kendall mit einer X-62AVISTA auf der Edwards Air Force Base. Beachten Sie, dass während des einstündigen Fluges alle Flugaktionen autonom von der KI durchgeführt wurden! Kendall sagte: „In den letzten Jahrzehnten haben wir über das unbegrenzte Potenzial des autonomen Luft-Luft-Kampfes nachgedacht, aber es schien immer unerreichbar.“ Nun jedoch,

Der erste Roboter erscheint, der menschliche Aufgaben autonom erledigt, mit fünf flexiblen Fingern und übermenschlicher Geschwindigkeit, und große Modelle unterstützen das Training im virtuellen Raum Der erste Roboter erscheint, der menschliche Aufgaben autonom erledigt, mit fünf flexiblen Fingern und übermenschlicher Geschwindigkeit, und große Modelle unterstützen das Training im virtuellen Raum Mar 11, 2024 pm 12:10 PM

Diese Woche gab FigureAI, ein Robotikunternehmen, an dem OpenAI, Microsoft, Bezos und Nvidia beteiligt sind, bekannt, dass es fast 700 Millionen US-Dollar an Finanzmitteln erhalten hat und plant, im nächsten Jahr einen humanoiden Roboter zu entwickeln, der selbstständig gehen kann. Und Teslas Optimus Prime hat immer wieder gute Nachrichten erhalten. Niemand zweifelt daran, dass dieses Jahr das Jahr sein wird, in dem humanoide Roboter explodieren. SanctuaryAI, ein in Kanada ansässiges Robotikunternehmen, hat kürzlich einen neuen humanoiden Roboter auf den Markt gebracht: Phoenix. Beamte behaupten, dass es viele Aufgaben autonom und mit der gleichen Geschwindigkeit wie Menschen erledigen kann. Pheonix, der weltweit erste Roboter, der Aufgaben autonom in menschlicher Geschwindigkeit erledigen kann, kann jedes Objekt sanft greifen, bewegen und elegant auf der linken und rechten Seite platzieren. Es kann Objekte autonom identifizieren

See all articles