Heim Technologie-Peripheriegeräte KI Metaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operieren

Metaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operieren

Apr 10, 2023 pm 02:31 PM
ai

Metaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operieren

Forscher der KI-Forschungsabteilung von Meta haben kürzlich eine Ankündigung veröffentlicht, in der sie wichtige Fortschritte bei der Koordination adaptiver Fähigkeiten von Robotern und der Replikation des visuellen Kortex ankündigen. Sie sagen, dass diese Fortschritte es KI-betriebenen Robotern ermöglichen, in der realen Welt durch Vision zu agieren, ohne dass Daten aus der realen Welt erfasst werden müssen.

Metaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operieren

Sie behaupten, dies sei ein großer Fortschritt bei der Entwicklung universell einsetzbarer „Embodied AI“-Roboter, die ohne menschliches Eingreifen mit der realen Welt interagieren können. Die Forscher sagten auch, dass sie einen künstlichen visuellen Kortex namens „VC-1“ geschaffen hätten, der auf dem Ego4D-Datensatz trainiert wurde, der die täglichen Aktivitäten von Tausenden von Forschungsteilnehmern auf der ganzen Welt aufzeichnet.

Wie die Forscher in einem zuvor veröffentlichten Blogbeitrag erklärten, ist der visuelle Kortex der Bereich des Gehirns, der es Organismen ermöglicht, Sehen in Bewegung umzuwandeln. Daher ist ein künstlicher visueller Kortex eine wichtige Voraussetzung für jeden Roboter, der Aufgaben basierend auf der Szene vor ihm ausführen muss.

Da der künstliche visuelle Kortex von „VC-1“ benötigt wird, um eine Reihe unterschiedlicher sensomotorischer Aufgaben in unterschiedlichen Umgebungen gut auszuführen, spielt der Ego4D-Datensatz eine besonders wichtige Rolle, da er die Daten enthält, die die Studienteilnehmer durch die Kameras tragen Stundenlanges Video von täglichen Aktivitäten wie Kochen, Putzen, Sport treiben, Basteln und mehr.

Die Forscher sagten: „Biologische Organismen verfügen über einen universellen visuellen Kortex, der das Repräsentationsmittel ist, nach dem wir suchen. Deshalb haben wir uns zum Ziel gesetzt, einen Datensatz zu erstellen, der bei mehreren Aufgaben gut funktioniert, wobei wir Ego4D als Kerndatensatz verwenden und verbessern.“ VC-1 durch das Hinzufügen zusätzlicher Datensätze. Da sich Ego4D hauptsächlich auf alltägliche Aktivitäten wie Kochen, Gartenarbeit und Basteln konzentriert, haben wir auch einen Datensatz mit egozentrischen Videos zur Erkundung von Häusern und Wohnungen übernommen „verkörperte KI.“ Damit Roboter in der realen Welt völlig autonom arbeiten können, müssen sie auch in der Lage sein, reale Objekte zu manipulieren. Der Roboter benötigt Sehkraft, um zu navigieren, ein Objekt zu finden und zu tragen, es an einen anderen Ort zu bewegen und es dann richtig zu platzieren – alles Aktionen, die er autonom auf der Grundlage dessen ausführt, was er sieht und hört.

Um dieses Problem zu lösen, haben die KI-Experten von Meta mit Forschern des Georgia Institute of Technology zusammengearbeitet, um eine neue Technologie namens Adaptive Skill Coordination (ASC) zu entwickeln, mit der Roboter diese Fähigkeiten simulieren und dann trainieren. Diese Fähigkeiten werden in realen Robotern nachgebildet.

Meta arbeitete auch mit Boston Dynamics zusammen, um die Wirksamkeit seiner ASC-Technologie zu demonstrieren. Die beiden Unternehmen kombinierten die ASC-Technologie mit dem Spot-Roboter von Boston Dynamics, um dem Roboter leistungsstarke Erfassungs-, Navigations- und Manipulationsfähigkeiten zu verleihen, obwohl dafür auch ein erheblicher menschlicher Eingriff erforderlich ist. Um beispielsweise ein Objekt auszuwählen, muss jemand auf das Objekt klicken, das auf dem Tablet des Roboters angezeigt wird.

Die Forscher schrieben in dem Artikel: „Unser Ziel ist es, ein KI-Modell zu entwickeln, das die Welt anhand der integrierten Sensorik und motorischen Befehle über die Boston Dynamics API wahrnehmen kann.“

Der Spot-Roboter wurde mit dem Habitat-Simulator getestet, den The Die Simulationsumgebung wurde unter Verwendung von HM3D- und ReplicaCAD-Datensätzen erstellt, die 3D-Scandaten für den Innenbereich von mehr als 1.000 Häusern enthalten. Der Spot-Roboter wurde dann darauf trainiert, sich durch ein Haus zu bewegen, das er zuvor noch nicht gesehen hatte, Gegenstände zu tragen und sie an geeigneten Orten zu platzieren. Das von den trainierten Spot-Robotern gewonnene Wissen und die Informationen werden dann auf Spot-Roboter übertragen, die in der realen Welt arbeiten und die automatisch dieselben Aufgaben ausführen, basierend auf ihrem Wissen über den Grundriss des Hauses.

Metaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operierenDie Forscher schrieben: „Wir haben den Spot-Roboter in zwei sehr unterschiedlichen realen Umgebungen getestet, einer 185 Quadratmeter großen, voll möblierten Wohnung und einem 65 Quadratmeter großen Universitätslabor. Insgesamt hat der Spot-Roboter mit ASC-Technologie nahezu fehlerfrei funktioniert und 59 Mal von 60 Tests bestanden, wobei er Hardware-Instabilität, Aufnahmefehler und gegnerische Störungen wie sich bewegende Hindernisse oder blockierende Wege überwand dass sie auch den Quellcode des VC-1-Modells geöffnet und in einem anderen Artikel Einzelheiten zur Skalierung der Modellgröße, der Datensatzgröße usw. mitgeteilt haben. In der Zwischenzeit wird der nächste Schwerpunkt des Teams auf der Integration von VC-1 mit ASC liegen, um ein menschlicheres repräsentatives KI-System zu schaffen.

Das obige ist der detaillierte Inhalt vonMetaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
2 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
Repo: Wie man Teamkollegen wiederbelebt
1 Monate vor By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island Abenteuer: Wie man riesige Samen bekommt
4 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Warum ist es notwendig, Zeiger zu verabschieden, wenn sie GO- und Viper -Bibliotheken verwenden? Warum ist es notwendig, Zeiger zu verabschieden, wenn sie GO- und Viper -Bibliotheken verwenden? Apr 02, 2025 pm 04:00 PM

Go Zeigersyntax und Probleme bei der Verwendung der Viper -Bibliothek bei der Programmierung in Go -Sprache. Es ist entscheidend, die Syntax und Verwendung von Zeigern zu verstehen, insbesondere in ...

Warum werden alle Werte das letzte Element, wenn sie für den Bereich in der GO -Sprache verwendet werden, um Scheiben zu durchqueren und Karten zu speichern? Warum werden alle Werte das letzte Element, wenn sie für den Bereich in der GO -Sprache verwendet werden, um Scheiben zu durchqueren und Karten zu speichern? Apr 02, 2025 pm 04:09 PM

Warum bewirkt die Kartendiseration in Go alle Werte zum letzten Element? In Go -Sprache begegnen Sie, wenn Sie einige Interviewfragen konfrontiert sind, häufig Karten ...

Gibt es ein kostenloses XML -zu -PDF -Tool für Mobiltelefone? Gibt es ein kostenloses XML -zu -PDF -Tool für Mobiltelefone? Apr 02, 2025 pm 09:12 PM

Es gibt kein einfaches und direktes kostenloses XML -zu -PDF -Tool auf Mobilgeräten. Der erforderliche Datenvisualisierungsprozess beinhaltet komplexes Datenverständnis und Rendering, und die meisten sogenannten "freien" Tools auf dem Markt haben schlechte Erfahrung. Es wird empfohlen, Computer-Seiten-Tools zu verwenden oder Cloud-Dienste zu verwenden oder Apps selbst zu entwickeln, um zuverlässigere Conversion-Effekte zu erhalten.

Wie kann ich benutzerdefinierte Pakete unter Go -Modulen korrekt importieren? Wie kann ich benutzerdefinierte Pakete unter Go -Modulen korrekt importieren? Apr 02, 2025 pm 03:42 PM

In der GO -Sprachentwicklung ist die ordnungsgemäße Einführung kundenspezifischer Pakete ein entscheidender Schritt. Dieser Artikel richtet sich an "Golang ...

So verschönern Sie das XML -Format So verschönern Sie das XML -Format Apr 02, 2025 pm 09:57 PM

Die XML -Verschönerung verbessert im Wesentlichen seine Lesbarkeit, einschließlich angemessener Einkerbung, Zeilenpausen und Tag -Organisation. Das Prinzip besteht darin, den XML -Baum zu durchqueren, die Eindrücke entsprechend der Ebene hinzuzufügen und leere Tags und Tags, die Text enthalten, zu verarbeiten. Pythons xml.etree.elementtree -Bibliothek bietet eine bequeme Funktion hübsch_xml (), die den oben genannten Verschönerungsprozess implementieren kann.

Warum führt der Code, der mit Sperren in Go gelegentlich zu Panik führt? Warum führt der Code, der mit Sperren in Go gelegentlich zu Panik führt? Apr 02, 2025 pm 04:36 PM

Warum verursachen die Verwendung von Schlösser gelegentlich Panik? Schauen wir uns eine interessante Frage an: Warum in Go, auch wenn Schlösser im Code hinzugefügt werden, manchmal ...

So überprüfen Sie das XML -Format So überprüfen Sie das XML -Format Apr 02, 2025 pm 10:00 PM

Die Validierung des XML -Formats umfasst die Überprüfung der Struktur und der Einhaltung von DTD oder Schema. Ein XML -Parser ist erforderlich, wie z. Der Überprüfungsprozess umfasst das Parsen der XML -Datei, das Laden des XSD -Schemas und das Ausführen der AssertValid -Methode, um eine Ausnahme auszuführen, wenn ein Fehler erkannt wird. Das Überprüfen des XML -Formats erfordert auch die Handhabung verschiedener Ausnahmen und einen Einblick in die Sprache des XSD -Schemas.

Wie konvertiere ich XML mit Java in das Bild? Wie konvertiere ich XML mit Java in das Bild? Apr 02, 2025 pm 08:36 PM

Es gibt keine "universelle" Methode: XML zur Bildumwandlung erfordert die Auswahl der entsprechenden Strategie basierend auf XML -Daten und Zielbildstil. Parsing XML: Verwenden Sie Bibliotheken wie DOM, SAX, STAX oder JAXB. Bildverarbeitung: Verwenden Sie Java.awt.image Paket oder fortgeschrittenere Bibliotheken wie ImageIO und Javafx. Daten zur Bildzuordnung: Definiert die Zuordnungsregeln von XML -Knoten zu Bildteilen. Betrachten Sie komplexe Szenarien: Umgang mit XML -Fehlern, Bildskalierung und Textrendern. Leistungsoptimierung: Verwenden Sie SAX -Parser- oder Multithreading -Technologien.

See all articles