


Metaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operieren
Forscher der KI-Forschungsabteilung von Meta haben kürzlich eine Ankündigung veröffentlicht, in der sie wichtige Fortschritte bei der Koordination adaptiver Fähigkeiten von Robotern und der Replikation des visuellen Kortex ankündigen. Sie sagen, dass diese Fortschritte es KI-betriebenen Robotern ermöglichen, in der realen Welt durch Vision zu agieren, ohne dass Daten aus der realen Welt erfasst werden müssen.
Sie behaupten, dies sei ein großer Fortschritt bei der Entwicklung universell einsetzbarer „Embodied AI“-Roboter, die ohne menschliches Eingreifen mit der realen Welt interagieren können. Die Forscher sagten auch, dass sie einen künstlichen visuellen Kortex namens „VC-1“ geschaffen hätten, der auf dem Ego4D-Datensatz trainiert wurde, der die täglichen Aktivitäten von Tausenden von Forschungsteilnehmern auf der ganzen Welt aufzeichnet.
Wie die Forscher in einem zuvor veröffentlichten Blogbeitrag erklärten, ist der visuelle Kortex der Bereich des Gehirns, der es Organismen ermöglicht, Sehen in Bewegung umzuwandeln. Daher ist ein künstlicher visueller Kortex eine wichtige Voraussetzung für jeden Roboter, der Aufgaben basierend auf der Szene vor ihm ausführen muss.
Da der künstliche visuelle Kortex von „VC-1“ benötigt wird, um eine Reihe unterschiedlicher sensomotorischer Aufgaben in unterschiedlichen Umgebungen gut auszuführen, spielt der Ego4D-Datensatz eine besonders wichtige Rolle, da er die Daten enthält, die die Studienteilnehmer durch die Kameras tragen Stundenlanges Video von täglichen Aktivitäten wie Kochen, Putzen, Sport treiben, Basteln und mehr.
Die Forscher sagten: „Biologische Organismen verfügen über einen universellen visuellen Kortex, der das Repräsentationsmittel ist, nach dem wir suchen. Deshalb haben wir uns zum Ziel gesetzt, einen Datensatz zu erstellen, der bei mehreren Aufgaben gut funktioniert, wobei wir Ego4D als Kerndatensatz verwenden und verbessern.“ VC-1 durch das Hinzufügen zusätzlicher Datensätze. Da sich Ego4D hauptsächlich auf alltägliche Aktivitäten wie Kochen, Gartenarbeit und Basteln konzentriert, haben wir auch einen Datensatz mit egozentrischen Videos zur Erkundung von Häusern und Wohnungen übernommen „verkörperte KI.“ Damit Roboter in der realen Welt völlig autonom arbeiten können, müssen sie auch in der Lage sein, reale Objekte zu manipulieren. Der Roboter benötigt Sehkraft, um zu navigieren, ein Objekt zu finden und zu tragen, es an einen anderen Ort zu bewegen und es dann richtig zu platzieren – alles Aktionen, die er autonom auf der Grundlage dessen ausführt, was er sieht und hört.
Um dieses Problem zu lösen, haben die KI-Experten von Meta mit Forschern des Georgia Institute of Technology zusammengearbeitet, um eine neue Technologie namens Adaptive Skill Coordination (ASC) zu entwickeln, mit der Roboter diese Fähigkeiten simulieren und dann trainieren. Diese Fähigkeiten werden in realen Robotern nachgebildet.
Meta arbeitete auch mit Boston Dynamics zusammen, um die Wirksamkeit seiner ASC-Technologie zu demonstrieren. Die beiden Unternehmen kombinierten die ASC-Technologie mit dem Spot-Roboter von Boston Dynamics, um dem Roboter leistungsstarke Erfassungs-, Navigations- und Manipulationsfähigkeiten zu verleihen, obwohl dafür auch ein erheblicher menschlicher Eingriff erforderlich ist. Um beispielsweise ein Objekt auszuwählen, muss jemand auf das Objekt klicken, das auf dem Tablet des Roboters angezeigt wird.
Die Forscher schrieben in dem Artikel: „Unser Ziel ist es, ein KI-Modell zu entwickeln, das die Welt anhand der integrierten Sensorik und motorischen Befehle über die Boston Dynamics API wahrnehmen kann.“
Der Spot-Roboter wurde mit dem Habitat-Simulator getestet, den The Die Simulationsumgebung wurde unter Verwendung von HM3D- und ReplicaCAD-Datensätzen erstellt, die 3D-Scandaten für den Innenbereich von mehr als 1.000 Häusern enthalten. Der Spot-Roboter wurde dann darauf trainiert, sich durch ein Haus zu bewegen, das er zuvor noch nicht gesehen hatte, Gegenstände zu tragen und sie an geeigneten Orten zu platzieren. Das von den trainierten Spot-Robotern gewonnene Wissen und die Informationen werden dann auf Spot-Roboter übertragen, die in der realen Welt arbeiten und die automatisch dieselben Aufgaben ausführen, basierend auf ihrem Wissen über den Grundriss des Hauses.
Die Forscher schrieben: „Wir haben den Spot-Roboter in zwei sehr unterschiedlichen realen Umgebungen getestet, einer 185 Quadratmeter großen, voll möblierten Wohnung und einem 65 Quadratmeter großen Universitätslabor. Insgesamt hat der Spot-Roboter mit ASC-Technologie nahezu fehlerfrei funktioniert und 59 Mal von 60 Tests bestanden, wobei er Hardware-Instabilität, Aufnahmefehler und gegnerische Störungen wie sich bewegende Hindernisse oder blockierende Wege überwand dass sie auch den Quellcode des VC-1-Modells geöffnet und in einem anderen Artikel Einzelheiten zur Skalierung der Modellgröße, der Datensatzgröße usw. mitgeteilt haben. In der Zwischenzeit wird der nächste Schwerpunkt des Teams auf der Integration von VC-1 mit ASC liegen, um ein menschlicheres repräsentatives KI-System zu schaffen.
Das obige ist der detaillierte Inhalt vonMetaforscher erschaffen einen künstlichen visuellen Kortex, der es Robotern ermöglicht, visuell zu operieren. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen

Go Zeigersyntax und Probleme bei der Verwendung der Viper -Bibliothek bei der Programmierung in Go -Sprache. Es ist entscheidend, die Syntax und Verwendung von Zeigern zu verstehen, insbesondere in ...

Warum bewirkt die Kartendiseration in Go alle Werte zum letzten Element? In Go -Sprache begegnen Sie, wenn Sie einige Interviewfragen konfrontiert sind, häufig Karten ...

Es gibt kein einfaches und direktes kostenloses XML -zu -PDF -Tool auf Mobilgeräten. Der erforderliche Datenvisualisierungsprozess beinhaltet komplexes Datenverständnis und Rendering, und die meisten sogenannten "freien" Tools auf dem Markt haben schlechte Erfahrung. Es wird empfohlen, Computer-Seiten-Tools zu verwenden oder Cloud-Dienste zu verwenden oder Apps selbst zu entwickeln, um zuverlässigere Conversion-Effekte zu erhalten.

In der GO -Sprachentwicklung ist die ordnungsgemäße Einführung kundenspezifischer Pakete ein entscheidender Schritt. Dieser Artikel richtet sich an "Golang ...

Die XML -Verschönerung verbessert im Wesentlichen seine Lesbarkeit, einschließlich angemessener Einkerbung, Zeilenpausen und Tag -Organisation. Das Prinzip besteht darin, den XML -Baum zu durchqueren, die Eindrücke entsprechend der Ebene hinzuzufügen und leere Tags und Tags, die Text enthalten, zu verarbeiten. Pythons xml.etree.elementtree -Bibliothek bietet eine bequeme Funktion hübsch_xml (), die den oben genannten Verschönerungsprozess implementieren kann.

Warum verursachen die Verwendung von Schlösser gelegentlich Panik? Schauen wir uns eine interessante Frage an: Warum in Go, auch wenn Schlösser im Code hinzugefügt werden, manchmal ...

Die Validierung des XML -Formats umfasst die Überprüfung der Struktur und der Einhaltung von DTD oder Schema. Ein XML -Parser ist erforderlich, wie z. Der Überprüfungsprozess umfasst das Parsen der XML -Datei, das Laden des XSD -Schemas und das Ausführen der AssertValid -Methode, um eine Ausnahme auszuführen, wenn ein Fehler erkannt wird. Das Überprüfen des XML -Formats erfordert auch die Handhabung verschiedener Ausnahmen und einen Einblick in die Sprache des XSD -Schemas.

Es gibt keine "universelle" Methode: XML zur Bildumwandlung erfordert die Auswahl der entsprechenden Strategie basierend auf XML -Daten und Zielbildstil. Parsing XML: Verwenden Sie Bibliotheken wie DOM, SAX, STAX oder JAXB. Bildverarbeitung: Verwenden Sie Java.awt.image Paket oder fortgeschrittenere Bibliotheken wie ImageIO und Javafx. Daten zur Bildzuordnung: Definiert die Zuordnungsregeln von XML -Knoten zu Bildteilen. Betrachten Sie komplexe Szenarien: Umgang mit XML -Fehlern, Bildskalierung und Textrendern. Leistungsoptimierung: Verwenden Sie SAX -Parser- oder Multithreading -Technologien.
