


Generative Modelle erstellen interaktive Realweltsimulatoren, was LeCun ziemlich cool findet
Generative Modelle, die auf Internetdaten trainiert werden, revolutionieren die Art und Weise, wie Text-, Bild- und Videoinhalte erstellt werden. Einige Forscher gehen davon aus, dass der nächste Meilenstein generativer Modelle möglicherweise die Fähigkeit sein wird, alle Aspekte menschlicher Erfahrungen auf der Welt zu simulieren, beispielsweise wie man ein Auto auf der Straße fährt oder wie man Mahlzeiten zubereitet.
Mit Hilfe sehr umfassender realer Simulatoren können Menschen heutzutage mit verschiedenen Szenen und Objekten interagieren und Roboter können aus simulierten Erfahrungen lernen, um das Risiko physischer Schäden zu vermeiden.
Eines der größten Hindernisse beim Aufbau eines solchen realen Simulators liegt jedoch in den verfügbaren Datensätzen. Obwohl es im Internet Milliarden von Texten, Bildern und Videoclips gibt, decken verschiedene Datensätze unterschiedliche Informationsachsen ab, und diese Datensätze müssen zusammengeführt werden, um ein realistisches Erlebnis der Welt zu simulieren. Beispielsweise enthalten gepaarte Textbilddaten umfangreiche Szenen und Objekte, aber nur wenige Videountertitel sowie Frage- und Antwortdaten enthalten umfassende Aktivitätsbeschreibungen auf hoher Ebene, aber nur wenige Bewegungsdetails auf niedriger Ebene mechanische Bewegungen; Roboterdaten enthalten zwar umfangreiche Roboterbewegungen, aber die Menge ist begrenzt
Die oben aufgeführten Informationsunterschiede sind natürlich und schwer zu überwinden, was es schwierig macht, eine reale Simulation zu erstellen, die darauf abzielt, die reale Erfahrung zu erfassen der realen Welt bringt Schwierigkeiten mit sich.
In diesem Artikel untersuchen Forscher von UC Berkeley, Google DeepMind, MIT und anderen Institutionen UniSim, einen universellen Simulator, der reale Interaktionen durch generative Modelle lernt, und machen damit den ersten Schritt beim Aufbau eines universellen Simulators. UniSim kann beispielsweise simulieren, wie Menschen und Agenten mit der Welt interagieren, indem es Anweisungen auf hoher Ebene wie „Öffne eine Schublade“ und die visuellen Ergebnisse von Anweisungen auf niedriger Ebene simuliert.
- Papieradresse: https://arxiv.org/pdf/2310.06114.pdf
- Papier-Homepage: https://universal-simulator.github.io/unisim/
Dieses Papier kombiniert große Datenmengen (einschließlich Internet-Text-Bild-Paare, umfangreiche Daten aus Navigation, menschlichen Aktivitäten, Roboteraktionen usw. sowie Daten aus Simulationen und Renderings) in einem bedingten Videogenerierungsrahmen . Durch die sorgfältige Orchestrierung umfangreicher Daten entlang verschiedener Achsen zeigt dieses Papier, dass UniSim erfolgreich Erfahrungen aus verschiedenen Datenachsen zusammenführen und über die Daten hinaus verallgemeinern kann, um durch eine feinkörnige Bewegungssteuerung statischer Szenen und Objekte umfassende Interaktionen zu ermöglichen.
Das folgende Video zeigt, wie UniSim ein Beispiel mit einem langen Interaktionshorizont simuliert. Das Video zeigt, dass UniSim acht Roboteraktionsanweisungen in einem Atemzug simuliert:
UniSims Simulation menschlicher Handlungen:
UniSims RL-Strategie Der simulierte Einsatz sieht wie folgt aus:
Branchenexperten wie Yann LeCun, Chef-KI-Wissenschaftler bei Meta, und Jim Fan, leitender Forschungswissenschaftler bei NVIDIA, haben die Forschung weitergeleitet. LeCun bewertete dies mit „cool“
Jim Fan sagte, dass diese Arbeit sehr interessant sei. Das Videodiffusionsmodell wird als datengesteuerte Physiksimulation verwendet, bei der ein Agent optimale Aktionen planen, erkunden und lernen kann, ohne die Roboterhardware zu berühren oder Schaden anzurichten. Man kann sagen, dass LLM nicht nur ein Betriebssystem, sondern auch ein vollständiger Realitätssimulator ist
Sherry Yang, die Erstautorin des Artikels und Doktorandin an der University of California, Berkeley, sagte: „ Das Erlernen realer Modelle wird zur Realität.“ Wie in Abbildung 3 gezeigt, kann UniSim eine Reihe umfangreicher Aktionen in der Küchenszene simulieren, darunter Händewaschen, Schüsselhalten, Karottenschneiden und Händetrocknen. Oben rechts in Abbildung 3 sind verschiedene Schalter zu sehen, während unten in Abbildung 3 zwei Navigationsszenen zu sehen sind Der Inhalt, der neu geschrieben werden muss, entspricht der Navigationsszene unten rechts in Abbildung 3 Entsprechend der Navigationsszene in der unteren rechten Ecke von Abbildung 3 oben Abbildung 4 unten zeigt ein Beispiel dafür, wie UniSim 8 Interaktionen nacheinander autoregressiv simuliert UniSim unterstützt nicht nur umfangreiche Aktionen und die Interaktion über große Entfernungen kann auch sehr unterschiedliche und zufällige Umgebungsveränderungen bewirken. Nach dem Entfernen des oberen Handtuchs weisen die angezeigten Objekte beispielsweise Diversität auf (siehe Abbildung 5 unten, links). UniSim-Migrationsergebnisse in der realen Welt. Der wahre Wert von UniSim liegt in der Simulation der realen Welt. Abbildung 7 zeigt den von VLM generierten Sprachplan, das von UniSim basierend auf dem Sprachplan generierte Video und die Ausführung auf einem echten Roboter. Zusätzlich zum Testen der Transferfähigkeiten von UniSim in der realen Welt wurde in diesem Dokument auch eine simulatorbasierte Bewertung durchgeführt. Die Ergebnisse sind in Tabelle 2 aufgeführt: Das Experiment bewertet auch, wie gut UniSim verschiedene Aktionen ausführt, indem es einen echten Roboter simuliert, der den Endpunkt nach links, rechts, unten und oben bewegt, indem er in etwa 20 bis 30 Schritten wiederholt Kontrollvorgänge auf niedriger Ebene ausführt. Tabelle 3 zeigt, dass das RL-Training die Leistung der VLA-Richtlinie bei verschiedenen Aufgaben erheblich verbessert, insbesondere bei Aufgaben wie dem Zeigen auf den blauen Block. Anschließend implementieren wir die in UniSim trainierte Zero-Shot-RL-Richtlinie direkt auf einen echten Roboter, wie in Abbildung 8 (untere Reihe) dargestellt. Simulation realer Interaktionen
Realwelt für verstärkendes Lernen Simulator
Das obige ist der detaillierte Inhalt vonGenerative Modelle erstellen interaktive Realweltsimulatoren, was LeCun ziemlich cool findet. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Die von Google geförderte Leistung von JAX hat in jüngsten Benchmark-Tests die von Pytorch und TensorFlow übertroffen und belegt bei 7 Indikatoren den ersten Platz. Und der Test wurde nicht auf der TPU mit der besten JAX-Leistung durchgeführt. Obwohl unter Entwicklern Pytorch immer noch beliebter ist als Tensorflow. Aber in Zukunft werden möglicherweise mehr große Modelle auf Basis der JAX-Plattform trainiert und ausgeführt. Modelle Kürzlich hat das Keras-Team drei Backends (TensorFlow, JAX, PyTorch) mit der nativen PyTorch-Implementierung und Keras2 mit TensorFlow verglichen. Zunächst wählen sie eine Reihe von Mainstream-Inhalten aus

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

FP8 und die geringere Gleitkomma-Quantifizierungsgenauigkeit sind nicht länger das „Patent“ von H100! Lao Huang wollte, dass jeder INT8/INT4 nutzt, und das Microsoft DeepSpeed-Team begann, FP6 auf A100 ohne offizielle Unterstützung von NVIDIA auszuführen. Testergebnisse zeigen, dass die FP6-Quantisierung der neuen Methode TC-FPx auf A100 nahe an INT4 liegt oder gelegentlich schneller als diese ist und eine höhere Genauigkeit aufweist als letztere. Darüber hinaus gibt es eine durchgängige Unterstützung großer Modelle, die als Open-Source-Lösung bereitgestellt und in Deep-Learning-Inferenz-Frameworks wie DeepSpeed integriert wurde. Dieses Ergebnis wirkt sich auch unmittelbar auf die Beschleunigung großer Modelle aus – in diesem Rahmen ist der Durchsatz bei Verwendung einer einzelnen Karte zum Ausführen von Llama 2,65-mal höher als der von Doppelkarten. eins
