


Der Roboter hat gelernt, Stifte zu drehen und Walnüsse zu tellern! GPT-4-Segen: Je komplexer die Aufgabe, desto besser die Leistung
Produziert von Big Data Digest
Familie: Nachdem künstliche Intelligenz (KI) Schach, Go und Dota erobert hatte, wurde die Fähigkeit des Stiftdrehens auch von KI-Robotern erlernt.
Der oben erwähnte Stiftdrehroboter profitiert von einem Agenten namens Eureka, einer Forschungsstudie von NVIDIA, der University of Pennsylvania, dem California Institute of Technology und der University of Texas at Austin.
Mit der „Anleitung“ von Eureka kann der Roboter auch Schubladen und Schränke öffnen, Bälle werfen und fangen oder eine Schere benutzen. Laut Nvidia gibt es Eureka in 10 verschiedenen Ausführungen und kann 29 verschiedene Aufgaben ausführen.
Sie müssen wissen, dass die Funktion der Stiftübertragung bisher nicht so reibungslos durch manuelle Programmierung durch menschliche Experten allein realisiert werden konnte.
Der Roboter bereitet Walnüsse zu
Und Eureka kann selbstständig Belohnungsalgorithmen schreiben, um Roboter zu trainieren, und seine Codierungsleistung ist stark: Das selbst geschriebene Belohnungsprogramm übertrifft menschliche Experten in 83 % der Aufgaben und macht das Die Leistung des Roboters wird um durchschnittlich 52 % verbessert.
Eureka hat eine neue Methode des farbverlaufsfreien Lernens auf der Grundlage menschlichen Feedbacks entwickelt. Es kann Belohnungen und Text-Feedback von Menschen problemlos absorbieren und so seinen eigenen Belohnungsgenerierungsmechanismus weiter verbessern.
Konkret nutzt Eureka OpenAIs GPT-4, um Belohnungsprogramme für das Trial-and-Error-Lernen von Robotern zu schreiben. Das bedeutet, dass das System nicht auf menschliche aufgabenspezifische Hinweise oder voreingestellte Belohnungsmuster angewiesen ist.
Mithilfe der GPU-beschleunigten Simulation in Isaac Gym kann Eureka schnell die Vorzüge einer großen Anzahl von Kandidatenbelohnungen bewerten und so ein effizienteres Training ermöglichen. Eureka erstellt dann eine Zusammenfassung der wichtigsten Statistiken der Trainingsergebnisse und leitet das LLM (Sprachmodell) an, um die Generierung der Belohnungsfunktion zu verbessern. Auf diese Weise ist der KI-Agent in der Lage, seine Anweisungen an den Roboter selbstständig zu verbessern.
Eurekas Framework
Die Forscher fanden außerdem heraus, dass die Anweisungen von GPT-4 die menschlichen Anweisungen sogenannter „Belohnungsingenieure“ umso mehr übertrafen, je komplexer die Aufgabe war. Die an der Studie beteiligten Forscher nannten Eureka sogar einen „übermenschlichen Belohnungsingenieur“.
Eureka schließt erfolgreich die Lücke zwischen logischem Denken (Kodierung) auf hohem Niveau und motorischer Kontrolle auf niedrigem Niveau. Es verwendet eine sogenannte „Hybrid-Gradienten-Architektur“: Eine reine Inferenz-Blackbox LLM (Sprachmodell, Sprachmodell) leitet ein lernbares neuronales Netzwerk. In dieser Architektur führt die äußere Schleife GPT-4 aus, um die Belohnungsfunktion zu optimieren (gradientenfrei), während die innere Schleife Verstärkungslernen ausführt, um die Steuerung des Roboters zu trainieren (gradientenbasiert).
– Linxi „Jim“ Fan, Senior Research Scientist bei NVIDIA
Eureka kann menschliches Feedback integrieren, um Belohnungen besser an die Erwartungen der Entwickler anzupassen. Nvidia nennt diesen Prozess „in-context RLHF“ (Contextual Learning from Human Feedback)
Es ist erwähnenswert, dass das Forschungsteam von Nvidia die KI-Algorithmusbibliothek von Eureka als Open-Source-Lösung bereitgestellt hat. Dadurch können Einzelpersonen und Institutionen diese Algorithmen über Nvidia Isaac Gym erkunden und damit experimentieren. Isaac Gym basiert auf der Nvidia Omniverse-Plattform, einem Entwicklungsframework zum Erstellen von 3D-Tools und -Anwendungen basierend auf dem Open USD-Framework.
- Papier-Link: https://arxiv.org/pdf/2310.12931.pdf
- Projekt-Link: https://eureka-research.github.io/
- Code-Link: https://github.com/eureka- Wie bewerten Sie Forschung/Eureka
?
Reinforcement Learning hat im letzten Jahrzehnt große Erfolge erzielt, wir müssen jedoch anerkennen, dass es immer noch Herausforderungen gibt. Obwohl es bereits Versuche gab, ähnliche Technologien einzuführen, ist Eureka im Vergleich zu L2R (Learning to Reward), das Sprachmodelle (LLM) zur Unterstützung des Belohnungsdesigns verwendet, wichtiger, da es keine aufgabenspezifischen Eingabeaufforderungen mehr erfordert. Was Eureka besser als L2R macht, ist seine Fähigkeit, frei formulierte Belohnungsalgorithmen zu erstellen und Umgebungsquellcode als Hintergrundinformationen zu nutzen.
NVIDIAs Forschungsteam hat eine Umfrage durchgeführt, um herauszufinden, ob das Priming mit einer menschlichen Belohnungsfunktion einige Vorteile bietet. Der Zweck des Experiments besteht darin, herauszufinden, ob Sie die ursprüngliche menschliche Belohnungsfunktion erfolgreich durch die Ausgabe der ersten Eureka-Iteration ersetzen können.
Bei Tests optimierte das Forschungsteam von NVIDIA alle endgültigen Belohnungsfunktionen mithilfe desselben Reinforcement-Learning-Algorithmus und derselben Hyperparameter im Kontext jeder Aufgabe. Um zu testen, ob diese aufgabenspezifischen Hyperparameter gut abgestimmt sind, um die Wirksamkeit künstlich gestalteter Belohnungen sicherzustellen, verwendeten sie eine gut abgestimmte Implementierung der proximalen Richtlinienoptimierung (PPO), die auf früheren Arbeiten ohne Änderungen basierte. Für jede Belohnung führten die Forscher fünf unabhängige PPO-Trainingsläufe durch und meldeten den Durchschnitt der maximalen Aufgabenmetrikwerte, die an Richtlinienkontrollpunkten erreicht wurden, als Maß für die Belohnungsleistung.
Die Ergebnisse zeigen, dass menschliche Designer oft ein gutes Verständnis für relevante Zustandsvariablen haben, ihnen aber möglicherweise gewisse Kompetenzen bei der Gestaltung effektiver Belohnungen fehlen.
Diese bahnbrechende Forschung von Nvidia eröffnet neue Grenzen im Bereich Verstärkungslernen und Belohnungsdesign. Ihr universeller Belohnungsdesign-Algorithmus Eureka nutzt die Leistungsfähigkeit großer Sprachmodelle und kontextueller evolutionärer Suche, um Belohnungen auf menschlicher Ebene für ein breites Spektrum von Roboteraufgabenbereichen zu generieren, ohne dass aufgabenspezifische Eingabeaufforderungen oder menschliches Eingreifen erforderlich sind, was unser Verständnis von erheblich verändert KI und maschinelles Lernen.
Das obige ist der detaillierte Inhalt vonDer Roboter hat gelernt, Stifte zu drehen und Walnüsse zu tellern! GPT-4-Segen: Je komplexer die Aufgabe, desto besser die Leistung. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Diese Seite berichtete am 27. Juni, dass Jianying eine von FaceMeng Technology, einer Tochtergesellschaft von ByteDance, entwickelte Videobearbeitungssoftware ist, die auf der Douyin-Plattform basiert und grundsätzlich kurze Videoinhalte für Benutzer der Plattform produziert Windows, MacOS und andere Betriebssysteme. Jianying kündigte offiziell die Aktualisierung seines Mitgliedschaftssystems an und führte ein neues SVIP ein, das eine Vielzahl von KI-Schwarztechnologien umfasst, wie z. B. intelligente Übersetzung, intelligente Hervorhebung, intelligente Verpackung, digitale menschliche Synthese usw. Preislich beträgt die monatliche Gebühr für das Clipping von SVIP 79 Yuan, die Jahresgebühr 599 Yuan (Hinweis auf dieser Website: entspricht 49,9 Yuan pro Monat), das fortlaufende Monatsabonnement beträgt 59 Yuan pro Monat und das fortlaufende Jahresabonnement beträgt 499 Yuan pro Jahr (entspricht 41,6 Yuan pro Monat). Darüber hinaus erklärte der Cut-Beamte auch, dass diejenigen, die den ursprünglichen VIP abonniert haben, das Benutzererlebnis verbessern sollen

Verbessern Sie die Produktivität, Effizienz und Genauigkeit der Entwickler, indem Sie eine abrufgestützte Generierung und ein semantisches Gedächtnis in KI-Codierungsassistenten integrieren. Übersetzt aus EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, Autor JanakiramMSV. Obwohl grundlegende KI-Programmierassistenten natürlich hilfreich sind, können sie oft nicht die relevantesten und korrektesten Codevorschläge liefern, da sie auf einem allgemeinen Verständnis der Softwaresprache und den gängigsten Mustern beim Schreiben von Software basieren. Der von diesen Coding-Assistenten generierte Code eignet sich zur Lösung der von ihnen zu lösenden Probleme, entspricht jedoch häufig nicht den Coding-Standards, -Konventionen und -Stilen der einzelnen Teams. Dabei entstehen häufig Vorschläge, die geändert oder verfeinert werden müssen, damit der Code in die Anwendung übernommen wird

Um mehr über AIGC zu erfahren, besuchen Sie bitte: 51CTOAI.x Community https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou unterscheidet sich von der traditionellen Fragendatenbank, die überall im Internet zu sehen ist erfordert einen Blick über den Tellerrand hinaus. Large Language Models (LLMs) gewinnen in den Bereichen Datenwissenschaft, generative künstliche Intelligenz (GenAI) und künstliche Intelligenz zunehmend an Bedeutung. Diese komplexen Algorithmen verbessern die menschlichen Fähigkeiten, treiben Effizienz und Innovation in vielen Branchen voran und werden zum Schlüssel für Unternehmen, um wettbewerbsfähig zu bleiben. LLM hat ein breites Anwendungsspektrum und kann in Bereichen wie der Verarbeitung natürlicher Sprache, der Textgenerierung, der Spracherkennung und Empfehlungssystemen eingesetzt werden. Durch das Lernen aus großen Datenmengen ist LLM in der Lage, Text zu generieren

Large Language Models (LLMs) werden auf riesigen Textdatenbanken trainiert und erwerben dort große Mengen an realem Wissen. Dieses Wissen wird in ihre Parameter eingebettet und kann dann bei Bedarf genutzt werden. Das Wissen über diese Modelle wird am Ende der Ausbildung „verdinglicht“. Am Ende des Vortrainings hört das Modell tatsächlich auf zu lernen. Richten Sie das Modell aus oder verfeinern Sie es, um zu erfahren, wie Sie dieses Wissen nutzen und natürlicher auf Benutzerfragen reagieren können. Aber manchmal reicht Modellwissen nicht aus, und obwohl das Modell über RAG auf externe Inhalte zugreifen kann, wird es als vorteilhaft angesehen, das Modell durch Feinabstimmung an neue Domänen anzupassen. Diese Feinabstimmung erfolgt mithilfe von Eingaben menschlicher Annotatoren oder anderer LLM-Kreationen, wobei das Modell auf zusätzliches Wissen aus der realen Welt trifft und dieses integriert

Herausgeber | Der Frage-Antwort-Datensatz (QA) von ScienceAI spielt eine entscheidende Rolle bei der Förderung der Forschung zur Verarbeitung natürlicher Sprache (NLP). Hochwertige QS-Datensätze können nicht nur zur Feinabstimmung von Modellen verwendet werden, sondern auch effektiv die Fähigkeiten großer Sprachmodelle (LLMs) bewerten, insbesondere die Fähigkeit, wissenschaftliche Erkenntnisse zu verstehen und zu begründen. Obwohl es derzeit viele wissenschaftliche QS-Datensätze aus den Bereichen Medizin, Chemie, Biologie und anderen Bereichen gibt, weisen diese Datensätze immer noch einige Mängel auf. Erstens ist das Datenformular relativ einfach, die meisten davon sind Multiple-Choice-Fragen. Sie sind leicht auszuwerten, schränken jedoch den Antwortauswahlbereich des Modells ein und können die Fähigkeit des Modells zur Beantwortung wissenschaftlicher Fragen nicht vollständig testen. Im Gegensatz dazu offene Fragen und Antworten

Maschinelles Lernen ist ein wichtiger Zweig der künstlichen Intelligenz, der Computern die Möglichkeit gibt, aus Daten zu lernen und ihre Fähigkeiten zu verbessern, ohne explizit programmiert zu werden. Maschinelles Lernen hat ein breites Anwendungsspektrum in verschiedenen Bereichen, von der Bilderkennung und der Verarbeitung natürlicher Sprache bis hin zu Empfehlungssystemen und Betrugserkennung, und es verändert unsere Lebensweise. Im Bereich des maschinellen Lernens gibt es viele verschiedene Methoden und Theorien, von denen die fünf einflussreichsten Methoden als „Fünf Schulen des maschinellen Lernens“ bezeichnet werden. Die fünf Hauptschulen sind die symbolische Schule, die konnektionistische Schule, die evolutionäre Schule, die Bayes'sche Schule und die Analogieschule. 1. Der Symbolismus, auch Symbolismus genannt, betont die Verwendung von Symbolen zum logischen Denken und zum Ausdruck von Wissen. Diese Denkrichtung glaubt, dass Lernen ein Prozess der umgekehrten Schlussfolgerung durch das Vorhandene ist

Herausgeber |. KX Im Bereich der Arzneimittelforschung und -entwicklung ist die genaue und effektive Vorhersage der Bindungsaffinität von Proteinen und Liganden für das Arzneimittelscreening und die Arzneimitteloptimierung von entscheidender Bedeutung. Aktuelle Studien berücksichtigen jedoch nicht die wichtige Rolle molekularer Oberflächeninformationen bei Protein-Ligand-Wechselwirkungen. Auf dieser Grundlage schlugen Forscher der Universität Xiamen ein neuartiges Framework zur multimodalen Merkmalsextraktion (MFE) vor, das erstmals Informationen über Proteinoberfläche, 3D-Struktur und -Sequenz kombiniert und einen Kreuzaufmerksamkeitsmechanismus verwendet, um verschiedene Modalitäten zu vergleichen Ausrichtung. Experimentelle Ergebnisse zeigen, dass diese Methode bei der Vorhersage von Protein-Ligand-Bindungsaffinitäten Spitzenleistungen erbringt. Darüber hinaus belegen Ablationsstudien die Wirksamkeit und Notwendigkeit der Proteinoberflächeninformation und der multimodalen Merkmalsausrichtung innerhalb dieses Rahmens. Verwandte Forschungen beginnen mit „S

Laut Nachrichten dieser Website vom 5. Juli veröffentlichte GlobalFoundries am 1. Juli dieses Jahres eine Pressemitteilung, in der die Übernahme der Power-Galliumnitrid (GaN)-Technologie und des Portfolios an geistigem Eigentum von Tagore Technology angekündigt wurde, in der Hoffnung, seinen Marktanteil in den Bereichen Automobile und Internet auszubauen Anwendungsbereiche für Rechenzentren mit künstlicher Intelligenz, um höhere Effizienz und bessere Leistung zu erforschen. Da sich Technologien wie generative künstliche Intelligenz (GenerativeAI) in der digitalen Welt weiterentwickeln, ist Galliumnitrid (GaN) zu einer Schlüssellösung für nachhaltiges und effizientes Energiemanagement, insbesondere in Rechenzentren, geworden. Auf dieser Website wurde die offizielle Ankündigung zitiert, dass sich das Ingenieurteam von Tagore Technology im Rahmen dieser Übernahme mit GF zusammenschließen wird, um die Galliumnitrid-Technologie weiterzuentwickeln. G
