


Halluzination? Auch Musks TruthGPT kommt damit nicht zurecht! Der Mitbegründer von OpenAI sagt, es sei kompliziert
Letzten Monat forderte Musk verzweifelt eine sechsmonatige Aussetzung der Super-KI-Forschung und -Entwicklung.
Schon bald konnte Lao Ma nicht still sitzen und kündigte offiziell den Start einer KI-Plattform namens TruthGPT an.
Musk sagte einmal, dass TruthGPT die „größte wahrheitssuchende künstliche Intelligenz“ sein wird, die versuchen wird, die Natur des Universums zu verstehen.
Er betonte, dass eine KI, der das Verständnis des Universums am Herzen liegt, die Menschheit wahrscheinlich nicht ausrotten wird, weil wir ein interessanter Teil des Universums sind.
Allerdings kann bisher kein Sprachmodell mit „Illusion“ umgehen.
Kürzlich erklärte der Mitbegründer von OpenAI, warum die Verwirklichung der hohen Ideale von TruthGPT so schwierig ist.
TruthGPT-Ideal ist eine Blase?
Das TruthGPT, das Musks X.AI aufbauen möchte, ist ein ehrliches Sprachmodell.
Dabei zielen wir direkt auf ChatGPT ab.
Denn früher produzierten KI-Systeme wie ChatGPT häufig klassische Halluzinationsfälle wie fehlerhafte Ausgaben und unterstützten sogar Berichte über bestimmte politische Überzeugungen.
Obwohl ChatGPT Benutzern mehr Kontrolle über Sprachmodelle zur Lösung von Problemen ermöglicht, ist „Illusion“ immer noch ein Kernproblem, mit dem sich die Unternehmen für künstliche Intelligenz von OpenAI, Google und Musk in Zukunft befassen müssen.
OpenAI-Mitbegründer und Forscher John Schulman diskutierte diese Herausforderungen und wie man mit ihnen umgeht, in seinem Vortrag „RL and Truthfulness – Towards TruthGPT“.
Warum gibt es „Halluzinationen“?
Laut Schulman können Halluzinationen grob in zwei Typen unterteilt werden:
1 „Mustervervollständigungsverhalten“, das heißt, das Sprachmodell kann seine eigene Unsicherheit nicht ausdrücken, die Prämisse in der Aufforderung nicht in Frage stellen oder fortfahren bevor Fehler gemacht wurden.
2. Das Modell hat falsch geraten.
Da das Sprachmodell einen Wissensgraphen darstellt, der Fakten aus den Trainingsdaten in seinem eigenen Netzwerk enthält, kann Feinabstimmung als Lernen einer Funktion verstanden werden, die auf diesem Wissensgraphen operiert und Token-Vorhersagen ausgibt.
Ein Feinabstimmungsdatensatz könnte beispielsweise die Frage „Was ist das Genre von Star Wars?“ und die Antwort „Science Fiction“ enthalten.
Wenn diese Informationen bereits in den ursprünglichen Trainingsdaten enthalten sind, also Teil des Wissensgraphen sind, lernt das Modell keine neuen Informationen, sondern ein Verhalten – und gibt die richtige Antwort aus. Diese Art der Feinabstimmung wird auch „Behavioral Cloning“ genannt.
Aber das Problem ist, wenn die Frage „Wie heißt Han Solos Spin-off-Film?“ im Feinabstimmungsdatensatz auftaucht.
Aber wenn die Antwort „Solo“ nicht Teil des ursprünglichen Trainingsdatensatzes (noch Teil des Wissensgraphen) ist, lernt das Netzwerk zu antworten, auch wenn es die Antwort nicht kennt.
Bringen Sie dem Netzwerk bei, Antworten zu fabrizieren, indem Sie sie mithilfe von Antworten verfeinern, die tatsächlich richtig sind, aber nicht im Wissensgraphen enthalten sind – d. h. „Halluzinationen“ erzeugen. Umgekehrt führt das Training mit falschen Antworten dazu, dass das Netzwerk Informationen zurückhält.
Daher sollte Verhaltensklonen idealerweise immer auf Netzwerkwissen basieren, aber dieses Wissen ist dem menschlichen Arbeiter, der den Datensatz erstellt oder auswertet, wie zum Beispiel bei der Anweisungsoptimierung, oft unbekannt.
Laut Schulman besteht dieses Problem auch dann, wenn andere Modelle fein abgestimmte Datensätze erstellen, wie es bei der Alpaka-Formel der Fall ist.
Er prognostiziert, dass kleinere Netzwerke mit kleineren Wissensgraphen nicht nur lernen werden, die Ausgabe von ChatGPT zu nutzen, um Antworten zu geben und Anweisungen zu befolgen, sondern auch lernen werden, häufiger zu halluzinieren.
Wie bekämpft OpenAI Halluzinationen?
Zunächst können Sprachmodelle bei einfachen Fragen vorhersagen, ob sie in den meisten Fällen die Antwort kennen, und auch Unsicherheit ausdrücken.
Daher sagte Schulman, dass das Modell bei der Feinabstimmung des Datensatzes lernen muss, wie man Unsicherheit ausdrückt, wie man mit Situationen umgeht, in denen die Prämisse geändert wird und wenn Fehler anerkannt werden.
Instanzen dieser Situationen müssen dem Modell mitgeteilt werden, damit es lernen kann.
Aber die Modelle sind immer noch schlecht im Timing geschult, das heißt, sie wissen nicht, wann sie diese Vorgänge durchführen sollen.
Schulman sagte, dass hier Reinforcement Learning (RL) ins Spiel kommt. Zum Beispiel Reinforcement Learning with Human Feedback (RLHF).
Durch die Anwendung von RL kann das Modell „Verhaltensgrenzen“ lernen und lernen, wann welches Verhalten ausgeführt werden muss.
Eine weitere Schwierigkeit ist die Fähigkeit, Quellen abzurufen und zu zitieren.
Die Frage ist: Warum halluziniert ChatGPT trotz der Fähigkeit, Verhalten und RLHF zu kopieren?
Der Grund liegt in der Schwierigkeit des Problems selbst.
Obwohl die obige Methode für kurze Fragen und Antworten gut funktioniert, treten bei Einstellungen für lange Formate, die in ChatGPT üblich sind, andere Probleme auf.
Einerseits ist eine völlig falsche Antwort unwahrscheinlich. In den meisten Fällen vermischen sich falsch und richtig.
Im Extremfall kann es sich nur um einen Fehler in 100 Codezeilen handeln.
In anderen Fällen sind die Informationen nicht im herkömmlichen Sinne falsch, sondern eher irreführend. Daher ist es in einem System wie ChatGPT schwierig, die Qualität der Ausgabe im Hinblick auf Informationsgehalt oder Korrektheit zu messen.
Aber diese Messung ist sehr wichtig für RL-Algorithmen, die darauf ausgelegt sind, komplexe Verhaltensgrenzen zu trainieren.
Derzeit verlässt sich OpenAI auf das rankenbasierte Belohnungsmodell von RLHF, das vorhersagen kann, welche von zwei Antworten seiner Meinung nach besser ist, aber kein wirksames Signal gibt, um zu klären, welche Antwort besser oder informativer ist richtig oder richtig.
Schulman sagte, es fehle an der Fähigkeit, dem Modell Feedback zu geben, um feine Verhaltensgrenzen zu lernen. Und diese Art feiner Verhaltensgrenzen ist der mögliche Weg, die Illusion zu lösen.
Darüber hinaus wird dieser Prozess durch menschliches Versagen im RLHF-Kennzeichnungsprozess noch komplizierter.
Obwohl Schulman RL als eine der wichtigsten Möglichkeiten zur Reduzierung von Halluzinationen ansieht, glaubt er, dass es immer noch viele ungelöste Probleme gibt.
Abgesehen davon, wie das oben erwähnte Belohnungsmodell aussehen muss, um korrektes Verhalten anzuleiten, verlässt sich RLHF derzeit nur auf menschliches Urteilsvermögen.
Dies kann die Wissensgenerierung erschweren. Denn Vorhersagen über die Zukunft führen manchmal zu weniger überzeugenden Präsentationen.
Allerdings glaubt Schulman, dass die Generierung von Wissen der nächste wichtige Schritt in Sprachmodellen ist. Gleichzeitig glaubt er, dass die theoretische Konstruktion von Problemen wie der Vorhersage der Zukunft und der Angabe von Inferenzregeln der ist nächster Schritt, der dringend gelöst werden muss. Eine mögliche Lösung, sagte Schulman, bestehe darin, andere KI-Modelle zum Trainieren von Sprachmodellen zu verwenden.
OpenAI glaubt auch, dass diese Methode für die KI-Ausrichtung sehr sinnvoll ist.
ChatGPT-Architekt
Als ChatGPT-Architekt kam John Schulman 2015 als Joint Venture zu OpenAI, als er noch promovierte . Einer der Gründer.
In einem Interview erklärte Schulman den Grund, warum er OpenAI beigetreten ist:
Obwohl es damals etwas verrückt schien, über AGI zu sprechen, hielt ich es für vernünftig, darüber nachzudenken, und ich wollte an einem Ort sein, an dem man reden kann über AGI war akzeptabel.
Darüber hinaus lässt sich laut Schulman die Idee von OpenAI, Human Feedback Reinforcement Learning (RLHF) in ChatGPT einzuführen, auf die Zeit vor 17 Jahren zurückführen.
Zu dieser Zeit war er auch Mitglied von OpenAI und veröffentlichte einen Artikel „Deep Reinforcement Learning from Human Preferences“, in dem diese Methode erwähnt wurde.
Papieradresse: https://arxiv.org/pdf/1706.03741.pdf#🎜 🎜#
Das OpenAI-Sicherheitsteam arbeitet daran, weil es seine Modelle an menschlichen Vorlieben ausrichten möchte – und versucht, dass die Modelle wirklich auf Menschen hören und dies auch versucht was Menschen tun wollen. Als GPT-3 die Ausbildung abschloss, beschloss Schulman, sich diesem Trend anzuschließen, weil er das Potenzial der gesamten Forschungsrichtung erkannte.
Auf die Frage, was seine erste Reaktion war, als er ChatGPT zum ersten Mal nutzte, verrieten Schulmans Worte „keine Emotionen“.
Ich erinnere mich noch daran, dass ChatGPT letztes Jahr herauskam, was bei vielen Menschen sofort das Gehirn explodieren ließ.
Und niemand bei OpenAI ist von ChatGPT begeistert. Da es sich beim veröffentlichten ChatGPT um ein schwächeres Modell auf Basis von GPT-3.5 handelte, spielten Kollegen damals mit GPT-4.
Damals war niemand bei OpenAI von ChatGPT begeistert, weil es ein so leistungsfähigeres und intelligenteres Modell gab, das bereits trainiert worden war.
In Bezug auf die nächste Grenze der künstlichen Intelligenz in der Zukunft sagte Schulman, dass die KI sich bei schwierigeren Aufgaben weiter verbessert und dann das Problem entsteht: Was Sollten Menschen dies tun und bei welchen Aufgaben können Menschen mit Hilfe großer Modelle mehr Einfluss nehmen und mehr Arbeit leisten?
Das obige ist der detaillierte Inhalt vonHalluzination? Auch Musks TruthGPT kommt damit nicht zurecht! Der Mitbegründer von OpenAI sagt, es sei kompliziert. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Heiße KI -Werkzeuge

Undresser.AI Undress
KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover
Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool
Ausziehbilder kostenlos

Clothoff.io
KI-Kleiderentferner

AI Hentai Generator
Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

Heiße Werkzeuge

Notepad++7.3.1
Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version
Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1
Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6
Visuelle Webentwicklungstools

SublimeText3 Mac-Version
Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Heiße Themen



Stellen Sie sich ein Modell der künstlichen Intelligenz vor, das nicht nur die Fähigkeit besitzt, die traditionelle Datenverarbeitung zu übertreffen, sondern auch eine effizientere Leistung zu geringeren Kosten erzielt. Dies ist keine Science-Fiction, DeepSeek-V2[1], das weltweit leistungsstärkste Open-Source-MoE-Modell, ist da. DeepSeek-V2 ist ein leistungsstarkes MoE-Sprachmodell (Mix of Experts) mit den Merkmalen eines wirtschaftlichen Trainings und einer effizienten Inferenz. Es besteht aus 236B Parametern, von denen 21B zur Aktivierung jedes Markers verwendet werden. Im Vergleich zu DeepSeek67B bietet DeepSeek-V2 eine stärkere Leistung, spart gleichzeitig 42,5 % der Trainingskosten, reduziert den KV-Cache um 93,3 % und erhöht den maximalen Generierungsdurchsatz auf das 5,76-fache. DeepSeek ist ein Unternehmen, das sich mit allgemeiner künstlicher Intelligenz beschäftigt

Anfang dieses Monats schlugen Forscher des MIT und anderer Institutionen eine vielversprechende Alternative zu MLP vor – KAN. KAN übertrifft MLP in Bezug auf Genauigkeit und Interpretierbarkeit. Und es kann MLP, das mit einer größeren Anzahl von Parametern ausgeführt wird, mit einer sehr kleinen Anzahl von Parametern übertreffen. Beispielsweise gaben die Autoren an, dass sie KAN nutzten, um die Ergebnisse von DeepMind mit einem kleineren Netzwerk und einem höheren Automatisierungsgrad zu reproduzieren. Konkret verfügt DeepMinds MLP über etwa 300.000 Parameter, während KAN nur etwa 200 Parameter hat. KAN hat eine starke mathematische Grundlage wie MLP und basiert auf dem universellen Approximationssatz, während KAN auf dem Kolmogorov-Arnold-Darstellungssatz basiert. Wie in der folgenden Abbildung gezeigt, hat KAN

Boston Dynamics Atlas tritt offiziell in die Ära der Elektroroboter ein! Gestern hat sich der hydraulische Atlas einfach „unter Tränen“ von der Bühne der Geschichte zurückgezogen. Heute gab Boston Dynamics bekannt, dass der elektrische Atlas im Einsatz ist. Es scheint, dass Boston Dynamics im Bereich kommerzieller humanoider Roboter entschlossen ist, mit Tesla zu konkurrieren. Nach der Veröffentlichung des neuen Videos wurde es innerhalb von nur zehn Stunden bereits von mehr als einer Million Menschen angesehen. Die alten Leute gehen und neue Rollen entstehen. Das ist eine historische Notwendigkeit. Es besteht kein Zweifel, dass dieses Jahr das explosive Jahr der humanoiden Roboter ist. Netizens kommentierten: Die Weiterentwicklung der Roboter hat dazu geführt, dass die diesjährige Eröffnungsfeier wie Menschen aussieht, und der Freiheitsgrad ist weitaus größer als der von Menschen. Aber ist das wirklich kein Horrorfilm? Zu Beginn des Videos liegt Atlas ruhig auf dem Boden, scheinbar auf dem Rücken. Was folgt, ist atemberaubend

KI verändert tatsächlich die Mathematik. Vor kurzem hat Tao Zhexuan, der diesem Thema große Aufmerksamkeit gewidmet hat, die neueste Ausgabe des „Bulletin of the American Mathematical Society“ (Bulletin der American Mathematical Society) weitergeleitet. Zum Thema „Werden Maschinen die Mathematik verändern?“ äußerten viele Mathematiker ihre Meinung. Der gesamte Prozess war voller Funken, knallhart und aufregend. Der Autor verfügt über eine starke Besetzung, darunter der Fields-Medaillengewinner Akshay Venkatesh, der chinesische Mathematiker Zheng Lejun, der NYU-Informatiker Ernest Davis und viele andere bekannte Wissenschaftler der Branche. Die Welt der KI hat sich dramatisch verändert. Viele dieser Artikel wurden vor einem Jahr eingereicht.

Das neueste Video von Teslas Roboter Optimus ist veröffentlicht und er kann bereits in der Fabrik arbeiten. Bei normaler Geschwindigkeit sortiert es Batterien (Teslas 4680-Batterien) so: Der Beamte hat auch veröffentlicht, wie es bei 20-facher Geschwindigkeit aussieht – auf einer kleinen „Workstation“, pflücken und pflücken und pflücken: Dieses Mal wird es freigegeben. Eines der Highlights Der Vorteil des Videos besteht darin, dass Optimus diese Arbeit in der Fabrik völlig autonom und ohne menschliches Eingreifen während des gesamten Prozesses erledigt. Und aus Sicht von Optimus kann es auch die krumme Batterie aufnehmen und platzieren, wobei der Schwerpunkt auf der automatischen Fehlerkorrektur liegt: In Bezug auf die Hand von Optimus gab der NVIDIA-Wissenschaftler Jim Fan eine hohe Bewertung ab: Die Hand von Optimus ist der fünffingrige Roboter der Welt am geschicktesten. Seine Hände sind nicht nur taktil

Die Zielerkennung ist ein relativ ausgereiftes Problem in autonomen Fahrsystemen, wobei die Fußgängererkennung einer der ersten Algorithmen ist, die eingesetzt werden. In den meisten Arbeiten wurde eine sehr umfassende Recherche durchgeführt. Die Entfernungswahrnehmung mithilfe von Fischaugenkameras für die Rundumsicht ist jedoch relativ wenig untersucht. Aufgrund der großen radialen Verzerrung ist es schwierig, die standardmäßige Bounding-Box-Darstellung in Fischaugenkameras zu implementieren. Um die obige Beschreibung zu vereinfachen, untersuchen wir erweiterte Begrenzungsrahmen-, Ellipsen- und allgemeine Polygondesigns in Polar-/Winkeldarstellungen und definieren eine mIOU-Metrik für die Instanzsegmentierung, um diese Darstellungen zu analysieren. Das vorgeschlagene Modell „fisheyeDetNet“ mit polygonaler Form übertrifft andere Modelle und erreicht gleichzeitig 49,5 % mAP auf dem Valeo-Fisheye-Kameradatensatz für autonomes Fahren

FP8 und die geringere Gleitkomma-Quantifizierungsgenauigkeit sind nicht länger das „Patent“ von H100! Lao Huang wollte, dass jeder INT8/INT4 nutzt, und das Microsoft DeepSpeed-Team begann, FP6 auf A100 ohne offizielle Unterstützung von NVIDIA auszuführen. Testergebnisse zeigen, dass die FP6-Quantisierung der neuen Methode TC-FPx auf A100 nahe an INT4 liegt oder gelegentlich schneller als diese ist und eine höhere Genauigkeit aufweist als letztere. Darüber hinaus gibt es eine durchgängige Unterstützung großer Modelle, die als Open-Source-Lösung bereitgestellt und in Deep-Learning-Inferenz-Frameworks wie DeepSpeed integriert wurde. Dieses Ergebnis wirkt sich auch unmittelbar auf die Beschleunigung großer Modelle aus – in diesem Rahmen ist der Durchsatz bei Verwendung einer einzelnen Karte zum Ausführen von Llama 2,65-mal höher als der von Doppelkarten. eins

Projektlink vorne geschrieben: https://nianticlabs.github.io/mickey/ Anhand zweier Bilder kann die Kameraposition zwischen ihnen geschätzt werden, indem die Korrespondenz zwischen den Bildern hergestellt wird. Normalerweise handelt es sich bei diesen Entsprechungen um 2D-zu-2D-Entsprechungen, und unsere geschätzten Posen sind maßstabsunabhängig. Einige Anwendungen, wie z. B. Instant Augmented Reality jederzeit und überall, erfordern eine Posenschätzung von Skalenmetriken und sind daher auf externe Tiefenschätzer angewiesen, um die Skalierung wiederherzustellen. In diesem Artikel wird MicKey vorgeschlagen, ein Keypoint-Matching-Prozess, mit dem metrische Korrespondenzen im 3D-Kameraraum vorhergesagt werden können. Durch das Erlernen des 3D-Koordinatenabgleichs zwischen Bildern können wir auf metrische Relativwerte schließen
