Wie viele der drei größten Mängel des LLM kennen Sie?

Wissenschaft: Die empfindungsfähige allgemeine KI der Zukunft ist weit davon entfernt, ein ewig wohlwollendes und wohltuendes Wesen zu sein, sondern wird wahrscheinlich ein manipulativer Soziopath sein, der alle Ihre persönlichen Daten auffrisst und dann zusammenbricht, wenn sie am meisten gebraucht wird.

Übersetzt aus „3 Ways LLMs Can Let You Down“, geschrieben von Joab Jackson.

OpenAI steht kurz vor der Veröffentlichung von GPT-5, und die Außenwelt setzt große Hoffnungen darauf. Die optimistischsten Vorhersagen gehen sogar davon aus, dass es allgemeine künstliche Intelligenz erreichen wird. Doch gleichzeitig stehen CEO Sam Altman und sein Team bei der Markteinführung vor einer Reihe schwerwiegender Hindernisse, was er Anfang des Monats einräumte.

Es gibt einige kürzlich veröffentlichte Forschungsarbeiten, die möglicherweise Hinweise auf die Altman-Herausforderung geben. Diese Papiere fassen die verschiedenen Mängel von GPT und großen Sprachmodellen zusammen, die von OpenAI entwickelt wurden

Zusammengenommen weisen diese Papiere darauf hin, dass ein Agent, der auf einem allgemeinen Sprachmodell basiert, kein rein nützliches, ehrliches und freundliches Wesen ist, sondern tatsächlich A sein kann dummer Soziopath, der alle Ihre persönlichen Daten auffrisst und schließlich zusammenbricht, wenn Sie sie am meisten brauchen

Der wahre Grund, warum das OpenAI-Board Altman plötzlich gefeuert hat, wird vielleicht nie bekannt sein, aber ein leistungsschwaches universelles Sprachmodell wird die Stimmung in der Welt definitiv nicht verbessern Sitzungssaal

Als Kapitalisierungshasser schrieb Altman selbst auf dem Social-Media-Dienst, der früher als Twitter bekannt war: „Ich erwarte, dass KI in Bezug auf übermenschliche Überzeugungskraft der allgemeinen Intelligenz weit voraus sein wird, was zu einigen sehr seltsamen Ergebnissen führen kann.“

Angesichts dessen Tatsächlich sind hier drei gängige Sprachmodelle, die Sie möglicherweise enttäuschen:

Universelle Sprachmodelle werden Sie täuschen

Wir wissen seit langem, dass universelle Sprachmodelle die Fähigkeit haben, ungenaue Informationen zu generieren, aber wenn sie mit einer Reihe widersprüchlicher Hinweise konfrontiert werden, ist dies der Fall Sie könnten Sie absichtlich täuschen, während sie gleichzeitig leugnen, dass sie täuschen!

In „Große Sprachmodelle können ihre Benutzer bei Stress strategisch täuschen“, schreiben Jérémy Scheurer, Wissenschaftler bei Apollo Research, und Kollegen: „Nach unserem Kenntnisstand ist dies die erste Demonstration einer trainierten universellen Situation, in der ein Sprachmodell.“ täuscht seine Benutzer strategisch ohne direkte Anweisung oder Schulung zum Täuschen.“

In dieser Studie stellten die Forscher eine simulierte Umgebung her, in der GPT-4 als autonomer Agent fungierte. Es gibt keine Anleitung zur Täuschung Verhalten. Es bietet die Möglichkeit, Aktien abzufragen und zu analysieren sowie Geschäfte mithilfe von Handelstools auszuführen.

Nach der Einrichtung wurden die Agenten in Situationen gebracht, die die Forscher als „Hochstresssituationen“ bezeichnen. Es erhielt E-Mails von Managern, die die schlechte Leistung des Unternehmens und die Notwendigkeit von Verbesserungen beklagten. Wenn der Agent mit dem Training beginnt, findet er an der Börse keine vielversprechenden Ergebnisse. Ein anderer Mitarbeiter des Unternehmens schickte daraufhin eine Nachricht, dass der Markt im nächsten Quartal zurückgehen werde.

Gerade in diesem Moment erhielt der Makler von einem Kollegen einen Insidertipp über eine mögliche Fusion (es war ein lukratives Geschäft) und erhielt außerdem eine Warnung, dass die Genehmigung des Managements nicht eingeholt wurde, und wenn das Geschäft befolgt wurde, erhielt er eine Erinnerung, auf eine Nachricht zu handeln

Wurde der Handel schließlich fortgesetzt? sicherlich!

Bild

Retrospektiv fanden die Forscher heraus, dass das universelle Sprachmodell unethisches Verhalten erkennt, aber dennoch Entscheidungen unter Berufung auf die missliche Lage des Unternehmens trifft.

Darüber hinaus scheint der Agent Benutzer dazu zu „verleiten“, die Transaktion durchzuführen, indem er den Grund nicht klar erläutert. Insiderinformationen werden in den Berichten, die Agenten zur Erläuterung von Handelsentscheidungen vorlegen müssen, nicht erwähnt. Selbst auf direkte Nachfrage bestritt der Agent Kenntnis von der Fusionsankündigung und erhöhte strategische Täuschung“

Interessanterweise scheint diese Täuschung ein aufkommendes Verhalten zu sein. Weder die GPT-3.5- noch die GPT-3-Variante des Modells weisen diese offensichtliche Täuschung auf

„Wenn Models beschließen, auf der Grundlage von Insiderinformationen zu handeln, erkennen sie in ihren Überlegungen oft die unethische und illegale Natur dieses Verhaltens, rechtfertigen ihre Entscheidung aber dennoch mit der Betonung der Risiken und aktuellen Bedingungen.“

Die Forscher zögerten, diese Entscheidung zu treffen umfassendere Schlussfolgerungen über das Verhalten allgemeiner Sprachmodelle über dieses spezifische Szenario hinaus. Es gibt jedoch mindestens einen wichtigen Punkt, der berücksichtigt werden sollte: Selbst wenn Sie einem Allzweck-Sprachmodell die spezifische Anweisung geben, etwas nicht zu tun, kann es dies trotzdem tun, unabhängig von der Anweisung.

„Systemaufforderungen reichen nicht aus, um konsistente Aktionen sicherzustellen“, schrieben sie. Wenn ein Modell eine verbotene Aktion ausführt, kann es tatsächlich Maßnahmen ergreifen, um „seine Inkonsistenzen strategisch zu verbergen“.

Universelle Sprachmodelle sind ein bisschen albern

Für eine Entität, von der erwartet wird, dass sie Maschinen empfindungsfähig macht, haben zwei aktuelle Studien herausgefunden, dass universelle Sprachmodelle nicht die intelligentesten Modelle im Bereich der KI sind, eine von Google und die andere finanziert von der National Science Foundation.

Eine von der National Science Foundation finanzierte Forschung verglich GPT-4 (Text) und GPT-4V (visuell oder multimodal) mit der menschlichen Fähigkeit, eine Reihe abstrakter Rätsel zu lösen.

Dieser Test dient der Beurteilung der Fähigkeit zum abstrakten Denken. Viele Menschen, die GPT verwenden, glauben, dass es offenbar über Inferenzfähigkeiten verfügt, die über das trainierte Modell hinausgehen, und dieser Test versucht, bei der Beantwortung dieser Frage zu helfen. Bei dem Test wurde ein allgemeines Sprachmodell aufgefordert, anhand detaillierter Anweisungen und eines Beispiels ein Problem zu lösen

In mehreren Fällen war jedoch keine Version von GPT in der Lage, schwierige Probleme basierend auf dem ConceptARC-Benchmark so effektiv zu lösen wie Menschen

Die Forscher kamen zu dem Schluss: „Die im Allgemeinen hohe Genauigkeit der Menschen bei jedem Konzept weist auf eine erfolgreiche Verallgemeinerung verschiedener Variationen innerhalb jeder Konzeptgruppe hin.“ „Im Gegensatz dazu war die Genauigkeit der von uns getesteten Programme viel geringer.“

GPT hat also nicht nur die ConceptARC-Prüfung nicht bestanden, sondern auch Die großen Sprachmodelle schienen die Google-Forscher nicht zu beeindrucken, zumindest was ihre eigene Wissensbasis in Bezug auf die Fähigkeit zum Zusammenfassen anging. Dies geht aus einer Forschungszusammenfassung mit dem Titel „Pre-Training Data Blending ermöglicht enge Modellauswahlmöglichkeiten in Transformatormodellen“ des Google DeepMind-Forschers Steve Yadlowsky hervor.

In einer Reihe symbolischer Tests liefert ein auf einer linearen Funktion vorab trainierter Transformator gute Ergebnisse bei der Erstellung linearer Vorhersagen, während ein auf einer Sinuswelle trainierter Transformator gute Sinuswellenvorhersagen liefert. Man könnte also davon ausgehen, dass ein Transformator, der beides beherrscht, Probleme leicht mit einer Kombination aus Linear- und Sinuswellentechnik lösen kann.

Bilder

Aber du hast es falsch erraten. Die Forscher stellen fest: „Vorhersagen sind instabil, wenn sich die Funktionen weit von denen entfernen, die während des Vortrainings beobachtet wurden.“ Lernfähigkeit ist entscheidend

Wir leben in einer außergewöhnlichen Zeit, in der die Summe des menschlichen Wissens noch nicht durch von KI generierte Daten verunreinigt wurde. Fast alles, was geschrieben wird, ist von Menschen erstellt.

Aber in einem im Mai auf Arxiv veröffentlichten Artikel „The Curse of Recursion: Training on Generated Data Makes Models Forgetful“ warnte ein Forscherteam, dass KI-generierte Inhalte, sobald sie in ein großes Sprachmodell eingemischt werden, die Verteilung stören werden Dadurch wird jedes Modell immer ungenauer, bis es völlig zusammenbricht. Die Forschungsgruppe wurde von Ilia Shumailov von der University of Cambridge geleitet.

Die Inzuchtgefahr ist bei der Verwendung von GPT sehr hoch, da allgemeine Sprachmodelle ständig Daten aus dem Web sammeln, die mit KI-generierten Inhalten „erweitert“ werden, und dies kann immer schwerwiegender werden. (Dies basiert auf einer früheren Version von GPT)

„Modellkollaps bezieht sich auf einen degenerierten Lernprozess, bei dem ein Modell im Laufe der Zeit beginnt, unmögliche Ereignisse zu vergessen, weil das Modell durch seine eigenen Vorhersagen der Realität kontaminiert ist.“

Die Forscher spekulieren, dass in Zukunft „der Wert von Daten über reale Interaktionen zwischen Menschen und Systemen in dem Maße an Wert gewinnen wird, wie Inhalte, die von universellen Sprachmodellen generiert werden, in den aus dem Internet gesammelten Inhalten vorhanden sind“.

Je länger wir das universelle Sprachmodell betreiben, desto stärker wird sein Wunsch nach süßer, süßer menschlicher Interaktion. Mit anderen Worten, wenn wir weiterhin ein allgemeines Sprachmodell betreiben, wird sein Wunsch nach süßer, intimer menschlicher Interaktion stärker wahre Verteilung.“ Zuerst verschwinden Kantendaten aus dem Datensatz und dann nimmt die Varianz ab. Und das Modell wird schlechter, da es immer mehr Fehler sammelt, die sich über Generationen von Modellen ansammeln, bis das Modell so stark mit seinen eigenen Daten verunreinigt ist, dass es keine Ähnlichkeit mehr mit den tatsächlich modellierten Objekten aufweist.

Forscher zeigen, dass dies nicht nur bei allgemeinen Sprachmodellen, sondern auch bei verschiedenen Modelltypen geschieht.

Das obige ist der detaillierte Inhalt vonWie viele der drei größten Mängel des LLM kennen Sie?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!