Nach der Schließung durch den CEO von OpenAI kritisierte Yann LeCun erneut: ChatGPTs Verständnis der Realität sei sehr oberflächlich

Das Verhältnis zwischen großen Chefs ist manchmal wirklich verwirrend.

Gestern entdeckte jemand, dass OpenAI-CEO Sam Altman Yann LeCun, Metas Chefwissenschaftler für künstliche Intelligenz, auf Twitter entfolgt hatte.

Es ist für uns schwierig, den genauen Zeitpunkt zu bestimmen, zu dem dieser Rückzug stattfand, aber wir können grundsätzlich die Ursache des Vorfalls ermitteln. – Vor ein paar Tagen war Yann LeCun bei einem kleinen Online-Treffen von Medien und Führungskräfte haben vor einiger Zeit ihre Meinung zu ChatGPT geäußert:

„Was die zugrunde liegende Technologie betrifft, ist ChatGPT nicht besonders innovativ oder revolutionär. Viele Forschungslabore verwenden die gleiche Technologie und führen die gleichen Arbeiten durch.“

In ZDNets Bericht „ChatGPT ist ‚nicht besonders innovativ‘ und ‚nichts Revolutionär‘, sagt Metas Chef-KI-Wissenschaftler“, wurden einige Details von LeCuns Rede enthüllt. Es gibt einige erstaunliche Kommentare:

• „Im Vergleich zu anderen Labors hat OpenAI keine besonderen Fortschritte gemacht.“
• „Die von ChatGPT verwendete Transformer-Architektur ist auf diese selbstüberwachte Weise vorab trainiert. Selbst- Überwachtes Lernen ist etwas, das ich schon lange befürworte, noch bevor OpenAI eine Google-Erfindung ist, und die Arbeit an dieser Art von Sprache reicht Jahrzehnte zurück
Insofern ist auch Sam Altmans Entfernungsaktion entschuldbar.
Vier Stunden nachdem die „Entsperrung“ entdeckt wurde, aktualisierte Yann LeCun die Nachrichten und leitete erneut einen „Yin und Yang“-ChatGPT-Artikel weiter:

Warum ist ein so groß angelegter ChatGPT Can a Sprachmodell Unsinn ausstoßen? Ihr Realitätsverständnis ist sehr oberflächlich

Einige Leute sind anderer Meinung: „ChatGPT ist eine Quelle umfassenden Wissens und enormer Kreativität, da es auf einer Vielzahl von Büchern und anderen Informationsquellen geschult wurde.“

In diesem Zusammenhang äußerte LeCun auch seine Meinung: „

Niemand hat gesagt, dass LLM nutzlos ist. Das habe ich selbst während der Kurzveröffentlichung von FAIRs Galactica gesagt. Die Leute haben es ans Kreuz genagelt, weil es Unsinn produziert. ChatGPT macht das Gleiche.“ Aber auch das bedeutet nicht, dass sie nicht funktionieren

Tatsächlich ist dieser Atlantic-Artikel ein Verweis auf die MIT Cognitive Science Group. Schauen wir uns den spezifischen Forschungsinhalt an.

Was sagt dieses Papier?

Der Titel dieser Arbeit lautet „Dissociating Language and Thought in Large Language Models: a Cognitive Perspective“ und die Autoren kommen von der University of Texas in Austin, MIT und UCLA.

Papieradresse: https://arxiv.org/pdf/2301.06627.pdf

Wir wissen, dass die heutigen großen Sprachmodelle (LLM) häufig in der Lage sind, kohärente, grammatikalische und Textabsätze, die aussagekräftig aussehen. Diese Errungenschaft hat zu Spekulationen geführt, dass

diese Netzwerke bereits „denkende Maschinen“ sind oder bald werden werden und damit Aufgaben ausführen, die abstraktes Wissen und logisches Denken erfordern

.

In diesem Artikel betrachtet der Autor zwei verschiedene Aspekte der Sprachgebrauchsleistung, um die Fähigkeit von LLM zu beobachten, wie folgt:

• Formale Sprachfähigkeiten , einschließlich der Kenntnis der Regeln und Muster einer bestimmten Sprache;
• Funktionale Sprachfähigkeiten , eine Reihe von Wahrnehmungsfähigkeiten, die für das Verständnis und den Gebrauch von Sprache erforderlich sind in der realen Welt.

Basierend auf Erkenntnissen aus der kognitiven Neurowissenschaft zeigen die Autoren, dass die formalen Fähigkeiten des Menschen auf spezifischen Sprachverarbeitungsmechanismen beruhen, während funktionale Fähigkeiten eine Vielzahl von Fähigkeiten über die Sprache hinaus erfordern, die formales Denken, Weltwissen und Situationsmodellierung umfassen soziale Kognition und andere Denkfähigkeiten. Ähnlich wie bei der Unterscheidung zwischen zwei Fähigkeiten beim Menschen schneidet LLM bei Aufgaben, die formale Sprachfähigkeiten erfordern, gut (wenn auch unvollkommen) ab, scheitert jedoch bei vielen Tests, die funktionale Fähigkeiten erfordern.

Basierend auf diesen Erkenntnissen ist der Autor davon überzeugt, dass erstens modernes LLM als Modell mit formalen Sprachkenntnissen ernst genommen werden sollte und zweitens Modelle, die mit dem realen Sprachgebrauch spielen, Kernsprachmodule integrieren oder entwickeln müssen Modellierendes Denken ist erforderlich.

Zusammenfassend argumentieren sie, dass die Unterscheidung zwischen formalen und funktionalen Sprachfähigkeiten dazu beiträgt, die Diskussion um das Potenzial von LLMs zu klären und eine Möglichkeit bietet, Modelle zu erstellen, die Sprache auf menschenähnliche Weise verstehen und verwenden. Das Scheitern von LLMs bei vielen nichtsprachlichen Aufgaben schwächt sie nicht als gute Modelle für die Sprachverarbeitung. Wenn der menschliche Geist und das Gehirn als Analogie herangezogen werden, Zukünftige Fortschritte in der AGI können von der Einbeziehung von Sprachmodellen sowie der Darstellung von Abstraktionen abhängen Wissen und unterstützende komplexe Argumentationsmodelle kombiniert .

Das mathematische Niveau von ChatGPT muss noch verbessert werden.

LLM mangelt es an funktionalen Fähigkeiten, die über die Sprache hinausgehen (z. B. Argumentation usw.), und ChatGPT von OpenAI ist ein Beispiel. Obwohl ​​offiziell bekannt gab, dass seine mathematischen Fähigkeiten verbessert wurden​​​, beschwerten sich Internetnutzer darüber, dass er Addition und Subtraktion nur innerhalb von zehn beherrschen kann.

Kürzlich haben Forscher der Universität Oxford, der Universität Cambridge und anderer Institutionen in einem Artikel mit dem Titel „Mathematische Fähigkeiten von ChatGPT“ die mathematischen Fähigkeiten von ChatGPT anhand öffentlich verfügbarer und handgefertigter Datensätze getestet und die Leistung verglichen mit Minerva Die Leistung anderer Modelle, die auf anderen mathematischen Korpora trainiert wurden. Gleichzeitig haben wir getestet, ob ChatGPT als nützlicher Assistent für professionelle Mathematiker bezeichnet werden kann, indem wir verschiedene Anwendungsfälle simuliert haben, die im beruflichen Alltag von Mathematikern auftreten (Frage und Antwort, Theoremsuche).

Papieradresse: https://arxiv.org/pdf/2301.13867.pdf

Die Forscher stellten einen neuen Datensatz vor und veröffentlichten ihn – GHOSTS, die erste natürliche Sprache Von Mathematikforschern erstellte und kuratierte Datensätze, die Mathematik auf Hochschulniveau abdecken und einen umfassenden Überblick über die mathematischen Fähigkeiten von Sprachmodellen bieten. Sie verglichen ChatGPT mit GHOSTS und bewerteten die Leistung anhand fein abgestimmter Kriterien.

Die Testergebnisse zeigen, dass die mathematischen Fähigkeiten von ChatGPT deutlich geringer sind als die von gewöhnlichen Mathematikstudenten. Es kann normalerweise Fragen verstehen, aber keine richtigen Antworten geben.

ChatGPT Plus-Mitgliedschaft ist für 20 US-Dollar pro Monat erhältlich

Der kommerzielle Erfolg von ChatGPT ist auf jeden Fall für alle offensichtlich.

Gerade hat OpenAI „ChatGPT Plus“ angekündigt, einen neuen kostenpflichtigen Mitgliedschaftsdienst zum Preis von 20 US-Dollar pro Monat.

Abonnenten erhalten einige Vorteile:

• Universeller Zugriff auf ChatGPT, auch in Spitzenzeiten;
• Schnellere Reaktionszeiten; Vorrangiger Zugriff auf neue Funktionen und Verbesserungen.
• OpenAI sagte, dass es „in den kommenden Wochen“ Einladungen zu dem Dienst an Personen in den Vereinigten Staaten und auf seiner Warteliste verschicken werde, und kündigte an, dass es den Dienst auf andere Länder und Regionen ausweiten werde.

Vor mehr als einer Woche gab es Neuigkeiten, dass OpenAI die Plus- oder Pro-Version des ChatGPT-Dienstes zu einem Preis von 42 US-Dollar pro Monat einführen würde, aber der Endpreis von 20 US-Dollar pro Monat machte ihn offensichtlich zugänglich Dieser Service richtet sich an ein breiteres Spektrum von Menschen.

In gewisser Weise wird dies den Zahlungsstandard für jeden KI-Chatbot auf dem Markt setzen, der eingeführt werden möchte. Angesichts der Tatsache, dass OpenAI ein Pionier auf diesem Gebiet ist, müssen andere Unternehmen, wenn sie versuchen, Bots herauszubringen, die mehr als 20 US-Dollar pro Monat kosten, zunächst eines erklären: Warum ist ihr Chatbot mehr wert als ChatGPT Plus?

Das obige ist der detaillierte Inhalt vonNach der Schließung durch den CEO von OpenAI kritisierte Yann LeCun erneut: ChatGPTs Verständnis der Realität sei sehr oberflächlich. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!