Google- und OpenAI-Wissenschaftler sprechen über KI: Sprachmodelle arbeiten hart daran, die Mathematik zu „erobern'.

Wenn Sie fragen, was Computer gut können, muss unter allen Antworten Mathematik auf der Liste stehen. Nach langer Forschungsarbeit haben Spitzenwissenschaftler überraschende Ergebnisse bei der Untersuchung der Entwicklung von Computern für mathematische Berechnungen erzielt.

Nehmen Sie letztes Jahr als Beispiel: Forscher der University of California, Berkeley, OpenAI und Google haben große Fortschritte bei der Entwicklung der Sprachmodelle GPT-3, DALL·E 2 usw. gemacht. Allerdings waren Sprachmodelle bisher nicht in der Lage, einige einfache, verbal beschriebene mathematische Probleme zu lösen, wie zum Beispiel „Alice hat fünf Bälle mehr als Bob, und Bob hat zwei Bälle, nachdem er Charlie vier Bälle gegeben hat. Fragen Sie Alice, wie viele Bälle sie hat.“ ?" Das kann für das Sprachmodell etwas „schwierig“ sein, die richtige Antwort zu geben.

„Wenn wir sagen, dass Computer sehr gut in Mathematik sind, meinen wir damit, dass sie in bestimmten, spezifischen Dingen sehr gut sind“, sagte Guy Gur-Ari, ein Experte für maschinelles Lernen bei Google. Zwar sind Computer gut im Rechnen, aber außerhalb bestimmter Modi sind Computer machtlos und können einfache Fragen zur Textbeschreibung nicht beantworten.

Der Google-Forscher Ethan Dyer hat einmal gesagt: Menschen, die Mathematik forschen, haben ein starres Denksystem und es gibt eine deutliche Kluft zwischen dem, was sie wissen, und dem, was sie nicht verstehen.

Das Lösen von Textaufgaben oder Problemen zum quantitativen Denken ist schwierig, da beide im Gegensatz zu anderen Problemen Robustheit und Genauigkeit erfordern. Wenn in irgendeinem Schritt des Prozesses etwas schief geht, führt dies zu einer falschen Antwort. DALL·E ist beeindruckend im Zeichnen, auch wenn die Bilder, die es erzeugt, manchmal seltsam sind, mit fehlenden Fingern und seltsam aussehenden Augen ... Das können wir alle akzeptieren, aber es macht Fehler in der Mathematik, und unsere Toleranz wird sehr gering sein. Vineet Kosaraju, ein Experte für maschinelles Lernen von OpenAI, hat diese Idee ebenfalls zum Ausdruck gebracht: „Unsere Toleranz gegenüber mathematischen Fehlern, die durch Sprachmodelle entstehen (z. B. das Missverständnis von 10 als 1 und 0 statt 10), ist immer noch relativ gering.“ „Wir studieren Mathematik einfach, weil wir sie unabhängig und sehr interessant finden“, sagte Karl Cobbe, Experte für maschinelles Lernen bei OpenAI.

Da maschinelle Lernmodelle auf größeren Datenstichproben trainiert werden, werden sie robuster und machen weniger Fehler. Eine Skalierung von Modellen scheint jedoch nur durch quantitatives Denken möglich zu sein. Die Forscher erkannten, dass die von Sprachmodellen gemachten Fehler offenbar einen gezielteren Ansatz erforderten.

Letztes Jahr haben zwei Forschungsteams der University of California, Berkeley und OpenAI die Datensätze MATH bzw. GSM8K veröffentlicht. Diese beiden Datensätze enthalten Tausende mathematischer Probleme wie Geometrie, Algebra und Elementarmathematik. „Wir wollten sehen, ob dies ein Problem mit dem Datensatz war“, sagte Steven Basart, ein Forscher am Center for AI Security, der in der Mathematik arbeitet. Es ist bekannt, dass Sprachmodelle bei Textaufgaben nicht gut sind. Wie schlecht schneiden sie bei diesem Problem ab? Kann es durch die Einführung besser formatierter und größerer Datensätze gelöst werden?

Im MATH-Datensatz erreichte das Top-Sprachmodell eine Genauigkeit von 7 %, verglichen mit 40 % Genauigkeit bei menschlichen Doktoranden und 90 % Genauigkeit bei Olympiasiegern. Beim GSM8K-Datensatz (Problem auf Grundschulebene) erreichte das Modell eine Genauigkeit von 20 %. Im Experiment verwendete OpenAI zwei Techniken, Feinabstimmung und Verifizierung, und die Ergebnisse zeigten, dass das Modell viele Beispiele seiner eigenen Fehler erkennen kann, was eine wertvolle Erkenntnis ist.

Damals musste das Modell von OpenAI mit 100-mal mehr Daten trainiert werden, um eine Genauigkeit von 80 % auf GSM8K zu erreichen. Doch im Juni dieses Jahres veröffentlichte Google Minerva, das eine Genauigkeit von 78 % erreichte. Dieses Ergebnis übertraf die Erwartungen und die Forscher sagten, es sei schneller gekommen als erwartet.

Papieradresse: https://arxiv.org/pdf/2206.14858.pdf

Minerva basiert auf dem von Google selbst entwickelten Pathways Language Model (PaLM) und verfügt über mehr mathematische Datensätze, darunter arXiv, LaTeX und andere mathematische Formate. Eine weitere Strategie, die Minerva anwendet, ist die Gedankenkettenaufforderung, bei der Minerva größere Probleme in kleinere Teile zerlegt. Darüber hinaus verwendet Minerva die Mehrheitsentscheidung, bei der das Modell nicht aufgefordert wird, eine Antwort zu finden, sondern 100 Antworten. Von diesen Antworten wählt Minerva die häufigste.

Die Vorteile dieser neuen Strategien sind enorm: Minerva erreicht eine Genauigkeit von 50 % bei MATH und eine Genauigkeit von fast 10 % bei GSM8K und MMLU (eine allgemeinere Reihe von MINT-Aufgaben, einschließlich Chemie und Biologie) von 80 %. Als Minerva gebeten wurde, leicht angepasste Aufgaben zu wiederholen, schnitt es genauso gut ab und zeigte, dass seine Fähigkeiten nicht nur aus dem Gedächtnis kommen.

Minerva kann seltsame, verwirrende Argumente haben und trotzdem die richtige Antwort finden. Während Modelle wie Minerva möglicherweise zu den gleichen Antworten kommen wie Menschen, kann der tatsächliche Prozess, dem sie folgen, sehr unterschiedlich sein.

Ethan Dyer, Experte für maschinelles Lernen bei Google, sagte: „Ich denke, es gibt die Vorstellung, dass Menschen, die sich mit Mathematik befassen, über strenge Argumentationssysteme verfügen und es einen klaren Unterschied zwischen dem Wissen und dem Nichtwissen gibt.“ inkonsistent, es werden Fehler gemacht und Kernkonzepte werden nicht angewendet. Im Bereich des maschinellen Lernens sind die Grenzen fließend.

Das obige ist der detaillierte Inhalt vonGoogle- und OpenAI-Wissenschaftler sprechen über KI: Sprachmodelle arbeiten hart daran, die Mathematik zu „erobern'.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!