Heim Technologie-Peripheriegeräte KI Google- und OpenAI-Wissenschaftler sprechen über KI: Sprachmodelle arbeiten hart daran, die Mathematik zu „erobern'.

Google- und OpenAI-Wissenschaftler sprechen über KI: Sprachmodelle arbeiten hart daran, die Mathematik zu „erobern'.

Apr 13, 2023 am 11:37 AM
ai 数学

Wenn Sie fragen, was Computer gut können, muss unter allen Antworten Mathematik auf der Liste stehen. Nach langer Forschungsarbeit haben Spitzenwissenschaftler überraschende Ergebnisse bei der Untersuchung der Entwicklung von Computern für mathematische Berechnungen erzielt.

Nehmen Sie letztes Jahr als Beispiel: Forscher der University of California, Berkeley, OpenAI und Google haben große Fortschritte bei der Entwicklung der Sprachmodelle GPT-3, DALL·E 2 usw. gemacht. Allerdings waren Sprachmodelle bisher nicht in der Lage, einige einfache, verbal beschriebene mathematische Probleme zu lösen, wie zum Beispiel „Alice hat fünf Bälle mehr als Bob, und Bob hat zwei Bälle, nachdem er Charlie vier Bälle gegeben hat. Fragen Sie Alice, wie viele Bälle sie hat.“ ?" Das kann für das Sprachmodell etwas „schwierig“ sein, die richtige Antwort zu geben.

„Wenn wir sagen, dass Computer sehr gut in Mathematik sind, meinen wir damit, dass sie in bestimmten, spezifischen Dingen sehr gut sind“, sagte Guy Gur-Ari, ein Experte für maschinelles Lernen bei Google. Zwar sind Computer gut im Rechnen, aber außerhalb bestimmter Modi sind Computer machtlos und können einfache Fragen zur Textbeschreibung nicht beantworten.

Der Google-Forscher Ethan Dyer hat einmal gesagt: Menschen, die Mathematik forschen, haben ein starres Denksystem und es gibt eine deutliche Kluft zwischen dem, was sie wissen, und dem, was sie nicht verstehen.

Das Lösen von Textaufgaben oder Problemen zum quantitativen Denken ist schwierig, da beide im Gegensatz zu anderen Problemen Robustheit und Genauigkeit erfordern. Wenn in irgendeinem Schritt des Prozesses etwas schief geht, führt dies zu einer falschen Antwort. DALL·E ist beeindruckend im Zeichnen, auch wenn die Bilder, die es erzeugt, manchmal seltsam sind, mit fehlenden Fingern und seltsam aussehenden Augen ... Das können wir alle akzeptieren, aber es macht Fehler in der Mathematik, und unsere Toleranz wird sehr gering sein. Vineet Kosaraju, ein Experte für maschinelles Lernen von OpenAI, hat diese Idee ebenfalls zum Ausdruck gebracht: „Unsere Toleranz gegenüber mathematischen Fehlern, die durch Sprachmodelle entstehen (z. B. das Missverständnis von 10 als 1 und 0 statt 10), ist immer noch relativ gering.“ „Wir studieren Mathematik einfach, weil wir sie unabhängig und sehr interessant finden“, sagte Karl Cobbe, Experte für maschinelles Lernen bei OpenAI.

Da maschinelle Lernmodelle auf größeren Datenstichproben trainiert werden, werden sie robuster und machen weniger Fehler. Eine Skalierung von Modellen scheint jedoch nur durch quantitatives Denken möglich zu sein. Die Forscher erkannten, dass die von Sprachmodellen gemachten Fehler offenbar einen gezielteren Ansatz erforderten.

Letztes Jahr haben zwei Forschungsteams der University of California, Berkeley und OpenAI die Datensätze MATH bzw. GSM8K veröffentlicht. Diese beiden Datensätze enthalten Tausende mathematischer Probleme wie Geometrie, Algebra und Elementarmathematik. „Wir wollten sehen, ob dies ein Problem mit dem Datensatz war“, sagte Steven Basart, ein Forscher am Center for AI Security, der in der Mathematik arbeitet. Es ist bekannt, dass Sprachmodelle bei Textaufgaben nicht gut sind. Wie schlecht schneiden sie bei diesem Problem ab? Kann es durch die Einführung besser formatierter und größerer Datensätze gelöst werden?

Im MATH-Datensatz erreichte das Top-Sprachmodell eine Genauigkeit von 7 %, verglichen mit 40 % Genauigkeit bei menschlichen Doktoranden und 90 % Genauigkeit bei Olympiasiegern. Beim GSM8K-Datensatz (Problem auf Grundschulebene) erreichte das Modell eine Genauigkeit von 20 %. Im Experiment verwendete OpenAI zwei Techniken, Feinabstimmung und Verifizierung, und die Ergebnisse zeigten, dass das Modell viele Beispiele seiner eigenen Fehler erkennen kann, was eine wertvolle Erkenntnis ist.

Damals musste das Modell von OpenAI mit 100-mal mehr Daten trainiert werden, um eine Genauigkeit von 80 % auf GSM8K zu erreichen. Doch im Juni dieses Jahres veröffentlichte Google Minerva, das eine Genauigkeit von 78 % erreichte. Dieses Ergebnis übertraf die Erwartungen und die Forscher sagten, es sei schneller gekommen als erwartet.

Google- und OpenAI-Wissenschaftler sprechen über KI: Sprachmodelle arbeiten hart daran, die Mathematik zu „erobern.Papieradresse: https://arxiv.org/pdf/2206.14858.pdf

Minerva basiert auf dem von Google selbst entwickelten Pathways Language Model (PaLM) und verfügt über mehr mathematische Datensätze, darunter arXiv, LaTeX und andere mathematische Formate. Eine weitere Strategie, die Minerva anwendet, ist die Gedankenkettenaufforderung, bei der Minerva größere Probleme in kleinere Teile zerlegt. Darüber hinaus verwendet Minerva die Mehrheitsentscheidung, bei der das Modell nicht aufgefordert wird, eine Antwort zu finden, sondern 100 Antworten. Von diesen Antworten wählt Minerva die häufigste.

Die Vorteile dieser neuen Strategien sind enorm: Minerva erreicht eine Genauigkeit von 50 % bei MATH und eine Genauigkeit von fast 10 % bei GSM8K und MMLU (eine allgemeinere Reihe von MINT-Aufgaben, einschließlich Chemie und Biologie) von 80 %. Als Minerva gebeten wurde, leicht angepasste Aufgaben zu wiederholen, schnitt es genauso gut ab und zeigte, dass seine Fähigkeiten nicht nur aus dem Gedächtnis kommen.

Minerva kann seltsame, verwirrende Argumente haben und trotzdem die richtige Antwort finden. Während Modelle wie Minerva möglicherweise zu den gleichen Antworten kommen wie Menschen, kann der tatsächliche Prozess, dem sie folgen, sehr unterschiedlich sein.

Ethan Dyer, Experte für maschinelles Lernen bei Google, sagte: „Ich denke, es gibt die Vorstellung, dass Menschen, die sich mit Mathematik befassen, über strenge Argumentationssysteme verfügen und es einen klaren Unterschied zwischen dem Wissen und dem Nichtwissen gibt.“ inkonsistent, es werden Fehler gemacht und Kernkonzepte werden nicht angewendet. Im Bereich des maschinellen Lernens sind die Grenzen fließend.

Das obige ist der detaillierte Inhalt vonGoogle- und OpenAI-Wissenschaftler sprechen über KI: Sprachmodelle arbeiten hart daran, die Mathematik zu „erobern'.. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
3 Wochen vor By 尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Notepad++7.3.1

Notepad++7.3.1

Einfach zu bedienender und kostenloser Code-Editor

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

Senden Sie Studio 13.0.1

Senden Sie Studio 13.0.1

Leistungsstarke integrierte PHP-Entwicklungsumgebung

Dreamweaver CS6

Dreamweaver CS6

Visuelle Webentwicklungstools

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Laravels Geospatial: Optimierung interaktiver Karten und großen Datenmengen Laravels Geospatial: Optimierung interaktiver Karten und großen Datenmengen Apr 08, 2025 pm 12:24 PM

Verarbeiten Sie 7 Millionen Aufzeichnungen effizient und erstellen Sie interaktive Karten mit Geospatial -Technologie. In diesem Artikel wird untersucht, wie über 7 Millionen Datensätze mithilfe von Laravel und MySQL effizient verarbeitet und in interaktive Kartenvisualisierungen umgewandelt werden können. Erstes Herausforderungsprojektanforderungen: Mit 7 Millionen Datensätzen in der MySQL -Datenbank wertvolle Erkenntnisse extrahieren. Viele Menschen erwägen zunächst Programmiersprachen, aber ignorieren die Datenbank selbst: Kann sie den Anforderungen erfüllen? Ist Datenmigration oder strukturelle Anpassung erforderlich? Kann MySQL einer so großen Datenbelastung standhalten? Voranalyse: Schlüsselfilter und Eigenschaften müssen identifiziert werden. Nach der Analyse wurde festgestellt, dass nur wenige Attribute mit der Lösung zusammenhängen. Wir haben die Machbarkeit des Filters überprüft und einige Einschränkungen festgelegt, um die Suche zu optimieren. Kartensuche basierend auf der Stadt

Wie man MySQL löst, kann nicht gestartet werden Wie man MySQL löst, kann nicht gestartet werden Apr 08, 2025 pm 02:21 PM

Es gibt viele Gründe, warum MySQL Startup fehlschlägt und durch Überprüfung des Fehlerprotokolls diagnostiziert werden kann. Zu den allgemeinen Ursachen gehören Portkonflikte (prüfen Portbelegung und Änderung der Konfiguration), Berechtigungsprobleme (Überprüfen Sie den Dienst Ausführen von Benutzerberechtigungen), Konfigurationsdateifehler (Überprüfung der Parametereinstellungen), Datenverzeichniskorruption (Wiederherstellung von Daten oder Wiederaufbautabellenraum), InnoDB-Tabellenraumprobleme (prüfen IBDATA1-Dateien), Plug-in-Ladeversagen (Überprüfen Sie Fehlerprotokolle). Wenn Sie Probleme lösen, sollten Sie sie anhand des Fehlerprotokolls analysieren, die Hauptursache des Problems finden und die Gewohnheit entwickeln, Daten regelmäßig zu unterstützen, um Probleme zu verhindern und zu lösen.

So verwenden Sie MySQL nach der Installation So verwenden Sie MySQL nach der Installation Apr 08, 2025 am 11:48 AM

Der Artikel führt den Betrieb der MySQL -Datenbank vor. Zunächst müssen Sie einen MySQL -Client wie MySQLworkBench oder Befehlszeilen -Client installieren. 1. Verwenden Sie den Befehl mySQL-uroot-P, um eine Verbindung zum Server herzustellen und sich mit dem Stammkonto-Passwort anzumelden. 2. Verwenden Sie die Erstellung von Createdatabase, um eine Datenbank zu erstellen, und verwenden Sie eine Datenbank aus. 3.. Verwenden Sie CreateTable, um eine Tabelle zu erstellen, Felder und Datentypen zu definieren. 4. Verwenden Sie InsertInto, um Daten einzulegen, Daten abzufragen, Daten nach Aktualisierung zu aktualisieren und Daten nach Löschen zu löschen. Nur indem Sie diese Schritte beherrschen, lernen, mit gemeinsamen Problemen umzugehen und die Datenbankleistung zu optimieren, können Sie MySQL effizient verwenden.

Remote Senior Backend Engineers (Plattformen) benötigen Kreise Remote Senior Backend Engineers (Plattformen) benötigen Kreise Apr 08, 2025 pm 12:27 PM

Remote Senior Backend Engineer Job Vacant Company: Circle Standort: Remote-Büro-Jobtyp: Vollzeitgehalt: 130.000 bis 140.000 US-Dollar Stellenbeschreibung Nehmen Sie an der Forschung und Entwicklung von Mobilfunkanwendungen und öffentlichen API-bezogenen Funktionen, die den gesamten Lebenszyklus der Softwareentwicklung abdecken. Die Hauptaufgaben erledigen die Entwicklungsarbeit unabhängig von RubyonRails und arbeiten mit dem Front-End-Team von React/Redux/Relay zusammen. Erstellen Sie die Kernfunktionalität und -verbesserungen für Webanwendungen und arbeiten Sie eng mit Designer und Führung während des gesamten funktionalen Designprozesses zusammen. Fördern Sie positive Entwicklungsprozesse und priorisieren Sie die Iterationsgeschwindigkeit. Erfordert mehr als 6 Jahre komplexes Backend für Webanwendungen

Kann MySQL JSON zurückgeben? Kann MySQL JSON zurückgeben? Apr 08, 2025 pm 03:09 PM

MySQL kann JSON -Daten zurückgeben. Die JSON_EXTRACT -Funktion extrahiert Feldwerte. Über komplexe Abfragen sollten Sie die Where -Klausel verwenden, um JSON -Daten zu filtern, aber auf die Leistungsauswirkungen achten. Die Unterstützung von MySQL für JSON nimmt ständig zu, und es wird empfohlen, auf die neuesten Versionen und Funktionen zu achten.

Der Hauptschlüssel von MySQL kann null sein Der Hauptschlüssel von MySQL kann null sein Apr 08, 2025 pm 03:03 PM

Der MySQL -Primärschlüssel kann nicht leer sein, da der Primärschlüssel ein Schlüsselattribut ist, das jede Zeile in der Datenbank eindeutig identifiziert. Wenn der Primärschlüssel leer sein kann, kann der Datensatz nicht eindeutig identifiziert werden, was zu Datenverwirrung führt. Wenn Sie selbstsinkrementelle Ganzzahlsspalten oder UUIDs als Primärschlüssel verwenden, sollten Sie Faktoren wie Effizienz und Raumbelegung berücksichtigen und eine geeignete Lösung auswählen.

Verstehen von Säureeigenschaften: Die Säulen einer zuverlässigen Datenbank Verstehen von Säureeigenschaften: Die Säulen einer zuverlässigen Datenbank Apr 08, 2025 pm 06:33 PM

Detaillierte Erläuterung von Datenbanksäureattributen Säureattribute sind eine Reihe von Regeln, um die Zuverlässigkeit und Konsistenz von Datenbanktransaktionen sicherzustellen. Sie definieren, wie Datenbanksysteme Transaktionen umgehen, und sorgen dafür, dass die Datenintegrität und -genauigkeit auch im Falle von Systemabstürzen, Leistungsunterbrechungen oder mehreren Benutzern gleichzeitiger Zugriff. Säureattributübersicht Atomizität: Eine Transaktion wird als unteilbare Einheit angesehen. Jeder Teil schlägt fehl, die gesamte Transaktion wird zurückgerollt und die Datenbank behält keine Änderungen bei. Wenn beispielsweise eine Banküberweisung von einem Konto abgezogen wird, jedoch nicht auf ein anderes erhöht wird, wird der gesamte Betrieb widerrufen. begintransaktion; updateAccountsSetBalance = Balance-100WH

Master SQL Limit -Klausel: Steuern Sie die Anzahl der Zeilen in einer Abfrage Master SQL Limit -Klausel: Steuern Sie die Anzahl der Zeilen in einer Abfrage Apr 08, 2025 pm 07:00 PM

SQllimit -Klausel: Steuern Sie die Anzahl der Zeilen in Abfrageergebnissen. Die Grenzklausel in SQL wird verwendet, um die Anzahl der von der Abfrage zurückgegebenen Zeilen zu begrenzen. Dies ist sehr nützlich, wenn große Datensätze, paginierte Anzeigen und Testdaten verarbeitet werden und die Abfrageeffizienz effektiv verbessern können. Grundlegende Syntax der Syntax: SelectColumn1, Spalte2, ... Fromtable_Namelimitnumber_of_rows; number_of_rows: Geben Sie die Anzahl der zurückgegebenen Zeilen an. Syntax mit Offset: SelectColumn1, Spalte2, ... Fromtable_NamelimitOffset, Number_of_rows; Offset: Skip überspringen

See all articles