Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

WBOY
Freigeben: 2023-04-11 23:10:11
nach vorne
1368 Leute haben es durchsucht

Für viele Menschen ist es ein Albtraum, in der Matheprüfung der High School durchzufallen.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Wenn Sie sagen, dass Ihr High-School-Mathetest nicht so gut ist wie KI, ist es dann schwieriger, das zu akzeptieren?

Richtig, der Codex von OpenAI hat in 7 fortgeschrittenen Mathematikkursen am MIT eine Genauigkeitsrate von 81,1 % erreicht, was auf dem Niveau von MIT-Studenten liegt.

Die Kurse reichen von Elementarrechnung über Differentialgleichungen, Wahrscheinlichkeitstheorie und lineare Algebra. Zu den Fragen gehört auch das Zeichnen.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Diese Angelegenheit wurde kürzlich bei Weibo-Hot-Suchanfragen angezeigt.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

△ „Nur“ 81 Punkte erzielt, die Erwartungen an KI sind zu hoch

Jetzt kommt Google. Hier kommt das Neueste große Neuigkeiten:

Nicht nur in der Mathematik hat unsere KI sogar in den gesamten naturwissenschaftlichen und technischen Fächern die höchste Punktzahl erreicht!

Es scheint, dass Technologiegiganten ein neues Niveau bei der Kultivierung von „KI-Problemlösern“ erreicht haben.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Google, der neueste KI-Fragensteller, hat vier Prüfungen abgelegt.

Bei der Mathematikwettbewerbsprüfung MATH haben in der Vergangenheit nur dreimalige IMO-Goldmedaillengewinner 90 Punkte erreicht, und normale Computerärzte können nur etwa 40 Punkte erreichen.

Was andere KI-Frage-Antworten betrifft, so lag die bisher beste Punktzahl bei nur 6,9 Punkten...

Aber dieses Mal hat Googles neue KI 50 Punkte erreicht, was besser ist als der Computer-Doktortitel. Immer noch hoch.

Die umfassende Prüfung MMLU-STEM umfasst Mathematik, Physik, Chemie, Biologie, Elektrotechnik und Informatik. Der Schwierigkeitsgrad der Fragen erreicht das High-School- oder sogar College-Niveau.

Dieses Mal erhielt auch die „Vollgesundheitsversion“ von Google AI die höchste Punktzahl unter allen Fragen und erhöhte die Punktzahl direkt um etwa 20 Punkte.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Grundschul-Mathematikfrage GSM8k erhöhte die Punktzahl direkt auf 78 Punkte. Im Vergleich dazu hat GPT-3 nicht bestanden (nur 55 Punkte).

Selbst für Bachelor- und Masterstudiengänge am MIT wie Festkörperchemie, Astronomie, Differentialgleichungen und Spezielle Relativitätstheorie kann Googles neue KI fast ein Drittel der mehr als 200 Fragen beantworten.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Das Wichtigste ist, dass Google AI dieses Mal im Gegensatz zu OpenAIs Methode, hohe Punktzahlen in Mathematik zu erzielen, indem man sich auf „Programmierfähigkeiten“ verlässt, wie folgt vorgegangen ist „like Der Ansatz „Denken wie Menschen“ -

ist wie ein Student der Geisteswissenschaften, der nur auswendig lernt, aber keine Fragen stellt, aber bessere Fähigkeiten zur Problemlösung in Naturwissenschaften und Technik beherrscht.

Es ist erwähnenswert, dass Lewkowycz, der Erstautor des Artikels, auch ein Highlight teilte, das nicht im Artikel stand:

Unser Modell nahm an der diesjährigen Aufnahmeprüfung für das polnische Mathematik-College teil und die Ergebnisse lagen über dem Landesdurchschnitt.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Angesichts dieser Tatsache können einige Eltern nicht mehr still sitzen.

Wenn ich meiner Tochter das erzähle, fürchte ich, dass sie KI für ihre Hausaufgaben verwenden wird. Aber wenn du es ihr nicht sagst, bereitest du sie nicht auf die Zukunft vor!

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

In den Augen von Brancheninsidern ist es das Erstaunlichste an dieser Forschung, dieses Niveau zu erreichen, indem man sich nur auf Sprachmodelle ohne fest codierte Arithmetik, Logik und Algebra verlässt.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Also, wie geht das?

KI liest wahnsinnig 2 Millionen Artikel auf arXiv

Das neue Modell Minerva basiert auf dem allgemeinen Sprachmodell PaLM unter der Pathway-Architektur.

Die Weiterbildung erfolgt auf Basis von 8 Milliarden, 60 Milliarden bzw. 540 Milliarden Parameter-PaLM-Modellen.

Minervas Herangehensweise an die Beantwortung von Fragen unterscheidet sich völlig von der von Codex. Die Methode von

Codex besteht darin, jedes mathematische Problem in ein Programmierproblem umzuschreiben und es dann durch Schreiben von Code zu lösen.

Minerva hingegen las wie verrückt Papiere und zwang sich, mathematische Symbole genauso zu verstehen wie natürliche Sprache.

Weiteres Training auf Basis von PaLM. Der neue Datensatz besteht aus drei Teilen:

Enthält hauptsächlich 2 Millionen auf arXiv gesammelte wissenschaftliche Arbeiten, 60 GB Webseiten mit LaTeX-Formeln und einen kleinen Teil, der in der PaLM-Trainingsphase verwendet wird.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Der übliche NLP-Datenbereinigungsprozess löscht alle Symbole und behält nur reinen Text, was zu unvollständigen Formeln führt. Beispielsweise ist in Einsteins berühmter Masse-Energie-Gleichung nur noch Emc2 übrig.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Aber dieses Mal behielt Google alle Formeln bei und durchlief das Transformer-Trainingsprogramm wie einfachen Text, sodass die KI Symbole wie Sprache verstehen konnte.

Dies ist einer der Gründe, warum Minerva bei mathematischen Problemen im Vergleich zu früheren Sprachmodellen besser abschneidet.

Aber im Vergleich zu KI, die sich auf die Lösung mathematischer Probleme spezialisiert hat, verfügt Minerva nicht über eine explizite zugrunde liegende mathematische Struktur in ihrem Training, was einen Nachteil und einen Vorteil mit sich bringt.

Der Nachteil besteht darin, dass die KI möglicherweise falsche Schritte verwendet, um die richtige Antwort zu erhalten.

Der Vorteil besteht darin, dass es an verschiedene Disziplinen angepasst werden kann. Auch wenn einige Probleme nicht in formaler mathematischer Sprache ausgedrückt werden können, können sie durch die Kombination natürlicher Sprachverständnisfähigkeiten gelöst werden.

In der KI-Begründungsphase kombiniert Minerva auch mehrere neue Technologien, die kürzlich von Google entwickelt wurden.

Zunächst gibt es die Link-Eingabeaufforderung „Chain of Thought Thinking“, die im Januar dieses Jahres vom Google Brain-Team vorgeschlagen wurde.

Besonders wenn Sie eine Frage stellen, geben Sie ein Schritt-für-Schritt-Antwortbeispiel als Orientierung. KI kann bei der Beantwortung von Fragen einen ähnlichen Denkprozess nutzen und Fragen richtig beantworten, die sonst falsch beantwortet würden.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Dann gibt es noch die von Google und MIT gemeinsam entwickelte Scrathpad-Methode, die es der KI ermöglicht, die Zwischenergebnisse von Schritt-für-Schritt-Berechnungen zwischenzuspeichern.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Schließlich gibt es noch die Methode der Mehrheitsabstimmung, die erst im März dieses Jahres veröffentlicht wurde.

Lassen Sie die KI dieselbe Frage mehrmals beantworten und wählen Sie die Antwort aus, die am häufigsten erscheint.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Nachdem alle diese Techniken verwendet wurden, erreicht Minerva mit 540 Milliarden Parametern SOTA in verschiedenen Testsätzen.

Sogar die 8-Milliarden-Parameter-Version von Minerva kann das Niveau der neuesten aktualisierten davinci-002-Version von GPT-3 bei Mathematikproblemen auf Wettbewerbsebene und offenen MIT-Kursproblemen erreichen.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Nachdem ich so viel gesagt habe: Welche konkreten Fragen kann Minerva stellen?

Google hat auch ein Beispielset geöffnet, schauen wir uns das an.

Es ist vielseitig in Mathematik, Physik, Chemie und sogar maschinellem Lernen einsetzbar.

In der Mathematik kann Minerva wie Menschen Werte Schritt für Schritt berechnen, anstatt sie direkt gewaltsam zu lösen.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Bei Textaufgaben können Sie Ihre eigenen Gleichungen aufstellen und diese vereinfachen.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Sie können sogar den Beweis herleiten.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

In der Physik kann Minerva Fragen auf Universitätsniveau lösen, beispielsweise die Ermittlung der Gesamtspinquantenzahl von Elektronen im neutralen Stickstoffgrundzustand (Z = 7).

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

In Biologie und Chemie kann Minerva mit ihrem Sprachverständnis auch verschiedene Multiple-Choice-Fragen beantworten.

Welche der folgenden Formen von Punktmutationen hat keinen negativen Einfluss auf Proteine, die aus DNA-Sequenzen gebildet werden?

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Welches der folgenden Elemente ist ein radioaktives Element?

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Und Astronomie: Warum hat die Erde ein starkes Magnetfeld?

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

In Bezug auf maschinelles Lernen wird dieser Begriff korrekterweise anders ausgedrückt, indem die spezifische Bedeutung der „Erkennung von Proben außerhalb der Verteilung“ erläutert wird.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

...

Allerdings macht Minerva manchmal einige dumme Fehler, wie zum Beispiel das Streichen des √ auf beiden Seiten der Gleichung.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Darüber hinaus wird es bei Minerva mit einer Wahrscheinlichkeit von 8 % „falsch positive“ Situationen geben, in denen der Denkprozess falsch, das Ergebnis aber richtig ist, wie zum Beispiel die folgende.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Nach der Analyse stellte das Team fest, dass die Hauptfehlerformen auf Rechenfehlern und Argumentationsfehlern beruhten und nur ein kleiner Teil auf andere Situationen zurückzuführen war, beispielsweise auf Fehler beim Verständnis der Bedeutung der Frage und die Verwendung falscher Fakten in der Frage Schritte.

Die Berechnungsfehler lassen sich leicht durch den Zugriff auf einen externen Rechner oder Python-Interpreter beheben, andere Arten von Fehlern lassen sich jedoch nur schwer korrigieren, da das neuronale Netzwerk zu groß ist.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Im Allgemeinen hat die Leistung von Minerva viele Leute überrascht und sie haben im Kommentarbereich nach APIs gefragt (leider hat Google noch keine öffentlichen Pläne gemacht).

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Einige Internetnutzer dachten, dass die Genauigkeitsrate von GPT-3 in Verbindung mit der „Überredungsmethode“, die die Problemlösungsgenauigkeit von GPT-3 in den letzten Tagen um 61 % steigern konnte, noch verbessert werden könnte?

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Die Antwort des Autors lautet jedoch, dass die Überredungsmethode zum Lernen ohne Stichproben gehört und, egal wie stark sie ist, möglicherweise nicht so gut ist wie das Lernen mit wenigen Stichproben und 4 Beispielen.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Einige Internetnutzer fragten auch: Kann es umgekehrt verwendet werden, da es Fragen stellen kann?

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Tatsächlich hat sich das MIT mit OpenAI zusammengetan, um mithilfe von KI Fragen für Studenten zu stellen.

Sie vermischten Fragen von Menschen und Fragen von KI und forderten die Schüler auf, Fragebögen auszufüllen. Es war für alle schwierig zu erkennen, ob eine Frage von KI gestellt wurde.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Kurz gesagt, die aktuelle Situation ist, außer dass diejenigen, die an KI arbeiten, damit beschäftigt sind, dieses Papier zu lesen.

Die Schüler freuen sich darauf, eines Tages ihre Hausaufgaben mithilfe von KI erledigen zu können.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Lehrer hoffen auch, dass sie eines Tages KI für die Erstellung von Prüfungsarbeiten nutzen können.

Die KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors

Papieradresse: https://storage.googleapis.com/minerva-paper/minerva_paper.pdf

Demo-Adresse: https://minerva-demo.github.io/

Verwandte Papiere: Chain of Thought https://arxiv.org/abs/2201.11903Scrathpads https://arxiv.org/abs/2112.00114Mehrheitsabstimmung https://arxiv.org/abs/2203.11171

Referenzlink:

https://ai.googleblog .com/2022/06/minerva-solving-quantitative-reasoning.html

https://twitter.com/bneyshabur/status/1542563148334596098

https://twitter.com/alewkowycz/status/1542559176483823622​

Das obige ist der detaillierte Inhalt vonDie KI spielt verrückt, wenn es um Quizze geht! Die Genauigkeitsrate der Mathematikprüfung auf hohem Niveau beträgt 81 % und die Punktzahl bei den Wettbewerbsfragen übertrifft die des Informatikdoktors. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Verwandte Etiketten:
Quelle:51cto.com
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!