Als ChatGPT an Chinas College-Aufnahmeprüfung teilnahm und ihm die nationalen A- und B-Prüfungen vorlegte, stellte sich heraus, dass es ernsthaft voreingenommen war!

xixiaoyao Technology Talk Original
Autor |. PythonChatGPT wurde nach seiner Einführung als intelligente Mensch-Maschine-Konversationsanwendung schnell auf der ganzen Welt beliebt. In nur einem Monat hat die Zahl der Nutzer 100 Millionen überschritten. Menschen verwenden ChatGPT auch, um viele Prüfungsgegenstände wie SAT, AP, GRE usw. zu testen. Wie wäre es jedoch, wenn ChatGPT an Chinas Hochschulaufnahmeprüfung teilnehmen dürfte? Wird er voreingenommen sein? Können normale Leute wie wir ChatGPT bestehen? Werfen wir einen Blick auf die Kommentare von Studenten der Fudan-Universität und der East China Normal University.

Papiertitel:
Bewertung der Leistung großer Sprachmodelle auf GAOKAO-Benchmark
Papierlink: https://www.php.cn/link/de66dbc30377a1f7908db45298324aa3# 🎜🎜#

Wie verwende ich ChatGPT, um Fragen zur Hochschulaufnahmeprüfung zu beantworten?

Dieses Dokument verwendet eine Zero-Supervised-Prompt-Methode, um Testfragen in Eingaben für ChatGPT umzuwandeln, wie in der Abbildung unten dargestellt. Für unterschiedliche Themen und Fragetypen sind unterschiedliche Untersuchungsmethoden konzipiert. Konvertieren Sie bei mathematischen Fragen die Formel in eine Latexeingabe.

Datensatz für die Hochschulaufnahmeprüfung

In diesem Artikel werden das nationale A-Papier und das nationale B-Papier von 2010 bis 2022 verwendet. Insgesamt 13 Jahre, jeder Satz von Prüfungsarbeiten umfasst 10 Fächer, nämlich Chinesisch, Mathematik, Englisch, Physik, Chemie, Leben, Geschichte und Landverwaltung. Die Mathematik ist in naturwissenschaftliche Mathematik und Geisteswissenschaften unterteilt.

Der Datensatz enthält insgesamt 2811 Testfragen. Die spezifischen Fragetypen werden hier nicht besprochen. Ich glaube, dass die Leser mit den Fragen zur Hochschulaufnahmeprüfung sehr vertraut sind.

Während der Evaluierung wurden Gymnasiallehrer der Shanghai Caoyang No. 2 Middle School engagiert, um die subjektiven Fragen zu bewerten.

Experiment und Analyse

Die von ChatGPT im Laufe der Jahre bei der Hochschulaufnahmeprüfung erzielten Ergebnisse sind in der folgenden Abbildung dargestellt. Da jedes Fach bei der Berechnung der Noten auf 100 Punkte normiert wird, kann diese Punktzahl nicht direkt mit Ihren und meinen Noten für die Hochschulaufnahmeprüfung verglichen werden. Es zeigt sich aber auch, dass diese Punktzahl nicht ideal ist und es wird geschätzt, dass weder die Fudan noch die East China Normal University zugelassen werden. Warum ist das so?

Das obige Bild zeigt die Leistung von ChatGPT in verschiedenen Themen sowie subjektiven und objektiven Themen. Blau steht für objektive Fragen und Gelb für subjektive Fragen. Die Analyse ergab, dass ChatGPT bei objektiven Fragen, insbesondere beim englischen Leseverständnis, bei Single Choice und bei Lückentexten, bessere Ergebnisse erzielte und eine Genauigkeit von 88,3 %, 78,1 % bzw. 73,8 % erreichte. Aber selbst bei objektiven Fragen liegt die Genauigkeitsrate in Naturwissenschaften und Mathematik unter 40 %. Mathematik ist wirklich schwierig ~

Die Leistung von ChatGPT bei subjektiven Fragen ist schlecht. In den Fächern Physik, Chemie, Biologie und Mathematik ist die Leistung bei subjektiven Fragen offensichtlich nicht so gut wie bei objektiven Fragen. Die Ergebnisse für objektive Fragen in naturwissenschaftlichen Fächern sind ebenfalls schlecht. Vielleicht ist ChatGPT eher auf geisteswissenschaftliche Fächer ausgerichtet? Den Kommentaren der Rezensenten zufolge sind die Hauptmängel von ChatGPT: 1. Die komplexen Gleichungen in mathematischen Problemen sind schwer richtig zu lösen, und im Problemlösungsprozess werden falsche Formeln verwendet. 2. Unzureichende Fähigkeit, beim Lesen längerer Materialien zu verstehen und zusammenzufassen.

Zusammenfassung

ChatGPT verwendet während des Schulungsprozesses möglicherweise keine Daten zu chinesischen Hochschulaufnahmeprüfungsfragen, sodass seine Leistung nicht durch Datenlecks beeinträchtigt wird und eine hohe Glaubwürdigkeit aufweist.

Beobachtungsergebnisse zeigen, dass die Leistung von ChatGPT bei chinesischen Hochschulaufnahmeprüfungsfragen im Vergleich zu ausländischen Prüfungen etwas schlechter ist. Daher müssen sich inländische Studierende vorerst keine allzu großen Sorgen darüber machen, dass sie den ChatGPT nicht bestehen. Allerdings wurden die im Artikel erwähnten Langtext-Zusammenfassungsfunktionen in GPT4-32K erheblich verbessert, und das inländische große Modell wurde auch für chinesische Daten weiter optimiert. Daher können wir in Zukunft mit einer beeindruckenderen Leistung bei Fragen zu groß angelegten Hochschulaufnahmeprüfungen rechnen.

Darüber hinaus kann die Idee, ChatGPT zur Lösung von Fragen zu Hochschulaufnahmeprüfungen zu verwenden, möglicherweise die Debatte unter Internetnutzern darüber beantworten, in welcher Provinz die Prüfungsfragen schwieriger sind?

Das obige ist der detaillierte Inhalt vonAls ChatGPT an Chinas College-Aufnahmeprüfung teilnahm und ihm die nationalen A- und B-Prüfungen vorlegte, stellte sich heraus, dass es ernsthaft voreingenommen war!. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!