Es kostet nur 0,003 US-Dollar pro Mal, was 20-mal billiger ist als bei Menschen! ChatGPT bringt Datenannotatoren in Gefahr

Kürzlich hat ein Forschungsteam der Universität Zürich herausgefunden, dass ChatGPT Crowdsourcing-Mitarbeitern bei mehreren NLP-Anmerkungsaufgaben mit hoher Konsistenz überlegen war und nur etwa 0,003 US-Dollar pro Anmerkung kostete, was 20-mal günstiger ist als MTurk.

Derzeit erfordern viele NLP-Anwendungen (Natural Language Processing) qualitativ hochwertige annotierte Daten zur Unterstützung, insbesondere wenn diese Daten für Aufgaben wie das Training von Klassifikatoren oder die Bewertung der Leistung unbeaufsichtigter Modelle verwendet werden.

KI-Forscher möchten beispielsweise häufig verrauschte Social-Media-Daten nach Korrelationen filtern, Texte verschiedenen Themen- oder Konzeptkategorien zuordnen oder ihre Stimmung oder Haltung messen.

Und unabhängig davon, welche spezifische Methode für diese Aufgaben verwendet wird (überwacht, halbüberwacht oder unüberwacht), werden gekennzeichnete Daten benötigt, um einen Trainingssatz oder Goldstandard festzulegen.

Um qualitativ hochwertige Datenanmerkungsarbeiten durchzuführen, ist es jedoch immer noch untrennbar mit der manuellen Durchführung von Crowdsourcing-Mitarbeitern auf der Datenanmerkungsplattform oder geschulten Annotatoren wie Forschungsassistenten verbunden.

Normalerweise erstellen geschulte Annotatoren zunächst einen relativ kleinen Goldstandard-Datensatz und stellen dann Crowdworker ein, um die Menge der annotierten Daten zu erhöhen und sich wiederholende Arbeiten auszuführen. Je nach Größe und Komplexität können Datenannotationsaufgaben manchmal sehr zeitaufwändig und mühsam sein. Sie erfordern nicht nur einen gewissen Arbeitsaufwand, auch die Qualität der Datenannotation kann nicht garantiert werden.

Können Maschinen Menschen dabei helfen, diese grundlegende Aufgabe zu erledigen?

In der Vergangenheit waren Maschinen bei dieser Art von „langsamer Arbeit und sorgfältiger Arbeit“ nicht gut, aber unerwartet wurde die Aufgabe „Datenanmerkung“ von ChatGPT erledigt, und sie ist besser als die meisten Menschen.

In einer heute veröffentlichten neuen Studie hat ein Forschungsteam der Universität Zürich anhand einer Stichprobe von 2.382 Tweets gezeigt, dass ChatGPT bei Multi-Annotation-Aufgaben wie Relevanz-, Themen- und Frame-Erkennung für Crowdsourcing-Mitarbeiter überlegen ist.

Das entsprechende Forschungspapier trägt den Titel „ChatGPT Outperforms Crowd-Workers for Text-Annotation Tasks“ und wurde auf der Preprint-Website arXiv veröffentlicht.

Konkret übertraf ChatGPT die Crowdsourcing-Mitarbeiter in vier der fünf Aufgaben hinsichtlich der Intercoder-Übereinstimmung. ChatGPT übertrifft nicht nur Crowdworker, sondern auch geschulte Kommentatoren. ​

ChatGPT Zero-Sample-Textdaten-Annotationsleistung

Es ist erwähnenswert, dass die Kosten für jede Annotation von ChatGPT weniger als 0,003 US-Dollar betragen, was etwa 20-mal günstiger ist als bei Datenannotationsplattformen.

Das Forschungsteam ist der Ansicht, dass zwar weitere Forschung erforderlich ist, um die Leistung von ChatGPT und anderen LLMs in einem breiteren Kontext besser zu verstehen, die Ergebnisse jedoch darauf hindeuten, dass sie das Potenzial haben, die Art und Weise, wie Forscher Daten annotieren, zu verändern und die Effizienz der Textklassifizierung erheblich zu verbessern Zerstörung einiger Geschäftsmodelle von Datenanmerkungsplattformen.

Zumindest vorerst zeigen diese Ergebnisse, wie wichtig es ist, tiefer in die Textannotationseigenschaften und -fähigkeiten von LLMs einzutauchen.

Zukünftig wird das Forschungsteam die Leistung von ChatGPT in mehreren Sprachen, die Leistung von ChatGPT in mehreren Arten von Texten (soziale Medien, Nachrichtenmedien, Gesetze, Reden usw.) mithilfe von Chain of Thought (CoT) untersuchen. Eingabeaufforderungen und andere Strategien Wir werden weiterhin hart daran arbeiten, die Leistung der Null-Stichproben-Inferenz zu verbessern.

Es ist erwähnenswert, dass OpenAI GPT-4 noch nicht veröffentlicht hatte, als das Forschungsteam diese Arbeit durchführte. Was wäre das Ergebnis, wenn GPT-4 zur Durchführung der Datenanmerkungsaufgabe verwendet würde?

Referenz:​​​https://arxiv.org/abs/2303.15056​

Das obige ist der detaillierte Inhalt vonEs kostet nur 0,003 US-Dollar pro Mal, was 20-mal billiger ist als bei Menschen! ChatGPT bringt Datenannotatoren in Gefahr. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!