ChatGPT kommentiert Daten 20-mal günstiger als Menschen und ist bei 80 % der Aufgaben im Vorteil

Einfach ausgedrückt besteht die Datenanmerkung darin, die Inhaltsdaten in sozialen Medien zu kennzeichnen, sie in verschiedene Themen oder Konzepte zu klassifizieren oder ihre Haltung und Emotionen zu beurteilen. Diese annotierten Daten können als Trainingssätze oder Bewertungskriterien für NLP-Modelle verwendet werden.

Eine weitere „menschliche Aufgabe“ wurde von der KI übernommen und steht in engem Zusammenhang mit dem Training der KI:

Datenanmerkung.

Untersuchungen der Universität Zürich ergaben, dass der Mensch gegenüber ChatGPT hinsichtlich Kosten oder Effizienz keinen Vorteil hat:

• In Bezug auf die Kosten betragen die durchschnittlichen Kosten für jede Anmerkung von ChatGPT weniger als 0,003 US-Dollar 20-mal günstiger als Crowdsourcing-Plattformen
• In puncto Effizienz „zerquetscht“ ChatGPT auch Menschen mit einem 4:1-Vorteil bei Aufgaben wie Relevanz, Haltung und Themen.

Nach der Veröffentlichung des Papiers machten sich einige Internetnutzer darüber lustig, dass das Sprichwort, dass „die Generierung von Trainingsdaten manuelle Arbeit erfordert“, der Vergangenheit angehört.

Einige Leute riefen sogar: „Ist es möglich, dass die Digitalisierungsarbeiten zur Restaurierung antiker Bücher beschleunigt werden?“

Einige Leute störten sich an der Aufregung nicht und twitterten direkt:

Dadurch werden den Plattformarbeitern direkt die Arbeitsplätze weggenommen.

Apropos: Wie hat ChatGPT die „Jobs“ der Datenannotationsarbeiter gestohlen?

ChatGPT hat bei 80 % der Aufgaben einen Vorteil

Zunächst müssen wir den spezifischen Inhalt der Datenannotationsarbeit verstehen.

Einfach ausgedrückt besteht die Datenanmerkung darin, die Inhaltsdaten in sozialen Medien zu kennzeichnen, sie in verschiedene Themen oder Konzepte zu klassifizieren oder ihre Haltung und Emotionen zu beurteilen.

Diese annotierten Daten können als Trainingssatz oder Bewertungsstandard für das NLP-Modell verwendet werden.

In der Vergangenheit wurde diese Art von Arbeit manuell erledigt. MTurk ist beispielsweise eine Crowdsourcing-Plattform, die sich auf Datenannotationen spezialisiert hat.

Auf Crowdsourcing-Plattformen wie MTurk wird es eine verfeinerte Arbeitsteilung geben, etwa durch professionell ausgebildete Datenannotatoren und Crowdsourcing-Mitarbeiter.

Ersteres hat den Vorteil, qualitativ hochwertige Daten zu produzieren, aber die Kosten sind natürlich höher, während Letzteres zwar günstiger ist, die Qualität jedoch je nach Schwierigkeitsgrad der Aufgabe schwankt.

Daher begann das Forschungsteam, das Potenzial großer Sprachmodelle (LLM) in diesem Bereich zu untersuchen und verglich die Leistung von ChatGPT (basierend auf GPT-3.5) und MTurk ohne zusätzliches Training (Zero-Shot) bei der Datenannotation.

Dieser Vergleich basiert auf 2382 Tweet-Proben, die zuvor vom Forschungsteam gesammelt wurden.

ChatGPT und MTurk markieren Tweets jeweils mit fünf Aufgaben: „Relevanz, Position, Thema, Richtlinie und Praktikabilität“.

Es gibt zwei Bewertungskriterien:

• Genauigkeit: der Prozentsatz korrekter Anmerkungen durch ChatGPT- und MTurk-Crowdsourcing-Mitarbeiter;
• Inter-Coder-Konsistenzzuverlässigkeit: Mithilfe von ChatGPT berechnen MTurk-Crowdsourcing-Mitarbeiter und professionelle Datenannotatoren die Konsistenz zwischen zwei beliebigen;

Auch in puncto Genauigkeit ist ChatGPT bei vier von fünf Aufgaben besser als die Crowdsourcing-Mitarbeiter von MTurk.

In Bezug auf die Konsistenzzuverlässigkeit übertraf ChatGPT professionelle Datenannotatoren bei allen Aufgaben.

In Bezug auf die Kosten ist ChatGPT, wie eingangs erwähnt, im Durchschnitt 20-mal günstiger als manuelle Arbeit, ganz zu schweigen davon, dass KI rund um die Uhr arbeiten kann.

Allerdings akzeptierten nicht alle Internetnutzer die Schlussfolgerung des Forschungsteams. Einige Leute sagten:

Diese fünf Aufgaben sind zu einfach und zu schwierig. Die Zuverlässigkeit einer solchen Schlussfolgerung allein auf dieser Grundlage ist fraglich.

Einige Internetnutzer machten sich sogar darüber lustig, dass die Forschungsstichprobe zu klein sei:

(überraschenderweise) wurden nur 2382 Tweets als Stichprobe verwendet.

Die „Bedrohung von Arbeitsplätzen“ geht über die Datenkennzeichnung hinaus

Ob KI eine bestimmte Art von Arbeit vollständig ersetzen wird, lässt sich nun schwer sagen, aber es besteht kein Zweifel daran, dass sie die menschliche Arbeit bis zu einem gewissen Grad beeinträchtigen wird .

Letzte Woche veröffentlichte OpenAI einen Analysebericht, der besagt, dass 80 % der Arbeitsplätze in gewissem Maße von ChatGPT betroffen sein werden und 19 % der Arbeitsplätze ernsthaft von ChatGPT betroffen sein werden.

Und Berufe mit höheren Gehältern werden stärker betroffen sein.

OpenAI listete außerdem die spezifischen Berufe auf, die betroffen sein werden, vom größten zum kleinsten:

Übersetzer, Textersteller (einschließlich Dichter, Schriftsteller usw.), PR-Mitarbeiter, Mathematiker, Steuerberater, Blockchain-Ingenieure, Finanzarbeiter , Medienschaffende...

△Fotoquelle: OpenAI

Darüber hinaus hat OpenAI-CEO Altman mehr als einmal gesagt, dass „KI einige bestehende Jobs ersetzen wird.“

Vor nicht allzu langer Zeit hat das große Upgrade von MidjourneyV5 auch viele menschliche Maler dazu gebracht, sich darüber zu beschweren, dass ihre Jobs nicht garantiert sind.

emmmmm, denkst du, dass du deinen Job noch behalten kannst?

Papieradresse:​​https://arxiv.org/abs/2303.15056​​​
Referenzlink:​​​https://twitter.com/arankomatsuzaki/status/1640521970608402435​​

Das obige ist der detaillierte Inhalt vonChatGPT kommentiert Daten 20-mal günstiger als Menschen und ist bei 80 % der Aufgaben im Vorteil. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!