Ia hanya berharga $0.003 sekali, iaitu 20 kali lebih murah daripada manusia! ChatGPT meletakkan pencatat data dalam bahaya

Baru-baru ini, pasukan penyelidik dari Universiti Zurich mendapati bahawa ChatGPT mengatasi pekerja penyumberan ramai dalam berbilang tugas anotasi NLP, dengan ketekalan yang tinggi dan kos hanya kira-kira $0.003 setiap anotasi, iaitu 20 kali lebih murah daripada MTurk.

Pada masa ini, banyak aplikasi pemprosesan bahasa semula jadi (NLP) memerlukan data beranotasi berkualiti tinggi untuk menyokong, terutamanya apabila data ini digunakan untuk tugas seperti pengelas latihan atau menilai prestasi model tanpa pengawasan.

Sebagai contoh, penyelidik AI selalunya ingin menapis data media sosial yang bising untuk korelasi, menetapkan teks kepada topik atau kategori konsep yang berbeza, atau mengukur sentimen atau pendiriannya.

Selain itu, tanpa mengira kaedah khusus yang digunakan untuk tugasan ini (diselia, separa diselia atau tidak diselia), data berlabel diperlukan untuk mewujudkan set latihan atau standard emas.

Walau bagaimanapun, dalam kebanyakan kes, untuk menyelesaikan kerja anotasi data berkualiti tinggi, ia masih tidak dapat dipisahkan daripada pekerja penyumberan ramai pada platform anotasi data atau anotasi yang terlatih seperti pembantu penyelidik. Anda boleh melakukannya secara manual.

Lazimnya, anotasi terlatih mula-mula membuat set data standard emas yang agak kecil dan kemudian mengupah pekerja ramai untuk meningkatkan jumlah data beranotasi, melakukan kerja berulang. Bergantung pada saiz dan kerumitan, tugasan anotasi data kadangkala boleh memakan masa dan susah payah bukan sahaja memerlukan sejumlah kos buruh, tetapi kualiti anotasi data tidak dapat dijamin.

Jadi, bolehkah mesin membantu manusia menyelesaikan tugas asas ini?

Pada masa lalu, mesin tidak mahir dalam tugas seperti "kerja perlahan dan kerja berhati-hati", tetapi tanpa diduga, tugas "anotasi data" telah diselesaikan oleh ChatGPT, dan ia lebih baik daripada kebanyakan orang melakukannya dengan lebih baik .

Dalam kajian baharu yang diterbitkan hari ini, sekumpulan penyelidik dari Universiti Zurich menggunakan sampel 2,382 tweet untuk menunjukkan bahawa ChatGPT berprestasi lebih baik dalam perkaitan, topik dan Prestasi Berprestasi. pekerja penyumberan ramai dalam pelbagai tugas anotasi seperti pengesanan bingkai.

Kertas penyelidikan yang berkaitan bertajuk "ChatGPT Mengungguli Pekerja Ramai untuk Tugasan Anotasi Teks" dan telah diterbitkan di tapak web pracetak arXiv.

Secara khusus, ChatGPT mengatasi pekerja ramai dalam ketepatan pukulan sifar dalam empat daripada lima tugasan; menunjukkan konsistensi interkoder dalam semua tugas Dari segi persetujuan), ChatGPT bukan sahaja mengatasi pekerja penyumberan ramai, tetapi juga mengatasi anotasi terlatih. ​

Prestasi anotasi data teks sifar sampel ChatGPT

Perlu dinyatakan bahawa kos setiap anotasi ChatGPT adalah kurang daripada 0.003 dolar AS, iaitu kira-kira 20 kali lebih murah daripada platform anotasi data.

Pasukan penyelidik percaya bahawa walaupun penyelidikan lanjut diperlukan untuk memahami dengan lebih baik cara ChatGPT dan LLM lain berprestasi dalam konteks yang lebih luas, penemuan menunjukkan bahawa mereka berpotensi mengubah cara penyelidik menganotasi data , meningkatkan dengan ketara kecekapan pengelasan teks dan memusnahkan beberapa model perniagaan platform anotasi data.

Sekurang-kurangnya buat masa ini, penemuan ini menunjukkan kepentingan untuk mendalami sifat dan keupayaan anotasi teks LLM.

Pada masa hadapan, pasukan penyelidik akan mengkaji prestasi ChatGPT dalam pelbagai bahasa, prestasi ChatGPT dalam pelbagai jenis teks (media sosial, media berita, perundangan, ucapan, dll.), menggunakan Rantaian Usaha Fikiran (CoT) meneruskan pembayang dan strategi lain untuk meningkatkan prestasi inferens pukulan sifar.

Perlu dinyatakan bahawa semasa pasukan penyelidik menjalankan kerja ini, OpenAI belum lagi mengeluarkan GPT-4. Apakah hasil jika GPT-4 digunakan untuk menyelesaikan tugasan anotasi data?

Rujukan:​​https://arxiv.org/abs/2303.15056​

Atas ialah kandungan terperinci Ia hanya berharga $0.003 sekali, iaitu 20 kali lebih murah daripada manusia! ChatGPT meletakkan pencatat data dalam bahaya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!