ChatGPT menganotasi data 20 kali lebih murah daripada manusia dan mempunyai kelebihan dalam 80% tugasan

Ringkasnya, anotasi data ialah melabelkan data kandungan di media sosial, mengklasifikasikannya ke dalam tema atau konsep yang berbeza, atau menilai pendirian dan emosinya. Data beranotasi ini boleh digunakan sebagai set latihan atau kriteria penilaian untuk model NLP.

Satu lagi "pekerjaan manusia" telah diambil alih oleh AI, dan ia berkait rapat dengan latihan AI:

Anotasi data.

Penyelidikan oleh Universiti Zurich mendapati bahawa manusia tidak mempunyai kelebihan dari segi kos atau kecekapan apabila bercakap tentang ChatGPT:

• Dari segi kos, kos purata setiap anotasi daripada ChatGPT kurang daripada AS$0.003 , 20 kali lebih murah daripada platform sumber ramai;
• Dari segi kecekapan, ChatGPT juga "menghancurkan" manusia dengan kelebihan 4:1 dalam tugas seperti perkaitan, pendirian dan topik.

Selepas kertas itu dikeluarkan, beberapa netizen menyindir bahawa pepatah bahawa "menjana data latihan memerlukan kerja manual" telah menjadi perkara yang lepas.

Malah ada yang bertanya, "Adakah mungkin pemulihan dan pendigitalan buku kuno akan dipercepatkan?"

Sesetengah orang tidak kisah dengan keseronokan itu dan terus tweet:

Ini secara langsung mengambil alih pekerjaan pekerja platform.

Bercakap mengenainya, bagaimanakah ChatGPT mencuri kerja pekerja anotasi data?

ChatGPT mempunyai kelebihan dalam 80% tugasan

Pertama sekali, kita mesti terlebih dahulu memahami kandungan khusus kerja anotasi data.

Ringkasnya, anotasi data ialah melabelkan data kandungan di media sosial, mengklasifikasikannya ke dalam tema atau konsep yang berbeza, atau menilai pendirian dan emosinya.

Data beranotasi ini boleh digunakan sebagai set latihan atau kriteria penilaian untuk model NLP.

Pada masa lalu, kerja seperti ini dikendalikan secara manual Contohnya, MTurk ialah platform sumber ramai yang pakar dalam anotasi data.

Dalam platform penyumberan ramai seperti MTurk, akan terdapat pembahagian kerja yang lebih halus, seperti pencatat data terlatih secara profesional dan pekerja penyumberan ramai.

Yang pertama mempunyai kelebihan untuk menghasilkan data berkualiti tinggi, tetapi kosnya secara semula jadi lebih tinggi, manakala yang kedua lebih murah tetapi kualitinya akan berubah-ubah mengikut kesukaran tugasan.

Jadi pasukan penyelidik mula mengkaji potensi model bahasa besar (LLM) di kawasan ini, dan membandingkan anotasi data ChatGPT (berdasarkan GPT-3.5) dan MTurk tanpa latihan tambahan (sifar pukulan) prestasi.

Perbandingan ini berdasarkan 2382 sampel tweet yang dikumpul sebelum ini oleh pasukan penyelidik.

ChatGPT dan MTurk masing-masing menandakan tweet dengan lima tugas: "perkaitan, kedudukan, tema, dasar dan kepraktisan".

Terdapat dua kriteria penilaian:

• Ketepatan: peratusan anotasi yang betul oleh pekerja ChatGPT dan MTurk crowdsourcing
• Ketepatan antara pengekod Kebolehpercayaan konsisten: Dikira menggunakan konsistensi antara ChatGPT, pekerja penyumberan ramai MTurk dan penganotasi data profesional;

Dari segi kebolehpercayaan konsisten, ChatGPT mengatasi pencatat data profesional dalam semua tugas.

Dari segi kos, seperti yang dinyatakan pada awal, ChatGPT adalah 20 kali lebih murah daripada kerja manual secara purata, apatah lagi AI boleh berfungsi 24*7.

Namun, tidak semua netizen bersetuju dengan kesimpulan yang dicapai oleh pasukan penyelidik Beberapa orang berkata:

Lima tugasan ini terlalu tunggal. , begitu juga kesukarannya. Kebolehpercayaan kesimpulan sedemikian berdasarkan ini sahaja boleh dipersoalkan.

Malah ada netizen yang mengejek sampel kajian itu terlalu kecil:

(Mengejutkan) hanya 2,382 tweet digunakan sebagai sampel.

“Ancaman pekerjaan” melangkaui pelabelan data

Kini, sukar untuk mengatakan sama ada AI akan menggantikan sepenuhnya jenis kerja tertentu, tetapi ia akan Tidak dinafikan bahawa ia menjejaskan kerja manusia pada tahap tertentu.

Minggu lepas, OpenAI mengeluarkan laporan analisis yang menyatakan bahawa 80% pekerjaan akan terjejas oleh ChatGPT sedikit sebanyak, dan 19% pekerjaan akan terjejas teruk oleh ChatGPT.

Dan pekerjaan dengan gaji yang lebih tinggi akan lebih teruk.

OpenAI seterusnya menyenaraikan pekerjaan khusus yang akan terjejas, daripada terbesar hingga terkecil:

Pengamal terjemahan, pencipta teks (termasuk penyair, penulis, dll.), kakitangan perhubungan awam, ahli matematik, penyedia cukai, jurutera blockchain, pekerja kewangan, pengamal media...

△Sumber Gambar: OpenAI

Selain itu, Ketua Pegawai Eksekutif OpenAI Altman telah berkata pada lebih daripada satu kali bahawa "AI akan menggantikan beberapa pekerjaan sedia ada."

Tidak lama dahulu, peningkatan utama MidjourneyV5 juga menyebabkan ramai pelukis manusia mengadu bahawa pekerjaan mereka dipertaruhkan.

emmmmmm, adakah anda rasa anda masih boleh mengekalkan kerja anda?

Alamat kertas:​https://arxiv.org/abs/2303.15056​​​
Pautan rujukan:​​https://twitter.com/arankomatsuzaki/status/1640521970608402435​​

Atas ialah kandungan terperinci ChatGPT menganotasi data 20 kali lebih murah daripada manusia dan mempunyai kelebihan dalam 80% tugasan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!