Pengarang kertas menjadi popular Bilakah model bahasa besar seperti ChatGPT boleh menjadi pengarang bersama kertas kerja?

ChatGPT telah mendapat perhatian sejak dikeluarkan dan dianggap sebagai salah satu model bahasa paling berkuasa yang tersedia pada masa ini. Keupayaan penjanaan teksnya tidak kurang daripada manusia, malah sesetengah pakar pembelajaran mesin telah melarang penyelidik daripada menggunakan ChatGPT untuk menulis kertas kerja.

Tetapi baru-baru ini, sebuah kertas telah ditandatangani dengan jelas ChatGPT dalam ruangan pengarang Apa yang sedang berlaku?

Kertas kerja ini ialah "Prestasi ChatGPT di USMLE: Potensi untuk Pendidikan Perubatan Berbantukan AI Menggunakan Model Bahasa Besar" yang diterbitkan pada platform kertas penyelidikan perubatan medRxiv ChatGPT adalah yang pertama daripada kertas kerja Tiga pengarang.

Seperti yang dapat dilihat daripada tajuk kertas kerja, kandungan utama kertas kerja ini adalah untuk mengkaji prestasi ChatGPT dalam Perubatan Amerika Syarikat. Peperiksaan Pelesenan (USMLE). Keputusan percubaan menunjukkan bahawa tanpa sebarang latihan atau pengukuhan khas, markah ChatGPT dalam semua peperiksaan mencapai atau hampir kepada ambang lulus. Dan, jawapan yang dijana oleh ChatGPT menunjukkan tahap ketekalan dan cerapan yang tinggi. Kajian itu mencadangkan bahawa model bahasa yang besar mungkin berguna dalam pendidikan perubatan dan boleh membantu membuat keputusan klinikal.

Berdasarkan kandungan penyelidikan, ChatGPT nampaknya lebih seperti objek kajian, seperti yang dikatakan pengguna Twitter: "Jika penyelidik manusia menyumbang kepada keputusan eksperimen, maka sudah tentu mereka Dia adalah pengarang bersama kertas itu, tetapi tidak ada preseden untuk ini dalam model dan algoritma."

Namun, seorang lagi netizen segera menafikan dia di kawasan komen : Kertas kerja sebelumnya bertajuk "Rapamycin dalam konteks Pertaruhan Pascal: perspektif transformer pra-terlatih generatif" bukan sahaja ditandatangani, malah ChatGPT adalah pengarang pertama.

Kertas kerja ini disertakan dalam Onkosains Institut Kesihatan Kebangsaan (NIH). Walau bagaimanapun, daripada sumbangan pengarang kertas kerja, kami mendapati bahawa kebanyakan kandungan kertas ini sememangnya dihasilkan oleh ChatGPT - Alex Zhavoronkov, pengarang kedua kertas kerja, bertanya soalan ChatGPT berkaitan topik penyelidikan, dan ChatGPT secara automatik menghasilkan sejumlah besar pendapat dan penjelasan, dan kemudian Kandungan yang dihasilkan oleh ChatGPT dikendalikan oleh Alex Zhavoronkov. Selain itu, ChatGPT juga membantu dalam memformat kertas.

Tangkapan skrin kertas "Rapamycin dalam konteks Taruhan Pascal: perspektif pengubah pra-latihan generatif".

Apabila membuat keputusan mengenai tandatangan kertas itu, Alex Zhavoronkov menghubungi pengasas bersama OpenAI dan Ketua Pegawai Eksekutif Sam Altman untuk pengesahan, dan akhirnya menerbitkan artikel ini dengan ChatGPT sebagai kertas pertama. Ini menunjukkan bahawa sistem AI yang berkuasa seperti model bahasa yang besar akan memberikan sumbangan bermakna kepada kerja akademik pada masa hadapan, malah mempunyai keupayaan untuk menjadi pengarang bersama kertas kerja.

Walau bagaimanapun, terdapat juga beberapa kelemahan untuk membenarkan model bahasa besar menulis kertas akademik Sebagai contoh, persidangan pembelajaran mesin teratas ICML berkata: "ChatGPT dilatih mengenai data awam, yang selalunya dikumpulkan tanpa persetujuan. Dikumpul dalam keadaan yang berbeza, ini akan membawa satu siri isu atribusi tanggungjawab "

Dalam kajian terbaru oleh Catherine Gao dari Northwestern University dan yang lain, penyelidik memilih beberapa. data yang diterbitkan dalam kertas penyelidikan Manual dalam Journal of the American Medical Association (JAMA), New England Journal of Medicine (NEJM), British Medical Journal (BMJ), The Lancet and Nature Medicine, gunakan ChatGPT untuk menghasilkan abstrak untuk kertas kerja, dan kemudian uji ulasan Bolehkah manusia mengesan bahawa ringkasan ini dihasilkan oleh AI?

Keputusan eksperimen menunjukkan bahawa penyemak mengenal pasti dengan betul hanya 68% daripada abstrak yang dihasilkan dan 86% daripada abstrak asal. Mereka tersilap mengenal pasti 32% daripada ringkasan yang dijana sebagai ringkasan asal dan 14% daripada ringkasan asal sebagai dijana AI. Pengulas berkata: "Sungguh sukar untuk membezakan antara kedua-duanya, dan abstrak yang dihasilkan adalah samar-samar dan memberi orang rasa formulaik." penyelidik manusia untuk Ia bukan satu petanda yang baik untuk memberitahu sama ada teks dihasilkan oleh AI atau ditulis oleh manusia AI nampaknya "menipu".

Walau bagaimanapun, setakat ini, kandungan yang dihasilkan oleh model bahasa tidak dapat menjamin ketepatannya sepenuhnya, malah kadar ralat dalam sesetengah bidang profesional adalah sangat tinggi. Sekiranya mustahil untuk membezakan antara kandungan tulisan manusia dan kandungan yang dihasilkan oleh model AI, maka manusia akan menghadapi masalah serius kerana disesatkan oleh AI.

Atas ialah kandungan terperinci Pengarang kertas menjadi popular Bilakah model bahasa besar seperti ChatGPT boleh menjadi pengarang bersama kertas kerja?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!