Pasukan Meta FAIR dan Samaya AI menggunakan AI untuk meningkatkan kebolehtentusahan Wikipedia

Kebolehpercayaan ialah dasar kandungan teras Wikipedia: tuntutan perlu disokong oleh petikan. Mengekalkan dan meningkatkan kualiti rujukan Wikipedia adalah satu cabaran penting, dan alat yang lebih baik diperlukan segera untuk membantu manusia melakukan tugas ini.

Di sini, penyelidik dari Samaya AI dan Meta FAIR menunjukkan bahawa proses penambahbaikan rujukan boleh ditangani dengan bantuan kecerdasan buatan (AI) yang dikuasakan oleh sistem pencarian maklumat dan model bahasa.

Sistem berasaskan rangkaian saraf ini (dipanggil SIDE di sini) boleh mengenal pasti petikan Wikipedia yang tidak mungkin menyokong tuntutan mereka, dan kemudian mengesyorkan petikan yang lebih baik dari seluruh petikan web. Pasukan itu melatih model tersebut pada rujukan Wikipedia sedia ada, dengan itu belajar daripada sumbangan dan gabungan kebijaksanaan beribu-ribu editor Wikipedia. Menggunakan penyumberan ramai, penyelidik mendapati bahawa untuk 10% petikan teratas yang berkemungkinan besar akan dibenderakan oleh sistem sebagai tidak boleh disahkan, orang memilih alternatif sistem daripada rujukan asal yang disebut 70% daripada rancangan masa.

Untuk mengesahkan kebolehgunaan sistem, penyelidik membina demo untuk berinteraksi dengan komuniti Wikipedia Bahasa Inggeris dan mendapati bahawa untuk 10% teratas yang sama, menurut SIDE Kemungkinan besar tuntutan yang tidak dapat disahkan, pengesyoran petikan pertama SIDE mempunyai kekerapan pilihan dua kali lebih tinggi daripada petikan Wikipedia sedia ada. Hasilnya menunjukkan bahawa sistem berasaskan AI boleh digunakan bersama manusia untuk meningkatkan kebolehpercayaan Wikipedia. Penyelidikan itu bertajuk "Meningkatkan pengesahan Wikipedia dengan AI" dan diterbitkan dalam "Nature Machine Intelligence" pada 19 Oktober 2023.

Wikipedia ialah salah satu tapak web yang paling banyak dikunjungi, dengan paparan halaman lima trilion setiap tahun, dan merupakan salah satu sumber pengetahuan yang paling penting hari ini. Oleh itu, adalah penting bahawa pengetahuan tentang Wikipedia hampir selalu boleh disahkan: Pengguna Wikipedia seharusnya dapat mencari dan mengesahkan tuntutan di Wikipedia menggunakan sumber luar yang boleh dipercayai. Untuk memudahkan perkara ini, artikel Wikipedia menyediakan petikan sebaris kepada bahan latar belakang yang menyokong tuntutan tersebut. Pembaca yang mempersoalkan dakwaan Wikipedia boleh mengikuti arahan ini dan mengesahkan maklumat itu sendiri.

Walau bagaimanapun, dalam amalan, proses ini mungkin gagal: petikan mungkin tidak mengandungi tuntutan yang dicabar, atau asal usulnya mungkin dipersoalkan. Kenyataan sedemikian mungkin masih benar, tetapi pembaca yang prihatin tidak dapat dengan mudah mengesahkannya dengan maklumat dalam sumber yang dipetik. Dengan mengandaikan bahawa dakwaan Wikipedia adalah benar, proses pengesahannya dibahagikan kepada dua peringkat: (1) menyemak konsistensi sumber sedia ada, (2) gagal, mencari bukti baharu;

Seperti yang dinyatakan di atas, pengesahan tuntutan Wikipedia memerlukan pemahaman mendalam tentang bahasa dan penguasaan carian dalam talian. Sejauh manakah mesin boleh mempelajari tingkah laku ini? Soalan ini penting dari perspektif kemajuan kecerdasan buatan asas. Sebagai contoh, pengesahan memerlukan keupayaan untuk mengesan keperluan logik dalam bahasa semula jadi dan menterjemah tuntutan serta konteksnya ke dalam istilah carian terbaik untuk mencari bukti—dua masalah lama yang telah dikaji terutamanya dalam beberapa peringkat tetapan sintesis .

Dari perspektif praktikal, ini sama pentingnya. Pengesah mesin boleh membantu editor Wikipedia membenderakan petikan yang mungkin mencetuskan pengesahan yang gagal dan mencadangkan perkara untuk menggantikan petikan itu, sekiranya mereka tidak menyokong tuntutan masing-masing pada masa ini. Ini mungkin penting: mencari bukti berpotensi dan meneliti hasil carian memerlukan masa dan banyak usaha kognitif. Mengintegrasikan pembantu kecerdasan buatan ke dalam proses boleh membantu mengurangkan kedua-dua senario.

Ilustrasi: Gambaran keseluruhan SISI. (Sumber: Kertas)

Dalam kerja terkini, penyelidik di Samaya AI dan Meta FAIR membangunkan SIDE, pengesah petikan Wikipedia berasaskan kecerdasan buatan. SIDE menemui tuntutan di Wikipedia yang mungkin tidak boleh disahkan berdasarkan petikan semasa dan, atas sebab ini, mengimbas petikan rangkaian untuk mencari alternatif.

Tingkah lakunya dipelajari daripada Wikipedia sendiri: menggunakan korpus susun dakwaan Wikipedia Bahasa Inggeris dan petikan semasa mereka, para penyelidik melatih (1) komponen retriever yang menggabungkan tuntutan dan konteks Diterjemah ke dalam pertanyaan carian simbolik dan saraf dioptimumkan untuk mencari petikan calon dalam korpus skala web; (2) model pengesahan yang menyusun petikan sedia ada dan diperoleh semula berdasarkan kemungkinan mereka mengesahkan tuntutan yang diberikan.

Pasukan menggunakan metrik automatik dan anotasi manusia untuk menilai model mereka. Untuk mengukur ketepatan sistem secara automatik, mereka memeriksa sejauh mana SIDE memulihkan petikan Wikipedia sedia ada dalam artikel berkualiti tinggi (seperti yang ditakrifkan oleh kelas artikel pilihan Wikipedia).

Para penyelidik mendapati bahawa dalam hampir 50% kes, SIDE dengan tepat mengembalikan sumber yang digunakan dalam Wikipedia sebagai penyelesaian terbaiknya. Perlu diingat bahawa ini tidak bermakna 50% yang lain salah, cuma ia bukan sumber Wikipedia semasa.

Pasukan ini juga menguji keupayaan SIDE sebagai pembantu petikan. Dalam kajian pengguna, mereka meletakkan petikan Wikipedia sedia ada di sebelah petikan yang dijana SIDE. Pengguna kemudian menilai sejauh mana petikan yang disediakan menyokong tuntutan, dan petikan mana dari SIDE atau Wikipedia yang lebih sesuai untuk pengesahan.

Secara keseluruhannya, pengguna lebih suka petikan SIDE daripada petikan Wikipedia lebih daripada 60% daripada masa, bahagian yang lebih tinggi apabila SIDE mengaitkan skor pengesahan yang sangat rendah dengan petikan Wikipedia akan meningkat kepada lebih daripada 80%.

Pautan kertas: https://www.nature.com/articles/s42256-023-00726-1

Atas ialah kandungan terperinci Pasukan Meta FAIR dan Samaya AI menggunakan AI untuk meningkatkan kebolehtentusahan Wikipedia. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!