Anak patung Matryoshka tidak digalakkan: Penyelidik mengesahkan bahawa latihan AI dengan hasil yang dijana AI akan membawa kepada kemerosotan model

Berita IT House pada 14 Jun, rakan-rakan IT House mungkin terbayang apakah jenis keputusan yang boleh diperolehi jika hasil yang dihasilkan oleh AI digunakan untuk melatih AI dan melakukan "latihan gaya matryoshka"? Pada masa ini terdapat pasukan penyelidik yang telah memerhati dan merekodkan perkara ini, dan kertas kerja serta keputusan terperinci telah diterbitkan di arXiv.

Ringkasan satu ayat - "Menggunakan kandungan yang dijana oleh model dalam latihan akan membawa kepada kecacatan yang tidak dapat dipulihkan dalam model yang dihasilkan kemudiannya, para penyelidik mendapati bahawa "latihan AI dengan hasil yang dihasilkan oleh AI hanya akan menjadikan The models are semakin teruk.”

▲ Sumber imej arXiv

Dilaporkan bahawa penyelidik secara khusus mengkaji taburan kebarangkalian model penjanaan AI, terutamanya memfokuskan pada "teks ke teks" dan "imej ke imej", dan akhirnya membuat kesimpulan: "Oleh kerana hasil yang dihasilkan oleh setiap model mempunyai ciri-ciri tertentu , jadi AI dilatih dengan model yang dihasilkan oleh AI, dan dari masa ke masa, yang terakhir akan melupakan pengedaran data asas yang sebenar ”

▲ Sumber imej arXiv

Ilia Shumailov, salah seorang pengarang utama kertas kerja, juga berkata bahawa "dari masa ke masa, ralat dalam data yang dijana (Nota Rumah IT: seperti contoh palsu) akan memaksa AI untuk terus salah memahami realiti ranap model berlaku agak cepat dan model boleh melupakan banyak data asal yang mereka pelajari dari asalnya ”

Tetapi rakan-rakan mungkin mempunyai soalan Jika hasil yang dihasilkan oleh AI digilap secara manual dan kemudian dimasukkan ke dalam latihan model, bolehkah model itu "merosot"?

Jawapannya adalah tidak. Para penyelidik mendapati bahawa "proses degradasi model tidak dapat dielakkan", jadi walaupun untuk "kandungan keluaran AI yang digilap dan ideal", model itu akan mengalami kemerosotan tertentu selepas pembelajaran jangka panjang.

Bagi mana-mana model besar, disebabkan oleh data pembelajarannya yang berlebihan, mereka pasti akan terdedah kepada data yang dijana oleh AI lain, jadi penyelidik berkata bahawa "pengenalpastian AI harus diperkenalkan untuk memilih data pembelajaran yang mungkin mengandungi ralat kepada." meningkatkan keupayaan pembelajaran dan ketepatan model.

Atas ialah kandungan terperinci Anak patung Matryoshka tidak digalakkan: Penyelidik mengesahkan bahawa latihan AI dengan hasil yang dijana AI akan membawa kepada kemerosotan model. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!