Kecemerlangan SGD membawa kepentingan pembelajaran mendalam

Dihasilkan oleh Big Data Digest

Pada bulan Julai, rakan pasca doktoral Universiti New York (NYU) Naomi Saphra menulis artikel bertajuk "Penciptaan Kebolehtafsiran", menerangkan hubungan antara keturunan kecerunan stokastik (SGD) dan pembelajaran mendalam dari perspektif evolusi . perhubungan, dan perspektif tafsiran adalah merangsang pemikiran.

Contohnya: "Sama seperti tulang ekor manusia, sesetengah fenomena mungkin telah kehilangan peranan asalnya semasa proses latihan model dan bertukar menjadi kewujudan serupa dengan organ yang merosot

"Sama ada ia sedang mengkaji tingkah laku anak ayam parasit atau rangkaian saraf Prestasi dalaman." , jika anda tidak mempertimbangkan bagaimana sistem itu berkembang, sukar untuk membezakan maklumat yang berharga.”

Berikut ialah teks asal, yang telah disusun tanpa mengubah maksud asalnya.

Berabad-abad yang lalu, orang Eropah menganggap kehadiran telur cuckoo dalam sarang sebagai penghormatan untuk burung bersarang. Untuk burung yang bersarang dengan penuh semangat memberi makan kepada "tetamu suci"nya dengan lebih tekun daripada anak ayamnya sendiri (diusir), tingkah laku yang konsisten dengan semangat keramahan Kristian.

Pada tahun 1859, Charles Darwin mempersoalkan tanggapan optimistik dan kerjasama tentang tingkah laku burung dengan mengkaji burung finch, satu lagi burung burung yang kadangkala parasit.

Tanpa mengambil kira peranan cuckoo dari perspektif evolusi, adalah sukar untuk menyedari bahawa burung yang bersarang bukanlah pemilik yang murah hati kepada anak ayam, tetapi mangsa yang malang.

Seperti yang dikatakan oleh ahli biologi evolusi Theodosius Dobzhansky: "Tanpa cahaya evolusi, tiada apa pun dalam biologi yang boleh difahami." kaedah saintifik dalam biologi, yang sering memerlukan pemahaman asal usul tingkah laku model.

Sama ada anda sedang mengkaji tingkah laku anak ayam parasit atau prestasi dalaman rangkaian saraf, adalah sukar untuk membezakan maklumat yang berharga tanpa mengambil kira bagaimana sistem itu berkembang.

Oleh itu, apabila menganalisis model, adalah penting untuk memberi perhatian bukan sahaja kepada keadaan pada akhir latihan, tetapi juga kepada beberapa pusat pemeriksaan perantaraan semasa latihan. Percubaan sedemikian adalah mahal minimum tetapi boleh membawa kepada penemuan bermakna yang membantu untuk lebih memahami dan menerangkan tingkah laku model.

Cerita yang tepat

Manusia adalah pemikir sebab dan suka mencari hubungan sebab akibat antara sesuatu, walaupun mungkin terdapat kekurangan asas saintifik.

Dalam bidang NLP, penyelidik juga cenderung untuk memberikan penjelasan sebab yang boleh dijelaskan untuk tingkah laku yang diperhatikan, tetapi penjelasan ini mungkin tidak benar-benar mendedahkan kerja dalaman model. Sebagai contoh, seseorang mungkin memberi perhatian yang teliti kepada artifak kebolehtafsiran seperti taburan perhatian sintaksis atau neuron terpilih, tetapi pada hakikatnya kita tidak dapat memastikan bahawa model itu sebenarnya menggunakan corak tingkah laku ini.

Untuk menyelesaikan masalah ini, model kausal boleh membantu. Apabila kita cuba campur tangan (mengubah suai atau memanipulasi) ciri dan corak tertentu model untuk menguji kesannya terhadap tingkah laku model, campur tangan ini mungkin hanya menyasarkan jenis tingkah laku tertentu yang jelas dan khusus. Dalam erti kata lain, apabila cuba memahami cara model menggunakan ciri dan corak tertentu, kita mungkin hanya dapat memerhati beberapa gelagat ini dan mengabaikan potensi lain, gelagat yang kurang jelas.

Oleh itu, dalam amalan, kami mungkin hanya boleh melakukan jenis campur tangan kecil tertentu pada unit tertentu dalam perwakilan, gagal menggambarkan interaksi antara ciri dengan betul.

Apabila cuba campur tangan (mengubah suai atau memanipulasi) ciri dan corak tertentu model untuk menguji kesannya terhadap gelagat model, kami mungkin memperkenalkan anjakan pengedaran. Peralihan pengedaran yang ketara boleh membawa kepada tingkah laku yang tidak menentu, jadi mengapa tidak membawa kepada artifak kebolehtafsiran palsu?

Nota Penterjemah: Anjakan pengedaran merujuk kepada perbezaan antara peraturan statistik yang ditetapkan oleh model pada data latihan dan data selepas intervensi. Perbezaan ini mungkin menyebabkan model gagal menyesuaikan diri dengan pengagihan data baharu dan dengan itu mempamerkan tingkah laku yang tidak menentu.

Nasib baik, kaedah untuk mengkaji evolusi biologi boleh membantu kita memahami beberapa fenomena yang dihasilkan dalam model. Sama seperti tulang ekor manusia, beberapa fenomena mungkin telah kehilangan peranan asalnya semasa proses latihan model dan telah menjadi seperti organ yang merosot. Sesetengah fenomena mungkin saling bergantung, contohnya, kemunculan ciri-ciri tertentu pada awal latihan boleh menjejaskan perkembangan seterusnya ciri-ciri lain, sama seperti haiwan memerlukan keupayaan penderiaan cahaya asas sebelum mengembangkan mata yang kompleks.

Terdapat juga beberapa fenomena yang mungkin disebabkan oleh persaingan antara ciri-ciri Sebagai contoh, haiwan yang mempunyai kebolehan bau yang kuat mungkin tidak banyak bergantung pada penglihatan, jadi kebolehan visual mereka mungkin lemah. Di samping itu, beberapa fenomena mungkin hanya kesan sampingan proses latihan, serupa dengan DNA sampah dalam genom kita Ia menduduki sebahagian besar genom tetapi tidak menjejaskan penampilan dan fungsi kita secara langsung.

Semasa proses melatih model, beberapa fenomena yang tidak digunakan mungkin muncul, dan kami mempunyai banyak teori untuk menerangkan fenomena ini. Sebagai contoh, hipotesis bottleneck maklumat meramalkan bahawa pada awal latihan, maklumat input akan dihafal dan kemudian dimampatkan dalam model, mengekalkan hanya maklumat yang berkaitan dengan output. Kenangan awal ini mungkin tidak selalu berguna semasa memproses data yang tidak kelihatan, tetapi ia sangat penting untuk akhirnya mempelajari perwakilan output tertentu.

Kita juga boleh mempertimbangkan kemungkinan ciri merosot, kerana tingkah laku awal dan lewat model terlatih adalah sangat berbeza. Model awal lebih mudah. Mengambil model bahasa sebagai contoh, model awal adalah serupa dengan model n-gram mudah, manakala model kemudian boleh menyatakan corak bahasa yang lebih kompleks. Percampuran dalam proses latihan ini boleh mempunyai kesan sampingan yang boleh disalah anggap sebagai bahagian penting dalam latihan model.

Perspektif Evolusi

Sangat sukar untuk memahami kecenderungan pembelajaran model hanya berdasarkan ciri selepas latihan. Menurut kerja Lovering et al., memerhatikan kemudahan pengekstrakan ciri pada permulaan latihan dan menganalisis data penalaan halus mempunyai kesan yang lebih mendalam dalam memahami prestasi penalaan halus daripada sekadar menganalisisnya pada akhir latihan.

Tingkah laku berlapis bahasa ialah penjelasan tipikal berdasarkan model statik analitik. Telah dihujahkan bahawa kata-kata yang rapat dalam struktur ayat akan diwakili lebih dekat dalam model, manakala kata-kata yang berstruktur lebih jauh akan diwakili lebih jauh. Jadi bagaimana kita tahu bahawa model itu mengelompokkan perkataan mengikut kedekatan mereka dalam struktur ayat?

Malah, kita boleh mengatakan dengan lebih yakin bahawa sesetengah model bahasa adalah berhierarki kerana model awal mengekodkan lebih banyak maklumat tempatan dalam rangkaian ingatan jangka pendek (LSTM) dan Transformers, dan apabila kebergantungan ini boleh Apabila dilapisi pada komponen pendek yang biasa, ia pelajari kebergantungan yang lebih jauh dengan lebih mudah.

Satu kes sebenar ditemui semasa menangani masalah penciptaan tafsiran. Apabila melatih pengelas teks beberapa kali menggunakan benih rawak yang berbeza, boleh diperhatikan bahawa model diedarkan dalam beberapa kelompok yang berbeza. Ia juga didapati bahawa tingkah laku generalisasi model boleh diramalkan dengan memerhatikan sejauh mana model itu menyambung kepada model lain pada permukaan kehilangan. Dalam erti kata lain, bergantung pada tempat kehilangan terletak pada permukaan, prestasi generalisasi model mungkin berbeza-beza. Fenomena ini mungkin berkaitan dengan benih rawak yang digunakan semasa latihan.

Tetapi bolehkah ia benar-benar dikatakan? Bagaimana jika kluster benar-benar sepadan dengan peringkat awal model? Jika kluster sebenarnya hanya mewakili peringkat awal model, akhirnya model tersebut mungkin beralih kepada kluster dengan prestasi generalisasi yang lebih baik. Oleh itu, dalam kes ini, fenomena yang diperhatikan hanya menunjukkan bahawa beberapa proses penalaan halus adalah lebih perlahan daripada yang lain.

Perlu menunjukkan bahawa trajektori latihan mungkin jatuh ke dalam lembangan pada permukaan kehilangan, dengan itu menjelaskan kepelbagaian tingkah laku generalisasi dalam model terlatih. Malah, selepas meneliti beberapa pusat pemeriksaan semasa latihan, didapati model di tengah kluster membina hubungan yang lebih kukuh dengan model lain dalam klusternya semasa latihan. Walau bagaimanapun, sesetengah model masih berjaya beralih kepada kelompok yang lebih baik.

Satu cadangan

Untuk menjawab soalan kajian, hanya memerhati proses latihan tidak mencukupi. Dalam mencari hubungan sebab akibat, campur tangan diperlukan. Ambil kajian tentang rintangan antibiotik dalam biologi, sebagai contoh, penyelidik perlu sengaja mendedahkan bakteria kepada antibiotik dan tidak boleh bergantung pada eksperimen semula jadi. Oleh itu, pernyataan berdasarkan pemerhatian dinamik latihan memerlukan pengesahan eksperimen.

Tidak semua kenyataan memerlukan pemerhatian proses latihan. Pada pandangan manusia purba, banyak organ mempunyai fungsi yang jelas, seperti mata untuk melihat, dan jantung untuk mengepam darah. Dalam bidang pemprosesan bahasa semula jadi (NLP), dengan menganalisis model statik, kita boleh membuat tafsiran mudah, seperti neuron tertentu menyala dengan kehadiran atribut tertentu, atau jenis maklumat tertentu masih tersedia dalam model.

Namun, pemerhatian terhadap proses latihan masih dapat menjelaskan maksud banyak pemerhatian yang dibuat dalam model statik. Ini bermakna, walaupun tidak semua masalah memerlukan pemerhatian proses latihan, dalam banyak kes adalah membantu untuk memahami proses latihan untuk memahami pemerhatian.

Nasihatnya mudah: semasa mengkaji dan menganalisis model terlatih, jangan hanya fokus pada keputusan akhir semasa proses latihan. Sebaliknya, analisis harus digunakan pada berbilang pusat pemeriksaan perantaraan semasa latihan apabila memperhalusi model, semak beberapa titik awal dan lewat dalam latihan. Adalah penting untuk memerhati perubahan dalam tingkah laku model semasa latihan, yang boleh membantu penyelidik lebih memahami sama ada strategi model itu munasabah dan menilai strategi model selepas memerhatikan apa yang berlaku pada awal latihan.

Pautan rujukan: https://thegradient.pub/interpretability-creationism/

Atas ialah kandungan terperinci Kecemerlangan SGD membawa kepentingan pembelajaran mendalam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!