Teori dan teknik kemas kini berat dalam rangkaian saraf
Kemas kini berat dalam rangkaian saraf adalah untuk melaraskan berat sambungan antara neuron dalam rangkaian melalui kaedah seperti algoritma perambatan belakang untuk meningkatkan prestasi rangkaian. Artikel ini akan memperkenalkan konsep dan kaedah kemas kini berat untuk membantu pembaca lebih memahami proses latihan rangkaian saraf.
1. Konsep
Berat dalam rangkaian saraf ialah parameter yang menghubungkan neuron yang berbeza dan menentukan kekuatan penghantaran isyarat. Setiap neuron menerima isyarat daripada lapisan sebelumnya, mendarabkannya dengan berat sambungan, menambah istilah bias, dan akhirnya diaktifkan melalui fungsi pengaktifan dan diteruskan ke lapisan seterusnya. Oleh itu, saiz berat secara langsung mempengaruhi kekuatan dan arah isyarat, yang seterusnya mempengaruhi output rangkaian saraf.
Tujuan kemas kini berat badan adalah untuk mengoptimumkan prestasi rangkaian saraf. Semasa proses latihan, rangkaian saraf menyesuaikan diri dengan data latihan dengan melaraskan pemberat antara neuron secara berterusan untuk meningkatkan keupayaan ramalan pada data ujian. Dengan melaraskan pemberat, rangkaian saraf boleh memuatkan data latihan dengan lebih baik, dengan itu meningkatkan ketepatan ramalan. Dengan cara ini, rangkaian saraf boleh meramalkan dengan lebih tepat keputusan data yang tidak diketahui, mencapai prestasi yang lebih baik.
2. Kaedah
Kaedah kemas kini berat yang biasa digunakan dalam rangkaian saraf termasuk keturunan kecerunan, keturunan kecerunan stokastik dan keturunan kecerunan kelompok.
Kaedah turun kecerunan
Kaedah turun kecerunan ialah salah satu kaedah kemas kini berat yang paling asas adalah untuk mengemas kini berat dengan mengira kecerunan fungsi kehilangan kepada berat (iaitu terbitan bagi. fungsi kehilangan kepada berat), supaya meminimumkan fungsi kehilangan. Secara khusus, langkah-langkah kaedah penurunan kecerunan adalah seperti berikut:
Pertama, kita perlu mentakrifkan fungsi kehilangan untuk mengukur prestasi rangkaian saraf pada data latihan. Biasanya, kami akan memilih ralat min kuasa dua (MSE) sebagai fungsi kehilangan, yang ditakrifkan seperti berikut:
MSE=frac{1}{n}sum_{i=1}^{n}(y_i-hat {y_i })^2
di mana, y_i mewakili nilai sebenar sampel ke-i, hat{y_i} mewakili nilai ramalan sampel ke-i oleh rangkaian saraf, dan n mewakili jumlah bilangan sampel.
Kemudian, kita perlu mengira derivatif fungsi kehilangan berkenaan dengan berat, iaitu kecerunan. Khususnya, bagi setiap berat w_{ij} dalam rangkaian saraf, kecerunannya boleh dikira dengan formula berikut:
frac{partial MSE}{partial w_{ij}}=frac{2}{n}sum_ { k=1}^{n}(y_k-hat{y_k})cdot f'(sum_{j=1}^{m}w_{ij}x_{kj})cdot x_{ki}
di mana , n mewakili jumlah bilangan sampel, m mewakili saiz lapisan input rangkaian saraf, x_{kj} mewakili ciri input ke-j bagi sampel ke-k, f(cdot) mewakili fungsi pengaktifan, dan f'( cdot) mewakili terbitan fungsi pengaktifan. . Kadar, mengawal saiz langkah kemas kini berat.
Kaedah turunan kecerunan stokastik
Kaedah turunan kecerunan stokastik ialah varian kaedah keturunan kecerunan. Idea asasnya ialah memilih sampel secara rawak setiap kali untuk mengira kecerunan dan mengemas kini pemberat. Berbanding dengan kaedah keturunan kecerunan, kaedah keturunan kecerunan stokastik boleh menumpu lebih cepat dan lebih cekap apabila memproses set data berskala besar. Secara khusus, langkah-langkah kaedah penurunan kecerunan stokastik adalah seperti berikut:
Pertama, kita perlu mengocok data latihan dan memilih sampel x_k secara rawak untuk mengira kecerunan. Kemudian, kita boleh mengira derivatif fungsi kehilangan berkenaan dengan berat dengan formula berikut:
frac{partial MSE}{partial w_{ij}}=2(y_k-hat{y_k})cdot f' (jumlah_{j= 1}^{m}w_{ij}x_{kj})cdot x_{ki}
di mana, y_k mewakili nilai sebenar sampel ke-k, dan hat{y_k} mewakili ramalan sampel k-th dengan nilai rangkaian saraf. . Kadar, mengawal saiz langkah kemas kini berat.
Kaedah keturunan kecerunan kelompok
Kaedah keturunan kecerunan kelompok ialah satu lagi varian kaedah keturunan kecerunan Idea asasnya ialah menggunakan sekumpulan kecil sampel setiap kali untuk mengira kecerunan dan mengemas kini pemberat. Berbanding dengan kaedah keturunan kecerunan dan kaedah keturunan kecerunan stokastik, kaedah keturunan kecerunan kelompok boleh menumpu dengan lebih stabil dan lebih cekap apabila memproses set data berskala kecil. Secara khusus, langkah-langkah kaedah penurunan kecerunan kelompok adalah seperti berikut:
Pertama, kita perlu membahagikan data latihan kepada beberapa kelompok mini yang sama saiz, setiap kelompok mini mengandungi sampel b. Kami kemudiannya boleh mengira kecerunan purata fungsi kehilangan terhadap pemberat pada setiap kelompok mini, iaitu:
frac{1}{b}sum_{k=1}^{b}frac{partial MSE}{ separa w_ {ij}}
di mana, b mewakili saiz kumpulan mini. Akhir sekali, kita boleh mengemas kini pemberat melalui formula berikut:
w_{ij}=w_{ij}-alphacdotfrac{1}{b}sum_{k=1}^{b}frac{partial MSE}{partial w_ {ij}}
Antaranya, alpha mewakili kadar pembelajaran, yang mengawal saiz langkah kemas kini berat.
Atas ialah kandungan terperinci Teori dan teknik kemas kini berat dalam rangkaian saraf. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Dalam data siri masa, terdapat kebergantungan antara pemerhatian, jadi ia tidak bebas antara satu sama lain. Walau bagaimanapun, rangkaian saraf tradisional menganggap setiap pemerhatian sebagai bebas, yang mengehadkan keupayaan model untuk memodelkan data siri masa. Untuk menyelesaikan masalah ini, Rangkaian Neural Berulang (RNN) telah diperkenalkan, yang memperkenalkan konsep ingatan untuk menangkap ciri dinamik data siri masa dengan mewujudkan kebergantungan antara titik data dalam rangkaian. Melalui sambungan berulang, RNN boleh menghantar maklumat sebelumnya ke dalam pemerhatian semasa untuk meramalkan nilai masa hadapan dengan lebih baik. Ini menjadikan RNN alat yang berkuasa untuk tugasan yang melibatkan data siri masa. Tetapi bagaimanakah RNN mencapai ingatan seperti ini? RNN merealisasikan ingatan melalui gelung maklum balas dalam rangkaian saraf Ini adalah perbezaan antara RNN dan rangkaian saraf tradisional.

FLOPS ialah salah satu piawaian untuk penilaian prestasi komputer, digunakan untuk mengukur bilangan operasi titik terapung sesaat. Dalam rangkaian saraf, FLOPS sering digunakan untuk menilai kerumitan pengiraan model dan penggunaan sumber pengkomputeran. Ia adalah penunjuk penting yang digunakan untuk mengukur kuasa pengkomputeran dan kecekapan komputer. Rangkaian saraf ialah model kompleks yang terdiri daripada berbilang lapisan neuron yang digunakan untuk tugas seperti klasifikasi data, regresi dan pengelompokan. Latihan dan inferens rangkaian saraf memerlukan sejumlah besar pendaraban matriks, konvolusi dan operasi pengiraan lain, jadi kerumitan pengiraan adalah sangat tinggi. FLOPS (FloatingPointOperationsperSecond) boleh digunakan untuk mengukur kerumitan pengiraan rangkaian saraf untuk menilai kecekapan penggunaan sumber pengiraan model. FLOP

Rangkaian saraf kabur ialah model hibrid yang menggabungkan logik kabur dan rangkaian saraf untuk menyelesaikan masalah kabur atau tidak pasti yang sukar dikendalikan dengan rangkaian saraf tradisional. Reka bentuknya diilhamkan oleh kekaburan dan ketidakpastian dalam kognisi manusia, jadi ia digunakan secara meluas dalam sistem kawalan, pengecaman corak, perlombongan data dan bidang lain. Seni bina asas rangkaian neural kabur terdiri daripada subsistem kabur dan subsistem saraf. Subsistem kabur menggunakan logik kabur untuk memproses data input dan menukarnya kepada set kabur untuk menyatakan kekaburan dan ketidakpastian data input. Subsistem saraf menggunakan rangkaian saraf untuk memproses set kabur untuk tugasan seperti pengelasan, regresi atau pengelompokan. Interaksi antara subsistem kabur dan subsistem saraf menjadikan rangkaian neural kabur mempunyai keupayaan pemprosesan yang lebih berkuasa dan boleh

Model LSTM dwiarah ialah rangkaian saraf yang digunakan untuk pengelasan teks. Berikut ialah contoh mudah yang menunjukkan cara menggunakan LSTM dwiarah untuk tugasan pengelasan teks. Pertama, kita perlu mengimport perpustakaan dan modul yang diperlukan: importosimportnumpyasnpfromkeras.preprocessing.textimportTokenizerfromkeras.preprocessing.sequenceimportpad_sequencesfromkeras.modelsimportSequentialfromkeras.layersimportDense,Em

Rangkaian neural konvolusi berfungsi dengan baik dalam tugasan menghilangkan imej. Ia menggunakan penapis yang dipelajari untuk menapis bunyi dan dengan itu memulihkan imej asal. Artikel ini memperkenalkan secara terperinci kaedah denoising imej berdasarkan rangkaian neural convolutional. 1. Gambaran Keseluruhan Rangkaian Neural Konvolusi Rangkaian saraf konvolusi ialah algoritma pembelajaran mendalam yang menggunakan gabungan berbilang lapisan konvolusi, lapisan gabungan dan lapisan bersambung sepenuhnya untuk mempelajari dan mengelaskan ciri imej. Dalam lapisan konvolusi, ciri tempatan imej diekstrak melalui operasi konvolusi, dengan itu menangkap korelasi spatial dalam imej. Lapisan pengumpulan mengurangkan jumlah pengiraan dengan mengurangkan dimensi ciri dan mengekalkan ciri utama. Lapisan bersambung sepenuhnya bertanggungjawab untuk memetakan ciri dan label yang dipelajari untuk melaksanakan pengelasan imej atau tugas lain. Reka bentuk struktur rangkaian ini menjadikan rangkaian neural konvolusi berguna dalam pemprosesan dan pengecaman imej.

Rangkaian Neural Siam ialah struktur rangkaian saraf tiruan yang unik. Ia terdiri daripada dua rangkaian neural yang sama yang berkongsi parameter dan berat yang sama. Pada masa yang sama, kedua-dua rangkaian juga berkongsi data input yang sama. Reka bentuk ini diilhamkan oleh kembar, kerana kedua-dua rangkaian saraf adalah sama dari segi struktur. Prinsip rangkaian saraf Siam adalah untuk menyelesaikan tugas tertentu, seperti padanan imej, padanan teks dan pengecaman muka, dengan membandingkan persamaan atau jarak antara dua data input. Semasa latihan, rangkaian cuba untuk memetakan data yang serupa ke wilayah bersebelahan dan data yang tidak serupa ke wilayah yang jauh. Dengan cara ini, rangkaian boleh belajar cara mengklasifikasikan atau memadankan data yang berbeza dan mencapai yang sepadan

SqueezeNet ialah algoritma kecil dan tepat yang memberikan keseimbangan yang baik antara ketepatan tinggi dan kerumitan rendah, menjadikannya sesuai untuk sistem mudah alih dan terbenam dengan sumber terhad. Pada 2016, penyelidik dari DeepScale, University of California, Berkeley, dan Stanford University mencadangkan SqueezeNet, rangkaian neural convolutional (CNN) yang padat dan cekap. Dalam beberapa tahun kebelakangan ini, penyelidik telah membuat beberapa penambahbaikan pada SqueezeNet, termasuk SqueezeNetv1.1 dan SqueezeNetv2.0. Penambahbaikan dalam kedua-dua versi bukan sahaja meningkatkan ketepatan tetapi juga mengurangkan kos pengiraan. Ketepatan SqueezeNetv1.1 pada dataset ImageNet

Rangkaian neural convolutional kausal ialah rangkaian neural convolutional khas yang direka untuk masalah kausalitas dalam data siri masa. Berbanding dengan rangkaian neural convolutional konvensional, rangkaian neural convolutional kausal mempunyai kelebihan unik dalam mengekalkan hubungan kausal siri masa dan digunakan secara meluas dalam ramalan dan analisis data siri masa. Idea teras rangkaian neural convolutional kausal adalah untuk memperkenalkan kausalitas dalam operasi konvolusi. Rangkaian saraf konvolusional tradisional boleh melihat data secara serentak sebelum dan selepas titik masa semasa, tetapi dalam ramalan siri masa, ini mungkin membawa kepada masalah kebocoran maklumat. Kerana keputusan ramalan pada titik masa semasa akan dipengaruhi oleh data pada titik masa akan datang. Rangkaian saraf konvolusi penyebab menyelesaikan masalah ini Ia hanya dapat melihat titik masa semasa dan data sebelumnya, tetapi tidak dapat melihat data masa depan.
