Terangkan dan tunjukkan strategi penyusunan Keciciran
Keciciran ialah strategi penyelarasan yang mudah dan berkesan yang digunakan untuk mengurangkan pemasangan berlebihan rangkaian saraf dan meningkatkan keupayaan generalisasi. Idea utama adalah untuk membuang sebahagian daripada neuron secara rawak semasa proses latihan supaya rangkaian tidak terlalu bergantung kepada output mana-mana satu neuron. Penjatuhan rawak mandatori ini membolehkan rangkaian mempelajari perwakilan ciri yang lebih mantap. Dengan Tercicir, rangkaian saraf menjadi lebih teguh, boleh menyesuaikan diri dengan data baharu dengan lebih baik dan mengurangkan risiko overfitting. Kaedah regularisasi ini digunakan secara meluas dalam amalan dan telah ditunjukkan dapat meningkatkan prestasi rangkaian saraf dengan ketara.
Keciciran ialah teknik regularisasi yang biasa digunakan yang digunakan untuk mengurangkan overfitting rangkaian saraf. Ia melakukan ini dengan menetapkan secara rawak output beberapa neuron kepada 0 dengan kebarangkalian tertentu pada setiap sampel latihan. Khususnya, Keciciran boleh dilihat sebagai pensampelan rangkaian saraf secara rawak beberapa kali. Setiap pensampelan menjana subrangkaian berbeza di mana beberapa neuron diabaikan buat sementara waktu. Parameter dikongsi antara sub-rangkaian ini, tetapi oleh kerana setiap sub-rangkaian hanya melihat output subset neuron, mereka mempelajari perwakilan ciri yang berbeza. Semasa proses latihan, Dropout boleh mengurangkan saling kebergantungan antara neuron dan menghalang neuron tertentu daripada terlalu bergantung kepada neuron lain. Ini membantu meningkatkan keupayaan generalisasi rangkaian. Dan semasa menguji, Dropout tidak lagi berfungsi. Untuk memastikan nilai jangkaan tetap, output semua neuron didarab dengan nisbah tetap. Ini menghasilkan rangkaian yang meratakan output semua subrangkaian semasa latihan. Dengan menggunakan Dropout, overfitting boleh dikurangkan dengan berkesan dan prestasi serta keupayaan generalisasi rangkaian saraf boleh dipertingkatkan.
Kelebihan Keciciran ialah ia dapat mengurangkan risiko keterlaluan pemasangan dan meningkatkan prestasi generalisasi rangkaian saraf. Dengan membuang beberapa neuron secara rawak, Dropout boleh mengurangkan sinergi antara neuron, dengan itu memaksa rangkaian untuk mempelajari perwakilan ciri yang lebih mantap. Selain itu, Dropout juga boleh menghalang penyesuaian bersama antara neuron, iaitu, menghalang neuron tertentu daripada berfungsi hanya dengan kehadiran neuron lain, dengan itu meningkatkan keupayaan generalisasi rangkaian. Dengan cara ini, rangkaian saraf lebih mampu menyesuaikan diri dengan data yang tidak kelihatan dan lebih teguh kepada data yang bising. Oleh itu, Dropout adalah kaedah regularisasi yang sangat berkesan dan digunakan secara meluas dalam pembelajaran mendalam.
Walau bagaimanapun, walaupun Dropout digunakan secara meluas dalam rangkaian neural dalam untuk meningkatkan keupayaan generalisasi model dan mengelakkan overfitting, ia juga mempunyai beberapa kelemahan yang perlu diberi perhatian. Pertama, Keciciran akan mengurangkan kapasiti berkesan rangkaian saraf. Ini kerana semasa proses latihan, output setiap neuron ditetapkan kepada 0 dengan kebarangkalian tertentu, sekali gus mengurangkan keupayaan ekspresif rangkaian. Ini bermakna rangkaian mungkin tidak dapat mempelajari corak dan perhubungan yang kompleks dengan secukupnya, mengehadkan prestasinya. Kedua, Dropout memperkenalkan sejumlah bunyi bising, yang mungkin mengurangkan kelajuan latihan dan kecekapan rangkaian. Ini kerana dalam setiap sampel latihan, Dropout akan membuang sebahagian neuron secara rawak, menyebabkan algoritma perambatan belakang rangkaian terganggu, sekali gus meningkatkan kerumitan dan overhed masa latihan. Selain itu, Dropout memerlukan kaedah pemprosesan khas untuk mengendalikan sambungan antara lapisan yang berbeza dalam rangkaian untuk memastikan ketepatan dan kestabilan rangkaian. Memandangkan Dropout membuang beberapa neuron, sambungan dalam rangkaian akan menjadi jarang, yang mungkin membawa kepada struktur rangkaian yang tidak seimbang, seterusnya menjejaskan prestasi rangkaian. Secara ringkasnya, untuk mengatasi masalah ini, penyelidik telah mencadangkan beberapa kaedah Keciciran yang lebih baik. Satu pendekatan ialah menggabungkan Keciciran dengan teknik regularisasi lain, seperti regularisasi L1 dan L2, untuk meningkatkan keupayaan generalisasi rangkaian. Dengan menggunakan kaedah ini bersama-sama, anda boleh mengurangkan risiko overfitting dan meningkatkan prestasi rangkaian pada data yang tidak kelihatan. Di samping itu, beberapa kajian telah menunjukkan bahawa kaedah berasaskan Keciciran boleh meningkatkan lagi prestasi rangkaian dengan melaraskan kadar Keciciran secara dinamik. Ini bermakna semasa proses latihan, kadar Keciciran boleh dilaraskan secara automatik mengikut situasi pembelajaran rangkaian, dengan itu mengawal tahap overfitting dengan lebih baik. Melalui kaedah Keciciran yang dipertingkatkan ini, rangkaian boleh meningkatkan prestasi generalisasi dan mengurangkan risiko overfitting sambil mengekalkan kapasiti yang berkesan.
Di bawah ini kami akan menggunakan contoh mudah untuk menunjukkan cara menggunakan regularisasi Dropout untuk meningkatkan prestasi generalisasi rangkaian saraf. Kami akan menggunakan rangka kerja Keras untuk melaksanakan model perceptron berbilang lapisan (MLP) berasaskan Dropout untuk mengklasifikasikan digit tulisan tangan.
Pertama, kita perlu memuatkan set data MNIST dan praproses data. Dalam contoh ini, kami akan menormalkan data input kepada nombor nyata antara 0 dan 1 dan menukar label output kepada pengekodan satu panas. Kodnya adalah seperti berikut:
import numpy as np from tensorflow import keras # 加载MNIST数据集 (x_train, y_train), (x_test, y_test) = keras.datasets.mnist.load_data() # 将输入数据归一化为0到1之间的实数 x_train = x_train.astype(np.float32) / 255. x_test = x_test.astype(np.float32) / 255. # 将输出标签转换为one-hot编码 y_train = keras.utils.to_categorical(y_train, 10) y_test = keras.utils.to_categorical(y_test, 10)
Seterusnya, kami mentakrifkan model MLP berdasarkan Dropout. Model ini terdiri daripada dua lapisan tersembunyi dan lapisan keluaran, setiap lapisan tersembunyi menggunakan fungsi pengaktifan ReLU, dan lapisan Keciciran digunakan selepas setiap lapisan tersembunyi. Kami menetapkan kadar keciciran kepada 0.2, yang bermaksud menjatuhkan 20% neuron secara rawak pada setiap sampel latihan. Kodnya adalah seperti berikut:
# 定义基于Dropout的MLP模型 model = keras.models.Sequential([ keras.layers.Flatten(input_shape=[28, 28]), keras.layers.Dense(128, activation="relu"), keras.layers.Dropout(0.2), keras.layers.Dense(64, activation="relu"), keras.layers.Dropout(0.2), keras.layers.Dense(10, activation="softmax") ])
最后,我们使用随机梯度下降(SGD)优化器和交叉熵损失函数来编译模型,并在训练过程中使用早停法来避免过拟合。代码如下:
# 定义基于Dropout的MLP模型 model = keras.models.Sequential([ keras.layers.Flatten(input_shape=[28, 28]), keras.layers.Dense(128, activation="relu"), keras.layers.Dropout(0.2), keras.layers.Dense(64, activation="relu"), keras.layers.Dropout(0.2), keras.layers.Dense(10, activation="softmax") ])
在训练过程中,我们可以观察到模型的训练误差和验证误差随着训练轮数的增加而减小,说明Dropout正则化确实可以减少过拟合的风险。最终,我们可以评估模型在测试集上的性能,并输出分类准确率。代码如下:
# 评估模型性能 test_loss, test_acc = model.evaluate(x_test, y_test) # 输出分类准确率 print("Test accuracy:", test_acc)
通过以上步骤,我们就完成了一个基于Dropout正则化的多层感知机模型的构建和训练。通过使用Dropout,我们可以有效地提高模型的泛化性能,并减少过拟合的风险。
Atas ialah kandungan terperinci Terangkan dan tunjukkan strategi penyusunan Keciciran. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas

Anotasi imej ialah proses mengaitkan label atau maklumat deskriptif dengan imej untuk memberi makna dan penjelasan yang lebih mendalam kepada kandungan imej. Proses ini penting untuk pembelajaran mesin, yang membantu melatih model penglihatan untuk mengenal pasti elemen individu dalam imej dengan lebih tepat. Dengan menambahkan anotasi pada imej, komputer boleh memahami semantik dan konteks di sebalik imej, dengan itu meningkatkan keupayaan untuk memahami dan menganalisis kandungan imej. Anotasi imej mempunyai pelbagai aplikasi, meliputi banyak bidang, seperti penglihatan komputer, pemprosesan bahasa semula jadi dan model penglihatan graf Ia mempunyai pelbagai aplikasi, seperti membantu kenderaan dalam mengenal pasti halangan di jalan raya, dan membantu dalam proses. pengesanan dan diagnosis penyakit melalui pengecaman imej perubatan. Artikel ini terutamanya mengesyorkan beberapa alat anotasi imej sumber terbuka dan percuma yang lebih baik. 1.Makesen

Dalam bidang pembelajaran mesin dan sains data, kebolehtafsiran model sentiasa menjadi tumpuan penyelidik dan pengamal. Dengan aplikasi meluas model yang kompleks seperti kaedah pembelajaran mendalam dan ensemble, memahami proses membuat keputusan model menjadi sangat penting. AI|XAI yang boleh dijelaskan membantu membina kepercayaan dan keyakinan dalam model pembelajaran mesin dengan meningkatkan ketelusan model. Meningkatkan ketelusan model boleh dicapai melalui kaedah seperti penggunaan meluas pelbagai model yang kompleks, serta proses membuat keputusan yang digunakan untuk menerangkan model. Kaedah ini termasuk analisis kepentingan ciri, anggaran selang ramalan model, algoritma kebolehtafsiran tempatan, dsb. Analisis kepentingan ciri boleh menerangkan proses membuat keputusan model dengan menilai tahap pengaruh model ke atas ciri input. Anggaran selang ramalan model

Artikel ini akan memperkenalkan cara mengenal pasti pemasangan lampau dan kekurangan dalam model pembelajaran mesin secara berkesan melalui keluk pembelajaran. Underfitting dan overfitting 1. Overfitting Jika model terlampau latihan pada data sehingga ia mempelajari bunyi daripadanya, maka model tersebut dikatakan overfitting. Model yang dipasang terlebih dahulu mempelajari setiap contoh dengan sempurna sehingga ia akan salah mengklasifikasikan contoh yang tidak kelihatan/baharu. Untuk model terlampau, kami akan mendapat skor set latihan yang sempurna/hampir sempurna dan set pengesahan/skor ujian yang teruk. Diubah suai sedikit: "Punca overfitting: Gunakan model yang kompleks untuk menyelesaikan masalah mudah dan mengekstrak bunyi daripada data. Kerana set data kecil sebagai set latihan mungkin tidak mewakili perwakilan yang betul bagi semua data. 2. Underfitting Heru

Dalam istilah orang awam, model pembelajaran mesin ialah fungsi matematik yang memetakan data input kepada output yang diramalkan. Secara lebih khusus, model pembelajaran mesin ialah fungsi matematik yang melaraskan parameter model dengan belajar daripada data latihan untuk meminimumkan ralat antara output yang diramalkan dan label sebenar. Terdapat banyak model dalam pembelajaran mesin, seperti model regresi logistik, model pepohon keputusan, model mesin vektor sokongan, dll. Setiap model mempunyai jenis data dan jenis masalah yang berkenaan. Pada masa yang sama, terdapat banyak persamaan antara model yang berbeza, atau terdapat laluan tersembunyi untuk evolusi model. Mengambil perceptron penyambung sebagai contoh, dengan meningkatkan bilangan lapisan tersembunyi perceptron, kita boleh mengubahnya menjadi rangkaian neural yang mendalam. Jika fungsi kernel ditambah pada perceptron, ia boleh ditukar menjadi SVM. yang ini

Pada tahun 1950-an, kecerdasan buatan (AI) dilahirkan. Ketika itulah penyelidik mendapati bahawa mesin boleh melakukan tugas seperti manusia, seperti berfikir. Kemudian, pada tahun 1960-an, Jabatan Pertahanan A.S. membiayai kecerdasan buatan dan menubuhkan makmal untuk pembangunan selanjutnya. Penyelidik sedang mencari aplikasi untuk kecerdasan buatan dalam banyak bidang, seperti penerokaan angkasa lepas dan kelangsungan hidup dalam persekitaran yang melampau. Penerokaan angkasa lepas ialah kajian tentang alam semesta, yang meliputi seluruh alam semesta di luar bumi. Angkasa lepas diklasifikasikan sebagai persekitaran yang melampau kerana keadaannya berbeza daripada di Bumi. Untuk terus hidup di angkasa, banyak faktor mesti dipertimbangkan dan langkah berjaga-jaga mesti diambil. Para saintis dan penyelidik percaya bahawa meneroka ruang dan memahami keadaan semasa segala-galanya boleh membantu memahami cara alam semesta berfungsi dan bersedia untuk menghadapi kemungkinan krisis alam sekitar

Cabaran biasa yang dihadapi oleh algoritma pembelajaran mesin dalam C++ termasuk pengurusan memori, multi-threading, pengoptimuman prestasi dan kebolehselenggaraan. Penyelesaian termasuk menggunakan penunjuk pintar, perpustakaan benang moden, arahan SIMD dan perpustakaan pihak ketiga, serta mengikuti garis panduan gaya pengekodan dan menggunakan alat automasi. Kes praktikal menunjukkan cara menggunakan perpustakaan Eigen untuk melaksanakan algoritma regresi linear, mengurus memori dengan berkesan dan menggunakan operasi matriks berprestasi tinggi.

Pembelajaran mesin ialah cabang penting kecerdasan buatan yang memberikan komputer keupayaan untuk belajar daripada data dan meningkatkan keupayaan mereka tanpa diprogramkan secara eksplisit. Pembelajaran mesin mempunyai pelbagai aplikasi dalam pelbagai bidang, daripada pengecaman imej dan pemprosesan bahasa semula jadi kepada sistem pengesyoran dan pengesanan penipuan, dan ia mengubah cara hidup kita. Terdapat banyak kaedah dan teori yang berbeza dalam bidang pembelajaran mesin, antaranya lima kaedah yang paling berpengaruh dipanggil "Lima Sekolah Pembelajaran Mesin". Lima sekolah utama ialah sekolah simbolik, sekolah sambungan, sekolah evolusi, sekolah Bayesian dan sekolah analogi. 1. Simbolisme, juga dikenali sebagai simbolisme, menekankan penggunaan simbol untuk penaakulan logik dan ekspresi pengetahuan. Aliran pemikiran ini percaya bahawa pembelajaran adalah proses penolakan terbalik, melalui sedia ada

MetaFAIR bekerjasama dengan Harvard untuk menyediakan rangka kerja penyelidikan baharu untuk mengoptimumkan bias data yang dijana apabila pembelajaran mesin berskala besar dilakukan. Adalah diketahui bahawa latihan model bahasa besar sering mengambil masa berbulan-bulan dan menggunakan ratusan atau bahkan ribuan GPU. Mengambil model LLaMA270B sebagai contoh, latihannya memerlukan sejumlah 1,720,320 jam GPU. Melatih model besar memberikan cabaran sistemik yang unik disebabkan oleh skala dan kerumitan beban kerja ini. Baru-baru ini, banyak institusi telah melaporkan ketidakstabilan dalam proses latihan apabila melatih model AI generatif SOTA Mereka biasanya muncul dalam bentuk lonjakan kerugian Contohnya, model PaLM Google mengalami sehingga 20 lonjakan kerugian semasa proses latihan. Bias berangka adalah punca ketidaktepatan latihan ini,
