


Analisis fungsi pengaktifan AI yang biasa digunakan: amalan pembelajaran mendalam Sigmoid, Tanh, ReLU dan Softmax
Fungsi pengaktifan memainkan peranan penting dalam pembelajaran mendalam Ia boleh memperkenalkan ciri tak linear ke dalam rangkaian saraf, membolehkan rangkaian belajar dengan lebih baik dan mensimulasikan perhubungan input-output yang kompleks. Pemilihan dan penggunaan fungsi pengaktifan yang betul mempunyai kesan penting terhadap prestasi dan kesan latihan rangkaian saraf
Artikel ini akan memperkenalkan empat fungsi pengaktifan yang biasa digunakan: Sigmoid, Tanh, ReLU dan Softmax, daripada pengenalan, senario penggunaan, kelebihan, keburukan dan penyelesaian pengoptimuman Terokai lima dimensi untuk memberikan anda pemahaman menyeluruh tentang fungsi pengaktifan.
1. Fungsi Sigmoid
Rumus fungsi SIgmoid
Pengenalan: Fungsi Sigmoid ialah fungsi tak linear yang biasa digunakan yang boleh memetakan sebarang nombor nyata antara 0 dan 1. Ia sering digunakan untuk menukar nilai ramalan yang tidak normal kepada taburan kebarangkalian.
Imej fungsi SIgmoid
Senario aplikasi:
- Output adalah terhad antara 0 dan 1, mewakili taburan kebarangkalian.
- Mengendalikan masalah regresi atau masalah klasifikasi binari.
Berikut adalah kelebihan:
- boleh memetakan sebarang julat input kepada antara 0-1, sesuai untuk menyatakan kebarangkalian.
- Julat adalah terhad, yang menjadikan pengiraan lebih mudah dan pantas.
Kelemahan: Apabila nilai input sangat besar, kecerunan mungkin menjadi sangat kecil, membawa kepada masalah kecerunan yang hilang.
Skim pengoptimuman:
- Gunakan fungsi pengaktifan lain seperti ReLU: Gunakan fungsi pengaktifan lain dalam kombinasi dengan ReLU atau varian dan Parametric ReLU (ReLU Bocor).
- Gunakan teknik pengoptimuman dalam rangka kerja pembelajaran mendalam: Gunakan teknik pengoptimuman yang disediakan oleh rangka kerja pembelajaran mendalam (seperti TensorFlow atau PyTorch), seperti keratan kecerunan, pelarasan kadar pembelajaran, dsb.
2. Fungsi Tanh
Formula fungsi Tanh
Pengenalan: Fungsi Tanh ialah versi hiperbolik fungsi Sigmoid, yang memetakan sebarang nombor nyata antara -1 dan 1.
Imej fungsi Tanh
Senario aplikasi: Apabila fungsi yang lebih curam daripada Sigmoid diperlukan, atau dalam beberapa aplikasi khusus yang memerlukan output dalam julat -1 hingga 1.
Berikut adalah kelebihan: Ia menyediakan julat dinamik yang lebih besar dan lengkung yang lebih curam, yang boleh mempercepatkan kelajuan penumpuan
Kelemahan fungsi Tanh ialah apabila input menghampiri ±1, terbitannya dengan cepat menghampiri 0 , menyebabkan kecerunan hilang Masalah
Penyelesaian pengoptimuman:
- Gunakan fungsi pengaktifan lain seperti ReLU: Gunakan fungsi pengaktifan lain dalam kombinasi dengan ReLUky atau ReLUnya.
- Menggunakan sambungan baki: Sambungan baki ialah strategi pengoptimuman yang berkesan, seperti ResNet (rangkaian sisa). . x). Apabila nilai input lebih besar daripada 0, fungsi ReLU mengeluarkan nilai apabila nilai input kurang daripada atau sama dengan 0, fungsi ReLU mengeluarkan 0. Imej fungsi ReLU
Senario aplikasi: Fungsi pengaktifan ReLU digunakan secara meluas dalam model pembelajaran mendalam, terutamanya dalam rangkaian neural convolutional (CNN). Kelebihan utamanya ialah ia mudah untuk dikira, boleh mengurangkan masalah kecerunan yang hilang dengan berkesan, dan boleh mempercepatkan latihan model. Oleh itu, ReLU sering digunakan sebagai fungsi pengaktifan pilihan apabila melatih rangkaian saraf dalam.
Berikut adalah kelebihan:
- Meringankan masalah kecerunan yang hilang: Berbanding dengan fungsi pengaktifan seperti Sigmoid dan Tanh, ReLU tidak menjadikan kecerunan lebih kecil apabila nilai pengelakan lenyap adalah positif masalah.
- Latihan dipercepatkan: Disebabkan kesederhanaan dan kecekapan pengiraan ReLU, ia boleh mempercepatkan proses latihan model dengan ketara.
Keburukan:
- Masalah "neuron mati": Apabila nilai input kurang daripada atau sama dengan 0, output ReLU ialah 0, menyebabkan neuron dipanggil ". neuron mati "Yuan".
- Asimetri: Julat output ReLU ialah [0, +∞), dan output ialah 0 apabila nilai input negatif, yang menghasilkan taburan asimetri output ReLU dan mengehadkan kepelbagaian penjanaan .
Skim pengoptimuman:
- Leaky ReLU: Leaky ReLU mengeluarkan cerun yang lebih kecil apabila input kurang daripada atau sama dengan 0, ad neuron lengkap
- Parametric ReLU (PReLU): Tidak seperti Leaky ReLU, cerun PReLU tidak tetap, tetapi boleh dipelajari dan dioptimumkan berdasarkan data. Fungsi Softmax Ciri utamanya ialah julat nilai keluaran adalah antara 0-1, dan jumlah semua nilai keluaran ialah 1.
Proses pengiraan Softmax
Senario aplikasi:
Digunakan secara meluas dalam pemprosesan bahasa semula jadi, klasifikasi imej, pengecaman pertuturan dan bidang lain. Berikut adalah kelebihan: Dalam masalah berbilang klasifikasi, nilai kebarangkalian relatif boleh disediakan untuk setiap kategori untuk memudahkan membuat keputusan dan pengelasan berikutnya.
Kelemahan: Akan ada masalah letupan kecerunan atau kecerunan.
Skim pengoptimuman:
- Gunakan fungsi pengaktifan lain seperti ReLU: Gunakan fungsi pengaktifan lain dalam kombinasi dengan ReLU atau variannya (Leaky ReLU dan Parametric ReLU).
Gunakan teknik pengoptimuman dalam rangka kerja pembelajaran mendalam: Gunakan teknik pengoptimuman yang disediakan oleh rangka kerja pembelajaran mendalam (seperti TensorFlow atau PyTorch), seperti penormalan kelompok, pereputan berat, dsb.
Atas ialah kandungan terperinci Analisis fungsi pengaktifan AI yang biasa digunakan: amalan pembelajaran mendalam Sigmoid, Tanh, ReLU dan Softmax. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Alat AI Hot

Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool
Gambar buka pakaian secara percuma

Clothoff.io
Penyingkiran pakaian AI

AI Hentai Generator
Menjana ai hentai secara percuma.

Artikel Panas

Alat panas

Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma

SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan

Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa

Dreamweaver CS6
Alat pembangunan web visual

SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)

Topik panas



Laman web ini melaporkan pada 27 Jun bahawa Jianying ialah perisian penyuntingan video yang dibangunkan oleh FaceMeng Technology, anak syarikat ByteDance Ia bergantung pada platform Douyin dan pada asasnya menghasilkan kandungan video pendek untuk pengguna platform tersebut Windows , MacOS dan sistem pengendalian lain. Jianying secara rasmi mengumumkan peningkatan sistem keahliannya dan melancarkan SVIP baharu, yang merangkumi pelbagai teknologi hitam AI, seperti terjemahan pintar, penonjolan pintar, pembungkusan pintar, sintesis manusia digital, dsb. Dari segi harga, yuran bulanan untuk keratan SVIP ialah 79 yuan, yuran tahunan ialah 599 yuan (nota di laman web ini: bersamaan dengan 49.9 yuan sebulan), langganan bulanan berterusan ialah 59 yuan sebulan, dan langganan tahunan berterusan ialah 499 yuan setahun (bersamaan dengan 41.6 yuan sebulan) . Di samping itu, pegawai yang dipotong juga menyatakan bahawa untuk meningkatkan pengalaman pengguna, mereka yang telah melanggan VIP asal

Tingkatkan produktiviti, kecekapan dan ketepatan pembangun dengan menggabungkan penjanaan dipertingkatkan semula dan memori semantik ke dalam pembantu pengekodan AI. Diterjemah daripada EnhancingAICodingAssistantswithContextUsingRAGandSEM-RAG, pengarang JanakiramMSV. Walaupun pembantu pengaturcaraan AI asas secara semulajadi membantu, mereka sering gagal memberikan cadangan kod yang paling relevan dan betul kerana mereka bergantung pada pemahaman umum bahasa perisian dan corak penulisan perisian yang paling biasa. Kod yang dijana oleh pembantu pengekodan ini sesuai untuk menyelesaikan masalah yang mereka bertanggungjawab untuk menyelesaikannya, tetapi selalunya tidak mematuhi piawaian pengekodan, konvensyen dan gaya pasukan individu. Ini selalunya menghasilkan cadangan yang perlu diubah suai atau diperhalusi agar kod itu diterima ke dalam aplikasi

Untuk mengetahui lebih lanjut tentang AIGC, sila layari: 51CTOAI.x Komuniti https://www.51cto.com/aigc/Translator|Jingyan Reviewer|Chonglou berbeza daripada bank soalan tradisional yang boleh dilihat di mana-mana sahaja di Internet memerlukan pemikiran di luar kotak. Model Bahasa Besar (LLM) semakin penting dalam bidang sains data, kecerdasan buatan generatif (GenAI) dan kecerdasan buatan. Algoritma kompleks ini meningkatkan kemahiran manusia dan memacu kecekapan dan inovasi dalam banyak industri, menjadi kunci kepada syarikat untuk kekal berdaya saing. LLM mempunyai pelbagai aplikasi Ia boleh digunakan dalam bidang seperti pemprosesan bahasa semula jadi, penjanaan teks, pengecaman pertuturan dan sistem pengesyoran. Dengan belajar daripada sejumlah besar data, LLM dapat menjana teks

Model Bahasa Besar (LLM) dilatih pada pangkalan data teks yang besar, di mana mereka memperoleh sejumlah besar pengetahuan dunia sebenar. Pengetahuan ini dibenamkan ke dalam parameter mereka dan kemudiannya boleh digunakan apabila diperlukan. Pengetahuan tentang model ini "diperbaharui" pada akhir latihan. Pada akhir pra-latihan, model sebenarnya berhenti belajar. Selaraskan atau perhalusi model untuk mempelajari cara memanfaatkan pengetahuan ini dan bertindak balas dengan lebih semula jadi kepada soalan pengguna. Tetapi kadangkala pengetahuan model tidak mencukupi, dan walaupun model boleh mengakses kandungan luaran melalui RAG, ia dianggap berfaedah untuk menyesuaikan model kepada domain baharu melalui penalaan halus. Penalaan halus ini dilakukan menggunakan input daripada anotasi manusia atau ciptaan LLM lain, di mana model menemui pengetahuan dunia sebenar tambahan dan menyepadukannya

Editor |ScienceAI Question Answering (QA) set data memainkan peranan penting dalam mempromosikan penyelidikan pemprosesan bahasa semula jadi (NLP). Set data QA berkualiti tinggi bukan sahaja boleh digunakan untuk memperhalusi model, tetapi juga menilai dengan berkesan keupayaan model bahasa besar (LLM), terutamanya keupayaan untuk memahami dan menaakul tentang pengetahuan saintifik. Walaupun pada masa ini terdapat banyak set data QA saintifik yang meliputi bidang perubatan, kimia, biologi dan bidang lain, set data ini masih mempunyai beberapa kekurangan. Pertama, borang data adalah agak mudah, kebanyakannya adalah soalan aneka pilihan. Ia mudah dinilai, tetapi mengehadkan julat pemilihan jawapan model dan tidak dapat menguji sepenuhnya keupayaan model untuk menjawab soalan saintifik. Sebaliknya, Soal Jawab terbuka

Pembelajaran mesin ialah cabang penting kecerdasan buatan yang memberikan komputer keupayaan untuk belajar daripada data dan meningkatkan keupayaan mereka tanpa diprogramkan secara eksplisit. Pembelajaran mesin mempunyai pelbagai aplikasi dalam pelbagai bidang, daripada pengecaman imej dan pemprosesan bahasa semula jadi kepada sistem pengesyoran dan pengesanan penipuan, dan ia mengubah cara hidup kita. Terdapat banyak kaedah dan teori yang berbeza dalam bidang pembelajaran mesin, antaranya lima kaedah yang paling berpengaruh dipanggil "Lima Sekolah Pembelajaran Mesin". Lima sekolah utama ialah sekolah simbolik, sekolah sambungan, sekolah evolusi, sekolah Bayesian dan sekolah analogi. 1. Simbolisme, juga dikenali sebagai simbolisme, menekankan penggunaan simbol untuk penaakulan logik dan ekspresi pengetahuan. Aliran pemikiran ini percaya bahawa pembelajaran adalah proses penolakan terbalik, melalui sedia ada

Editor |. KX Dalam bidang penyelidikan dan pembangunan ubat, meramalkan pertalian pengikatan protein dan ligan dengan tepat dan berkesan adalah penting untuk pemeriksaan dan pengoptimuman ubat. Walau bagaimanapun, kajian semasa tidak mengambil kira peranan penting maklumat permukaan molekul dalam interaksi protein-ligan. Berdasarkan ini, penyelidik dari Universiti Xiamen mencadangkan rangka kerja pengekstrakan ciri berbilang mod (MFE) novel, yang buat pertama kalinya menggabungkan maklumat mengenai permukaan protein, struktur dan jujukan 3D, dan menggunakan mekanisme perhatian silang untuk membandingkan ciri modaliti yang berbeza penjajaran. Keputusan eksperimen menunjukkan bahawa kaedah ini mencapai prestasi terkini dalam meramalkan pertalian mengikat protein-ligan. Tambahan pula, kajian ablasi menunjukkan keberkesanan dan keperluan maklumat permukaan protein dan penjajaran ciri multimodal dalam rangka kerja ini. Penyelidikan berkaitan bermula dengan "S

Editor |. Kulit Lobak Sejak pengeluaran AlphaFold2 yang berkuasa pada tahun 2021, saintis telah menggunakan model ramalan struktur protein untuk memetakan pelbagai struktur protein dalam sel, menemui ubat dan melukis "peta kosmik" setiap interaksi protein yang diketahui. Baru-baru ini, Google DeepMind mengeluarkan model AlphaFold3, yang boleh melakukan ramalan struktur bersama untuk kompleks termasuk protein, asid nukleik, molekul kecil, ion dan sisa yang diubah suai. Ketepatan AlphaFold3 telah dipertingkatkan dengan ketara berbanding dengan banyak alat khusus pada masa lalu (interaksi protein-ligan, interaksi asid protein-nukleik, ramalan antibodi-antigen). Ini menunjukkan bahawa dalam satu rangka kerja pembelajaran mendalam yang bersatu, adalah mungkin untuk dicapai
