Fungsi ReLU ialah fungsi matematik yang ditakrifkan sebagai f(x)=max(0,x), dengan x ialah sebarang nombor nyata. Ringkasnya, jika x kurang daripada atau sama dengan 0, fungsi itu mengembalikan 0. Jika tidak pulangkan x.
Untuk fungsi yang boleh dibezakan, ia mesti berterusan terlebih dahulu. Fungsi ReLU memenuhi keperluan kesinambungan, tetapi derivatif pada x=0 tidak wujud, jadi fungsi ReLU tidak boleh dibezakan pada ketika ini.
Walaupun fungsi ReLU tidak boleh dibezakan pada x=0, kami masih boleh mengaplikasikannya dalam pembelajaran mendalam dengan memperhalusi algoritma pengoptimuman. Keturunan kecerunan ialah algoritma pengoptimuman yang digunakan untuk meminimumkan fungsi kos. Apabila fungsi ReLU tidak mempunyai derivatif yang ditakrifkan pada x=0, kita boleh menetapkannya kepada 0 atau sebarang nilai lain dan meneruskan proses pengoptimuman. Dengan cara ini, kita boleh menggunakan ciri tak linear bagi fungsi ReLU untuk meningkatkan prestasi model pembelajaran mendalam.
Secara umumnya, fungsi pengaktifan ReLU ialah salah satu fungsi pengaktifan yang paling popular dalam rangkaian pembelajaran mendalam. Kesederhanaan dan kecekapan pengiraan yang tinggi menjadikannya alat penting untuk meningkatkan penumpuan semasa latihan. Walaupun ia tidak boleh dibezakan pada x=0, ini tidak menjejaskan penggunaannya dalam keturunan kecerunan. Oleh itu, fungsi ReLU ialah alat yang serba boleh dan berkuasa dalam bidang pembelajaran mesin.
1.
Fungsi penerus adalah sangat mudah untuk dilaksanakan dan memerlukan fungsi max().
2. Perwakilan jarang
Perwakilan jarang adalah sifat yang wajar dalam pembelajaran perwakilan kerana ia membantu mempercepatkan pembelajaran dan memudahkan model. Ia membenarkan pengaktifan lapisan tersembunyi rangkaian saraf mengandungi satu atau lebih nilai sifar sebenar, yang bermaksud bahawa input negatif juga boleh mengeluarkan nilai sifar sebenar. Keupayaan ini membolehkan rangkaian saraf mengendalikan data berskala besar dengan lebih baik dan boleh mengurangkan keperluan untuk sumber pengkomputeran dan penyimpanan. Oleh itu, perwakilan jarang adalah sangat penting untuk mengoptimumkan prestasi dan kecekapan rangkaian saraf.
3. Gelagat Linear
Fungsi penerus kelihatan dan berkelakuan serupa dengan fungsi pengaktifan linear. Sesuai untuk pengoptimuman tingkah laku linear atau hampir-linear.
Atas ialah kandungan terperinci Memahami fungsi ReLU dalam pembelajaran mesin. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!