Rumah > Peranti teknologi > AI > Memahami entropi silang: Apakah kepentingannya yang sepadan?

Memahami entropi silang: Apakah kepentingannya yang sepadan?

王林
Lepaskan: 2024-01-23 09:54:09
ke hadapan
1244 orang telah melayarinya

Entropi mengukur ketidakpastian sesuatu peristiwa. Dalam sains data, entropi silang dan perbezaan KL berkaitan dengan taburan kebarangkalian diskret dan digunakan untuk mengukur kesamaan dua taburan. Dalam pembelajaran mesin, kehilangan entropi silang digunakan untuk menilai sejauh mana taburan yang diramalkan adalah dengan taburan sebenar.

Memandangkan taburan sebenar t dan taburan p yang diramalkan, entropi silang di antara mereka diberikan oleh persamaan berikut:

Memahami entropi silang: Apakah kepentingannya yang sepadan?

di mana p(x) ialah taburan kebarangkalian sebenar (satu-panas) dan q(x) ialah Ramalkan taburan kebarangkalian.

Walau bagaimanapun, dalam dunia nyata, perbezaan antara nilai yang diramalkan dan sebenar dipanggil divergence kerana ia menyimpang daripada nilai sebenar. Entropi silang ialah ukuran gabungan entropi dan perbezaan KL.

Sekarang mari kita lihat cara entropi silang sesuai dengan paradigma rangkaian saraf dalam menggunakan contoh klasifikasi.

Setiap kes pengelasan mempunyai label kelas yang diketahui dengan kebarangkalian 1.0, dan label yang lain mempunyai kebarangkalian 0. Model menentukan kebarangkalian bagi setiap nama kategori berdasarkan kes. Entropi silang boleh digunakan untuk membandingkan laluan saraf dengan label yang berbeza.

Bandingkan setiap kebarangkalian kelas yang diramalkan dengan keluaran 0 atau 1 yang diingini. Skor/kerugian yang dikira menghukum kebarangkalian berdasarkan jarak dari nilai yang dijangkakan. Penalti adalah logaritma, menghasilkan skor yang lebih besar untuk perbezaan ketara hampir 1 dan skor yang lebih kecil untuk perbezaan kecil hampir 0.

Menggunakan kehilangan entropi silang semasa melaraskan berat model semasa latihan, matlamatnya adalah untuk meminimumkan kerugian - lebih kecil kerugian, lebih baik model.

Atas ialah kandungan terperinci Memahami entropi silang: Apakah kepentingannya yang sepadan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Label berkaitan:
sumber:163.com
Kenyataan Laman Web ini
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Tutorial Popular
Lagi>
Muat turun terkini
Lagi>
kesan web
Kod sumber laman web
Bahan laman web
Templat hujung hadapan