## Bagaimanakah Logits, Softmax dan Softmax Cross-Entropy Bekerja Bersama dalam Pembelajaran Mesin?

Memahami Logit, Softmax dan Softmax Cross-Entropy

Dalam pembelajaran mesin, terutamanya dengan rangkaian neural dalam, adalah penting untuk memahami konsep daripada logit, softmax dan softmax rentas entropi.

Logit

Logit merujuk kepada output mentah, tidak berskala lapisan rangkaian saraf sebelum menjalani transformasi softmax. Ia sering diwakili sebagai vektor nombor bernilai sebenar dan tidak terhad kepada antara 0 dan 1.

Softmax

Softmax ialah fungsi matematik yang mengubah logit ke dalam kebarangkalian. Ia menggunakan fungsi eksponen pada setiap elemen vektor logit dan kemudian menormalkan hasilnya supaya jumlah kebarangkalian sama dengan 1. Ini menghasilkan taburan kebarangkalian ke atas berbilang kelas.

Softmax Cross-Entropy

Entropi silang Softmax ialah fungsi kehilangan yang biasa digunakan dalam tugas pengelasan. Ia menggabungkan transformasi softmax dengan pengiraan kehilangan entropi silang. Cross-entropy mengukur jarak antara taburan kebarangkalian yang diramalkan (dihasilkan oleh softmax) dan label ground-truth yang sebenar.

Perbezaan Antara tf.nn.softmax dan tf.nn.softmax_cross_entropy_with_logits

Kedua-dua tf.nn.softmax dan tf.nn.softmax_cross_entropy_with_logits beroperasi pada logit. Walau bagaimanapun, ia mempunyai tujuan yang berbeza:

• tf.nn.softmax: Mengeluarkan taburan kebarangkalian ke atas kelas, yang berguna untuk pengelasan berbilang kelas.
• tf.nn.softmax_cross_entropy_with_logits: Menggabungkan softmax dengan kehilangan rentas entropi, menghasilkan nilai kerugian skalar tunggal yang mewakili jarak antara kebarangkalian yang diramalkan dan benar.

Contoh

Pertimbangkan rangkaian saraf dalam dengan tugas mengelaskan imej kepada dua kelas: kucing dan anjing. Lapisan terakhir rangkaian mungkin mengeluarkan vektor dua log [0.5, 0.8].

• tf.nn.softmax: Output tf.nn.softmax pada logit ini ialah [0.3553, 0.6447], susunan kebarangkalian di mana elemen kedua (0.6447) mewakili kebarangkalian menjadi anjing.
• tf.nn.softmax_cross_entropy_with_logits: Andaikan label untuk imej ini ialah [0, 1], menunjukkan bahawa ia adalah seekor anjing. Output tf.nn.softmax_cross_entropy_with_logits akan menjadi nilai kerugian skalar yang mewakili entropi silang antara kebarangkalian yang diramalkan [0.3553, 0.6447] dan label sebenar [0, 1].

Sebagai kesimpulan, logit menyediakan output mentah rangkaian saraf, softmax mengubahnya menjadi kebarangkalian, dan entropi silang softmax menggabungkan kebarangkalian ini dengan label sebenar untuk mengira nilai kerugian untuk pengoptimuman. Memahami konsep ini adalah penting untuk mereka bentuk model pembelajaran mesin yang berkesan.

Atas ialah kandungan terperinci ## Bagaimanakah Logits, Softmax dan Softmax Cross-Entropy Bekerja Bersama dalam Pembelajaran Mesin?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!