熵量化了事件的不確定性大小。在資料科學中，交叉熵和KL散度與離散機率分佈相關，用於衡量兩個分佈的相似程度。在機器學習中，透過交叉熵損失來評估預測分佈與真實分佈的接近程度。
給定真實分佈t和預測分佈p，它們之間的交叉熵由以下等式給出：
其中p(x)是真實機率分佈(one-hot)，q(x)是預測機率分佈。
然而，在現實世界中，預測值與實際值的差異稱為發散，因為它們背離了實際值。交叉熵是熵和KL散度的綜合度量。
現在讓我們使用分類範例來了解交叉熵如何適合深度神經網路範例。
每個分類案例都有一個已知的類別標籤，機率為1.0，其餘標籤機率為0。模型根據案例確定每個類別名稱的機率。交叉熵可用於比較不同標籤的神經路徑。
將每個預測的類別機率與所需輸出0或1進行比較。計算出的分數/損失根據與預期值的距離來懲罰機率。懲罰是對數的，對於接近於1的顯著差異產生較大的分數，而對於接近於0的微小差異產生較小的分數。
在訓練期間調整模型權重時使用交叉熵損失，其目的是最小化損失－損失越小，模型越好。
以上是理解交叉熵：它對應的重要性是什麼？的詳細內容。更多資訊請關注PHP中文網其他相關文章！
