首頁 > 科技週邊 > 人工智慧 > 深度學習必須掌握的13種機率分佈

深度學習必須掌握的13種機率分佈

WBOY
發布: 2023-04-11 21:58:12
轉載
1649 人瀏覽過

深度學習必須掌握的13種機率分佈

一.機率分佈概述

深度學習必須掌握的13種機率分佈

  • #共軛意味著它有共軛分佈的關係。
  • 在貝葉斯機率論中,如果後驗分佈p(θx)與先驗機率分佈p(θ)在同一機率分佈族中,則先驗和後驗稱為共軛分佈,先驗稱為似然函數的共軛先驗。共軛先驗維基百科在這裡(https://en.wikipedia.org/wiki/Conjugate_prior)。
  • 多重分類表示隨機變異數大於 2。
  • n 次表示我們也考慮了先驗機率 p(x)。
  • 為了進一步了解機率,我建議閱讀 [pattern recognition and machine learning,Bishop 2006]。

二.分佈機率與特徵

1.均勻分佈(連續)

程式碼:https://github.com/graykode/distribution-is- all-you-need/blob/master/uniform.py

均勻分佈在[a,b] 上具有相同的機率值,是簡單機率分佈。

深度學習必須掌握的13種機率分佈

2.伯努利分佈(離散)

##程式碼:https://github.com/graykode/distribution-is-all-you- need/blob/master/bernoulli.py

  • 先驗機率p(x)不考慮伯努利分佈。因此,如果我們對最大似然進行最佳化,那麼我們很容易被過度擬合。
  • 利用二元交叉熵對二項分類進行分類。它的形式與伯努利分佈的負對數相同。圖片

3.二項分佈(離散)

程式碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/ binomial.py  

  • 參數為n 和p 的二項分佈是一系列n 個獨立實驗中成功次數的離散機率分佈。
  • 二項式分佈是指透過指定要提前挑選的數量而考慮先驗機率的分佈。

深度學習必須掌握的13種機率分佈

4.多伯努利分佈,分類分佈(離散)

程式碼:https://github.com/graykode/distribution -is-all-you-need/blob/master/categorical.py

  • 多伯努利稱為分類分佈。
  • 交叉熵和採取負對數的多伯努利分佈具有相同的形式。

深度學習必須掌握的13種機率分佈

5.多項式分佈(離散)

#程式碼:https://github.com/graykode/distribution-is-all-you -need/blob/master/multinomial.py

多項式分佈與分類分佈的關係與伯努爾分佈與二項分佈的關係相同。

深度學習必須掌握的13種機率分佈

6.β分佈(連續)

  • 6.β分佈(連續)
  • 程式碼:https://github.com/graykode/distribution-is-all-you-need/ blob/master/beta.py
  • β分佈與二項分佈和伯努利分佈共軛。

利用共軛,利用已知的先驗分佈可以更容易得到後驗分佈。 深度學習必須掌握的13種機率分佈

當β分佈滿足特殊情況(α=1,β=1)時,均勻分佈是相同的。

  • 7.Dirichlet 分佈(連續)
  • 程式碼:https://github.com/graykode/distribution-is-all-you -need/blob/master/dirichlet.py  

dirichlet 分佈與多項式分佈是共軛的。 深度學習必須掌握的13種機率分佈

如果 k=2,則為β分佈。

  • 8.伽瑪分佈(連續)
  • #程式碼:https://github.com/graykode/distribution-is-all- you-need/blob/master/gamma.py

若gamma(a,1)/gamma(a,1) gamma(b,1)與beta(a,b)相同,則gamma 分佈為β分佈。 深度學習必須掌握的13種機率分佈

指數分佈和卡方分佈是伽瑪分佈的特殊情況。

######9.指數分佈(連續)########程式碼:https://github.com/graykode/distribution-is-all-you -need/blob/master/exponential.py###

指數分佈是 α 為 1 時 γ 分佈的特殊情況。

深度學習必須掌握的13種機率分佈

10.高斯分佈(連續)

10.高斯分佈(連續)

深度學習必須掌握的13種機率分佈

#10.高斯分佈(連續)

##程式碼:https://github.com/graykode/distribution-is-all-you-need/ blob/master/gaussian.py

高斯分佈是一種非常常見的連續機率分佈。

深度學習必須掌握的13種機率分佈

11.常態分佈(連續)

  • 11.常態分佈(連續)

深度學習必須掌握的13種機率分佈家程式碼:https://github.com/graykode/distribution-is-all-you-need /blob/master/normal.py

常態分佈為標準高斯分佈,平均值為0,標準差為1。

12.卡方分佈(連續)

深度學習必須掌握的13種機率分佈##程式碼:https://github.com/graykode/distribution-is-all-you-need /blob/master/chi-squared.py

k 自由度的卡方分佈是k 個獨立標準常態隨機變數的平方和的分佈。 ######卡方分佈是β 分佈的特例###################13.t 分佈(連續)###################13.t 分佈(連續)#########代碼:https:/ /github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py######t 分佈是對稱的鐘形分佈,與常態分佈類似,但尾部較重,這意味著它更容易產生遠低於平均值的值。 ###############via:https://github.com/graykode/distribution-is-all-you-needa###

以上是深度學習必須掌握的13種機率分佈的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:51cto.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
最新問題
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板