![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149487696.jpg)
一.機率分佈概述
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149464458.jpg)
- #共軛意味著它有共軛分佈的關係。
- 在貝葉斯機率論中,如果後驗分佈p(θx)與先驗機率分佈p(θ)在同一機率分佈族中,則先驗和後驗稱為共軛分佈,先驗稱為似然函數的共軛先驗。共軛先驗維基百科在這裡(https://en.wikipedia.org/wiki/Conjugate_prior)。
- 多重分類表示隨機變異數大於 2。
- n 次表示我們也考慮了先驗機率 p(x)。
- 為了進一步了解機率,我建議閱讀 [pattern recognition and machine learning,Bishop 2006]。
二.分佈機率與特徵
1.均勻分佈(連續)
程式碼:https://github.com/graykode/distribution-is- all-you-need/blob/master/uniform.py
均勻分佈在[a,b] 上具有相同的機率值,是簡單機率分佈。
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149429130.jpg)
2.伯努利分佈(離散)
##程式碼:https://github.com/graykode/distribution-is-all-you- need/blob/master/bernoulli.py
- 先驗機率p(x)不考慮伯努利分佈。因此,如果我們對最大似然進行最佳化,那麼我們很容易被過度擬合。
- 利用二元交叉熵對二項分類進行分類。它的形式與伯努利分佈的負對數相同。圖片
3.二項分佈(離散)
程式碼:https://github.com/graykode/distribution-is-all-you-need/blob/master/ binomial.py
- 參數為n 和p 的二項分佈是一系列n 個獨立實驗中成功次數的離散機率分佈。
- 二項式分佈是指透過指定要提前挑選的數量而考慮先驗機率的分佈。
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149427513.jpg)
4.多伯努利分佈,分類分佈(離散)
程式碼:https://github.com/graykode/distribution -is-all-you-need/blob/master/categorical.py
- 多伯努利稱為分類分佈。
- 交叉熵和採取負對數的多伯努利分佈具有相同的形式。
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149478357.jpg)
5.多項式分佈(離散)
#程式碼:https://github.com/graykode/distribution-is-all-you -need/blob/master/multinomial.py
多項式分佈與分類分佈的關係與伯努爾分佈與二項分佈的關係相同。
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149421636.jpg)
6.β分佈(連續)
- 6.β分佈(連續)
- 程式碼:https://github.com/graykode/distribution-is-all-you-need/ blob/master/beta.py
- β分佈與二項分佈和伯努利分佈共軛。
利用共軛,利用已知的先驗分佈可以更容易得到後驗分佈。 ![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149452999.jpg)
當β分佈滿足特殊情況(α=1,β=1)時,均勻分佈是相同的。
- 7.Dirichlet 分佈(連續)
- 程式碼:https://github.com/graykode/distribution-is-all-you -need/blob/master/dirichlet.py
dirichlet 分佈與多項式分佈是共軛的。 ![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149473534.jpg)
如果 k=2,則為β分佈。
- 8.伽瑪分佈(連續)
- #程式碼:https://github.com/graykode/distribution-is-all- you-need/blob/master/gamma.py
若gamma(a,1)/gamma(a,1) gamma(b,1)與beta(a,b)相同,則gamma 分佈為β分佈。 ![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149541230.jpg)
指數分佈和卡方分佈是伽瑪分佈的特殊情況。
######9.指數分佈(連續)########程式碼:https://github.com/graykode/distribution-is-all-you -need/blob/master/exponential.py###
指數分佈是 α 為 1 時 γ 分佈的特殊情況。
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149511649.jpg)
10.高斯分佈(連續)
10.高斯分佈(連續)
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149571376.jpg)
#10.高斯分佈(連續)
##程式碼:https://github.com/graykode/distribution-is-all-you-need/ blob/master/gaussian.py
高斯分佈是一種非常常見的連續機率分佈。
![深度學習必須掌握的13種機率分佈](https://img.php.cn/upload/article/000/887/227/168122149522984.jpg)
11.常態分佈(連續)
家程式碼:https://github.com/graykode/distribution-is-all-you-need /blob/master/normal.py
常態分佈為標準高斯分佈,平均值為0,標準差為1。
12.卡方分佈(連續)
##程式碼:https://github.com/graykode/distribution-is-all-you-need /blob/master/chi-squared.py
k 自由度的卡方分佈是k 個獨立標準常態隨機變數的平方和的分佈。 ######卡方分佈是β 分佈的特例###################13.t 分佈(連續)###################13.t 分佈(連續)#########代碼:https:/ /github.com/graykode/distribution-is-all-you-need/blob/master/student-t.py######t 分佈是對稱的鐘形分佈,與常態分佈類似,但尾部較重,這意味著它更容易產生遠低於平均值的值。 ###############via:https://github.com/graykode/distribution-is-all-you-needa###
以上是深度學習必須掌握的13種機率分佈的詳細內容。更多資訊請關注PHP中文網其他相關文章!