淺談浮點數運算為什麼會產生誤差

青灯夜游
發布: 2021-07-15 18:53:02
轉載
10372 人瀏覽過

本篇文章以Python為例,來談談為什麼浮點數運算會產生誤差?介紹一下什麼情況下會產生誤差?以及如何解決?希望對你們有幫助。

淺談浮點數運算為什麼會產生誤差

【相關推薦:Python3影片教學

大家在寫程式碼時都會遇到所謂的浮點誤差,如果你還沒踩過浮點誤差的坑,只能說你太幸運了。

以下圖的Python 為例, 0.1 0.2 並不等於0.38.7 / 10 也不等於0.87,而是0.869999…,真是太奇怪了

淺談浮點數運算為什麼會產生誤差

但這絕對不是什麼陰間bug,也不是Python 設計得有問題,而是浮點數在做運算時必然的結果,所以即使是在JavaScript 或其他語言中也都是一樣:

淺談浮點數運算為什麼會產生誤差

電腦是怎樣儲存一個整數的( Integer)

在講為什麼會存在浮點誤差之前,先來談談電腦是怎麼用0 跟1 來表示一個整數 的,大家應該都知道二進位:例如101 代表$2^2 2^0$ 也就是5、1010 代表$2^3 2^1$  也就是10。

淺談浮點數運算為什麼會產生誤差

如果是無符號的32 bit 整數,代表它有32 個位置可以放0 或1,所以最小值就是0000...0000 也就是0,而最大值1111...1111 代表 $2^{31} 2^{30} ... 2^1 2^0$ 也就是4294967295

#從排列組合的角度來看,因為每一個bit 位元都可以是0 或1,整個變數的值有$2^{32}$ 種可能,所以可以精確的 表達出0 到$2^ {23} - 1$ 之間的任一個值,不會有任何誤差。

浮點數(Floating Point)

雖然從0 到$2^{23} - 1$ 之間存在很多整數,但其數量終究是有限 的,就是$2^{32}$ 那麼多個而已;但浮點數就不同了,我們可以這樣想:在1 到10 這個區間中只有十個整數,卻有無窮多個 浮點數,例如5.1、5.11、5.111 等等,怎麼也列舉不完。

但因為在32 bit 的空間中就只有2³² 種可能性,為了把所有浮點數都塞在這個32 bit 的空間裡面,許多CPU 廠商發明了各種浮點數的表示方式,但如果每家CPU 的格式都不一樣也很麻煩,所以最後是以IEEE 發布的IEEE 754 作為通用的浮點數運算標準,現在的CPU 也都遵循這個標準來設計。

IEEE 754

IEEE 754 裡面定義了很多東西,其中包含單精度(32 bit)、雙精度(64 bit)和特殊值(無限大、NaN )的表示方式等等

規格化

#以8.5 這個浮點數來說,如果要變成IEEE 754 格式的話必須先做一些規格化處理:把8.5 拆成8 0.5 也就是$2^3 (\cfrac{1}{2})^1$ ,接著寫成二進位變成1000.1,最後再寫成$1.0001 \ times 2^3$,與十進制的科學記數法很相似。

單一精確度浮點數

在IEEE 754 中32 bit 浮點數被分割成三個部分,分別是數符(sign )、階碼(exponent) 和尾數(fraction),加起來總共是32 個bit

淺談浮點數運算為什麼會產生誤差

  • #數位(sign):最左邊的1 bit代表正負號,正數的話sign 就為0,反之則是1
  • 階碼(exponent):中間的8 bit 代表規格化之後的次方數,採用的是階碼真值127 的格式,也就是3 還要再加上127 等於130
  • 尾數(fraction):最右邊的23 bit 放的是小數部分,以1.0001 來說就是去掉1. 之後的0001

所以如果把8.5 表示成32 bit 格式的話應該是這樣:

淺談浮點數運算為什麼會產生誤差

什麼情況會產生誤差?

前面舉的8.5 的例子可以表示為$2^3 (\cfrac{1}{2})^1$ ,是因為8 和0.5 剛好都是2 的次方數,所以完全不會產生任何精確度問題。

但如果是8.9 的話因為沒辦法換成2 的次方數相加,所以最後會被迫表示成$1.0001110011… \times 2^3$,而且還會產生大概$0.0000003$ 的誤差,如果對結果好奇的話可以到IEEE-754 Floating Point Converter 網站玩。

雙精確度浮點數

前面所講的單精確度浮點數只用了32 bit 來表示,為了讓誤差更小, IEEE 754 也定義瞭如何用64 bit 來表示浮點數,跟32 bit 比起來fraction 部分擴大了兩倍多,從23 bit 變成52 bit,所以精準度自然會提高許多。

淺談浮點數運算為什麼會產生誤差

以剛才的8.9 為例,用64 bit 表示的話雖然可以變得更準,但因為8.9 無法完全寫成2 的次方數相加,到了小數下16 位元仍然會出現誤差,不過與單精度的誤差0.0000003 比起來已經小了很多

淺談浮點數運算為什麼會產生誤差

類似的情況還有像Python 中的1.00.999...999 是相等的、123122.999...999 也是相等的,因為他們之間的差距已經小到無法放在fraction 裡面,所以從二進位格式看來它們每一個二進位位都是一樣的。

淺談浮點數運算為什麼會產生誤差

解決方法

既然浮點數的誤差是無法避免的,那就只好跟它共處了,下面是兩個比較常見的處理方法:

設定最大允許誤差ε (epsilon)

在某些語言會提供所謂的epsilon,用來讓你判斷是不是在浮點誤差的允許範圍內,以Python 來說epsilon 的值大約是$2.2e^{-16}$

淺談浮點數運算為什麼會產生誤差

所以你可以把0.1 0.2 == 0.3 改寫成0.1 0.2 — 0.3 ,這樣就能避免浮點誤差在運算過程中搗亂,正確的比較出0.1 加0.2是不是等於0.3 了。

當然如果系統沒提供的話你也可以自己定義一個epsilon,設定在2 的-15 次方左右

完全使用十進制進行計算

之所以會有浮點誤差,是因為把十進制轉為二進制的過程中沒辦法把所有的小數部分都塞進了尾數中,既然轉換可能會有誤差,那乾脆就不轉了,直接用十進制來做運算。

在 Python 裡面有一個 module 叫做 decimal,在 JavaScript 裡也有類似的套件。它可以幫你用十進制來計算,就像你自己用紙筆計算 0.1 0.2 絕對不會出錯、也不會有任何誤差。

淺談浮點數運算為什麼會產生誤差

雖然用十進制計算可以完全避免浮點數的誤差,但因為Decimal 的十進制計算是模擬出來的,在最底層的CPU 電路中還是在用二進制進行運算,執行起來會比原生的浮點運算慢很多,所以不建議所有的浮點運算都用Decimal 來進行。

更多程式相關知識,請造訪:程式設計入門! !

以上是淺談浮點數運算為什麼會產生誤差的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:segmentfault.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!