首頁 > 運維 > linux運維 > Linux如何保證資料安全落盤

Linux如何保證資料安全落盤

步履不停
發布: 2019-07-06 09:59:33
原創
3541 人瀏覽過

Linux如何保證資料安全落盤

背景

      在許多IO場景中,我們經常需要確保資料已經安全的寫到磁碟上,以便在系統宕機重啟之後還能讀到這些數據。但我們都知道,linux系統的IO路徑還是很複雜的,分成很多層,每一層都可能會有buffer來加速IO讀寫。同時,用戶態的應用程式和函式庫函數也可能擁有自己的buffer,這又為IO路徑增加了一些複雜性。可見,要確保資料安全的寫到磁碟上,並不是簡單調一個write/fwrite就可以搞定的。

      那麼要怎麼做呢?很多人會想到很多辦法,例如:fflush()、fsync()、fdatasync()、sync()、open()使用O_DIRECT或O_SYNC標誌等。嗯,這些手段(或某些組合)的確可以確保資料安全的持久化,那麼它們之間有什麼區別呢? fflush()和fsync()有啥差別? O_DIRECT是啥意思,它可以確保資料安全的持久化嗎? O_DIRECT和O_SYNC區別什麼? O_SYNC和fsync()呢? fsync能完成msync的功能嗎?本文將試圖理解、解釋這些概念的作用和差異。

Linux IO

      所謂一圖勝千言,為了解析清楚這些概念的區別,我特意畫了一張圖,仔細看,應該可以清晰的看出它們的作用和差異。

Linux如何保證資料安全落盤

      這裡重點說O_DIRECT和O_SYNC,首先要明確的是,O_DIRECT只是說資料不會經過page cache(一般用在使用者狀態自己管理buffer)而是直接提交給區塊設備層,但不會同步等待資料安全寫入磁碟之後才回傳(例如資料可能還在區塊層排隊或是在磁碟自己的cache中)。而O_SYNC標誌,雖然資料還是會寫page cache,但是此時會採用write through的策略,並同步等待資料安全寫入磁碟後才會回傳。因此如果同時使用O_DIRECT和O_SYNC,則表示資料不會經過page cache並同步等待資料安全寫入磁碟才會傳回,當然這樣IO的效能會非常低。

      由於O_DIRECT會bypass page cache,因此如果有另一個行程使用普通的方式讀取文件,有可能會出現資料不一致的現象,這個也需要注意。

      為了做輔助說明,這裡我會貼一下我探討過程中看過的一些資料。首先是引用open系統呼叫:http://man7.org/linux/man-pages/man2/open.2.html 相關參數的說明:

Linux如何保證資料安全落盤

Linux如何保證資料安全落盤

Linux如何保證資料安全落盤

     以及與innodb相關的文件:https://lwn.net/Articles/457667/

Linux如何保證資料安全落盤

#    fsync與fdatasync的差異:http://man7.org/linux/man-pages/man2/fsync.2.html


Linux如何保證資料安全落盤Linux如何保證資料安全落盤

#     msync:http://man7.org/linux/man-pages/man2/msync.2.html

Linux如何保證資料安全落盤

#

DAX

      其實還有IO模式,就是DAX(Direct Access ),看起來和O_DIRECT很像。這種模式需要filesystem和block driver都支援才可以,一般主要用在non volatile memory上,本質上也是繞過page cache直接操作設備。 DAX本文先不做深入探討,後面我會自己寫一個支援DAX模式的ramdisk塊設備驅動,然後格式化為ext4檔案系統並-o dax模式掛載,再來詳細研究DAX的IO路徑。

更多Linux文章,請造訪Linux教學欄位進行學習!

以上是Linux如何保證資料安全落盤的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板