Sqlserver高併發和大數據儲存方案

高洛峰
發布: 2023-03-04 19:08:01
原創
1580 人瀏覽過

隨著用戶的日益遞增,日活和高峰的暴漲,資料庫處理效能面臨巨大的挑戰。以下分享下對實際10萬+峰值的平台的資料庫最佳化方案。與大家討論,互相學習進步!

案例:遊戲平台.

1、解決高並發

當客戶端連接數達到峰值的時候,服務端對連接的維護與處理這裡暫時不做討論。當多個寫入請求到資料庫的時候,這時候需要對多張表進行插入,尤其一些表達到每天千萬+的存儲,隨著時間的積累,傳統的同步寫入數據的方式顯然不可取,經過試驗,透過非同步插入的方式改善了許多,但同時,對讀取資料的即時性也需要做一定的犧牲。

非同步的方式有很多,目前採取的方式是透過作業每隔一段時間(5min、10min..看需求設定)將臨時表的資料轉到真實表。

1. 已有原始表A 也是在讀取的時候真正用到的表。

2. 建立與原始表A同結構的B和C,用來作資料的中轉處理,同步流程是C->B->A。

3. 建立同步資料的作業Job1和記錄Job1運行狀態的表,在同步的時候比較關鍵的是需要檢查Job1的當前狀態,如果當前正在將B的資料同步到A,則把服務端過來的資料存到C,然後再把資料匯入到B,等到下一次Job執行的時候再將這批資料轉到A。如圖1:

Sqlserver高併發和大數據儲存方案

同時,為保萬無一失和便於排查問題,應該用一個記錄整個資料庫實例的存儲過程,在較短的時間檢查作業執行結果,如果遇到異常失敗的,應該及時通過其他方式通知到相關人員。如寫入到發郵件和簡訊表,讓一個Tcp的通知程式定時讀取發送等等。

註:如果一天的資料達到幾十個G,如果又對這個表有查詢要求(分區下面會提到),下策之一:

可將B同時同步到多台伺服器分擔下查詢壓力,減少資源的競爭。因為整個資料庫的資源是有限的,如插入操作,會先獲得一個共享鎖,然後透過聚集索引定位到某一行數據,再升級為意向鎖,而sqlserver對鎖的維護根據數據的大小需要申請不同的內存,造成了資源的競爭。所以應該盡可能的將讀和寫分開,可根據業務模型分,可根據設定的規則分;在平台性的項目中應該優先保證數據能有效的插入。

在不可避免的查詢大數據肯定會耗用大量的資源,如遇到批量刪除的時候,可以換成以循環分批次(如一次2000條)的方式,這樣不至於這個進程導致整個庫掛掉,衍生出一些無法預期的bug。經過實踐,有效可行,只是犧牲了儲存空間。也可根據查詢需求將表裡資料量大的欄位分割出來到新表,當然這些也要根據每個業務場景結合需求來設定,設計出適合而並不需要華麗的方案即可。

 2、解決儲存問題

如果每天單表的資料都達到了幾十個G,改善儲存方案自然迫不及待了。現分享下自有的方案,在暴漲的數據摧殘之下,仍堅守在一線!現舉例對自有環境分享拙見:

現有資料表A,單表每天新增資料30G,在儲存的時候採用非同步將資料同步的方式,有的不能清除資料的表,在分區後還可分文件組,將文件組分配到不同的磁碟中,減少IO資源的競爭,保障現有資源的正常運作。現結合需求保留歷史資料5天:

1. 這時需要透過作業job根據分區函數去產生分區方案,如根據userid或時間字段來分區;

2. 將表格分區後,查詢可以透過對應的索引,快速定位到某一段分區;

3. 透過作業合併分區將不要的分區資料轉移到相同結構和索引的表,然後清除這個表的資料。

如圖2:

Sqlserver高併發和大數據儲存方案

透過sql查詢追蹤到查詢耗時長的,以及透過sql自帶的預存程序sp_lock或視圖dm_tran_locks、dblockinfo查看目前實例存在的鎖的類型和粒度。

定位到具體的查詢語句或預存程序之後,對症下藥!藥到病除!

以上就是本文的全部內容,希望本文的內容對大家的學習或是工作能帶來一定的幫助,同時也希望多多支持PHP中文網!

更多Sqlserver高並發和大數據存儲方案相關文章請關注PHP中文網!

來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板