mysql千萬級資料分頁查詢效能優化_Mysql

小云云
發布: 2017-12-08 09:22:00
原創
2320 人瀏覽過

mysql資料量大時使用limit分頁,隨著頁碼的增加,查詢效率越低。本文給大家分享的是作者在使用mysql進行千萬級資料量分頁查詢的時候進行效能優化的方法,非常好的一篇文章,希望能幫助大家。

實驗

1.直接使用用limit start, count分頁語句:

select * from order limit start, count

#當起始頁較小時,查詢沒有效能問題,我們分別看下從10, 100, 1000, 10000開始分頁的執行時間(每頁取20條), 如下:

select * from order limit 10, 20 0.016秒

select * from order limit 100, 20 0.016秒

select * from order limit 1000, 20 0.047秒

select * from order limit 10000, 20 0.094秒
登入後複製

我們已經看出隨著起始記錄的增加,時間也隨著增大, 這說明分頁語句limit跟起始頁碼是有很大關係的,那麼我們把起始記錄改為40w看下

select * from order limit 400000, 20 3.229秒

再看我們取最後一頁記錄的時間

#select * from order limit 800000, 20 37.44秒

顯然這種時間是無法忍受的。

從中我們也能總結出兩件事:

1)limit語句的查詢時間與起始記錄的位置成正比

2)mysql的limit語句是很方便,但是記錄很多的表格並不適合直接使用。

2.對limit分頁問題的效能最佳化方法

利用表格的覆蓋索引來加速分頁查詢

我們都知道,利用了索引查詢的語句中如果只包含了那個索引列(覆蓋索引),那麼這種情況會查詢很快。

因為利用索引查找有最佳化演算法,且資料就在查詢索引上面,不用再去找相關的資料位址了,這樣節省了很多時間。另外Mysql中也有相關的索引緩存,在並發高的時候利用快取就效果更好了。

在我們的例子中,我們知道id欄位是主鍵,自然就包含了預設的主鍵索引。現在讓我們來看看利用覆蓋索引的查詢效果如何:

這次我們之間查詢最後一頁的資料(利用覆蓋索引,只包含id列),如下:

select id from order limit 800000, 20 0.2秒

相對於查詢了所有列的37.44秒,提升了大概100多倍的速度

#那麼如果我們也要查詢所有列,有兩種方法,一種是id>=的形式,另一種就是利用join,看下實際情況:

SELECT * FROM order WHERE ID > =(select id from order limit 800000, 1) limit 20

查詢時間為0.2秒,簡直是一個質的飛躍啊,哈哈

#另一種寫法

#SELECT * FROM order a JOIN (select id from order limit 800000, 20) b ON a.ID = b.id

查詢時間也很短。

大家學會了嗎?趕快動手嘗試。

相關推薦:

mysql千萬級資料查詢

#mysql千萬級的count統計比較_MySQL

MySQL 百萬級分頁最佳化(Mysql千萬快速分頁)_MySQL

以上是mysql千萬級資料分頁查詢效能優化_Mysql的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!