目錄
表结构
初始数据
SQL查询
分析和结论
首頁 資料庫 mysql教程 MySQL”海量数据”查询性能分析_MySQL

MySQL”海量数据”查询性能分析_MySQL

Jun 01, 2016 pm 01:50 PM
查詢 結構

bitsCN.com

最近做了一次MySQL所谓的”海量数据”查询性能分析.

表结构

dt dt2 dt3 it it2 it3   id id id id id id int PK     ext1     ext1 varchar(256) time time time time time time int/datetime KEY   ext2 ext2   ext2 ext2 varchar(128)

说明, MyISAM引擎, dt表示时间字段使用datetime类型, it表示时间字段使用int类型.

初始数据

首先生成100K个UNIX时间戳(int), 然后随机选取10M次, 每一次往6个表里插入一条记录(当time字段是datetime类型时, 做类型转换). 所以每一个表都有10M条记录. ext1和ext2字段会用随机的字符串填充.

 

SQL查询

使用的查询SQL语句如:

select SQL_NO_CACHE count(*) from it where time>10000;select SQL_NO_CACHE count(*) from dt where time>from_unixtime(10000);select SQL_NO_CACHE * from it where time>10000 order by time limit 1;select SQL_NO_CACHE * from it use key(PRIMARY) where time>10000 order by id limit 1;
登入後複製

SQL_NO_CACHE用于消除查询结果缓存的影响. use key用于指定查询时使用的索引. 统计每一条SQL的执行时间(单位s)和满足WHERE条件的记录总数(total), it-tm表示在dt表上执行SQL的耗时, 并explain得到key和extra, 结果如下.

where total select orderby key it-tm dt-tm it2-tm dt2-tm it3-tm dt3-tm extra time>10000 8999050 count(*)   time 3.52 4.28 3.74 4.49 3.53 4.47 where; index     count(time)   time 3.44 4.00 3.69 4.36 3.56 4.26 where; index     count(id)   NULL 1.44 1.92 4.30 4.60 4.79 4.98 where     * time time 0.00 0.00 0.00 0.00 0.00 0.00 where     * id time 14.81 15.38 19.37 20.30 20.94 21.42 where; filesort     * id PK 0.00 0.03 0.00 0.02 0.00 0.04 where                         time>50000 4987990 count(*)     1.90 2.36 2.02 2.41 1.99 2.42       count(time)     1.90 2.23 2.01 2.32 1.96 2.29       count(id)     1.48 1.91 4.25 4.61 4.80 5.12       * time   0.00 0.00 0.00 0.00 0.00 0.00       * id   8.15 8.77 10.74 11.36 11.59 11.79       * id   0.00 0.00 0.00 0.00 0.00 0.00                           time>80000 1991982 count(*)     0.76 0.95 0.83 0.98 0.80 1.00       count(time)     0.77 0.91 0.81 0.91 0.83 0.92       count(id)     1.38 1.86 4.17 4.49 4.71 5.02       * time   0.00 0.00 0.00 0.00 0.00 0.00       * id   3.26 3.44 4.26 4.51 4.56 4.76       * id   0.00 0.00 0.00 0.00 0.00 0.00                           time>99900 10871 count(*)     0.00 0.00 0.00 0.01 0.01 0.00       count(time)     0.01 0.01 0.01 0.00 0.01 0.01       count(id)     0.01 0.01 0.02 0.03 0.02 0.02       * time   0.00 0.00 0.00 0.00 0.00 0.00       * id   0.02 0.02 0.03 0.03 0.03 0.03       * id   0.00 0.00 0.00 0.00 0.00 0.00  

分析和结论

count(*), count(time)和count(id)的对比. 结果有较大变化. 当表的字段只有2个且查询条件较宽松(即符合条件的记录数较多)时, count(id)比count(*)快很多, 但是, 当表中还有其它的字段时, count(id)反而更慢了. 虽然id是主键, time是索引列, 但是select count(id) where time并没有用到索引, 而是进行全表扫描. 当对count(*)进行ignore key(time)时, 查询时间和count(id)相同.证明当结果集较大时索引导致查询变慢,应该是全表扫描进行的是连续的磁盘IO和内存操作, 而使用索引是进行随机的磁盘IO和内存操作, 并且MyISAM存储索引的BTree结构占用更多的空间. 当WHERE条件约束更严格, total的值小到一定程度时, 全表扫描比使用索引慢, 因为索引极大减少了磁盘IO和内存操作.

排序字段和索引的使用. 当有排序且LIMIT(偏移为0)时,如果查询时使用的索引不是排序字段的索引, 那么速度非常慢. 当偏移不为0时, 如果使用排序列的索引, 要考虑偏移可能导致扫描的记录数, 所以应该根据情况选取合适的索引.

判断符合条件的记录是否存在, 使用select * limit 1速度要比select count(*)计数快得多.

时间字段类型的选择. int比datetime快, 但差距不是很明显.

无论如何, 条件限制得越严格, 查询就会越快.

另外, 根据随机id更新时, 大约能达到5K行/s.

列的先后顺序对查询性能的影响也非常大.

 

bitsCN.com
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn

熱門文章

倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章

倉庫:如何復興隊友
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前 By 尊渡假赌尊渡假赌尊渡假赌
R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
1 週前 By 尊渡假赌尊渡假赌尊渡假赌

熱門文章標籤

記事本++7.3.1

記事本++7.3.1

好用且免費的程式碼編輯器

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

禪工作室 13.0.1

禪工作室 13.0.1

強大的PHP整合開發環境

Dreamweaver CS6

Dreamweaver CS6

視覺化網頁開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

學信網如何查詢自己的學歷 學信網如何查詢自己的學歷 Mar 28, 2024 pm 04:31 PM

學信網如何查詢自己的學歷

12306怎麼查詢歷史購票紀錄 查看歷史購票紀錄的方法 12306怎麼查詢歷史購票紀錄 查看歷史購票紀錄的方法 Mar 28, 2024 pm 03:11 PM

12306怎麼查詢歷史購票紀錄 查看歷史購票紀錄的方法

蘋果手機怎麼查詢啟動日期 蘋果手機怎麼查詢啟動日期 Mar 08, 2024 pm 04:07 PM

蘋果手機怎麼查詢啟動日期

如何使用Oracle 查詢表是否被鎖? 如何使用Oracle 查詢表是否被鎖? Mar 06, 2024 am 11:54 AM

如何使用Oracle 查詢表是否被鎖?

MySQL與PL/SQL的異同比較 MySQL與PL/SQL的異同比較 Mar 16, 2024 am 11:15 AM

MySQL與PL/SQL的異同比較

lambda 表達式的語法和結構有什麼特色? lambda 表達式的語法和結構有什麼特色? Apr 25, 2024 pm 01:12 PM

lambda 表達式的語法和結構有什麼特色?

如何查詢通神幣最新價格? 如何查詢通神幣最新價格? Mar 21, 2024 pm 02:46 PM

如何查詢通神幣最新價格?

深入解析MySQL.proc表的結構及用途 深入解析MySQL.proc表的結構及用途 Mar 15, 2024 pm 02:36 PM

深入解析MySQL.proc表的結構及用途

See all articles