前言
在對網站整體效能進行benchmark時，可以使用多種工具，例如大名鼎鼎的ab(Apache bench)，http_load等工具。這裡我們不關注他們的使用，如果你想了解，可以自行在網路上找到答案。
重點來說MySQL的基準測試如何進行，也有很多種工具來供我們選擇，例如mysqlslap、sysbench、Super Smack等，其中mysqlslap的使用MySQL官網給出了介紹，Super Smack是伺服器壓力測試強有力的工具，那麼sysbench便是我們進行MySQL基準測試的很漂亮的工具了。
sysbench
sysbench是一款開源的多執行緒效能測試工具，可以執行CPU/記憶體/執行緒/IO/資料庫等方面的效能測試。資料庫目前支援MySQL/Oracle/PostgreSQL；
它主要包括以下幾種方式的測試：
1、cpu效能
2、磁碟io效能
3、調度程式效能
4、記憶體分配及傳輸速度
5、POSIX執行緒效能
6、資料庫效能(OLTP基準測試)
sysbench的資料庫OLTP測試支援MySQL、PostgreSQL、Oracle，目前主要用於Linux作業系統，開源社群已經將sysbench移植到了Windows，並支援SQL Server的基準測試。
廢話不多說，開始。
一、sysbench安裝
mysql版本: mysql-community-server-5.6.29
OS: CentOS 6.7 X86_64
sysbench 0.5相比0.4版本有一些變化，包括oltp測試結合了lua腳本，還多了一些隱藏選項，本文會涉及得到一部分。
// 先安装编译依赖环境 $ sudo yum install gcc gcc-c++ automake make libtool mysql-community-devel $ cd /tmp && git clone https://github.com/akopytov/sysbench.git $ cd /tmp/sysbench && ./autogen.sh $ ./configure --prefix=/usr/local/sysbench-0.5 $ ./make && sudo make install // 0.5版本需要oltp.lua测试脚本 // 如果是rpm包方式安装的，在 /usr/share/doc/sysbench/tests/db/ 下可找到 $ cd /usr/local/sysbench && sudo mkdir -p share/tests/db $ cp /tmp/sysbench/sysbench/tests/db/*.lua share/tests/db/ $ ./bin/sysbench --version sysbench 0.5
如果需要測試PostgreSQL、Oracle，則在configure時需要加上 –with-oracle 或 –with-pgsql 參數
二、使用sysbench對mysql壓測
2.1 只讀範例
./bin/sysbench --test=./share/tests/db/oltp.lua \ --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser \ --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 \ --report-interval=10 --oltp-dist-type=uniform --rand-init=on --max-requests=0 \ --oltp-test-mode=nontrx --oltp-nontrx-mode=select \ --oltp-read-only=on --oltp-skip-trx=on \ --max-time=120 --num-threads=12 \ [prepare|run|cleanup]
注意最後一行，一項測試開始前需要用prepare來準備好表和數據，run執行真正的壓測，cleanup用來清除數據和表。實際prepare的表結構：
mysql> desc dbtest1a.sbtest1; +-------+------------------+------+-----+---------+----------------+ | Field | Type | Null | Key | Default | Extra | +-------+------------------+------+-----+---------+----------------+ | id | int(10) unsigned | NO | PRI | NULL | auto_increment | | k | int(10) unsigned | NO | MUL | 0 | | | c | char(120) | NO | | | | | pad | char(60) | NO | | | | +-------+------------------+------+-----+---------+----------------+ 4 rows in set (0.00 sec)
上面的測試指令代表的是：對mysql進行oltp基準測試，表數量10，每表行數約50w（幾乎delete多少就會insert的多少），並且是非事務的只讀測試，持續60s，並發線程數12。
需要說明的選項：
mysql-db=dbtest1a：測試所使用的目標資料庫，這個函式庫名稱要事先建立
--oltp-tables-count=10：產生表的數量
--oltp-table-size=500000：每張表格產生的記錄行數
--oltp-dist-type=uniform：指定隨機取樣類型，可選值有 uniform(均勻分佈), Gaussian(高斯分佈), special(空間分佈)。預設是special
--oltp-read-only=off：表示不只產生唯讀SQL，也就是使用oltp.lua時會採用讀寫混合模式。預設 off，如果設定為on，則不會產生update,delete,insert的sql。
--oltp-test-mode=nontrx：執行模式，這裡是非事務式的。可選值有simple,complex,nontrx。預設是complex
simple：簡單查詢，SELECT c FROM sbtest WHERE id=N<br />
complex (advanced transactional) ：事務模式在開始和結束事務之前加上begin和commit， 一個事務裡可以有多個語句，如查詢、範圍、範圍、插入等為了不破壞測試表的數據，該模式下一筆記錄刪除後會在同一筆交易中新增相同的記錄。
nontrx (non-transactional) ：與simple相似，但是可以進行update/insert等操作，所以如果做連續的對比壓測，你可能需要重新cleanup,prepare。
--oltp-skip-trx=[on|off] ：省略begin/commit語句。預設是off
--rand-init=on：是否隨機初始化數據，如果不隨機化那麼初始好的數據每行內容除了主鍵不同外其他完全相同
--num-threads=12： 并发线程数，可以理解为模拟的客户端并发连接数
--report-interval=10：表示每10s输出一次测试进度报告
--max-requests=0：压力测试产生请求的总数，如果以下面的max-time来记，这个值设为0
--max-time=120：压力测试的持续时间，这里是2分钟。
注意，针对不同的选项取值就会有不同的子选项。比如oltp-dist-type=special，就有比如oltp-dist-pct=1、oltp-dist-res=50两个子选项，代表有50%的查询落在1%的行（即热点数据）上，另外50%均匀的(sample uniformly)落在另外99%的记录行上。
再比如oltp-test-mode=nontrx时, 就可以有oltp-nontrx-mode，可选值有select（默认）, update_key, update_nokey, insert, delete，代表非事务式模式下使用的测试sql类型。
以上代表的是一个只读的例子，可以把num-threads依次递增（16,36,72,128,256,512），或者调整my.cnf参数，比较效果。另外需要注意的是，大部分mysql中间件对事务的处理，默认都是把sql发到主库执行，所以只读测试需要加上oltp-skip-trx=on来跳过测试中的显式事务。
ps1: 只读测试也可以使用share/tests/db/select.lua进行，但只是简单的point select。
ps2: 我在用sysbench压的时候，在mysql后端会话里有时看到大量的query cache lock，如果使用的是uniform取样，最好把查询缓存关掉。当然如果是做两组性能对比压测，因为都受这个因素影响，关心也不大。
2.2 混合读写
读写测试还是用oltp.lua，只需把--oltp-read-only等于off。
./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 prepare ./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 run ./bin/sysbench --test=./share/tests/db/oltp.lua --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 --report-interval=10 --rand-init=on --max-requests=0 --oltp-test-mode=nontrx --oltp-nontrx-mode=select --oltp-read-only=off --max-time=120 --num-threads=128 cleanup
然而oltp-test-mode=nontrx一直没有跟着我预期的去走，在mysql general log里面看到的sql记录与complex模式相同。所以上面示例中的--oltp-test-mode=nontrx --oltp-nontrx-mode=select可以删掉。
update:
原来sysbench 0.5版本去掉了这个选项，因为作者正在准备1.0版本，所以也就没有更新0.5版本的doc。网上的博客漫天飞，就没有一个提出来的，也是没谁了。
分析一下oltp.lua脚本内容，可以清楚单个事务各操作的默认比例：select:update_key:update_non_key:delete:insert = 14:1:1:1:1，可通过oltp-point-selects、oltp-simple-ranges、oltp-sum-ranges、oltp-order-ranges、oltp-distinct-ranges，oltp-index-updates、oltp-non-index-updates这些选项去调整读写权重。
同只读测试一样，在atlas,mycat这类中间件测试中如果不加oltp-skip-trx=on，那么所有查询都会发往主库，但如果在有写入的情况下使用--oltp-skip-trx=on跳过BEGIN和COMMIT，会出现问题：
ALERT: failed to execute MySQL query: INSERT INTO sbtest4 (id, k, c, pad) VALUES (48228, 47329, '82773802508-44916890724-85859319254-67627358653-96425730419-64102446666-75789993135-91202056934-68463872307-28147315305', '13146850449-23153169696-47584324044-14749610547-34267941374'): ALERT: Error 1062 Duplicate entry ‘48228' for key ‘PRIMARY' FATAL: failed to execute function `event': (null)
原因也很容易理解，每个线程将选择一个随机的表，不加事务的情况下高并发更新（插入）出现重复key的概率很大，但我们压测不在乎这些数据，所以需要跳过这个错误--mysql-ignore-errors=1062，这个问题老外有出过打补丁的方案允许--mysql-ignore-duplicates=on，但作者新加入的忽略错误码这个功能已经取代了它。mysql-ignore-errors选项是0.5版本加入的，但目前没有文档标明。
这里不得不佩服老外的办事效率和责任心，提个疑惑能立马得到回复，反观国内，比如在atlas,mycat项目里提到问题到现在都没人搭理。。。
2.3 只更新
如果基准测试的时候，你只想比较两个项目的update（或insert）效率，那可以不使用oltp脚本，而直接改用update_index.lua：
./bin/sysbench --test=./share/tests/db/update_index.lua \ --mysql-host=10.0.201.36 --mysql-port=8066 --mysql-user=ecuser --mysql-password=ecuser \ --mysql-db=dbtest1a --oltp-tables-count=10 --oltp-table-size=500000 \ --report-interval=10 --rand-init=on --max-requests=0 \ --oltp-read-only=off --max-time=120 --num-threads=128 \ [ prepare | run | cleanup ]
此时像oltp-read-only=off许多参数都失效了。需要说明的是这里 (非)索引更新，不是where条件根据索引去查找更新，而是更新索引列上的值。
三. 结果解读
sysbench 0.5: multi-threaded system evaluation benchmark
Running the test with following options:
Number of threads: 128
Report intermediate results every 20 second(s)
Initializing random number generator from timer.
Random number generator seed is 0 and will be ignored
Initializing worker threads...
Threads started!
[ 20s] threads: 128, tps: 2354.54, reads: 33035.89, writes: 9423.39, response time: 66.80ms (95%), errors: 0.00, reconnects: 0.00
[ 40s] threads: 128, tps: 2377.75, reads: 33274.26, writes: 9507.55, response time: 66.88ms (95%), errors: 0.00, reconnects: 0.00
[ 60s] threads: 128, tps: 2401.35, reads: 33615.30, writes: 9607.40, response time: 66.40ms (95%), errors: 0.00, reconnects: 0.00
[ 80s] threads: 128, tps: 2381.20, reads: 33331.50, writes: 9522.55, response time: 67.30ms (95%), errors: 0.00, reconnects: 0.00
[ 100s] threads: 128, tps: 2388.85, reads: 33446.10, writes: 9556.35, response time: 67.00ms (95%), errors: 0.00, reconnects: 0.00
[ 120s] threads: 128, tps: 2386.40, reads: 33421.35, writes: 9545.35, response time: 66.94ms (95%), errors: 0.00, reconnects: 0.00
OLTP test statistics:
queries performed:
read: 4003048 //总select数量
write: 1143728 //总update、insert、delete语句数量
other: 571864 //commit、unlock tables以及其他mutex的数量
total: 5718640
transactions: 285932 (2382.10 per sec.) //通常需要关注的数字(TPS)
read/write requests: 5146776 (42877.85 per sec.)
other operations: 571864 (4764.21 per sec.)
ignored errors: 0 (0.00 per sec.) //忽略的错误数
reconnects: 0 (0.00 per sec.)
General statistics:
total time: 120.0334s //即max-time指定的压测实际
total number of events: 285932 //总的事件数，一般与transactions相同
total time taken by event execution: 15362.6623s
response time:
min: 17.60ms
avg: 53.73ms //95%的语句的平均响应时间
max: 252.90ms
approx. 95 percentile: 66.88ms
Threads fairness:
events (avg/stddev): 2233.8438/9.04
execution time (avg/stddev): 120.0208/0.01我们一般关注的用于绘图的指标主要有：
response time avg: 平均响应时间。（后面的95%的大小可以通过--percentile=98的方式去更改）
transactions: 精確的說法是這項後面的TPS 。但如果使用了-oltp-skip-trx=on，這項事務數恆為0，需要用total number of events 去除以總時間，得到tps（其實還可以分為讀tps和寫tps）
read/write requests: 用它除以總時間，得到吞吐量QPS
當然還有一些系統層面的cpu,io,mem相關指標
sysbench還可以對檔案系統IO測試，CPU效能測試，以及記憶體分配與傳輸速度測試，這裡就不介紹了。
總結
sysbench的缺點就是，模擬的表格結構太簡單，不像tpcc-mysql那樣完整的事務系統。但對於效能壓測對比還是很有用的，因為sysbench所使用的環境參數限制是一樣的。以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或工作能帶來一定的幫助，如果有疑問大家可以留言交流。
