前言：

基准测试benchmark：基本技能，是针对系统设计的一种压力测试，是唯一方便有效、可学习系统在给定的工作负载下回发生什么的方法，他可以观察系统在不同压力下的行为，评估系统的容量，掌握哪些是重要的变化，或观察系统如何处理不同的数据，可在系统实际负载外创建虚拟场景进行测试（掌握系统行为）

正文：

如前言，基准测试很、重、要！可以完成的工作：总的来说：测试硬件、预估硬件、验证系统、测压力、调配置

1、验证基于系统的假设，确认假设是否符合实际情况；2、重现系统中某些异常行为，以解决；3、测试系统当前的运行情况，利用历史结果分析诊断无法预测的问题； 4、模拟更高的负载找出系统随压力增加而可能遇到的扩展性瓶颈；5、规划未来的业务增长，硬件、网络容量、相关资源；6、测试应用适应可变环境的能力；7、测试不同的硬件、软件和操作系统配置，证明设备是否配置正确；

对数据库的基准测试的作用，就是分析在当前的配置下（包括硬件配置、OS、数据库设置等），数据库的性能表现，从而找出MySQL的性能阈值，并根据实际系统的要求调整配置。【源】

与真实压力不同：真实的复杂多变；基准测试要求尽可能快执行完成，简单直接、结果易比较、成本低易行

2.2策略

针对系统整体：集成式full-stack

单独测试MySQL：单组件式single-component

推荐整体测试：要正确设置

1、用户关注的是整体的性能；2、MySQL并非总是瓶颈；3、更能揭示应用的真实表现

推荐单独测试：需要数据

1、需比较不同schema或查询的性能；2、针对某个具体问题的测试；3、避免漫长，做短期、快速周期循环

2.2.1指标

目标：细化为一系列问题，具体问题具体分析

吞吐量：

单位时间内事务处理数，TPC-C、多用户交互式应用，每秒事务数，每分钟事务数

响应时间或延迟

测试任务所需的整体时间，平均响时、最小响时、最大和所占百分比；借助图表

并发性：

测试应用在不同并发下的性能，关注正在工作中的并发操作、同时工作中的线程数连接数；

web服务器并发性！=数据库的，仅表会话存储机制数据处理能力；测web并发任意时间有多少并发；

可扩展性

可扩展性：给系统增加一倍工作，理性情况下能获得两部的结果；给系统增一倍资源可或2倍吞吐量

系统业务压力可能发生变化：测可扩展性非常必要；该指标对容量规范有用：提供信息来发现应用瓶颈

尽可能收集测试需求，基于需求设计测试，忌只关注部分指标，而忽略其他指标

2.3方法

要尽可能接近真实应用的情况：

使用全集、数据分布特点、真实分布参数、是否多用户、匹配用户行为、多类型、检查错误日志、系统预热：重启后多长时间才达到正常性能容量、持续一定时间；

2.3.1设计、规范

提出问题、目标明确

标准的基准测试：合适的方案 TPC-H OLTP

专用的测试：复杂、迭代，获易还原的生产数据集快照

计划： 参数、结果文档化、测试详细记录

2.3.2时间

基准测试应运行足够长的时间，无法确认时间可一直运行，持续观察知道确认系统已稳定

一个简单的测试规则：等系统看起来稳定的时间至少=系统预热的时间

2.3.3获取系统性能和状态

尽量多地收集被测系统的信息

best建目录、每执行一轮测试创建单独子目录，将结果、配置文件、测试指标、脚本和其他相关说明保存其中

需要记录是数据：

系统状态、性能指标：CPU使用率、磁盘I/O、网络流量统计、SHOWGLOBAL STATUS计数器

合理的间隔，记录开始时间、利用时间戳、只是收集就好

2.3.4获取准确的结果

回答些问题：

是否选择了正确的基准测试？是否为问题收集了数据？预热时间是否足够长？

是否采用了错误的测试标准：IO密集型引用采用CPU密集型测试标准来评估性能？

测试结果是否可重复？重测前确保系统状态一致；对症测

影响因素：

外部压力、性能分析、监控系统、详细日志、周期性作业

注意：

过程中所需资源是专来测试的；测试中尽量少修改参数、通过迭代逐步修改基准测试的参数；认真研究过程中的异常情况并找到原因

2.3.5运行测试分析结果

自动化：减少人为失误，Makefile文件、脚本

测试结果满足目前需求，简单运行几轮测试，看看结果就OK了，如结果变化很大，可多运行几次、或更长时间

结果：

分析，将数字变成知识，最终的目的是回答在设计时的问题

如何抽象有意义的结果，依赖于如何收集数据，写脚本分析数据、减少人为失误、工作量、可重复、文档化

2.3.6绘图重要性

一张图胜过千言万语嘛，本来有些知识点宝宝是想画导图的，但是么有画

书中有这么一个语句，分享一下：SHOW FULL PROCESSLIST SHOW PROCESSLIST显示哪些线程正在运行，您也可以使用mysqladmin processlist语句得到此信息，如果您有SUPER权限，您可以看到所有线程，否则，您只能看到您自己的线程，不使用FULL关键词，则只显示每个查询的前100个字符【源】

2.4基准测试工具

集成测试工具：整个应用

1、ab是Apache HTTP，每秒最多可处理多少请求【参考】【2】

2、http_load：ab类似更灵活，被设计为对web服务器测试，通过一个输入文件提供多个URL，随机选择进行测试，也可定制，使其按照时间比率进行测试【参考】

3、JMeter，java程序，可加载其他应用并测试其性能，这个听不错的，上面两个没有接触过，不评论

单组件式：测MySQL，基于MySQL的系统性能

1、mysqlslap：mysql5.1后自带，模拟服务器的负载，输出计时信息，可执行并发连接数、指定sql语句，否则自动生成select语句【参考】

2、MySQL Benchmark Suite（sql-bench）：自带、5.7拿掉，基准测试套件，用于不同数据库服务器上进行比较测试，单线程串行执行，测执行查询的速度；包含了大量预定义测试，易使用，轻松比较不同引擎或配置的性能测试，CPU密集型的，结果会显示哪些类型的操作在服务器上执行更快，缺点：测试数据集小且无法用指定的数据，需要perl BDB支持；【参考】

3、Super Smack：MySQL、PostgreSQL,提供压力测试和负载均衡，复杂而强大的工具，可模拟多用户访问，加载测试数据到库、随机数据填充测试表【参考】

4、Database Test Suite：类似某些工业标准测试的工具集，免费TPC-C OLTP测试工具

5、sysbench：多线程系统压测，据影响数据库服务器性能的因素评估系统的性能，全能测试工具，支持MySQL、操作系统、硬件的硬件测试【参考】【2】

MySQL的BENCHMARK()函数：测试特定操作的执行速度，参数可以是需要执行的次数或表达式（任何标量表达式）