构建高性能的MYSQL数据库(二) 把那些瓶颈给找出来

时间：2021-11-13 01:24:40

一、从哪里入手

     当一台MYSQL服务器搭建完成并可以正常运行时，是不是我们的脚步就停止了，自以为可以开始使用了，对专业人士来说其实还需要更多的相关优化和设置。怎么去优化？怎么去设置？首先我们得找到它的瓶颈，我现在所了解的有两种方法，一是基准测试，二就是程序分析，他们有着密切的联系，因为有时是一样的。通过对你的MYSQL性能做基准测试，查找那部分存在问题需要优化，那部分则运行正常，相反程序分析则帮助我们统计MYSQL运行的花费时间和消耗资源。换句话说：基准测试是MYSQL的各项是否发挥出最大的性能，程序分析则是为什么MYSQL的这个选项会占用更多的性能。

二、基准测试

    针对MYSQL的基准测试有两种测试方法，一个是整站式测试，另一个则是单一组件测试。整站式测试包括除MYSQL以外的其他和MYSQL所管理的程序，如WEB程序，操作系统，磁盘I/O等等。单一组件是专门针对MYSQL做的测试，包括增删改查速度测试，不同存储引擎测试等等。下面我们将介绍几款相关的基准测试工具：

1、http_load(整站式测试)

   http_load是运行在linux操作系统上的一个针对网站做压力测试的开源工具。

  下载地址：http://www.acme.com/software/http_load/http_load-12mar2006.tar.gz

  http_load以并行复用的方式运行测试网站服务器的吞吐量和负载，它可以以单个进程去运行，这样不会搞死你的客户端，这也是和大部分压力测试工具所不同的一点，还有它还可以测试https页面。

   开始安装：   

  1. #wget http://www.acme.com/software/http_load/http_load-12mar2006.tar.gz 
  2. # tar xvzf http_load-12mar2006.tar.gz 
  3. # cd http_load-12mar2006 
  4. # make 
首先创建一个urls.txt文件，里面加入要测试的URL地址，以换行分割,这里需要注意一点就是因为我们讲的是测试MYSQL，所以你的页面一定要存在MYSQL的操作语句，而且要符合你的标准网站的数据量，如下：
  1. http://killker.com/blog/index.php 
  2. http://killker.com/blog/?p=114 
  3. http://killker.com/blog/?p=102 
现在我们开始测试每秒所能承受的页面访问量（吞吐量，单位时间内的事物处理能力）
  1. #./http_load -paraller 5 -fetches 100 urls.txt 
以上命令意思是同时使用5个进程，随机访问urls.txt中的网站地址，总共访问100次。下面是测试结果：
构建高性能的MYSQL数据库(二) 把那些瓶颈给找出来
呵呵~~ 我这个小VPS居然每秒还能同时访问两个页面。（2.59194 fetches/sec）
我们再测试下预期中能承受多大的访问压力（持续一段时间的大量用户并发环境）
  1. #./http_load -rate 2 -seconds 10 urls.txt 
以上命令意思是在以频率为2的访问量持续10秒钟，下面是运行结果：
构建高性能的MYSQL数据库(二) 把那些瓶颈给找出来
以下是分析结果：
a、14 fetches, 6 max parallel, 398917 bytes, in 10 seconds
      总共发送了14个请求，最大的并发进程是6个，总共传输398917bytes,运行为10秒
b、28494.1 mean bytes/connection
     每次请求平均传输数据量为28494.1bytes
c、1.4 fetches/sec, 39891.7 bytes/sec
     每秒请求页面平均为1.4,吞吐量为39891.7bytes
d、最后的则是每次请求的响应时间和返回时间，包括平均，最大，最小。
哈哈~~~ 这个工具似乎比apache的ab强多了。
 
2、sysbench(整站式测试)
      sysbench是一款开源的性能测试工具，它不但可以测试服务器的CPU,内存,磁盘I/O，还可以测试各种数据库，包括MYSQL,ORACLE,POSTGRESQL，那我们要讲的是怎么测试MYSQL。
      sysbench按照指定数量开启线程，每个线程都与MYSQL建立一个连接，建立连接后每个线程都不停地进行事务操作，打开事务，然后进行插入，查询，更新等操作，提交事务后然后再开启新的事务。所有的事务在连接后都会创建一个sbtest表，所有的操作都是针对这个表，测试结束后会统计一些相关信息，包括每秒事务处理数，平均响应时间等。
     解压并编译安装sysbench:
  
  1. # tar -zxvf sysbench-0.4.6.tar.gz 
  2. # cd sysbench-0.4.6.tar.gz 
  3. # ./configure –prefix=/usr/local/sysbench –with-mysql-includes=/usr/local/mysql/include/ –with-mysql-libs=/usr/local/mysql
  4. # make & make install 

    如果在编译过程中出现一下错误信息：

构建高性能的MYSQL数据库(二) 把那些瓶颈给找出来

请下载并安装 MySQL-shared-compat-5.0.41-0.rhel4.i386.rpm 包：

  1. # wget http://yum.telkom.net.id/rhe4-i386/mysql/MySQL-shared-compat-5.0.41-0.rhel4.i386.rpm 
  2. # rpm -ivh MySQL-shared-compat-5.0.41-0.rhel4.i386.rpm 

安装后重新编译安装sysbench即可。

sysbench采用OLTP基准测试的：

  1. # /usr/local/sysbench/bin/sysbench –test=oltp –mysql-table-engine=myisam –mysql-db=test –oltp-table-size=1000000 –mysql-host=localhost –mysql-user=root –mysql-password=123456 –mysql-socket=/tmp/mysql.sock prepare 

以上是为基准测试做准备，它会在指定的test数据库创建一个sbtest表，然后自动插入1000000条数据，下面开始运行测试性能。

  1. # /usr/local/sysbench/bin/sysbench –max-requests=1000 –test=oltp –oltp-table-size=10000 –mysql-db=test –mysql-host=localhost –mysql-user=root –mysql-password=123456 –mysql-socket=/tmp/mysql.sock –oltp-read-only run 

现在是以请求为1000进行10000条数据的事务操作，我的主要是VPS，所以只能把数字变小点测试，以下是测试结果：

构建高性能的MYSQL数据库(二) 把那些瓶颈给找出来

测试结果分析:

OLTP测试统计：总共执行了1000次请求事务操作，每秒钟平均为112.71次，读/写请求是14000次，每秒钟平均为1577.89次，其他运行为2000次，每秒平均是225.41次。

测试完成摘要：总共花费了8.8726s,最终请求数为1000次，每次请求最小花费2.8ms,平均8.84ms,最大是1262.53ms,接近百分之九十五的是8.21ms

小节总结：作为全方位性能测试工具，sysbench对CPU，内存，磁盘I/O也有很好的性能测试，详细请访问官方文档：

http://sysbench.sourceforge.net/docs/

 3、sql-bench(单一组件测试)

   sql-bench是mysql自带做基准测试的工具，在mysql目录下有个sql-bench子目录，里面存放着测试程序，这些程序都是perl实现的。下面介绍几个常用的程序：

  1. # /usr/local/mysql/sql-bench/run-all-tests –server=mysql –user=root –password=123456 –log –fast 

以上是全局测试，包括增删改查等操作，以快速的方式进行事务操作。如果出现以下错误：

  1. install_driver(mysql) failed: Can’t locate DBD/mysql.pm

解决方法是安装一个DBD-MYSQL包即可，下载地址为：

http://search.cpan.org/CPAN/authors/id/C/CA/CAPTTOFU/DBD-mysql-2.9005.tar.gz

安装方法：

  1. # wget http://search.cpan.org/CPAN/authors/id/C/CA/CAPTTOFU/DBD-mysql-2.9005.tar.gz 
  2. # tar zxvf DBD-mysql-2.9005.tar.gz 
  3. # cd DBD-mysql-2.9005 
  4. # perl Makefile.PL –testdb=test –testuser=root –testpassword="123456" 
  5. # make 
  6. # make test 
  7. # make install 

到此DBD-MYSQL就安装完成了，当然如果没有出现上面那个错误可以不用操作这些步骤。

  1. # /usr/local/mysql/sql-bench/test-insert –server=mysql –user=root –password=123456 

 这个命令是测试数据库的插入性能，默认是插入300000条数据。

  1. # /usr/local/mysql/sql-bench/test-connect –server=mysql –user=root –password=123456 

 可想而知，这个命令则是测试数据库连接性能。

  1. # /usr/local/mysql/sql-bench/test-select –server=mysql –user=root –password=123456  

这个当然是测试数据库的查询性能了。

其实MYSQL自带的还有其他各种测试，这里就不一一介绍了，基本是大同小异，至于测试结果，主要显示是CPU耗费的资源，包括用户，系统的占用情况，当测试结束后，它会自动将结果以文本文件格式保存到 /usr/local/mysql/sql-bench/output 目录下，方便以后分析。

4、super smack(单一组件测试)

 super smack是一个强大的广受赞誉的压力测试工具，支持MySQL和PostgreSQL数据库。下载地址为：

   http://vegan.net/tony/supersmack/super-smack-1.3.tar.gz

下载，解压并安装：

  1. # wget http://vegan.net/tony/supersmack/super-smack-1.3.tar.gz 
  2. # tar xvzf super-smack-1.3.tar.gz 
  3. # cd super-smack-1.3 
  4. # ./configure --prefix=/usr/local/supersmack --with-mysql --with-mysql-lib=/usr/local/mysql/lib --with-mysql-include=/usr/local/mysql/include 
  5. # make & make install

配置测试信息：

  1. # cp /usr/share/smacks/select-key.smack ./select-key.smack 
  2. # vi select-key.smack 

文件中的信息，基本就修改用户名和密码即可，保证数据库可以正常操作，下面开始测试：

  1. # /usr/local/supersmack/bin/super-smack -d mysql select-key.smack 10 100 

 这个命令意思模拟10个用户，每个用户进行100次事务操作。命令首先会通过执行 gen-data -n 90000 -f %12-12s%n,%25-25s,%n,%d’ ，将输出的信息插入到 /var/smack-data/words.dat文件中。然后在test数据库中创建一个http_auth表，最后将 words.dat文件的信息插入到http_auth表中。测试结果如下：

构建高性能的MYSQL数据库(二) 把那些瓶颈给找出来

测试结果分析：

 来自10个模拟用户，连接时间最长为79ms,最小0ms,平均为16ms,super-smack总共执行了2000个查询，每个查询都小于1毫秒，服务器平均每秒执行7802.08次select_index型查询。

标签：

相关文章