百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术教程 > 正文

sysbench使用教程(sysbench内存性能测试)

mhr18 2024-10-13 03:31 27 浏览 0 评论

一、环境描述

此次使用的虚拟机环境如下所示:

  1. CPU:双核 2.4GHz

  2. 内存:4 GB

  3. 硬盘:120 GB

  4. IP:192.168.21.129

  5. 操作系统:CentOS 6.6 x86_64

  6. MySQL:按照《在CentOS上安装MySQL数据库》安装

二、 编译安装sysbench

1. 下载并解压sysbench源码包:

yum install -y automake libtool

cd /root/Downloads/

wget http://downloads.mysql.com/source/sysbench-0.4.12.10.tar.gz

tar zxvf sysbench-0.4.12.10.tar.gz

2. 编译安装sysbench:

cd sysbench-0.4.12.10

./configure --prefix=/usr/local/sysbench --exec-prefix=/usr/local/sysbench --with-mysql --with-mysql-includes=/usr/local/MySQL/include/ --with-mysql-libs=/usr/local/MySQL/lib/

make && make install

3. 将sysbench加入环境变量:

sed -i '80s/PATH=/PATH=\/usr\/local\/sysbench\/bin:/' /etc/profile

sed -i '81a\export LD_LIBRARY_PATH=/usr/local/MySQL/lib' /etc/profile

source /etc/profile

二、使用方法

1. 常用选项

在Shell中运行以下命令便可得到sysbench的常用选项信息:

sysbench --help

上述命令的输出信息如下图所示:

1.1 使用语法

使用sysbench时,可以通过以下语法进行基准测试:

sysbench [通用选项]... --test=<测试名称> [测试选项]... 命令

1.2 通用选项

  • --num-threads=N:需要使用的线程总数(默认值为1)。

  • --max-requests=N:请求总数的上限值(默认值为10000)。

  • --max-time=N:总执行时间的上限值,以秒为单位(默认值为0,表示执行时间无限)。

  • --forced-shutdown=STRING:在–max-time之后,强制停止之前,需要等待的时间总量(默认值为off)。

  • --thread-stack-size=SIZE:每个线程的栈空间的大小(默认值为32KB)。

  • --init-rng=[on|off]:是否初始化随机数生成器(默认值为off)。

  • --seed-rng=N:随机数生成器的种子,当为0时忽略(默认值为0)。

  • --tx-rate=N:目标事务速率(TPS)(默认值为0)。

  • --tx-jitter=N:目标事务变化率,以毫秒为单位(默认值为0)。

  • --report-interval=N:指定一个间隔时间,sysbench便会定期地报告测试期间的中间统计结果,以秒为单位。若取值为0,则表示禁用中间报告功能(默认值为0)。

  • --report-checkpoints=[LIST,...]:在指定的时间点,转储完整的统计数据,并且复位所有的计数器。这个选项的参数是一个由逗号分隔的值,表示从测试开始到必须执行报告检查点时需要花费的时间,以秒为单位。默认禁用报告检查点。

  • --test=STRING:需要运行的测试项。

  • --debug=[on|off]:输出更多的调试信息(默认值为off)。

  • --validate=[on|off]:在可能的情况下执行有效性检查。

  • --help=[on|off]:输出帮助信息,然后退出。

  • --version=[on|off]:输出版本信息,然后退出。

1.3 日志选项

  • --verbosity=N:日志的详细等级。若取值为5,则输出调试日志;若取值为0,则只输出重要信息(默认值为4)。

  • --percentile=N:计算查询响应时间的百分比等级(默认值为95,表示sysbench会丢弃5%的最长的请求,然后再从剩余的请求中选择一个最长的请求)。

1.4 内建测试项

  • fileio:文件I/O测试。

  • cpu:CPU性能测试。

  • memory:内存速度测试。

  • threads:线程子系统性能测试。

  • mutex:互斥性能测试。

  • oltp:OLTP(在线事务处理)测试。

1.5 命令

  • prepare:为某些测试执行一些准备性的工作,例如:为fileio测试在磁盘上创建必要的文件,为OLTP测试填充测试数据库,等等。

  • run:运行由--test选项执行的测试项。

  • cleanup:在测试结束之后,删除由测试产生的临时数据和文件。

  • help:显示由--test指定的测试项的帮助信息。

  • version:输出sysbench的版本信息。

2. 文件I/O测试

在Shell中运行以下命令,可以看到文件I/O测试(fileio)的测试选项:

sysbench --test=fileio help

fileio的测试选项如下图所示:

  • --file-num=N:需要创建的文件数量(默认为128个文件)。

  • --file-block-size=N:在所有的IO操作中使用的数据块的大小(默认值为16384)。

  • --file-total-size=SIZE:需要创建的文件的总大小(默认值为2G)。

  • --file-test-mode=STRING:测试模式,可选的值有seqwr(顺序写)、seqrewr(顺序重写)、seqrd(顺序读)、rndrd(随机读)、rndwr(随机写)、rndrw(随机读写)。

  • --file-io-mode=STRING:文件操作模式,可选的值有sync、async、mmap(默认值为sync)。

  • --file-extra-flags=STRING:在已打开文件上使用的额外标志,可选的值有sync、dsync、direct。

  • --file-fsync-freq=N:在发出这个参数指定数量的请求之后,执行fsync(),将内存中已修改的文件数据同步至存储设备中。若取值为0,则表示不使用fsync()(默认值为100)。

  • --file-fsync-all=[on|off]:每次写操作之后,执行fsync()(默认值为off)。

  • --file-fsync-end=[on|off]:在测试结束时,执行fsync()(默认值为on)。

  • --file-fsync-mode=STRING:同步数据时,使用哪种方法,可选的值有fsync、fdatasync(默认值为fsync)。

  • --file-merged-requests=N:如果可能,最多合并由这个参数指定数量的IO请求。若取值为0,则表示不会合并请求(默认值为0)。

  • --file-rw-ratio=N:进行读写综合测试时,读写操作的比率(默认值为1.5)。

3. CPU性能测试

在Shell中运行以下命令,可以看到CPU性能测试(cpu)的测试选项:

sysbench --test=cpu help

cpu的测试选项如下图所示:

  • --cpu-max-prime=N:素数生成器的上限值(默认值为10000)。

4. 内存速度测试

在Shell中运行以下命令,可以看到内存速度测试(memory)的测试选项:

sysbench --test=memory help

memory的测试选项如下图所示:

  • --memory-block-size=SIZE:测试使用的内存块的大小(默认值为1K)。

  • --memory-total-size=SIZE:需要传输的数据总大小(默认值为100G)。

  • --memory-scope=STRING:内存访问范围,可选的值有global、local(默认值为global)。

  • --memory-hugetlb=[on|off]:从HugeTLB池中分配内存(默认值为off)。

  • --memory-oper=STRING:内存操作的类型,可选的值有read、write、none(默认值为write)。

  • --memory-access-mode=STRING:内存访问模式,可选的值有seq(顺序)、rnd(随机)(默认值为seq)。

5. 线程子系统测试

在Shell中运行以下命令,可以看到线程子系统测试(threads)的测试选项:

sysbench --test=threads help

threads的测试选项如下图所示:

  • --thread-yields=N:每个请求的线程暂停次数(默认值为1000)。

  • --thread-locks=N:每个线程使用的锁的数量(默认值为8)。

6. 互斥锁性能测试

在Shell中运行以下命令,可以看到互斥锁性能测试(mutex)的测试选项:

sysbench --test=mutex help

mutex的测试选项如下图所示:

  • --mutex-num=N:互斥锁数组的总大小(默认值为4096)。

  • --mutex-locks=N:执行每个线程时使用的互斥锁的数量(默认值为50000)。

  • --mutex-loops=N:在互斥锁内部执行的空循环的数量(默认值为10000)。

7. OLTP测试

在Shell中运行以下命令,可以看到在线事务处理测试(oltp)的测试选项:

sysbench --test=oltp help

oltp的测试选项如下图所示:

7.1 OLTP选项

  • --oltp-test-mode=STRING:可以使用的测试类型,可选的值有simple(简单)、complex(高级事务)、nontrx(无事务)、sp(存储过程)(默认值为complex)。

  • --oltp-reconnect-mode=STRING:重连模式,可选的值有session、transaction、query、random(默认值为session)。

  • --oltp-sp-name=STRING:那么--oltp-test-mode=sp,那么这个参数可用于指定需要调用的存储过程的名称。

  • --oltp-read-only=[on|off]:只生成“读”查询(不会修改数据库)(默认值为off)。

  • --oltp-avoid-deadlocks=[on|off]:以递增的顺序生成更新关键字,这样可以避免死锁(默认值为off)。

  • --oltp-skip-trx=[on|off]:跳过BEGIN/COMMIT语句(默认值为off)。

  • --oltp-range-size=N:范围查询的范围大小(默认值为100)。

  • --oltp-point-selects=N:一个事务中的点选择的数量(默认值为10)。

  • --oltp-use-in-statement=N:每次查询时,在10个主键的查找中使用IN语句(默认值为0)。

  • --oltp-simple-ranges=N:一个事务中的简单范围查询的数量(默认值为1)。

  • --oltp-sum-ranges=N:一个事务中的求和(SUM)范围查询的数量(默认值为1)

  • --oltp-order-ranges=N:一个事务中的排序(ORDER)范围查询的数量(默认值为1)。

  • --oltp-distinct-ranges=N:一个事务中的去重(DISTINCT)范围查询的数量(默认值为1)。

  • --oltp-index-updates=N:一个事务中的索引更新(UPDATE)查询的数量(默认值为1)。

  • --oltp-non-index-updates=N:一个事务中的非索引更新(UPDATE)的数量(默认值为1)。

  • --oltp-nontrx-mode=STRING:非事务测试的模式,可选的值有select、update_key、update_nokey、insert、delete(默认值为select)。

  • --oltp-auto-inc=[on|off]:测试表的id列是否应当使用AUTO_INCREMENT(主键自增长)功能(默认值为on)。

  • --oltp-connect-delay=N:在连接至数据库之后,进入睡眠的时间,以毫秒为单位(默认值为10000)。

  • --oltp-user-delay-min=N:在每次请求之后,进入睡眠的最小时间,以毫秒为单位(默认值为0)。

  • --oltp-user-delay-max=N:在每次请求之后,进入睡眠的最大时间,以毫秒为单位(默认值为0)。

  • --oltp-table-name=STRING:测试表的名称(默认值为sbtest)。

  • --oltp-table-size=N:测试表中的记录数量(默认值为10000)。

  • --oltp-dist-type=STRING:随机数的分布方式,可选的值有uniform(均匀分布)、gaussian(高斯分布)、special(特殊分布)(默认值为special)。

  • --oltp-dist-iter=N:生成数字时需要使用的迭代次数(默认值为12)。

  • --oltp-dist-pct=N:被当作是“特殊值”的数值的百分比,只用于随机数的特殊分布方式(默认值为1)。

  • --oltp-dist-res=N:需要使用的“特殊值”的百分比,只用于随机数的特殊分布方式(默认值为1)。

  • --oltp-point-select-mysql-handler=[on|off]:当进行点选择时,使用MySQL HANDLER(默认值为off)。

  • --oltp-point-select-all-cols=[on|off]:当进行点选择查询时,选择所有的列(默认值为off)。

  • --oltp-secondary=[on|off]:使用二级索引,而不是主键(PRIMARY)索引(默认值为off)。

  • --oltp-num-partitions=N:测试表使用的分区的数量(默认值为0)。

  • --oltp-num-tables=N:测试表的数量(默认值为1)。

7.2 通用数据库选项

  • --db-driver=STRING:指定需要使用的数据库驱动(通过1.5节的help命令,可以看到可用的驱动列表)。

  • --db-ps-mode=STRING:如果选用的数据库驱动支持预处理语句(Prepared Statement) API,那么sysbench就会在所有查询中尽可能地使用服务端的预处理语句。否则,就会使用客户端(或模拟端)的预处理语句。即使当PS API可用时,这个选项也允许强制使用模拟方式。可选的值有auto、disable(默认值为auto)。

7.3 内建数据库驱动

  • mysql:MySQL驱动程序。

注意:

由于本文只针对MySQL进行OLTP测试,此处的驱动列表只有MySQL的驱动程序。实际上,除了MySQL之外,sysbench还支持Oracle、PostgreSQL等数据库。

7.4 MySQL选项

  • --mysql-host=[LIST,...]:MySQL服务器的主机名或IP地址(默认值为localhost)。

  • --mysql-port=N:MySQL服务器的端口号(默认值为3306)。

  • --mysql-socket=STRING:MySQL的套接字文件。

  • --mysql-user=STRING:MySQL的用户名(默认值为sbtest)。

  • --mysql-password=STRING:MySQL的登录密码。

  • --mysql-db=STRING:MySQL的数据库名(默认值为sbtest)。

  • --mysql-table-engine=STRING:测试表使用的存储引擎,可选的值有myisam、innodb、bdb、heap、ndbcluster、federated(默认值为innodb)。

  • --mysql-engine-trx=STRING:是否使用支持事务的存储引擎,可选的值有yes、no、auto(默认值为auto)。

  • --mysql-ssl=[on|off]:若客户端程序库支持SSL连接,则使用(默认值为off)。

  • --myisam-max-rows=N:MyISAM表能够支持的最大行数(默认值为1000000)。

  • --mysql-create-options=STRING:传递给CREATE TABLE语句的额外选项。

三、sysbench使用示例

1. 文件I/O测试

在Shell中运行以下命令:

# prepare阶段:

sysbench --test=fileio --num-threads=16 --file-total-size=2G --file-test-mode=rndrw prepare

# run阶段:

sysbench --test=fileio --num-threads=20 --file-total-size=2G --file-test-mode=rndrw run

# cleanup阶段:

sysbench --test=fileio --num-threads=20 --file-total-size=2G --file-test-mode=rndrw cleanup

上述命令表示:

  • 在测试准备阶段,使用16个线程,创建的测试文件总大小为2GB,文件测试模式为随机读写。

  • 在测试运行阶段,使用20个线程,测试文件总大小为2GB,文件测试模式为随机读写。

  • 在测试清除阶段,使用20个线程,测试文件总大小为2GB,文件测试模式为随机读写。

测试结果如下图所示:

  • 在测试准备阶段,由下图可知,创建了128个测试文件,每个文件大小都为16MB,文件总大小为2GB,写入速度为43.61MB/s:

  • 在测试运行阶段,由下图可知,随机I/O请求的次数为10000次,读写操作的比例为1.50,使用fsync()同步内存和硬盘的数据,每隔100个请求同步一次:

  • 在测试清除阶段,删除所有测试文件:

2. CPU性能测试

在Shell中运行以下命令:

sysbench --test=cpu --cpu-max-prime=2000 run

上述命令表示:

  • 素数生成器的上限值为2000。

测试结果如下图所示:

3. 内存速度测试

在Shell中运行以下命令:

sysbench --test=memory --memory-block-size=8K --memory-total-size=1G run

上述命令表示:

  • 用于测试的内存块大小为8KB,用于测试内存的总数据大小为1GB。

测试结果如下图所示:

4. 线程子系统测试

在Shell中运行以下命令:

sysbench --test=threads --num-threads=500 --thread-yields=100 --thread-locks=4 run

上述命令表示:

  • 用于测试的线程数量为500个,每个请求的线程暂停次数为100次,每个线程具有4个锁。

测试结果如下图所示:

5. 互斥锁性能测试

在Shell中运行以下命令:

sysbench --test=mutex --num-threads=100 --mutex-num=1000 --mutex-locks=100000 --mutex-loops=10000 run

上述命令表示:

  • 用于测试的线程数量为100个,互斥锁数组的的大小为1000,每个线程执行的互斥锁次数为100000次,互斥锁内部执行的空循环次数为10000次。

测试结果如下图所示:

6. OLTP测试

在Shell中运行以下命令:

# prepare阶段:

sysbench --test=oltp --mysql-table-engine=innodb --mysql-host=localhost --mysql-db=test --oltp-table-size=500000 --mysql-user=root --mysql-password=password prepare

# run阶段:

sysbench --num-threads=16 --test=oltp --mysql-table-engine=innodb --mysql-host=localhost --mysql-db=test --oltp-table-size=500000 --mysql-user=root --mysql-password=password run

# cleanup阶段:

sysbench --num-threads=16 --test=oltp --mysql-table-engine=innodb --mysql-host=localhost --mysql-db=test --oltp-table-size=500000 --mysql-user=root --mysql-password=password cleanup

上述命令表示:

  • 在测试准备阶段,使用的存储引擎为InnoDB,MySQL服务器为本机,MySQL的数据库名为test,测试表的记录总数为500000条,MySQL的用户名为root,MySQL的登录密码为password。

  • 在测试运行阶段,使用的线程数量为16个,使用的存储引擎为InnoDB,MySQL服务器为本机,MySQL的数据库名为test,测试表的记录总数为500000条,MySQL的用户名为root,MySQL的登录密码为password。

  • 在测试清除阶段,使用的线程数量为16个,使用的存储引擎为InnoDB,MySQL服务器为本机,MySQL的数据库名为test,测试表的记录总数为500000条,MySQL的用户名为root,MySQL的登录密码为password。

测试结果如下图所示:

  • 在测试准备阶段,由下图可知,创建了一个名为sbtest的测试表,这张表中有500000条记录:

  • 在测试运行阶段,由下图可知,使用了16个线程,生成数据的方式采用特殊分布(12次迭代,在75%的情况下返回生成的1%的值),开始事务时使用BEGIN语句,主键采用自增长模式,OLTP测试的最大请求数量为10000次:

  • 在测试清除阶段,清除测试表和测试数据:

相关推荐

C++开发必知的内存问题及常用的解决方法-经典文章

1.内存管理功能问题由于C++语言对内存有主动控制权,内存使用灵活和效率高,但代价是不小心使用就会导致以下内存错误:omemoryoverrun:写内存越界odoublefree:同一块内...

缓存用不好,系统崩得早!10条军规让你成为缓存高手

凌晨三点,我被电话惊醒:“苏工!首页崩了!”监控显示:缓存命中率0%,数据库QPS10万+,线程阻塞2000+。根本原因竟是同事没加缓存!不会用缓存的程序员,就像不会刹车的赛车手——...

彻底搞清楚内存泄漏的原因,如何避免内存泄漏,如何定位内存泄漏

作为C/C++开发人员,内存泄漏是最容易遇到的问题之一,这是由C/C++语言的特性引起的。C/C++语言与其他语言不同,需要开发者去申请和释放内存,即需要开发者去管理内存,如果内存使用不当,就容易造成...

Java中间件-Memcached(Java中间件大全)

一、知识结构及面试题目分析缓存技术的大规模使用是互联网架构区别于传统IT技术最大的地方,是整体高并发高性能架构设计中是重中之重的关键一笔,也是互联网公司比较偏好的面试题目。按照在软件系统中所处位置...

linux内存碎片防治技术(linux内存碎片整理)

推荐视频:90分钟了解Linux内存架构,numa的优势,slab的实现,vmalloc原理剖析Linux内核内存分配与回收Linuxkernel组织管理物理内存的方式是buddysystem(伙...

Redis主从架构详解(redis主从配置详细过程)

Redis主从架构搭建Redis主节点配置创建主节点目录(/opt/redis-master),复制redis.conf到该目录下,redis.conf配置项修改#后台启动daemonizeyes...

揭开CXL内存的神秘面纱(内存c1)

摘要:现代数据中心对内存容量的高需求促进了内存扩展和分解方面的多条创新线,其中一项获得极大关注的工作是基于ComputeeXpressLink(CXL)的内存扩展。为了更好地利用CXL,研究人员建...

一文彻底弄懂 TPS RPS QPS(tps cps)

以下是关于RPS、QPS、TPS的核心区别与关联的总结,结合实际场景和优化建议:一、核心定义与区别RPS:RequestsPerSecond每秒请求数客户端到服务器的完整请求数量Web服务...

用Redis的“集合”找出你和朋友的“共同关注”

你是不是在刷抖音、微博、小红书的时候,常常会看到这样的提示:“你和XXX有共同关注的博主/朋友”?或者当你关注了一个新的明星,系统会推荐“你的朋友YYY也关注了这位明星”?这个看似简单的功能背后,其实...

WOT2016彭哲夫:科班出身开发者对运维人员的期许

“运维与开发”是老生常谈的话题,前几天和一个运维人聊天,TA说一些公司运维岗位都不公开招聘了,这让众多运维人员情何以堪?是运维的岗位真的饱和了?是找到合适的运维人才难?还是有这样那样的因素?带着这些疑...

Java程序员最常用的20%技术总结(java程序员要掌握什么)

我听说编程语言,经常使用的是其中20%的技术。在Java这门语言中,这20%包括哪些内容?找到一份Java初级程序员的工作,有哪些是必须掌握的,有哪些是可以现学现卖的?一个完整的Javaweb项目,有...

秒杀系统实战(四)| 缓存与数据库双写一致性实战

前言微笑挖坑,努力填坑。————已经拥有黑眼圈,但还没学会小猪老师时间管理学的蛮三刀同学本文是秒杀系统的第四篇,我们来讨论秒杀系统中「缓存热点数据」的问题,进一步延伸到数据库和缓存的...

头条评论精灵翻牌子(头条评论精灵翻牌子怎么弄)

关于“头条评论精灵翻牌子”功能,这通常是指平台通过算法或运营手段,将用户的优质评论随机或定向推送到更显眼的位置(如信息流顶部、独立曝光位等),以提升互动率和用户参与感。以下是详细解析和建议:一、功能理...

15个程序员们都应该知道的大模型高级提示词指令模板和示例

作为程序员你如何写大模型指令?你写的指令是不是更专业呢?下面是15个程序员使用的专业的大模型指令,如果早知道可以能节省你很多时间。这些指令可以用在chatgpt,deepseek等大模型。1.一键...

MyBatis-Plus内置的主键生成策略有大坑,要注意!

昨天小伙伴使用Mybaits-Plus开发的项目线上(集群、K8S)出现了主键重复问题,其报错如下:Mybatis-Plus启动时会通过com.baomidou.mybatisplus.core.to...

取消回复欢迎 发表评论: