在redis中使用redis-cli 造数据以及监控

目录

造数据

对指定的redis命令重复调用

不断的调用 info 命令来收集指标

从本地文件中执行命令导入

--pipe 以更快的速度导入数据

实战

向redis中插入100W笔数据

redis-cli stat获取性能指标

redis-cli我们最常用的三个参数就是-h、-p、-a选项，分配用来指定连接的redis-server的host、port和登录密码。

redis-cli –help大家可以继续发现更多的好用客户端命令。

之前使用redis-cli 寻找过一次bigkey。

造数据

对指定的redis命令重复调用

1、有时候测试环境需要批量造一批数据，目前都是手动一个一个set hset zadd... 这些操作可以批量进行吗？

官方给出一个例子

redis-cli -r 100 -i 1 info | grep used_memory_human:

2、监控

2.1 监控内存

~]# redis-cli -p 6382 -r 100 -i 1 info | grep used_memory_human:

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

used_memory_human:5.85G

-r -i

-r 选项重复执行一个命令指定的次数。

-i 设置命令执行的间隔。

比如查看redis每秒执行的commands（qps）

redis-cli -r 100 -i 1 info stats | grep instantaneous_ops_per_sec。

这些参数都是可以用来批量set数据的。

不断的调用 info 命令来收集指标

调用info命令10次，每次延迟1s

redis-cli -p 6379 -r 10 -i 1 INFO | grep used_memory_human

从本地文件中执行命令导入

/tmp]#redis-cli -p 6379 < /tmp/set.txt

OK

OK

OK

OK

/tmp]#cat set.txt

set qwer qwer

set qwe qwe

set qw qw

set q q

/tmp]#redis-cli

127.0.0.1:6379> get qwer

"qwer"

--pipe 以更快的速度导入数据

因为Redis管道功能支持的是Redis Protocol，而不是直接的Redis命令。

所以需要脚本将redis命令转换为redis pipe认识的格式。

例如:

如下redis命令对应的redis protocol

set qwer qwer

set qwe qwe

set qw qw

set q q

redis protocol格式

*<args><cr><lf>

lt;len><cr><lf>

<arg0><cr><lf>

<arg1><cr><lf>

...

<argN><cr><lf>

需要的目标文件

*3

$3

set

$4

qwer

$4

qwer

*3

$3

set

$3

qwe

$3

qwe

*3

$3

set

$2

qw

$2

qw

*3

$3

set

$1

q

$1

q

这个转换过程可以使用一个脚本来完成：

#!/bin/bash

while read line; do

cmd=($line) # 将line变量存成数组

printf "*${#cmd[@]}\n" # 获取数组变量的长度，并在其前加上*

for X in $line; do # for默认以空格为分隔符，遍历redis 命令行。

printf "\${#X}\r\n$X\n"; # 变量长度 空格分割后的字符内容

done

done < set.txt

# 测试用例

/tmp]#line="set qwe qwe"

/tmp]#for i in $line; do printf "\${#i}\n$i\n"; done

$3

set

$3

qwe

$3

qwe

/tmp]#line="set qwe qweqweqweqweqweqwe"

/tmp]#for i in $line; do printf "\${#i}\n$i\n"; done

$3

set

$3

qwe

$18

qweqweqweqweqweqwe

用脚本将redis命令转换为Redis Protocol格式重定向到data.txt

/tmp]#cat data.txt | redis-cli --pipe

All data transferred. Waiting for the last reply...

Last reply received from server.

errors: 0, replies: 4

#数据已经写入啦

/tmp]#redis-cli

127.0.0.1:6379>

127.0.0.1:6379> get qwer

"qwer"

127.0.0.1:6379> get qwe

"qwe"

127.0.0.1:6379> get qw

"qw"

127.0.0.1:6379> get q

"q"

实战

向redis中插入100W笔数据

1、准备数据

#!/bin/bash

for(( i=1; i<1000000; i++ ));do

echo "redis-cli set $i $i" >> /tmp/_set.txt

done

2、格式化

/tmp]#time bash redisCommandFormat.sh

real 0m53.50s

user 0m49.135s

sys 0m6.914s

3、将redis Protocol导入redis数据库

100W笔数据大约10来S左右就可以导入了

/tmp]#cat data2.txt | redis-cli --pipe

All data transferred. Waiting for the last reply...

Last reply received from server.

errors: 0, replies: 999999

导入时的监控

redis-cli stat获取性能指标

KPI说明

选项含义

keysserver中key的数量

mem键值对的总内存量

clients当前连接的总clients数量

blocked当前阻塞的客户端数量

requests服务器请求总次数 (+1) 截止上次请求增加次数

connections服务器连接次数

~]# redis-cli -p 6382 --stat

------- data ------ --------------------- load -------------------- - child -

keys mem clients blocked requests connections

11197893 5.85G 35 0 603998 (+0) 276

11197893 5.85G 35 0 604002 (+4) 276

11197893 5.85G 35 0 604006 (+4) 276

11197893 5.85G 35 0 604026 (+20) 276

11197891 5.85G 35 0 604046 (+20) 276

11197891 5.85G 35 0 604050 (+4) 276

11197891 5.85G 35 0 604054 (+4) 276

11197890 5.85G 35 0 604058 (+4) 276

11197890 5.85G 35 0 604078 (+20) 276

11197890 5.85G 35 0 604098 (+20) 276

11197890 5.85G 35 0 604102 (+4) 276

11197890 5.85G 35 0 604106 (+4) 276

11197890 5.85G 35 0 604110 (+4) 276

参考:

Redis Mass Insertion – Redis

Redis Mass Insertion – Redis

redis-cli, the Redis command line interface – Redis