秒杀系统必用的内存数据库Redis安装配置以及参数调优管理

一、redis基础与入门实践

1、Redis介绍

Redis是一种高级key-value数据库。它跟memcached类似，不过数据可以持久化，而且支持的数据类型很丰富。有字符串，链表、哈希、集合和有序集合5种。支持在服务器端计算集合的并、交和补集(difference)等，还支持多种排序功能。所以Redis也可以被看成是一个数据结构服务器。Redis的所有数据都是保存在内存中，然后不定期的通过异步方式保存到磁盘上(这称为“半持久化模式”)；也可以把每一次数据变化都写入到一个append only file(aof)里面(这称为“全持久化模式”)。

2、安装redis

$ wget http://download.redis.io/releases/redis-5.0.3.tar.gz
$ cd redis-5.0.3
$ make
$make install
$cp redis.conf /etc/

参数介绍：

make install命令执行完成后，会在redis-5.0.3/src目录下生成本个可执行文件，分别是redis-server、redis-cli、redis-benchmark、redis-check-aof 、redis-check-dump，它们的作用如下：

redis-server：Redis服务器的daemon启动程序

redis-cli：Redis命令行操作工具。也可以用telnet根据其纯文本协议来操作

redis-benchmark：Redis性能测试工具，测试Redis在当前系统下的读写性能

redis-check-aof：数据修复

redis-check-dump：检查导出工具

3、修改系统配置文件，执行命令

a) echo vm.overcommit_memory=1 >> /etc/sysctl.conf
b) sysctl vm.overcommit_memory=1 
或执行echo vm.overcommit_memory=1 >>/proc/sys/vm/overcommit_memory

使用数字含义：

0，表示内核将检查是否有足够的可用内存供应用进程使用；如果有足够的可用内存，内存申请允许；否则，内存申请失败，并把错误返回给应用进程。

1，表示内核允许分配所有的物理内存，而不管当前的内存状态如何。

2，表示内核允许分配超过所有物理内存和交换空间总和的内存

二、redis参数调优与维护管理

1、redis配置文件讲解

Redis配置文件上面我们拷贝到了/etc/redis.conf路径下，其实可以是任意路径。redis.conf文件参数介绍：

bind 127.0.0.1

bind指定redis只接收来自IP对应网卡的请求，如果不进行设置，那么将处理所有请求。bind绑定的是本机的IP地址，准确的说是本机的网卡对应的IP地址，每一个网卡都有一个IP地址，可以设置绑定到哪块网卡上，如果指定了bind，则说明只允许来自指定网卡的Redis请求。如果没有指定，就说明可以接受来自任意一个网卡的Redis请求。

注意，此参数不是设置redis允许来自其他计算机请求的客户端IP地址。

protected-mode yes

此参数是redis3.2版本之后加入的新特性，默认是yes，即开启，这是为了禁止公网直接访问redis新增的设定，用于加强redis安全的。protected-mode在启用状态，redis无法提供对外连接。

要启用redis对外连接功能，有如下两种方法：

1）关闭protected-mode模式

2） 设置访问密码或配置bind IP

tcp-backlog 511

此参数确定了TCP连接中已完成队列(完成三次握手之后)的长度， 默认是511，当然此值不能大于Linux系统定义的/proc/sys/net/core/somaxconn值，而Linux的默认参数值是128。当系统并发量大并且客户端速度缓慢的时候，可以将这二个参数一起设定为一个一样的值。对于负载很大的服务程序来说，默认128太少。一般会将它修改为2048或者更大。在/etc/sysctl.conf中添加:net.core.somaxconn = 2048，然后在终端中执行sysctl -p。

daemonize yes：是否以后台daemon方式运行。

pidfile /var/run/redis.pid： 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定。

port 6379：指定Redis监听端口，默认端口为6379。

timeout 300：当客户端闲置多长时间后关闭连接，如果指定为0，表示服务端不会主动断开连接。

loglevel verbose：指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose。

Logfile ：日志记录方式，默认为标准输出，可指定一个文件，将日志输出到这里。

databases 16：设置开启数据库的数量，默认数据库为0。

# 下面的例子的意思是：

# 900 秒内如果至少有 1 个 key 的值变化，则保存

# 300 秒内如果至少有 10 个 key 的值变化，则保存

# 60 秒内如果至少有 10000 个 key 的值变化，则保存

# 注意：也可以注释掉所有的 save 行来停用保存功能。save表示在一定时间内执行一定数量的写操作时，自动保存快照。可设置多个条件。

save 900 1
save 300 10
save 60 10000

rdbcompression yes：指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大

dbfilename dump.rdb：数据快照文件名（只是文件名，不包括目录）

dir ./ 数据快照的保存目录（这个是目录）

slaveof 192.168.1.100 6379 设置当本机为slave服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步

appendonly no：是否开启appendonlylog，开启的话每次写操作会记一条log，这会提高数据抗风险能力，但影响效率。Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no。

appendfilename appendonly.aof： 指定更新日志文件名，默认为appendonly.aof

appendfsync everysec： 指定更新日志条件，共有3个可选值：

no：表示等操作系统进行数据缓存同步到磁盘（快）

always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）

everysec：表示每秒同步一次（折衷，默认值）

maxmemory 8G：指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区。

maxclients 128：设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息。

2、启动redis

a) $ cd /usr/local/bin

b) ./redis-server /etc/redis.conf

检查是否启动成功

a) $ ps -ef | grep redis

3、Redis监控

首先判断客户端和服务器连接是否正常

# 客户端和服务器连接正常，返回PONG

redis> PING
PONG

# 客户端和服务器连接不正常(网络不正常或服务器未能正常运行)，返回连接异常

redis 127.0.0.1:6379> PING
Could not connect to Redis at 127.0.0.1:6379: Connection refused

Redis 监控最直接的方法就是使用系统提供的 info 命令，只需要执行下面一条命令，就能获得 Redis 系统的状态报告。

redis-cli info

结果会返回 Server、Clients、Memory、Persistence、Stats、Replication、CPU、Keyspace 8个部分。从info大返回结果中提取相关信息，就可以达到有效监控的目的。

先解释下各个参数含义：

# Server
redis_version:2.8.8 # Redis 的版本
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:bf5d1747be5380f
redis_mode:standalone
os:Linux 2.6.32-220.7.1.el6.x86_64 x86_64
arch_bits:64
multiplexing_api:epoll
gcc_version:4.4.7 #gcc版本
process_id:49324 # 当前 Redis 服务器进程id
run_id:bbd7b17efcf108fdde285d8987e50392f6a38f48
tcp_port:6379
uptime_in_seconds:1739082 # 运行时间(秒)
uptime_in_days:20 # 运行时间(天)
hz:10
lru_clock:1734729
config_file:/home/s/apps/RedisMulti_video_so/conf/zzz.conf
# Clients
connected_clients:1 #连接的客户端数量
client_longest_output_list:0
client_biggest_input_buf:0
blocked_clients:0
# Memory
used_memory:821848 #Redis分配的内存总量 
used_memory_human:802.59K
used_memory_rss:85532672 #Redis分配的内存总量(包括内存碎片)
used_memory_peak:178987632
used_memory_peak_human:170.70M #Redis所用内存的高峰值
used_memory_lua:33792
mem_fragmentation_ratio:104.07 #内存碎片比率
mem_allocator:tcmalloc-2.0
# Persistence
loading:0
rdb_changes_since_last_save:0 #上次保存数据库之后，执行命令的次数
rdb_bgsave_in_progress:0 #后台进行中的 save 操作的数量
rdb_last_save_time:1410848505 #最后一次成功保存的时间点，以 UNIX 时间戳格式显示
rdb_last_bgsave_status:ok
rdb_last_bgsave_time_sec:0
rdb_current_bgsave_time_sec:-1
aof_enabled:0 #redis是否开启了aof
aof_rewrite_in_progress:0
aof_rewrite_scheduled:0
aof_last_rewrite_time_sec:-1
aof_current_rewrite_time_sec:-1
aof_last_bgrewrite_status:ok
aof_last_write_status:ok
# Stats
total_connections_received:5705 #运行以来连接过的客户端的总数量
total_commands_processed:204013 # 运行以来执行过的命令的总数量
instantaneous_ops_per_sec:0
rejected_connections:0
sync_full:0
sync_partial_ok:0
sync_partial_err:0
expired_keys:34401 #运行以来过期的 key 的数量
evicted_keys:0 #运行以来删除过的key的数量
keyspace_hits:2129 #命中key 的次数
keyspace_misses:3148 #没命中key 的次数
pubsub_channels:0 #当前使用中的频道数量
pubsub_patterns:0 #当前使用中的模式数量
latest_fork_usec:4391
# Replication
role:master #当前实例的角色master还是slave
connected_slaves:0
master_repl_offset:0
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
# CPU
used_cpu_sys:1551.61
used_cpu_user:1083.37
used_cpu_sys_children:2.52
used_cpu_user_children:16.79
# Keyspace
db0:keys=3,expires=0,avg_ttl=0 #各个数据库的 key 的数量，以及带有生存期的 key 的数量

对redis内存使用监控

如果 Redis 使用的内存超出了可用的物理内存大小，那么 Redis 很可能系统会被杀掉。针对这一点，可以通过 info 命令对 used_memory 和 used_memory_peak 进行监控，为使用内存量设定阀值，并设定相应的报警机制。当然，报警只是手段，重要的是你得预先计划好，当内存使用量过大后，应该做些什么，是清除一些没用的冷数据，还是把 Redis 迁移到更强大的机器上去。

redis持久化数据的问题

如果因为你的机器或 Redis 本身的问题导致 Redis 崩溃了，那么你唯一的救命稻草可能就是 dump 出来的rdb文件了，所以，对 Redis dump 文件进行监控也是很重要的。可以通过对rdb_last_save_time 进行监控，了解最近一次 dump 数据操作的时间，还可以通过对rdb_changes_since_last_save进行监控来获得如果这时候出现故障，会丢失（即已改变）多少数据。