ElastiCache for Redis简介:ElastiCache for Redis是AWS提供的基于原生的Redis做二次开发并提供缓存服务的托管业务,完全兼容原生Redis的API,通过ElastiCache for Redis服务可以省去我们在普通Linux服务器上部署和维护Redis的成本,让我们更专注于业务本身.

但是使用ElastiCache for Redis也会带来以下问题.

1. 更高的费用:例如我们在AWS ec2上部署一台同等2核16GB内存大小的Linux实例,价格为￥595.00/月,使用ElastiCache for Redis单节点的费用是￥2331.00/月.

2. 升级不便,在ec2上部署redis集群后可以在线升级Redis版本或者内存大小,但是使用ElastiCache for Redis需要将整个集群重启,缓存业务需要暂停.

3. 监控不便,虽然ElastiCache for Redis提供了监控指标,但是不够详细,无法深入到Redis内部.

现在我们将一台ElastiCache for Redis单节点的实例迁移到AWS ec2的Linux实例

这里注意:我们在ElastiCache for Redis的版本是2.8.4,在ec2的Linux实例Redis版本是5.0.9

在ec2 Linux实例部署Redis

这里需要特别注意的是,部署Redis时不要启动AOF持久化功能,仅启用RDB持久化功能即可,这是因为如果同时开启了AOF和RDB持久化,Redis启动时会优先读取AOF文件,导致无法加载RDB文件,备份ElastiCache for Redis时实际上是使用BGSAVE产生一个RDB文件.

在Elasticache的默认区域创建Amazon S3存储桶

S3: 可以简单理解为文件服务器

存储桶: 可以简单理解为文件服务器中最上层的一个文件夹,你可以在这个最上层的文件夹里创建子文件夹或者存放数据,

授予ElastiCache对默认区域中的S3存储桶的访问权限

为了使 ElastiCache 能够向 Amazon S3 存储桶复制快照，需要为其授予该存储桶的访问权限,按照如下所示

手动对ElastiCache for Redis做备份

以下利用aws的命令行界面创建备份,也可以使用AWS的web操作

$ /usr/local/bin/aws elasticache create-snapshot \
    --region us-east-1 \
    --cache-cluster-id ec1d-userredis-01 \
    --snapshot-name dump-20200711

输出log

{
    "Snapshot": {
        "Engine": "redis", 
        "CacheParameterGroupName": "ec1d-userredis-20160726", 
        "VpcId": "vpc-e8ba5383", 
        "TopicArn": "arn:aws:sns:us-east-1:269547223311:NOC-DBA", 
        "CacheClusterId": "ec1d-userredis-01", 
        "SnapshotRetentionLimit": 7, 
        "NumCacheNodes": 1, 
        "SnapshotName": "dump-20200711", 
        "CacheClusterCreateTime": "2016-02-04T20:05:10.901Z", 
        "AutoMinorVersionUpgrade": true, 
        "PreferredAvailabilityZone": "us-east-1e", 
        "SnapshotStatus": "creating", 
        "SnapshotSource": "manual", 
        "SnapshotWindow": "08:01-09:01", 
        "EngineVersion": "2.8.24", 
        "NodeSnapshots": [
            {
                "CacheSize": "", 
                "CacheNodeId": "0001", 
                "CacheNodeCreateTime": "2016-02-04T20:05:10.901Z"
            }
        ], 
        "CacheSubnetGroupName": "ecachesubnetgroup", 
        "Port": 6379, 
        "PreferredMaintenanceWindow": "sun:10:01-sun:11:01", 
        "CacheNodeType": "cache.m3.medium"
    }
}

将ElastiCache备份导出到Amazon S3存储桶

备份完成后,我们将备份文件上传到刚才创建的S3存储通

以下利用aws的命令行界面创建备份,也可以使用AWS的web操作

$ /usr/local/bin/aws elasticache copy-snapshot \
    --region us-east-1 \
    --source-snapshot-name dump-20200711 \
    --target-snapshot-name dump-20200711 \
    --target-bucket redis-dump

输出log

{
    "Snapshot": {
        "Engine": "redis", 
        "CacheParameterGroupName": "ec1d-userredis-20160726", 
        "VpcId": "vpc-e8ba5383", 
        "TopicArn": "arn:aws:sns:us-east-1:269505453311:DB-OWNER", 
        "CacheClusterId": "ec1d-userredis-01", 
        "SnapshotRetentionLimit": 7, 
        "NumCacheNodes": 1, 
        "SnapshotName": "dump-20200711", 
        "CacheClusterCreateTime": "2016-02-04T20:05:10.901Z", 
        "AutoMinorVersionUpgrade": true, 
        "PreferredAvailabilityZone": "us-east-1e", 
        "SnapshotStatus": "exporting", 
        "SnapshotSource": "manual", 
        "SnapshotWindow": "08:01-09:01", 
        "EngineVersion": "2.8.24", 
        "NodeSnapshots": [
            {
                "CacheSize": "16 MB", 
                "SnapshotCreateTime": "2020-07-11T11:46:55Z", 
                "CacheNodeId": "0001", 
                "CacheNodeCreateTime": "2016-02-04T20:05:10.901Z"
            }
        ], 
        "CacheSubnetGroupName": "ecachesubnetgroup", 
        "Port": 6379, 
        "PreferredMaintenanceWindow": "sun:10:01-sun:11:01", 
        "CacheNodeType": "cache.m3.medium"
    }
}

上传完成后可以在刚才创建的存储桶中看到

将ec2 Linux实例部署的Redis服务停止

$ ps aux |grep redis
redis    18734  0.1  0.2 178608 16276 ?        Ssl  18:03   0:12 redis-server 0.0.0.0:6379
redis    25857  0.0  0.0 112708   984 pts/4    S+   20:02   0:00 grep --color=auto redis
$ kill -9 18734

将Amazon S3存储桶的的ElastiCache备份导出到ec2 Linux实例

从S3存储桶将备份下载

$ /usr/local/bin/aws s3 cp s3://redis-dump/dump-20200711-0001.rdb .

将原来的dump.rdb数据文件删除,将备份文件重命名为dump.rdb

$ rm -rf dump.rdb
$ mv dump-20200711-0001.rdb dump.rdb

将ec2 Linux实例部署的Redis服务启动

$ redis-server ../conf/redis.conf
$ redis-cli
127.0.0.1:6379> info keyspace
# Keyspace
db0:keys=1,expires=0,avg_ttl=0
db1:keys=49,expires=0,avg_ttl=0
db2:keys=3370,expires=0,avg_ttl=0
db4:keys=489,expires=489,avg_ttl=75256404
db6:keys=421,expires=421,avg_ttl=75155522
db7:keys=1589,expires=0,avg_ttl=0
db8:keys=43827,expires=0,avg_ttl=0
db9:keys=2,expires=2,avg_ttl=53112235596
db13:keys=554,expires=554,avg_ttl=12508995435

从以上可以看到,redis启动后自动从我们备份的dump.rdb文件读取key-value的信息并加载到内存.

执行BGSAVE生成一个新的RDB文件

这里简单介绍一下,RDB文件是一个二进制文件,每个Redis发布版本的都会有对应一个RDB文件版本(当然也可能Redis小版本发布后沿用之前的RDB版本),Redis2.8.4的RDB版本是00006,而Redis5.0.9的RDB版本是00009,因为我们加载备份后还没有重启Redis或者执行SAVE/BGSAVE,所以RDB文件保存的还是以前的旧版本,可以通过下列命令查看

$ od -c dump.rdb | less
0000000   R   E   D   I   S   0   0   0   6 376  \0  \0   %   E   l   a
......

其中"0 0 0 6"就是代表的RDB文件的版本

手动执行BGSAVE生成一个新的RDB文件

127.0.0.1:6379> bgsave
Background saving started

通过log可以看到BGSAVE是否执行完成

26264:M 11 Jul 2020 20:18:31.479 * Background saving started by pid 26724
26724:C 11 Jul 2020 20:18:31.942 * DB saved on disk
26724:C 11 Jul 2020 20:18:31.944 * RDB: 0 MB of memory used by copy-on-write
26264:M 11 Jul 2020 20:18:32.039 * Background saving terminated with success

此时我们再次查看RDB文件版本

$ od -c dump.rdb | less
0000000   R   E   D   I   S   0   0   0   9 372  \t   r   e   d   i   s

可以看到RDB文件的版本号已经变成其中"0 0 0 9"了