redis做mysql的缓存，怎么把redis数据和mysql数据同步

一、为什么使用缓存？

当网站需要处理和访问量都非常大的时候，我们的数据库的压力就会变得非常大了，数据库的连接池，数据库同时处理数据的能力就会受到很大的挑战，一旦数据库承受了其最大承受能力，网站的数据处理效率就会大打折扣。此时就要使用高并发处理、负载均衡和分布式数据库，而这些技术既花费人力，又花费资金。

二、什么是redis缓存到mysql？

Redis其实就是说把表中经常访问的记录放在了Redis中，然后用户查询时先去查询Redis再去查询MySQL，确实实现了读写分离，也就是Redis只做读操作。

由于缓存在内存中，所以查询会很快。对于一个sql语句格式的数据请求，首先计算该语句的MD5并据此得到结果集标识符，然后利用该标识符在Redis中查找该结果集。

注意，结果集中的每一行都有一个相应的键，这些键都存储在一个Redis集合结构中。如果Redis中不存在这样一个集合，说明要找的结果集不在Redis中，所以需要执行相应的sql语句，在Mysql中查询到相应的结果集，然后按照上面所说的办法把结果集中的每一行以字符串或哈希的形式存入Redis。

三、为什么使用redis做mysql的缓存，还有其他缓存策略吗？

Memcatched和Redis

1.性能上

性能上都很出色，具体到细节，由于Redis只使用单核，而Memcached可以使用多核，所以平均每一个核上Redis在存储小数据时比Memcached性能更高。

而在100k以上的数据中，Memcached性能要高于Redis，虽然Redis最近也在存储大数据的性能上进行优化，但是比起 Memcached，还是稍有逊色。

2.内存空间和数据量大小

MemCached可以修改最大内存，采用LRU算法。Redis增加了VM的特性，突破了物理内存的限制。

3.操作便利上

MemCached数据结构单一，仅用来缓存数据，而Redis支持更加丰富的数据类型，也可以在服务器端直接对数据进行丰富的操作,这样可以减少网络IO次数和数据体积。

4.可靠性上

MemCached不支持数据持久化，断电或重启后数据消失，但其稳定性是有保证的。Redis支持数据持久化和数据恢复，允许单点故障，但是同时也会付出性能的代价。

5.应用场景

Memcached：动态系统中减轻数据库负载，提升性能；做缓存，适合多读少写，大数据量的情况（如人人网大量查询用户信息、好友信息、文章信息等）。Redis：适用于对读写效率要求都很高，数据处理业务复杂和对安全性要求较高的系统（如新浪微博的计数和微博发布部分系统，对数据安全性、读写要求都很高）。

四、MySQL与Redis缓存的同步的两种方案

• 方案1：通过MySQL自动同步刷新Redis，MySQL触发器+UDF函数实现
• 方案2：解析MySQL的binlog实现，将数据库中的数据同步到Redis

一、方案1（UDF）

• 场景分析： 当我们对MySQL数据库进行数据操作时，同时将相应的数据同步到Redis中，同步到Redis之后，查询的操作就从Redis中查找
• 过程大致如下：
• 在MySQL中对要操作的数据设置触发器Trigger，监听操作
• 客户端向MySQL中写入数据时，触发器会被触发，触发之后调用MySQL的UDF函数
• UDF函数可以把数据写入到Redis中，从而达到同步的效果

• 方案分析：
• 这种方案适合于读多写少，并且不存并发写的场景
• 因为MySQL触发器本身就会造成效率的降低，如果一个表经常被操作，这种方案显示是不合适的

演示案例

.下面是MySQL的表

• 下面是UDF的解析代码

• 定义对应的触发器

二、方案2（解析binlog）

• 在介绍方案2之前我们先来介绍一下MySQL复制的原理，如下图所示：
• 主服务器操作数据，并将数据写入Bin log
• 从服务器调用I/O线程读取主服务器的Bin log，并且写入到自己的Relay log中，再调用SQL线程从Relay log中解析数据，从而同步到自己的数据库中

• 方案2就是：
• 上面MySQL的整个复制流程可以总结为一句话，那就是：从服务器读取主服务器Bin log中的数据，从而同步到自己的数据库中
• 我们方案2也是如此，就是在概念上把主服务器改为MySQL，把从服务器改为Redis而已（如下图所示），当MySQL中有数据写入时，我们就解析MySQL的Bin log，然后将解析出来的数据写入到Redis中，从而达到同步的效果

• 例如下面是一个云数据库实例分析：
• 云数据库与本地数据库是主从关系。云数据库作为主数据库主要提供写，本地数据库作为从数据库从主数据库中读取数据
• 本地数据库读取到数据之后，解析Bin log，然后将数据写入写入同步到Redis中，然后客户端从Redis读数据

• 这个技术方案的难点就在于： 如何解析MySQL的Bin Log。但是这需要对binlog文件以及MySQL有非常深入的理解，同时由于binlog存在Statement/Row/Mixedlevel多种形式，分析binlog实现同步的工作量是非常大的

Canal开源技术

• canal是阿里巴巴旗下的一款开源项目，纯Java开发。基于数据库增量日志解析，提供增量数据订阅&消费，目前主要支持了MySQL（也支持mariaDB）
• 开源参考地址有：https://github.com/liukelin/canal_mysql_nosql_sync
• 工作原理（模仿MySQL复制）：
• canal模拟mysql slave的交互协议，伪装自己为mysql slave，向mysql master发送dump协议
• mysql master收到dump请求，开始推送binary log给slave（也就是canal）
• canal解析binary log对象（原始为byte流）

• 架构：
• eventParser (数据源接入，模拟slave协议和master进行交互，协议解析)
• eventSink (Parser和Store链接器，进行数据过滤，加工，分发的工作)
• eventStore (数据存储)
• metaManager (增量订阅&消费信息管理器)
• server代表一个canal运行实例，对应于一个jvm
• instance对应于一个数据队列 （1个server对应1..n个instance)
• instance模块：

• 大致的解析过程如下：
• parse解析MySQL的Bin log，然后将数据放入到sink中
• sink对数据进行过滤，加工，分发
• store从sink中读取解析好的数据存储起来
• 然后自己用设计代码将store中的数据同步写入Redis中就可以了
• 其中parse/sink是框架封装好的，我们做的是store的数据读取那一步

• 更多关于Cancl可以百度搜索
• 下面是运行拓扑图

• MySQL表的同步，采用责任链模式，每张表对应一个Filter 。例如zvsync中要用到的类设计如下：

• 下面是具体化的zvsync中要用到的类 ，每当新增或者删除表时，直接进行增删就可以了

三、附加

本文上面所介绍的都是从MySQL中同步到缓存中。

但是在实际开发中可能有人会用下面的方案：

• 
  
• 1、客户端有数据来了之后，先将其保存到Redis中，然后再同步到MySQL中
• 
  
• 2、这种方案本身也是不安全/不可靠的，因此如果Redis存在短暂的宕机或失效，那么会丢失数据
• 
  

下一篇：压箱底Redis面试集 -1.说说Redis基本数据类型有哪些吧