推荐学习

• 开心到飞起！Alibaba百万年薪必备—高性能架构路线已到手
• Redis让我凉在美团一面，摸爬滚打3个月，二战逆袭成功斩获Offer

异构数据源导redis不用找了！DataX二次开发插件rediswriter已上菜

rediswriter代码地址： https://github.com/lijufeng2016/DataX-redis-writer

合并后DataX完整代码地址： https://github.com/lijufeng2016/DataX

一、DataX介绍

DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

二、redis writer插件介绍

• 基本功能

datax插件试的开发模式提供了很大遍历，DataX内部把所有数据都抽象成Record，各个插件只需要按照规范即可。经过一周时间的开发和测试，本插件支持各种异构数据源MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase…导入redis。考虑到性能，本插件做了pipline批量写redis。

rediswriter支持的功能有：

• 导入数据到redis（默认）
• 根据数据源删除redis
• key根据数据源删除hash类型的field

rediswriter支持导入redis的数据类型有：

• string
• list
• hash

• 参数说明

以下参数为datax自定义的json文件的parameter key下面的的参数

• 安装说明

安装时不能单独只编译单独的插件代码，必须把合并rediswriter后的完整DataX代码编译打包，必须要用本人fork并合并后的DataX代码才有用。如果已经安装过DataX，需要覆盖安装

（1）下载源码

#下载代码，本地没装git的可以https://github.com/lijufeng2016/DataX 直接下载
$ git clone git@github.com:lijufeng2016/DataX.git

（2）maven打包

$ cd  {DataX_source_code_home}
$ mvn -U clean package assembly:assembly -Dmaven.test.skip=true

打包成功后的DataX包位于 {DataX_source_code_home}/target/datax/datax/ ，结构如下：

$ cd  {DataX_source_code_home}
$ ls ./target/datax/datax/
bin		conf		job		lib		log		log_perf	plugin		script		tmp

注意需要配置datax的环境变量$DATAX_HOME,并且赋予datax.py的可执行权限

$ chmod 777 $DATAX_HOME/bin/datax.py

进入$DATA_HOME/plugin/writer查看，rediswriter插件目录已存在

三、使用案例

代码结构

案例代码均在源代码地址可以找到：https://github.com/lijufeng2016/DataX-redis-writer/tree/master/src/test/demo。下面以hive表导redis为例

在src/test/demo/data路径下找到建表语句和数据，执行上传数据后，hive表如下：

json文件地址：https://github.com/lijufeng2016/DataX-redis-writer/blob/master/src/test/demo/

• 导入string类型：

执行datax.py hive_to_redis_string.json 后，通过redis客户端查看

• 导入list类型

执行datax.py hive_to_redis_list.json 后，通过redis客户端查看

• 导入hash类型

执行datax.py hive_to_redis_hash.json 后，通过redis客户端查看

删除redis的操作不再赘述，可自己根据demo代码去测试。

redis的这三种数据类型导入已经够用，不用再去单独写udf，只要datax支持的reader，有了它之后，都能写redis！

作者：喜剧之皇

原文链接：https://blog.csdn.net/u013289115/article/details/106277937