DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。

而 DataX-Web 是在 DataX 的基础上进一步开发的分布式数据同步工具，提供简单易用的 操作界面，降低用户使用DataX的学习成本，缩短任务配置时间，避免配置过程中出错，是数据迁移、上云、同步、管理的强大工具。

简介

DataX-Web，是 WeiYe-Jing 在 Github 上开源的可视化分布式数据同步工具，目前版本为 v-2.1.2。

用户可通过页面选择数据源即可创建数据同步任务，支持RDBMS、Hive、HBase、ClickHouse、MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl-job可根据时间、自增主键增量同步数据。

任务"执行器"支持集群部署，支持执行器多节点路由策略选择，支持超时控制、失败重试、失败告警、任务依赖，执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。

使用

DataX-Web 需要 Java 8，JDK 版本建议 1.8.201 以上，和 Python 2.7 以及 MySQL 5.7。

要安装部署 DataX-Web，首先需要安装 DataX，可以之间下载 DataX 工具包，也可以下载 DataX 源码进行编译打包。安装 DataX-Web，可以直接从项目下载 tar 包，解压后，执行一键安装脚本：

./bin/install.sh

脚本会交互式要求输入自定义配置，包括数据库配置等。安装完成后，可以对 /modules/datax-admin/bin/env.properties 修改进行一些自定义配置。完成后，运行脚本一键启动所有服务：

./bin/start-all.sh

部署完成后，在浏览器中输入 datax-admin 所在的服务地址，就可以访问对应的主界面了。

DataX-Web 功能强大，包括：

• 通过Web构建DataX Json
• Web实时查看抽取日志，类似Jenkins的日志控制台输出功能
• 支持DataX定时任务，支持动态修改任务状态、启动/停止任务，以及终止运行中任务，即时生效
• 调度采用中心式设计，支持集群部署
• 运行报表：支持实时查看运行数据，以及调度报表，如调度日期分布图，调度成功分布图等
• 任务类型由原来DataX任务扩展到Shell任务、Python任务、PowerShell任务
• 添加HBase和MongoDB数据源支持
• 任务失败重试：支持自定义任务失败重试次数，当任务失败时将会按照预设的失败重试次数主动进行重试
• 任务失败告警；默认提供邮件方式失败告警，同时预留扩展接口，可方便地扩展短信、钉钉等告警方式
• ……

进入后台后，我们可以进行执行器的配置。执行器调度使用开源项目 xxl-job 实现，我们可以在 DataX-Web 创建一个执行器：

进行包括 AppName、名称、排序、注册方式和机器地址等的配置：

• AppName：每个执行器集群的唯一标示AppName
• 名称: 执行器的名称
• 注册方式：调度中心获取执行器地址的方式（自动注册，手动录入）
• 机器地址："注册方式"为"手动录入"时有效，支持人工维护执行器的地址信息

DataX-Web 支持批量创建任务，通过用户优化的方式，初步完成创建：

DataX-Web 提供了任务列表，可以随时启动或停止任务，也可以查看任务的注册节点、触发时间、和详细运行日志等信息。

DataX-Web 还提供了任务资源的实时监控面板，可以十分直观地进行资源使用情况的监控。

总结

DataX-Web 在 DataX 的基础上，提供了更为强大的任务调度、更为直观的的可视化 Web 管理后台，和更为方便高效的插件和扩展，为数据的迁移同步等提供了可靠便捷的工具。