数据库同步服务-DatalinkX
mhr18 2024-12-14 11:13 20 浏览 0 评论
项目特性
- 简单易用：通过Web页面快速创建数据源、同步任务，操作简单，一分钟上手
- 定时触发：对接xxl-job定时，设置cron表达式触发同步任务
- 配置化任务对接：将数据库信息、任务详情界面化配置
- 高性能同步：使用高性能流式flink计算引擎
- 容器化部署：支持docker部署
项目技术栈
依赖 | 版本 | 描述 |
Spring Boot | 3.2.1 | 项目脚手架 |
SpringData JPA | 3.2.1 | 持久层框架 |
MySQL | 8.0 | DB数据库 |
ElasticSearch | 7.x | 支持流转的数据库 |
Redis | 5.0 ↑ | 缓存数据库 |
ChunJun(原FlinkX) | 1.10_release | 袋鼠云开源数据同步框架 |
Flink | 1.10.3 | 分布式大数据计算引擎 |
Xxl-job | 2.3.0 | 分布式调度框架 |
Retrofit2 | 2.9.0 | RPC通信服务 |
Jackson | 2.11.4 | 反序列化框架 |
Maven | 3.6.X | Java包管理 |
Vue.js | 2.X | 前端框架 |
AntDesignUI | 3.0.4 | 前端UI |
Docker | 容器化部署 |
启动姿势
中间件
执行 docker compose -p datalinkx up -d 命令将各组件启动
手动搭建组件（linux）：
xxl-job: https://github.com/xuxueli/xxl-job/archive/refs/tags/2.3.0.zip 纯Java项目，可clone代码后打包成jar包启动，xxl-job依赖mysql，需要修改对应数据库地址配置，表结构在/xxl-job-2.3.0/doc/db/tables_xxl_job.sql，导入mysql即可。
flink：https://archive.apache.org/dist/flink/flink-1.10.3/ 选择flink-1.10.3-bin-scala_2.12.tgz下载，解压进入bin目录执行./start-cluster.sh，首次运行默认只有一个任务slot，访问http://localhost:8081 进去flink后台页面。
DB层
执行 /datalinkx-server/src/main/resources/db.sql
后端
- 运行datalinkx-server与datalinkx-job模块datalinkx-server与front交互，依赖mysql、redisdatalinkx-job负责提交、维护任务的生命周期，依赖xxl-job、flink服务启动后会默认使用netty启动${xxl.job.executor.port} 负责监听xxl-job的任务事件任务执行详细信息通过datalinkx-client的rpc能力访问${client.dataserver}如果更改了datalinkx-server端口需要同步更改datalinkx-job配置项${client.dataserver}。${flinkx.path}配置flinkx模块的路径遇到依赖问题执行 mvn clean -U
- flinkx模块为单独的项目需要手动执行mvn clean install -U -Dmaven.test.skip=true -Dcheckstyle.skip=true将插件打包打包后配置好flinkx/flinkconf中flink的地址jobmanager.rpc.address:和端口rest.port即可
前端
yarn install && export NODE_OPTIONS=--openssl-legacy-provider && yarn run serve
相关推荐
- 保持SSH隧道活跃:一个实用的Bash监控脚本
-
引言如果您正在使用AWSDocumentDB或任何位于堡垒主机后面的云托管服务等远程资源，您可能正在使用SSH隧道来安全地访问它们。虽然设置SSH隧道很简单，但保持其活跃状态并监控其状态可能会有些棘...
- 京东大佬问我，为什么说连接池是微服务的关键，你是如何理解的?
-
京东大佬问我，为什么说连接池是微服务的关键，你是如何理解的？我应该如何理解。首先，我需要回忆一下连接池和微服务的基本概念，然后思考它们在微服务架构中的作用和重要性。连接池，数据库连接池，用来管理数据库...
- OOM 血案:5 小时绝地求生，MAT+Arthas 终极排查指南
-
一、血案现场：线上服务突然暴毙2025年4月12日凌晨3点15分，服务突发大规模OOM，三个Pod在10分钟内连续崩溃，Prometheus告警显示JVM堆内存使用率...
- 记Tomcat优化方案
-
Tomcat服务吞吐量评估方案问题：评估方案在一台8核16G的linux服务器上，使用tomcat容器部署服务。在正常情况下如何评估这个tomcat服务可处理的连接数，即服务的吞吐量，请在正常情况下考...
- Java高级面试，常见数据结构的实现原理详细说明及面试总结
-
一、List接口实现类1.ArrayList底层结构：动态数组（Object[]数组）。核心原理：o动态扩容：初始容量为10（JDK1.8），当元素超过容量时，新容量为原容量的1.5倍（old...
- SpringBoot敏感配置项加密与解密实战
-
一、为什么要加密配置？先说说SpringBoot的配置加载机制。我们知道，SpringBoot支持多种配置加载方式，优先级从高到低大概是：命令行参数环境变量application-{profile}....
- 【面试题】nacos 配置管理类型-主配置、共享配置、扩展配置
-
nacos配置管理类型-主配置、共享配置、扩展配置Nacos的配置管理支持多种类型，其中共享配置及其扩展机制（如shared-configs和extension-configs）是微服...
- Spring Boot 的 RedisAutoConfiguration 配置:自动装配到自定义扩展
-
在SpringBoot开发中，Redis作为高性能缓存和分布式数据存储方案被广泛使用。而RedisAutoConfiguration作为SpringBoot自动装配体系的重要组成部分，能...
- Docker图像处理:扩展您的优化工作流程
-
随着应用程序的增长和图像处理需求的增加，传统的优化方法遇到了扩展瓶颈。内存限制、环境不一致和处理瓶颈将图像优化从一个已解决的问题变成了生产环境的噩梦。Docker改变了游戏规则。通过容器化图像处理工作...
- 掌握 Spring 框架这 10 个扩展点，让你的能力更上一层楼
-
当我们提到Spring时，或许首先映入脑海的是IOC（控制反转）和AOP（面向切面编程）。它们可以被视为Spring的基石。正是凭借其出色的设计，Spring才能在众多优秀框架中脱颖而出...
- 简简单单在线文件浏览的功能搞起来很头疼
-
您的系统支持在线预览文件吗？一个小小的问题，背后是无数程序员的爆肝研究，有人说了，我平时打开个文件不是很容易吗？其实不然。文件格式代表着软件行业的底层、高端产出，也代表着经久不衰的使用场景，也是我国底...
- 没硬盘、网盘也能看片自由!NAS一键部署MoonTV，随时随地爽看。
-
本内容来源于@什么值得买APP，观点仅代表作者本人｜作者：羊刀仙有没有一个应用服务，能满足既没有足够预算购置硬盘，也不想依托网盘的朋友的家庭观影需求？之前我介绍过LibreTV，本篇再来看看另一个更...
- 阿里云ECS代理商:如何使用ECS部署Node.js应用?
-
Node.js作为一种高性能、事件驱动的JavaScript运行环境，广泛用于构建实时通信、微服务接口、后台管理系统等现代Web应用。而阿里云ECS服务器以高可用性、灵活配置、安全稳定等优势，为部署N...
- 阿里云数据库代理商:如何提高数据库的查询效率?
-
在现代企业应用中，数据库查询效率对整体系统性能的影响巨大。特别是随着数据量的不断增加，如何提升数据库查询的响应速度，成为了数据库优化的关键任务。阿里云提供了一系列工具和策略，帮助用户提升数据库的查询效...
- 阿里云代理商:阿里云G6ne实例如何承载1.4亿QPS?
-
一、阿里云G6ne实例概述1.1G6ne实例的背景与定位阿里云G6ne实例是基于阿里云自主研发的“飞天”架构设计的高性能云服务器实例，专为大规模、需要高IOPS和低延迟的业务场景设计。它采用了更强大的...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis同步 (53)
- redis结构 (53)
- redis 订阅 (54)
- redis 登录 (62)
- redis 面试 (58)
- redis问题 (54)
- 阿里 redis (67)
- redis的缓存 (57)
- lua redis (59)
- redis 连接池 (64)