【开源】一个基于Flink大数据引擎的异构数据源同步系统
mhr18 2024-12-14 11:14 32 浏览 0 评论
一、项目介绍
DatalinkX是一个基于Flink大数据引擎的异构数据源同步系统，本质上就是通过页面配置的方式将数据从从来源数据源将数据同步到目标数据源。
既然是异构数据源流转系统，肯定既可以是相同类型的数据源之间流转，也可以是不同的数据源之间流转，有些年轻的朋友可能会疑惑，为什么要有那么多数据源呢？
在系统设计中，采用最新 JDK8 + SpringBoot2分布式架构，构建高性能大数据量下稳定可靠的数据流转系统。通过学习DatalinkX项目，不仅能了解其运作机制，还能接触最新技术体系带来的新特性，从而拓展技术视野并提升自身技术水平。
DatalinkX前后端分离架构，前端使用Vue + AntDesignUI，在学习过程中，通过前端系统直接调试后端服务，可以避免纯通过接口测试的繁琐，使得学习过程更加流畅高效。
核心功能 ：在不同的异构数据源中进行数据同步，对同步任务进行管理和维护
意义：只要公司规模较大，部门与部门之间有数据协作都应该有类似DatalinkX的项目，比如爬虫组的同事爬下来数据要定时同步到数仓组负责的库下。同步服务会集中管理同步任务，收拢同步日志、提高内部工作效率。
二、特性
- 简单易用：通过Web页面快速创建数据源、同步任务，操作简单，一分钟上手
- 定时触发：对接xxl-job定时，设置cron表达式触发同步任务
- 配置化任务对接：将数据库信息、任务详情界面化配置
- 高性能同步：使用高性能流式flink计算引擎
- 容器化部署：支持docker部署
三、项目技术栈
依赖 | 版本 | 描述 |
Spring Boot | 3.2.1 | 项目脚手架 |
SpringData JPA | 3.2.1 | 持久层框架 |
MySQL | 8.0 | DB数据库 |
ElasticSearch | 7.x | 支持流转的数据库 |
Redis | 5.0 ↑ | 缓存数据库 |
ChunJun(原FlinkX) | 1.10_release | 袋鼠云开源数据同步框架 |
Flink | 1.10.3 | 分布式大数据计算引擎 |
Xxl-job | 2.3.0 | 分布式调度框架 |
Retrofit2 | 2.9.0 | RPC通信服务 |
Jackson | 2.11.4 | 反序列化框架 |
Maven | 3.6.X | Java包管理 |
Vue.js | 2.X | 前端框架 |
AntDesignUI | 3.0.4 | 前端UI |
Docker | 容器化部署 |
四、功能截图
- 登录系统，默认密码admin、admin登录，没有权限相关控制 。
2.数据源管理，配置数据流转数据源信息
3.任务管理，配置from_db与to_db构造job_graph
4.任务级联配置
5.任务血缘
6.任务调度
7.任务执行
开源地址：关注+点赞+转发，私信【DatalinkX】
相关推荐
- 软考架构师-案例分析之Redis（软考架构师真题）
-
软考架构师考试中，Redis的知识考了很多回，从最近几年来看，案例分析经常考，有的时候单独考，有的时候和其他知识点一起考。Redis过往的考试中，考过的知识如下：1、Redis特点，涉及数据类型、持久...
- 揭秘:视频播放网站如何精准记录用户观看进度
-
在互联网蓬勃发展的当下，视频内容已毫无争议地成为人们获取信息、享受娱乐休闲时光的核心方式。据权威数据统计，全球每天有数十亿小时的视频被观看，视频流量在网络总流量中的占比逐年攀升，预计在未来几年内将超过...
- 量子级一致性!Flink+Redis全局状态管理
-
百万级实时计算任务如何实现亚毫秒级状态访问？本文揭秘Flink+Redis的量子纠缠态状态管理方案，将状态延迟降至0.3ms。引子：实时风控系统的量子跃迁//传统Flink状态管理（基于RocksD...
- 在 Mac 上运行 Redis 的 Docker 容器
-
在Mac上运行Redis的Docker容器，你可以按以下步骤操作，非常简单高效：一、前提要求已安装DockerDesktopforMac可通过终端验证Docker是否可用：d...
- 从 0 到 1:使用 Nginx + Lua 打造高性能 Web 网关
-
在大规模分布式架构中，Web网关扮演着重要角色，负责请求转发、负载均衡、限流、认证等功能。而Nginx+Lua结合可以提供：o高性能：Nginx是目前最流行的高性能Web服务器o动...
- 外贸独立站缓存设置黑科技:用错Redis比没缓存更致命
-
上周帮一个杭州卖家排查网站崩溃问题，发现这老铁把Redis缓存设置成128MB还开着持久化，服务器内存直接炸得比春节红包还彻底——"你这哪是缓存啊，根本是DDoS攻击自己！"最近Clo...
- Spring Boot3 整合 Redis，这些缓存注解你真的会用吗?
-
你在开发SpringBoot3项目时，有没有遇到过这样的困扰？随着项目功能不断增加，数据量逐渐庞大，接口响应速度变得越来越慢，用户体验直线下降。好不容易找到优化方向——引入Redis缓存...
- MySQL处理并发访问和高负载的关键技术和策略
-
MySQL处理并发访问和高负载的关键技术和策略主要包括以下几个方面：一、硬件优化1.CPU：提升CPU处理能力可以明显改善并发处理性能。根据数据库负载，考虑使用更多的CPU核心。2.内存：增加内存可以...
- druid解决高并发的数据库（druid多数据源配置 spring boot）
-
处理高并发的时候可以解决我们java一个核心问题java核心问题就是并发问题解决并发一个是redis一个是线程池的方式现在出来是个druid好像现在解决高并发的方式进行更换数据库的方式操作场景插入频繁...
- 高并发方案最全详解(8大常见方案)
-
关注△mikechen△，十余年BAT架构经验倾囊相授！大家好，我是mikechen睿哥。高并发是大型架构的核心，下面我重点来详解常见8大高并发方案@mikechen文章来源：mikechen.cc分...
- MySQL如何处理并发访问和高负载?（mysql如何处理并发访问和高负载访问）
-
MySQL在处理并发访问和高负载方面，采取了一系列关键技术和策略，以确保数据库系统在面对不断增长的并发需求时维持高效和稳定的性能。以下是对这些技术和策略的详细阐述，旨在全面解析MySQL如何处理并发访...
- Redis高可用集群详解（redis高可用方案以及优缺点）
-
Redis集群与哨兵架构对比Redis哨兵架构在redis3.0以前的版本要实现集群一般是借助哨兵sentinel工具监控master节点状态，如果master节点异常，则会做主从切换，将某一台sla...
- MCP协议重大升级!Spring AI联合阿里Higress，性能提升300%
-
引言：一场颠覆AI通信的技术革命2025年3月，MCP（ModelContextProtocol）协议迎来里程碑式升级——StreamableHTTP正式取代HTTP+SSE成为默认传输层。这一...
- 阿里三面被挂，幸获内推，历经5轮终于拿到口碑offer
-
作者：Java程序猿阿谷来源：https://www.jianshu.com/p/1c8271f03aa5每一个互联网人心中都有一个大厂梦，百度、阿里巴巴、腾讯是很多互联网人梦寐以求的地方，而我也不例...
- 来瞧瞧阿里一面都面些什么(笔试+机试)
-
絮叨说实话，能有机会面一下阿里对我来说帮助确实有蛮多，至少让我知道了自己的不足在哪，都说面试造火箭，上班拧螺丝。但就算是如此，为了生存，你也只有不停的学习，唯有光头，才能更强。哈哈起因2月28日在Bo...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (83)
- php redis (97)
- redis 存储 (67)
- redis 锁 (74)
- 启动 redis (73)
- redis 时间 (60)
- redis 删除 (69)
- redis内存 (64)
- redis并发 (53)
- redis 主从 (71)
- redis同步 (53)
- redis结构 (53)
- redis 订阅 (54)
- redis 登录 (62)
- redis 面试 (58)
- redis问题 (54)
- 阿里 redis (67)
- redis的缓存 (57)
- lua redis (59)
- redis 连接池 (61)