【开源】一个基于Flink大数据引擎的异构数据源同步系统
mhr18 2024-12-14 11:14 23 浏览 0 评论
一、项目介绍
DatalinkX是一个基于Flink大数据引擎的异构数据源同步系统，本质上就是通过页面配置的方式将数据从从来源数据源将数据同步到目标数据源。
既然是异构数据源流转系统，肯定既可以是相同类型的数据源之间流转，也可以是不同的数据源之间流转，有些年轻的朋友可能会疑惑，为什么要有那么多数据源呢？
在系统设计中，采用最新 JDK8 + SpringBoot2分布式架构，构建高性能大数据量下稳定可靠的数据流转系统。通过学习DatalinkX项目，不仅能了解其运作机制，还能接触最新技术体系带来的新特性，从而拓展技术视野并提升自身技术水平。
DatalinkX前后端分离架构，前端使用Vue + AntDesignUI，在学习过程中，通过前端系统直接调试后端服务，可以避免纯通过接口测试的繁琐，使得学习过程更加流畅高效。
核心功能 ：在不同的异构数据源中进行数据同步，对同步任务进行管理和维护
意义：只要公司规模较大，部门与部门之间有数据协作都应该有类似DatalinkX的项目，比如爬虫组的同事爬下来数据要定时同步到数仓组负责的库下。同步服务会集中管理同步任务，收拢同步日志、提高内部工作效率。
二、特性
- 简单易用：通过Web页面快速创建数据源、同步任务，操作简单，一分钟上手
- 定时触发：对接xxl-job定时，设置cron表达式触发同步任务
- 配置化任务对接：将数据库信息、任务详情界面化配置
- 高性能同步：使用高性能流式flink计算引擎
- 容器化部署：支持docker部署
三、项目技术栈
依赖 | 版本 | 描述 |
Spring Boot | 3.2.1 | 项目脚手架 |
SpringData JPA | 3.2.1 | 持久层框架 |
MySQL | 8.0 | DB数据库 |
ElasticSearch | 7.x | 支持流转的数据库 |
Redis | 5.0 ↑ | 缓存数据库 |
ChunJun(原FlinkX) | 1.10_release | 袋鼠云开源数据同步框架 |
Flink | 1.10.3 | 分布式大数据计算引擎 |
Xxl-job | 2.3.0 | 分布式调度框架 |
Retrofit2 | 2.9.0 | RPC通信服务 |
Jackson | 2.11.4 | 反序列化框架 |
Maven | 3.6.X | Java包管理 |
Vue.js | 2.X | 前端框架 |
AntDesignUI | 3.0.4 | 前端UI |
Docker | 容器化部署 |
四、功能截图
- 登录系统，默认密码admin、admin登录，没有权限相关控制 。
2.数据源管理，配置数据流转数据源信息
3.任务管理，配置from_db与to_db构造job_graph
4.任务级联配置
5.任务血缘
6.任务调度
7.任务执行
开源地址：关注+点赞+转发，私信【DatalinkX】
相关推荐
- MYSQL数据同步（mysql数据同步方式）
-
java开发工程师在实际的开发经常会需要实现两台不同机器上的MySQL数据库的数据同步，要解决这个问题不难，无非就是mysql数据库的数据同步问题。但要看你是一次性的数据同步需求，还是定时数据同步，亦...
- SpringBoot+Redis实现点赞收藏功能+定时同步数据库
-
由于点赞收藏都是高频率的操作，如果因此频繁地写入数据库会造成数据库压力比较大，因此采用redis来统计点赞收藏浏览量，之后定时一次性写入数据库中，缓解数据库地压力。一.大体思路设计redis中的储存结...
- 双11订单洪峰:Codis代理层如何扛住Redis集群搞不定的120万QPS?
-
双11订单洪峰下的技术挑战每年的双11购物节，都是对电商平台技术架构的极限考验。当零点钟声敲响，海量用户瞬间涌入，订单量呈指数级增长，系统需要承受每秒数十万甚至上百万次的请求。作为电商系统的核心组件之...
- 基于spring boot + MybatisPlus 商城管理系统的Java开源商城系统
-
前言Mall4j项目致力于为中小企业打造一个完整、易于维护的开源的电商系统，采用现阶段流行技术实现。后台管理系统包含商品管理、订单管理、运费模板、规格管理、会员管理、运营管理、内容管理、统计报表、权限...
- 商品券后价产品设计方案（显示券后价）
-
如何设计一套高效、准确且稳定的券后价计算系统，是电商产品设计中的关键挑战之一。本文详细介绍了商品券后价的产品设计方案，从背景目标、功能设计、系统实现逻辑到异常处理机制等多个方面进行了全面阐述。一、背景...
- 外观(门面)模式-Java实现（java 门面模式）
-
定义外观模式（FacadePattern），也叫门面模式，原始定义是：为了子系统中的一组接口提供统一的接口。定义一个更高级别的接口，使子系统更易于使用。大大降低应用程序的复杂度，提高了程序的可维护性...
- Mall - 用 SpringBoot 实现一个电商系统
-
目前最为主流的Web开发技术，包括SpringBoot、MyBatis、MongoDB、Kibina、Docker、Vue等，都是开发者十分需要掌握的技术。有没有一个全面而又实际的项目，能把这...
- 腾讯云国际站:哪些工具能实现可视化运维?
-
本文由【云老大】TG@yunlaoda360撰写开源工具Grafana：开源的可视化平台，可与Prometheus、Elasticsearch、MySQL等多种数据源集成，将复杂监控数据转化...
- 系统稳定性保障全流程实战:事前、事中、事后 Java 代码详解
-
在互联网架构中，系统稳定性是生命线。本文基于“事前预防、事中管控、事后复盘”三阶段模型，结合Java实战代码，深度解析如何构建高可用系统，让你的服务稳如磐石！一、事前：未雨绸缪，筑牢防线1.发...
- Java面试题:拆分微服务应该注意哪些地方方，如何拆分?
-
在拆分微服务时，需要综合考虑业务、技术和组织等多方面因素，以下是关键注意事项及拆分策略的详细说明：一、拆分注意事项1.业务边界清晰化单一职责原则：每个服务应专注于单一业务能力，例如订单服务仅处理订单...
- 软件性能调优全攻略:从瓶颈定位到工具应用
-
性能调优是软件测试中的重要环节，旨在提高系统的响应时间、吞吐量、并发能力、资源利用率，并降低系统崩溃或卡顿的风险。通常，性能调优涉及发现性能瓶颈、分析问题根因、优化代码和系统配置等步骤，调优之前需要先...
- Docker Compose实战，多容器协同编排的利器，让开发部署更高效!
-
开篇导读你是否有过这样的经历？启动一个项目，数据库、Redis、Web服务得一个个敲dockerrun？想让别人复现你的开发环境，却得发一堆复杂的启动命令？明明都是容器，为什么不能“一键启动”所...
- 如何设计Agent的记忆系统（agent记忆方法）
-
最近看了一张画Agent记忆分类的图我觉得分类分的还可以，但是太浅了，于是就着它的逻辑，仔细得写了一下在不同的记忆层，该如何设计和选型先从流程，作用，实力和持续时间的这4个维度来解释一下这几种记忆：1...
- 不了解业务和技术术语怎么做好产品和项目?
-
基础技术术语术语分类解释API开发技术应用程序接口，不同系统间数据交互的协议（如支付接口、地图接口）。SDK开发工具软件开发工具包，包含API、文档和示例代码，帮助快速接入服务。RESTfulAPI...
- Docker 架构详解与核心概念实战图解:一文读懂容器的前世今生
-
不懂Docker架构，你只是“用容器的人”；理解了它的底层逻辑，才能成为真正的高手！在学习Docker之前，很多同学可能会陷入一个误区：“反正我用dockerrun就能跑起服务，架构这种...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)