XXL-Job 支持 Oracle 改造过程及注意事项
mhr18 2024-09-15 21:48 24 浏览 0 评论
背景
XXL-Job 默认支持 MySQL 数据库,为了解决多数据库兼容问题,上周做了 Oracle 和 Postgre 的验证测试,本文记录改造 Oracle 的过程及问题。
难料的问题有两个:
- Oracle 区分大小写,而 MySQL 不区分,直接将数据从 MySQL 数据库传输到 Oracle 连接库中,所有的查询会失效。一直用 MySQL ,把 Oracle 这个基础特性给忘记了。
- Oracle 数据库所在的服务器时间和 Executor 部署机时间不同步,会导致自动检测上下线失效,时钟同步是分布式系统的一个基本保证。
第一,数据传输
首先,数据传输。还是选择用 Navicat 的数据传输功能,好处是可以保证建表语句与当前的 XXL-Job 版本一致。虽然网上有很多改造 XXL-Job 支持其他数据库的案例,但是版本不一致,最新版本是 2.3.0 ,我选择的也是这个版本,所以还是自己整理初始化 SQL 语句比较保险。
其次,从 Oracle 中导出数据库的建表语句,命名为 xxl-job-oracle.sql。查看 Oracle 的表,看到由于从 MySQL 数据库导入的,所有的表和字段名称都是小写,到了 Oracle 中都被默认加上了转义符号 "" ,会导致查询报 SQL 异常,表或视图不存在。
第三,格式化 xxl-job-oracle.sql,文件,用 EditPlus 打开后直接编辑替换为大写。所有的字段和表名大写后,项目中的 MyBatis 映射查询虽然都是小写,但是会默认转成大写,程序就能正确运行。
第四,还原两条初始化语句 XXL_JOB_GROUP 表中的 APP_NAME 字段,插入数据的内容还是小写,另外一条是 XXL_JOB_USRR 表的数据。
第五,编辑每个表,有几个数值字段,且标识为 Not null 的字段,必须设置默认值。官方给出的 MySQL 建表语句中设置了默认值,但是数据传输到其他数据库时,这项信息就缺失了,所以必须自己调整。
第六,创建自增序列,有 7 张表,需要 7 个下面的序列语句。
create sequence XXL_JOB_GROUP_ID
minvalue 1
maxvalue 999999999999
start with 2
increment by 1
cache 20
cycle;
弄好了建表语句,后面基本上就简单了。
第二步,MyBatis 的 XML 映射
接着是修改 MyBatis 的映射文件,支持 Oracle 的语法,主要体现在:
- 表别名 AS t 需要替换成 t。
- MySQL 转义字符 ` 替换成空格。
- findLogReport 中的包含小写字母别名的字段,需要用双引号转义,保证 SQL 语句正确。
- 所有的 update 语句中,为字段设置 jdbcType 属性。
- 所有的 insert 语句中的自增 ID,插入列加 ID,值为序列值,以 Group 为例:
<insert id="save" parameterType="com.xxl.job.admin.core.model.XxlJobGroup" useGeneratedKeys="true" keyColumn="id" keyProperty="id" >
INSERT INTO xxl_job_group (id, app_name, title, address_type, address_list, update_time)
values ( XXL_JOB_GROUP_SEQ.NEXTVAL,#{appname}, #{title}, #{addressType}, #{addressList}, #{updateTime} )
</insert>
- RegistryMapper 的时间操作,MySQL 的 DATE_ADD 换成 Oracle 的 to_char。
<select id="findDead" parameterType="java.util.HashMap" resultType="java.lang.Integer" >
SELECT t.id
FROM xxl_job_registry t
WHERE to_char(t.update_time,'yyyy-mm-dd HH24:MI:SS') <![CDATA[ < ]]>to_char(sysdate-#{timeout} /24/60/60,'yyyy-mm-dd HH24:MI:SS')
</select>
<select id="findAll" parameterType="java.util.HashMap" resultMap="XxlJobRegistry">
SELECT <include refid="Base_Column_List" />
FROM xxl_job_registry t
WHERE to_char(t.update_time,'yyyy-mm-dd HH24:MI:SS') <![CDATA[ > ]]>to_char(sysdate-#{timeout} /24/60/60,'yyyy-mm-dd HH24:MI:SS')
</select>
- 分页查询前面包裹一层,例如 Group 表的 pageList
SELECT * FROM (
select row_number() over(ORDER BY id DESC) r,<include refid="Base_Column_List" />
FROM xxl_job_group t
<trim prefix="WHERE" prefixOverrides="AND | OR" >
<if test="appname != null and appname != ''">
AND t.app_name like CONCAT(CONCAT('%', #{appname}), '%')
</if>
<if test="title != null and title != ''">
AND t.title like CONCAT(CONCAT('%', #{title}), '%')
</if>
</trim>
) where r between #{offset}+1 and #{offset}+#{pagesize}
第三步,JDBC 连接修改
首先,pom.xml 添加 Oracle 驱动依赖:
<dependency>
<groupId>com.oracle</groupId>
<artifactId>ojdbc6</artifactId>
<version>11.2.0.3</version>
</dependency>
其次,修改 application.properties 配置,主要是连接地址和 Query 语句:
spring.datasource.url=jdbc:oracle:thin:@IP:1521:orcl
spring.datasource.username=username
spring.datasource.password=password
spring.datasource.driver-class-name=oracle.jdbc.driver.OracleDriver
spring.datasource.hikari.connection-test-query=SELECT 1 FROM DUAL
至此,改造完成,完整的 xml 和 建表语句已经上传 CSDN 资源,单机下载。
启示录
兼容性改造,过程其实很简单,但是涉及到的方方面面也不少,需要逐个检查并修正。还碰到一个低级错误,改造 SQL 的时候,没有删掉原来的 SQL ,随手用 IDEA 的注释,结果还引起了意想不到的的问题。
昨天跟踪了一遍 XXL-Job 自动感应执行器上下线的问题,发现是时钟不一致导致的。自动注册和心跳检测的代码相当简洁,有空会继续分析下它的 JobRegistryHelper 类是如何实现的,只有短短的两百多行,但是值得一看。
整理成本文,希望给需要改造的同行一些启示。
相关推荐
- C++开发必知的内存问题及常用的解决方法-经典文章
-
1.内存管理功能问题由于C++语言对内存有主动控制权,内存使用灵活和效率高,但代价是不小心使用就会导致以下内存错误:omemoryoverrun:写内存越界odoublefree:同一块内...
- 缓存用不好,系统崩得早!10条军规让你成为缓存高手
-
凌晨三点,我被电话惊醒:“苏工!首页崩了!”监控显示:缓存命中率0%,数据库QPS10万+,线程阻塞2000+。根本原因竟是同事没加缓存!不会用缓存的程序员,就像不会刹车的赛车手——...
- 彻底搞清楚内存泄漏的原因,如何避免内存泄漏,如何定位内存泄漏
-
作为C/C++开发人员,内存泄漏是最容易遇到的问题之一,这是由C/C++语言的特性引起的。C/C++语言与其他语言不同,需要开发者去申请和释放内存,即需要开发者去管理内存,如果内存使用不当,就容易造成...
- Java中间件-Memcached(Java中间件大全)
-
一、知识结构及面试题目分析缓存技术的大规模使用是互联网架构区别于传统IT技术最大的地方,是整体高并发高性能架构设计中是重中之重的关键一笔,也是互联网公司比较偏好的面试题目。按照在软件系统中所处位置...
- linux内存碎片防治技术(linux内存碎片整理)
-
推荐视频:90分钟了解Linux内存架构,numa的优势,slab的实现,vmalloc原理剖析Linux内核内存分配与回收Linuxkernel组织管理物理内存的方式是buddysystem(伙...
- Redis主从架构详解(redis主从配置详细过程)
-
Redis主从架构搭建Redis主节点配置创建主节点目录(/opt/redis-master),复制redis.conf到该目录下,redis.conf配置项修改#后台启动daemonizeyes...
- 揭开CXL内存的神秘面纱(内存c1)
-
摘要:现代数据中心对内存容量的高需求促进了内存扩展和分解方面的多条创新线,其中一项获得极大关注的工作是基于ComputeeXpressLink(CXL)的内存扩展。为了更好地利用CXL,研究人员建...
- 一文彻底弄懂 TPS RPS QPS(tps cps)
-
以下是关于RPS、QPS、TPS的核心区别与关联的总结,结合实际场景和优化建议:一、核心定义与区别RPS:RequestsPerSecond每秒请求数客户端到服务器的完整请求数量Web服务...
- 用Redis的“集合”找出你和朋友的“共同关注”
-
你是不是在刷抖音、微博、小红书的时候,常常会看到这样的提示:“你和XXX有共同关注的博主/朋友”?或者当你关注了一个新的明星,系统会推荐“你的朋友YYY也关注了这位明星”?这个看似简单的功能背后,其实...
- WOT2016彭哲夫:科班出身开发者对运维人员的期许
-
“运维与开发”是老生常谈的话题,前几天和一个运维人聊天,TA说一些公司运维岗位都不公开招聘了,这让众多运维人员情何以堪?是运维的岗位真的饱和了?是找到合适的运维人才难?还是有这样那样的因素?带着这些疑...
- Java程序员最常用的20%技术总结(java程序员要掌握什么)
-
我听说编程语言,经常使用的是其中20%的技术。在Java这门语言中,这20%包括哪些内容?找到一份Java初级程序员的工作,有哪些是必须掌握的,有哪些是可以现学现卖的?一个完整的Javaweb项目,有...
- 秒杀系统实战(四)| 缓存与数据库双写一致性实战
-
前言微笑挖坑,努力填坑。————已经拥有黑眼圈,但还没学会小猪老师时间管理学的蛮三刀同学本文是秒杀系统的第四篇,我们来讨论秒杀系统中「缓存热点数据」的问题,进一步延伸到数据库和缓存的...
- 头条评论精灵翻牌子(头条评论精灵翻牌子怎么弄)
-
关于“头条评论精灵翻牌子”功能,这通常是指平台通过算法或运营手段,将用户的优质评论随机或定向推送到更显眼的位置(如信息流顶部、独立曝光位等),以提升互动率和用户参与感。以下是详细解析和建议:一、功能理...
- 15个程序员们都应该知道的大模型高级提示词指令模板和示例
-
作为程序员你如何写大模型指令?你写的指令是不是更专业呢?下面是15个程序员使用的专业的大模型指令,如果早知道可以能节省你很多时间。这些指令可以用在chatgpt,deepseek等大模型。1.一键...
- MyBatis-Plus内置的主键生成策略有大坑,要注意!
-
昨天小伙伴使用Mybaits-Plus开发的项目线上(集群、K8S)出现了主键重复问题,其报错如下:Mybatis-Plus启动时会通过com.baomidou.mybatisplus.core.to...
你 发表评论:
欢迎- 一周热门
-
-
Redis客户端 Jedis 与 Lettuce
-
高并发架构系列:Redis并发竞争key的解决方案详解
-
redis如何防止并发(redis如何防止高并发)
-
开源推荐:如何实现的一个高性能 Redis 服务器
-
redis安装与调优部署文档(WinServer)
-
Redis 入门 - 安装最全讲解(Windows、Linux、Docker)
-
一文带你了解 Redis 的发布与订阅的底层原理
-
Redis如何应对并发访问(redis控制并发量)
-
oracle数据库查询Sql语句是否使用索引及常见的索引失效的情况
-
Java SE Development Kit 8u441下载地址【windows版本】
-
- 最近发表
- 标签列表
-
- oracle位图索引 (63)
- oracle批量插入数据 (62)
- oracle事务隔离级别 (53)
- oracle 空为0 (50)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)