Spark jdbc 的并发的问题
mhr18 2024-12-27 16:19 20 浏览 0 评论
大家使用spark比较熟的，都了解到spark可以通过jdbc这个API 可以访问 oracle的数据。
而且也可以在
def jdbc(
url: String,
table: String,
predicates: Array[String],//这里就是传入进去的sql,可以是多个sql，这样就能并发向oracle查询数据了
connectionProperties: Properties): DataFrame = {
assertNoSpecifiedSchema("jdbc")
// connectionProperties should override settings in extraOptions.
val params = extraOptions.toMap ++ connectionProperties.asScala.toMap
val options = new JDBCOptions(url, table, params)
val parts: Array[Partition] = predicates.zipWithIndex.map { case (part, i) =>
JDBCPartition(part, i) : Partition
}
val relation = JDBCRelation(parts, options)(sparkSession)
sparkSession.baseRelationToDataFrame(relation)
}只是，这样有问题：
问题一：并发的个数不能控制，如果
predicates的长度是9
exectors的个数是3
cpu的core是3，那么运行这个任务的时候，就会启动 9个task，那问题来了，这么高的并发向oracle发起查询，对oracle的压力大。
可以通过 coalesce 来避免。
其次，这9个task运行的时间差 可能有的task 运行的时间点早，有的晚。
这样触发的是导数据任务，根据update_time进行导入，那么导入的数据在区间A中的一条恰好更新了，更新后应该进入 区间B 中，而这个时候，区间B的任务已经跑完了，因为运行的早。
那么这条记录就会丢失，这算是严重的问题了。
一：需要设置oracle的 isolationLevel,改成 REPEATABLE_READ
二：针对 9句sql，前面8句 可以并发操作，最后一条sql ，等前面8个任务执行完成后，才执行。
这样就可以了。因为 虽然数据会发生变化，变化的时候 updated_time肯定是系统最新的时间，那么这个时间肯定会落入 最后一句sql中，而且 因为 最后一个任务是最后执行，所以就没有问题了。（这里有个注意点：最后一句的sql区间 必须要确定 更新的时间点 一定要落在区间中才行）
相关推荐
- Java培训机构,你选对了吗?（java培训机构官网）
-
如今IT行业发展迅速，不仅是大学生，甚至有些在职的员工都想学习java开发，需求量的扩大，薪资必定增长，这也是更多人选择java开发的主要原因。不过对于没有基础的学员来说，java技术不是一两天就能...
- 产品经理MacBook软件清单-20个实用软件
-
三年前开始使用MacBookPro，从此再也不想用Windows电脑了，作为生产工具，MacBook可以说是非常胜任。作为产品经理，值得拥有一台MacBook。MacBook是工作平台，要发挥更大作...
- RAD Studio(Delphi) 本月隆重推出新的版本12.3
-
#在头条记录我的2025#自2024年9月，推出Delphi12.2版本后，本月隆重推出新的版本12.3，RADStudio12.3，包含了Delphi12.3和C++builder12.3最...
- 图解Java垃圾回收机制，写得非常好
-
什么是自动垃圾回收？自动垃圾回收是一种在堆内存中找出哪些对象在被使用，还有哪些对象没被使用，并且将后者删掉的机制。所谓使用中的对象（已引用对象），指的是程序中有指针指向的对象；而未使用中的对象（未引用...
- Centos7 初始化硬盘分区、挂载(针对2T以上)添加磁盘到卷
-
1、通过命令fdisk-l查看硬盘信息：#fdisk-l，发现硬盘为/dev/sdb大小4T。2、如果此硬盘以前有过分区，则先对磁盘格式化。命令：mkfs.文件系统格式-f/dev/sdb...
- 半虚拟化如何提高服务器性能（虚拟化 半虚拟化）
-
半虚拟化是一种重新编译客户机操作系统(OS)将其安装在虚拟机(VM)上的一种虚拟化类型，并在主机操作系统(OS)运行的管理程序上运行。与传统的完全虚拟化相比，半虚拟化可以减少开销，并提高系统性能。虚...
- HashMap底层实现原理以及线程安全实现
-
HashMap底层实现原理数据结构：HashMap的底层实现原理主要依赖于数组+链表+红黑树的结构。1、数组:HashMap最底层是一个数组，称为table，它存放着键值对。2、链...
- long和double类型操作的非原子性探究
-
前言“深入java虚拟机”中提到，int等不大于32位的基本类型的操作都是原子操作，但是某些jvm对long和double类型的操作并不是原子操作，这样就会造成错误数据的出现。其实这里的某些jvm是指...
- 数据库DELETE 语句，还保存原有的磁盘空间
-
MySQL和Oracle的DELETE语句与数据存储MySQL的DELETE操作当你在MySQL中执行DELETE语句时：逻辑删除：数据从表中标记为删除，不再可见于查询结果物理...
- 线程池—ThreadPoolExecutor详解（线程池实战）
-
一、ThreadPoolExecutor简介在juc-executors框架概述的章节中，我们已经简要介绍过ThreadPoolExecutor了，通过Executors工厂，用户可以创建自己需要的执...
- navicat如何使用orcale(详细步骤)
-
前言：看过我昨天文章的同鞋都知道最近接手另一个国企项目，数据库用的是orcale。实话实说，也有快三年没用过orcale数据库了。这期间问题不断，因为orcale日渐消沉，网上资料也是真真假假，难辨虚...
- 你的程序是不是慢吞吞?GraalVM来帮你飞起来性能提升秘籍大公开
-
各位IT圈内外的朋友们，大家好！我是你们的老朋友，头条上的IT技术博主。不知道你们有没有这样的经历：打开一个软件，半天没反应；点开一个网站，图片刷不出来；或者玩个游戏，卡顿得想砸电脑？是不是特别上火？...
- 大数据正当时，理解这几个术语很重要
-
目前，大数据的流行程度远超于我们的想象，无论是在云计算、物联网还是在人工智能领域都离不开大数据的支撑。那么大数据领域里有哪些基本概念或技术术语呢？今天我们就来聊聊那些避不开的大数据技术术语，梳理并...
- 秒懂列式数据库和行式数据库（列式数据库的特点）
-
行式数据库（Row-Based）数据按行存储，常见的行式数据库有Mysql，DB2，Oracle，Sql-server等；列数据库（Column-Based）数据存储方式按列存储，常见的列数据库有Hb...
- AMD发布ROCm 6.4更新:带来了多项底层改进，但仍不支持RDNA 4
-
AMD宣布，对ROCm软件栈进行了更新，推出了新的迭代版本ROCm6.4。这一新版本里，AMD带来了多项底层改进，包括更新改进了ROCm的用户空间库和AMDKFD内核驱动程序之间的兼容性，使其更容易...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (56)
- oracle 乐观锁 (53)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)