SQL*Loader批量插入性能优化（sql批量处理数据）
mhr18 2024-09-13 20:41 40 浏览 0 评论
在工作中频繁收到客户反馈，系统通过SQL*Loader导入数据时非常缓慢。希望对数据导入进行优化。因此对SQL*Loader进行了验证。最终确定各参数对SQL*Loader的影响。
测试说明
本次测试使用的文件一共两个
文件A 共 192MB 合计419849行 表一共49列
文件B 共11.2MB 合计101828行 表一共19列
测试使用的数据以此文件进行构造，由于测试时间较早，测试过程的数据可能存在并非很合理的情况，但不影响测试结论。对测试过程不感兴趣可直接在文末查看结论。
场景一：测试直接路径插入和常规路径插入对性能的影响
结论分析：直接路径插入性能比常规路径插入要快很多，但使用直接路径插入时只能单线程处理，且必须有配套的高水位清理机制，否则可能浪费大量磁盘空间。
场景二：SQL*Loader多开能否加快处理速度
结论分析：SQL*Loader多开并不能加快处理速度
场景三：控制文件和数据文件分开后各参数对性能的影响
结论分析：控制文件和数据文件合并在一起时可能会导致一些参数设置无法完全生效，从而影响性能。
场景四：rows，bindsize和readsize对性能的影响
前期准备：控制文件和数据文件需要分开
结论分析：readsize，rows，bindsize他们之间存在互相影响，需要设置相匹配的值
场景五：历史数据对性能的影响
结论分析：历史数据对性能影响较大
结论总结：
- 使用常规路径插入数据时，可通过参数ROWS来增加批量提交的数量来增加插入速度，但ROWS受bindsize影响，例如每行大小为10字节，ROWS=10000，bindsize=50000，则批次提交大小为10W字节，但是bindsize只有5W，所以批次提交数量实际为5000
- 常规路径插入时如果控制文件和数据文件是同一个文件，则ROWS，bindsize不能完全起作用
- 使用直接路径插入数据，当接口表为空时会比使用常规路径快大约3~4倍。但是随着接口表历史数据的不断增加，逐渐减少为只能快1~2倍左右。主要原因在于需要维护索引。并且使用直接路径插入时大文件比小文件拥有更大的优势。
- 不管使用直接路径还是常规路径随着接口表的数据增大均会影响两种模式的插入速度，主要原因在于索引维护。
- 直接路径写入时大文件比小文件拥有更大的优势。常规路径则相差不大。
- 使用常规路径，开启多个SQLLODER并不会变快反而可能比单个SQLLOADER慢，主要原因是受制于测试机的磁盘IO以及索引的维护。
- 直接路径不能应用于并发环境，且使用直接路径插入时需要考虑对表高水位的清理
- 最后额外提一句，确保你的REDO LOG的设置不会太小
本人主要从事于数据库方面的性能优化，文章首发微信公众号，我会不定期在公众号分享数据库方面的知识（主要为Oracle），如果你对文章内容感兴趣，欢迎关注我的公众号：
唯一的小彬哥
WYDXBG2021
相关推荐
- 【预警通报】关于WebLogic存在远程代码执行高危漏洞的预警通报
-
近日，Oracle官方发布了2021年1月关键补丁更新公告CPU（CriticalPatchUpdate），共修复了包括CVE-2021-2109（WeblogicServer远程代码执行漏洞）...
- 医院信息系统突发应急演练记录（医院信息化应急演练）
-
信息系统突发事件应急预案演练记录演练内容信息系统突发事件应急预案演练参与人员信息科参与科室：全院各部门日期xxxx-xx-xx时间20:00至24:00地点信息科记录：xxx1、...
- 一文掌握怎么利用Shell+Python实现完美版的多数据源备份程序
-
简介：在当今数字化时代，无论是企业还是个人，数据的安全性和业务的连续性都是至关重要的。数据一旦丢失，可能会造成无法估量的损失。因此，如何有效地对分布在不同位置的数据进行备份，尤其是异地备份，成为了一个...
- docker搭建系统环境（docker搭建centos）
-
Docker安装（CentOS7）1.卸载旧版Docker#检查已安装版本yumlistinstalled|grepdocker#卸载旧版本yumremove-ydocker.x...
- 基础篇:数据库 SQL 入门教程（sql数据库入门书籍推荐）
-
SQL介绍什么是SQLSQL指结构化查询语言，是用于访问和处理数据库的标准的计算机语言。它使我们有能力访问数据库，可与多种数据库程序协同工作，如MSAccess、DB2、Informix、M...
- Java21杀手级新特性!3行代码性能翻倍
-
导语某券商系统用这招，交易延迟从12ms降到0.8ms！本文揭秘Oracle官方未公开的Record模式匹配+虚拟线程深度优化+向量API神操作，代码量直降70%！一、Record模式匹配（代码量↓8...
- 一文读懂JDK21的虚拟线程（java虚拟线程）
-
概述JDK21已于2023年9月19日发布，作为Oracle标准Java实现的一个LTS版本发布，发布了15想新特性，其中虚拟线程呼声较高。虚拟线程是JDK21中引入的一项重要特性，它是一种轻量级的...
- 效率!MacOS下超级好用的Linux虚拟工具:Lima
-
对于MacOS用户来说，搭建Linux虚拟环境一直是件让人头疼的事。无论是VirtualBox还是商业的VMware，都显得过于笨重且配置复杂。今天，我们要介绍一个轻巧方便的纯命令行Linux虚拟工具...
- 所谓SaaS（所谓三维目标一般都应包括）
-
2010年前后，一个科技媒体的主编写一些关于云计算的概念性问题，就可以作为头版头条了。那时候的云计算，更多的还停留在一些概念性的问题上。而基于云计算而生的SaaS更是“养在深闺人未识”，一度成为被IT...
- ORA-00600 「25027」 「x」报错（报错0xc0000001）
-
问题现象：在用到LOB大对象的业务中，进行数据的插入，失败了，在报警文件中报错：ORA-00600:内部错误代码,参数:[25027],[10],[0],[],[],[],[],[...
- 安卓7源码编译（安卓源码编译环境lunch失败,uname命令找不到）
-
前面已经下载好源码了，接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...
- 编译安卓源码（编译安卓源码 电脑配置）
-
前面已经下载好源码了，接下来是下载手机对应的二进制驱动执行编译源码命令下载厂商驱动https://developers.google.com/android/drivers?hl=zh-cn搜索NGI...
- 360 Vulcan Team首战告捷 以17.5万美金强势领跑2019“天府杯“
-
2019年11月16日，由360集团、百度、腾讯、阿里巴巴、清华大学与中科院等多家企业和研究机构在成都联合主办了2019“天府杯”国际网络安全大赛暨2019天府国际网络安全高峰论坛。而开幕当日最激荡人...
- Syslog 日志分析与异常检测技巧（syslog发送日志配置）
-
系统日志包含有助于分析网络设备整体运行状况的重要信息。然而，理解并从中提取有效数据往往颇具挑战。本文将详解从基础命令行工具到专业日志管理软件的全流程分析技巧，助你高效挖掘Syslog日志价值。Gr...
- 从Oracle演进看数据库技术的发展（从oracle演进看数据库技术的发展的过程）
-
数据库技术发展本质上是应用需求驱动与基础架构演进的双向奔赴，如何分析其技术发展的脉络和方向？考虑到oracle数据库仍然是这个领域的王者，以其为例，管中窥豹，对其从Oracle8i到23ai版本的核...
欢迎 你 发表评论:
- 一周热门
- 最近发表
- 标签列表
-
- oracle位图索引 (74)
- oracle基目录 (50)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (53)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)