百度360必应搜狗淘宝本站头条
php redisredis 命令oracle位图索引redis 锁redis 主从
当前位置：网站首页 > 技术教程 > 正文

MyBatis批量插入的3种方案对比，速度差10倍!

mhr18 2025-06-29 17:40 4 浏览 0 评论

你还在用for循环做MyBatis批量插入？ 本文通过真实案例+代码实测，对比三种批量插入方案的速度差异与实现原理。文末附实测数据截图，看完立省80%数据库操作时间！

一、青铜方案：循环单条插入（性能灾难）

// 典型错误示例
for (User user : userList) {
    userMapper.insert(user);
}

特点：

  • 每条insert语句单独执行
  • 每次请求都经历完整JDBC流程
  • 事务自动提交（除非手动控制）

实测结果（1万条数据）：

  • 耗时：约30秒
  • 优点：代码简单
  • 缺点：产生1万次网络IO，99%的时间浪费在连接开销

二、白银方案：BatchExecutor批处理（性能提升10倍）

// 开启批处理模式
SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH);
UserMapper mapper = sqlSession.getMapper(UserMapper.class);

for (User user : userList) {
    mapper.insert(user);
    if(i % 1000 == 0){
        sqlSession.flushStatements(); // 分段提交
    }
}
sqlSession.commit();

核心原理：

  • 通过ExecutorType.BATCH启用JDBC批处理
  • 将多个SQL语句打包发送
  • 事务统一提交

实测结果（1万条数据）：

  • 耗时：约3秒
  • 优点：JDBC层优化，网络IO减少90%
  • 缺点：需要手动控制提交时机

三、王者方案：动态SQL拼接（极限性能）

<!-- XML动态SQL -->
<insert id="batchInsert">
    INSERT INTO user (name,age) VALUES
    <foreach collection="list" item="item" separator=",">
        (#{item.name}, #{item.age})
    </foreach>
</insert>

执行特点：

  • 生成单条INSERT INTO ... VALUES (...),(...)语句
  • 数据库单次解析执行
  • 利用数据库批量写入优化

实测结果（1万条数据）：

  • 耗时：约1秒
  • 优点：理论最快执行方式
  • 致命缺陷：SQL长度限制（MySQL默认4MB）

全方位对比表

维度

循环单条插入

BatchExecutor

动态SQL拼接

执行方式

N条独立SQL

JDBC批处理

单条大SQL

网络IO次数

N次

1次

1次

事务控制

自动提交

手动提交

单事务

内存消耗

低

中

高（SQL缓存）

可读性

★★★★

★★★

★★

适用场景

<100条

1k-10w级

<5k条（防溢出）

实测数据验证（1万条记录）

避坑指南

  1. 动态SQL长度陷阱：MySQL的max_allowed_packet参数限制单条SQL大小
  2. 批处理内存溢出：每5千条左右建议执行flushStatements()
  3. 事务一致性：BatchExecutor必须显式commit才会生效
  4. 主键回写：动态SQL方案无法获取全部自增ID

选型建议

  • 小数据量（<500条）：动态SQL方案最优
  • 常规批量（1k-5w条）：BatchExecutor最稳妥
  • 超大数据量（>10w条）：结合BatchExecutor+分段提交

终极技巧：生产环境推荐组合方案：BatchExecutor + 分批次提交 + 动态SQL长度控制，实测可提升百倍性能！

思考题：为什么动态SQL方案在Oracle数据库中反而可能变慢？欢迎评论区讨论！（提示：与SQL解析机制有关）

相关推荐

如何检查 Linux 服务器是物理服务器还是虚拟服务器?

在企业级运维、故障排查和性能调优过程中，准确了解服务器的运行环境至关重要。无论是物理机还是虚拟机，都存在各自的优势与限制。在很多场景下，尤其是当你继承一台服务器而不清楚底层硬件细节时，如何快速辨识它是...

第四节 Windows 系统 Docker 安装全指南

一、Docker在Windows上的运行原理（一）架构限制说明Docker本质上依赖Linux内核特性（如Namespaces、Cgroups等），因此在Windows系统上无法直...

C++ std:shared_ptr自定义allocator引入内存池

当C++项目里做了大量的动态内存分配与释放，可能会导致内存碎片，使系统性能降低。当动态内存分配的开销变得不容忽视时，一种解决办法是一次从操作系统分配一块大的静态内存作为内存池进行手动管理，堆对象内存分...

Activiti 8.0.0 发布，业务流程管理与工作流系统

Activiti8.0.0现已发布。Activiti是一个业务流程管理(BPM)和工作流系统，适用于开发人员和系统管理员。其核心是超快速、稳定的BPMN2流程引擎。Activiti可以...

MyBatis动态SQL的5种高级玩法，90%的人只用过3种

MyBatis动态SQL在日常开发中频繁使用，但大多数开发者仅掌握基础标签。本文将介绍五种高阶技巧，助你解锁更灵活的SQL控制能力。一、智能修剪（Trim标签）应用场景：动态处理字段更新，替代<...

Springboot数据访问(整合Mybatis Plus)

Springboot整合MybatisPlus1、创建数据表2、引入maven依赖mybatis-plus-boot-starter主要引入这个依赖，其他相关的依赖在这里就不写了。3、项目结构目录h...

盘点金州勇士在奥克兰13年的13大球星 满满的全是...

见证了两个月前勇士与猛龙那个史诗般的系列赛后，甲骨文球馆正式成为了历史。那个大大的红色标志被一个字母一个字母地移除，在周四，一切都成为了过去式。然而这座，别名为“Roaracle”（译注：Roar怒吼...

Mybatis入门看这一篇就够了（mybatis快速入门）

什么是MyBatisMyBatis本是apache的一个开源项目iBatis,2010年这个项目由apachesoftwarefoundation迁移到了googlecode，并且改名为M...

Springboot数据访问(整合druid数据源)

Springboot整合druid数据源基本概念SpringBoot默认的数据源是：2.0之前：org.apache.tomcat.jdbc.pool.DataSource2.0及之后:com.z...

Linux 中的 &quot;/etc/profile.d&quot; 目录有什么作用 ?

什么是/etc/profile.d/目录？/etc/profile.d/目录是Linux系统不可或缺的一部分保留配置脚本。它与/etc/profile文件相关联，这是一个启动脚本，该脚...

企业数据库安全管理规范（企业数据库安全管理规范最新版）

1.目的为规范数据库系统安全使用活动，降低因使用不当而带来的安全风险，保障数据库系统及相关应用系统的安全，特制定本数据库安全管理规范。2.适用范围本规范中所定义的数据管理内容，特指存放在信息系统数据库...

Oracle 伪列!这些隐藏用法你都知道吗?

在Oracle数据库中，有几位特殊的“成员”——伪列，它们虽然不是表中真实存在的物理列，但却能在数据查询、处理过程中发挥出意想不到的强大作用。今天给大家分享Oracle伪列的使用技巧，无论...

Oracle 高效处理数据的隐藏神器:临时表妙用

各位数据库搬砖人，在Oracle的代码世界里闯荡，处理复杂业务时，是不是总被数据“搅得头大”？今天给大家安利一个超实用的隐藏神器——临时表！当你需要临时存储中间计算结果，又不想污染正式数据表...

Oracle 数据库查询:多表查询（oracle多表关联查询）

一、多表查询基础1.JOIN操作-INNERJOIN：返回两个表中满足连接条件的匹配行，不保留未匹配数据。SELECTa.emp_id,b.dept_nameFROMempl...

一文掌握怎么利用Shell+Python实现多数据源的异地备份程序

简介：在信息化时代，数据安全和业务连续性已成为企业和个人用户关注的焦点。无论是网站数据、数据库、日志文件，还是用户上传的文档、图片等，数据一旦丢失，损失难以估量。尤其是当数据分布在多个不同的目录、服务...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表