题图来自APOD

上次写了一篇MySQL优化实战的文章“MySQL千万级数据从190秒优化到1秒全过程”。

这篇文章主要还是在实战MySQL优化，所以从造数据到查询SQL优化SQL都没有业务或者其它依赖，优化的技巧也不涉及软件架构就是纯SQL优化。

由于笔者经验有限和篇幅限制没有展开讲很多细节，其中有很多争议的地方也在原帖进行了回复。

通过大家的讨论学习到很多东西。有句话在技术学习这块说的挺好，“一个人走的慢，一群人走的快”。通过讨论可以发现MySQL千万数据的全貌大概是怎样的。

以下enjoy~

千万数据的信息

原帖中实际产生的数据量有1500W行数据，以下基于此说明。

名称 说明 行数 1500W 磁盘大小 字段少，接近2GB 单表查询时间 查询快 关联查询时间 查询很慢

《阿里Java开发手册》有这么一条规约：

【推荐】单表行数超过 500 万行或者单表容量超过 2GB，才推荐进行分库分表。 说明：如果预计三年后的数据量根本达不到这个级别，请不要在创建表时就分库分表。

千万级数据在互联网公司是推荐分表的。笔者从事的传统行业千万级的大表还是很常见的~

笔者由此得出“千万级数据对于MySQL来说就是不太合理的一个存在”，至于是否合理也是仁者见仁智者见智了~

怎么优化的

• 怼索引
• 怼覆盖索引
• 小表驱动大表
• 强制索引
• 减少数据量

优化技巧中，其中有的有效、有的没效果。

尤其是很多优化技巧涉及到千万级才会出现，也就是隐藏技巧，比如强制索引。最实用的还是覆盖索引。

有些技巧只是提及没有实际操作。以后会按照这种方式展展开写，欢迎关注。

大家怎么说

反向逻辑的

方向操作主要就是反PUA了，虽然写的文章水平一般，但是这波方向操作我是佩服的~ 虽然技术确实能实现需求，但常在职场主打的一个就是身心愉悦~

• 软件层面优化不了，那就交给硬件，硬件层面优化不了，那就交给人力
• 你记住代码和人有一个能跑就行
• 老板说，优化不了代码我们就优化需求，优化不了需求我们就优化客户
• 千辛万苦优化到1秒，领导来了一句：“谁让你这么改的？给我改回去！”
• 哈哈哈，甲方还没提需求，你就给我优化了，谁给钱啊
• 迟早都是Oracle收割的韭菜
• 我有5亿钱包数据，怎么优化都打不到秒出！

反对的

这个意见没毛病，千万数据在MySQL也很常见。 但是笔者在某云做过验证，配置是8核心16G内存，同样的脚本在某云MYSQL中验证最少还是需要3s+ 单机MYSQL千万数据看来确实是很多业务无法允许的瓶颈了～

• 哈哈，需求从“统计每个用户的订单总额”，变成“统计某几个用户的订单总额”，你小子是懂优化的
• 优化不了就改需求是吧？优化思路是不对的，最后输出结果都不一样了
• 抛开需求谈设计就是耍流氓...
• 最后一部分，真 到了一秒
• 单表千万数据量没什么不合理的，一次group by出所有的用户不分页才不合理。
• 那是你们家的mysql支持不了单表1000w。我们家的可以，而且速度还很好。

支持的

主打的就是实战优化技巧，希望多多输出~学习输出实战才能闭环增长呢~

• 本身这种全量查询大量数据的需求就不合理，当然是要优化业务了
• 虽然但是哈哈哈哈 但是你这个文章给出的SQL和存储过程都可以直接使用并且调试步骤都有，拿来试试玩玩涨涨操作知识也挺好的呀~ 支持~

技术类的

这部分讨论主要停留在技术层面，软件硬件优化还是有很多的，可以看出平台里面还是很多潜水大牛的~

• 我记得mysql的join缓冲区，有个设置，调大点，join效率会有明显提升
• 是的 但是一般都有自适应
• 数据库级别优化本来就是有极限的，最终都得靠应用级别优化
• 个人习惯先用小表驱动大表, 添加索引和减少数据量进行优化。因为覆盖索引添加了查询的列很多时候只优化了当下的查询，但如果有很多相类似的sql要查询就很容易创建越来越多列，查询时间又没有减少
• 千万级的数据量得用分库分表，还要用缓存，光索引是没有用的，在想啥呢
• mysql适合互联网科技服务的业务场景，就是用户只看自己的数据，联表业务场景不多的情况。要是来一个传统企业级数据场景就难搞了，比如银行流水数据，企业内部财务订单数据，几个千万级的大表级联就很慢很慢了，这时候还是推荐上oracle和sqlserver商业数据库了，再不济也得来个pg。免费mysql存储海量数据的代价是人员成本高，硬件授权虽贵，但现在开发人员工资也不低。
• 之前测试过某云的mysql，8c16g ssd 配置，1.2亿条数据 查询 23 毫秒，感觉某云有点厉害
• 同样的脚本在某云MYSQL中验证最少还是需要3s+～配置是8核心16G内存，单机MYSQL千万数据看来确实是很多业务无法允许的瓶颈了～
• 首先，MySQL千万数据，在MySQL8.0以上的版本默认配置下轻松驾驭。除非你是7年以上的老服务器，或者是虚拟机，或者你本地点测试。分区优化后，2000万性能损失也不大。隔壁部门单表5000万了，还在叠加。另外，文章整体不错，点赞！还有，分表慎用，切勿只为数据分流而分表。
• 还有物理配置也算一个
• MySQL没碰到，二十多年前，在Oracle上遇到，新系统，全系统初始化库存的时候，同事写的脚本，要执行六个小时，调整了下，大概不到二十分钟。

他山之石

文章确实还有很多完善的地方，比如硬件配置是性能测试的基准没有体现出来。

MySQL千万数据究竟大吗？结论是大但不是天花板。

不是关系型数据库的天花板也不是软件优化的天花板。

但是怎么说，MySQL作为被Oracle收购的一个开源软件，更像是一个弃子一样，所以各大云服务厂商都优化和迭代了MySQL，性能好很多~

软件的分层设计很重要，缓存、软件、代理、持久化每个环节的综合设计可以让软件很能打，平摊各个环节的取舍也就降低了风险~

关于作者

来自一线全栈程序员nine的探索与实践，持续迭代中。

欢迎评论、点赞、收藏、关注。