30亿日志，检索+分页+后台展示，你是否遇到过更奇葩的需求?
mhr18 2024-09-29 14:06 21 浏览 0 评论
沈老师，你好，想请教一个数据库查询日志，前台页面显示的问题。
需求：
（1）按照某些特定检索条件查询日志；
（2）通过前台Web页面查询并显示相关日志信息；
（3）检索需求包含用户，时间段区间，类型等特定字段；
希望做到：
（1）查询速度尽可能快；
（2）支持分页查询；
目前方案：
日志信息存储在Oracle中，根据日期对Oracle做了分区处理，每天生成一个分区表，每个分区表中的数据总量大概在1000W左右。在相关查询字段例如用户，类型上建立索引，来满足不同维度的查询需求。
潜在问题：
跨分区的查询，求记录总数（计算分页时的查询），耗时要3-4分钟，请问有什么优化方法么?
==问题描述完==
这个需求还是非常变态的，通常日志会进行过滤/结构化/汇总，放入数据仓库，建立业务宽表，宽表上的查询，一般不会具体查一行一行的记录。
如果要支持检索，并一行一行在Web后台进行展示，至少要解决几个方面的问题：
（1）存储问题；
（2）检索问题；
（3）扩展性问题（数据量扩展，检索字段扩展）；
一、存储问题
是否可以用关系型数据库存储日志？
如果日志格式固定，检索条件固定，是可以的。
例如：
2019-08-11 23:19:20 uid=123 action=pay type=wechat money=12
可以转化为表：
t_log(date, time, uid, action, type, money)
然后在相关字段上建立索引，以满足后台查询与展示的需求。
数据量太大，怎么解决？
按照题目描述，日数据量大概在1000W级别，1年的数据量大概在36Y级别。
如果用Oracle存储，1000W为一个分区表：
一年需要365个分区，跨分区的查询性能较低，不太合适。
改为1个月一个分区：
单分区3Y记录，大部分分区无写操作（插入，修改，删除），只有索引上的读操作，读写性能基本能抗住。一年12个分区，性能比365个分区好很多。
虽然本例的日志可以结构化（将日志转化表），由于数据量太大，其实关系型数据库不太适用，可以用适合更大数据量的ES或者Hive来存储。
二、检索问题
日志格式固定，检索条件固定，如果用关系型数据库或者Hive存储，可以在相关字段上建立索引，来满足查询需求。
如果用ES来存储，其内部用倒排表实现，天然支持检索。
三、扩展性问题
数据量扩展
不管用Oracle，ES还是Hive来存储，它们的区别只是单实例/单集群存储容量不一样，如果数据量无限扩展，本质上的解决方案还是“水平切分”。
需要注意的是，尽量不要使用自带的“分区表”来扩展，而在业务层自己拆分。
画外音：《互联网公司为啥都不用分区表？》。
检索字段扩展
如果日志不是标准化的，检索字段也不是固定的，那就麻烦了，那就变成了也“搜索引擎”的问题。
此时使用ES是更为合适的，不过结合无限的数据量，最终可能需要自己实现存储于检索引擎（类似于百度，存储容量无限，检索字段不固定）。
画外音：《“搜索”的原理，架构，实现，实践！》。
总结：
结合本例，日志量大，模式固定，建议：
（1）最建议，使用Hive存储，使用索引的方式实现日志后台检索需求；
（2）如果扩展性要求稍高，可以使用ES实现存储与检索，使用水平扩展来存储更大的数据量；
希望上述思路对星官有帮助，经验有限，也欢迎大家贡献更多更好的方案，思路比结论重要。
------------------------------------------------------
转自微信公众号 架构师之路
相关推荐
- 一文带您了解数据库的行列之争:行式与列式存储的异同
-
数据库存储格式是数据库管理系统中一个至关重要的方面，它直接影响到数据的组织和检索效率。在数据库中，有两种主要的存储格式，即行式存储和列式存储。这两者采用截然不同的方法来组织和存储数据，各自具有一系列优...
- NL2SQL(三)开源项目怎么选:talk is cheap, show me the code!
-
老规矩，先看效果下面的demo来自试用的SuperSonic，将会在下面详细介绍：大模型时代Text-to-SQL特点随着基于LLM技术的发展，RAG/AIAgent/Fine...
- JDK25长期支持版九月降临:18项王炸功能全解析
-
Java要放大招啦！9月份推出的JDK25长期支持版已经锁定18个超能力，从稳定值到结构化并发，还有Linux系统下的"预知未来"性能分析！下面我用打游戏的术语给你们掰扯明白：1、飞...
- OceanBase 推出单机版 高度兼容MySQL和Oracle
-
【环球网科技综合报道】3月27日，独立数据库厂商OceanBase正式发布单机版产品。据悉，这一产品基于自主研发的单机分布式一体化架构设计，具备极简数据库架构和高度兼容性，为中小规模业务提供兼具性能与...
- 黄远邦:应对7月1日闰秒对Oracle数据库影响
-
由于今年7月1日全世界会多出一秒，这可能对时间敏感的IT系统造成较大影响。中亦科技数据库团队对此问题做了深入的研究，并对用户系统提出了相应的解决方法及建议。中亦科技数据库产品总监黄远邦认为,闰秒调整会...
- MySQL数据库密码忘记了，怎么办?（mysql 数据库密码）
-
#头条创作挑战赛#MySQL数据库密码忘记了且没有其他可以修改账号密码的账户时怎么办呢？登录MySQL，密码输入错误/*密码错误，报如下错误*/[root@TESTDB~]#mysql-u...
- Chinese AI Talent in Spotlight as Nvidia and Meta Escalate Talent War
-
OntherightisBanghuaZhu,ChiefResearchScientistatNVIDIATMTPOST--SiliconValley’stoptech...
- 用Cursor开启JAVA+AI生涯（javascirpt怎么开启）
-
Cursor是基于VSCode开发的一款编辑器，支持多种语言的开发编辑。与传统的开发工具相比，它有多种优势：与AI无缝集成，响应速度快，占用内存小。但很多同学在"起步"过程中遇到了...
- 毕业十年了，自从做了开发用了很多软件，但距离写开发工具还很远
-
办公系统类：办公软件Word、Excel、PowerPoint三大必备技能+腾讯/金山在线文档解压缩操作：7-zip/winrar文件文本处理：Notepad++(文本编辑器正则表达式超级好...
- 盘点Java中最没用的知识⑤:这3个老古董你还在代码里“考古”?
-
一、Stack类：“继承Vector”的历史bug，为何成了性能拖油瓶？你是不是在学Java集合时，老师说过“栈结构用Stack类”？是不是在老代码里见过"newStack<>(...
- Gemini 2.5 Pro 0506发布，编程最强大模型， 碾压 Claude3.7 sonnent
-
一、Gemini2.5Pro(I/Oedition)发布1、为何叫I/Oedition？谷歌史上最强编程模型Gemini2.5Pro(I/Oedition)发布，具体型号是Gemin...
- 如何让无聊变得有趣(附本人大量美图)
-
文/图：金冬成在这条长300公里的公路上，我已经来回往返了无数次。3小时车程，一个人，想想都是多么无聊的一件事。其实，人生道路上，类似这种无聊的事情有很多很多。无聊的事情、枯燥的工作，往往让我们容易失...
- Oracle 推出 Java 24，增强 AI 支持和后量子加密
-
导读：Oracle宣布正式发布Java24，该语言增加了几个新功能，例如StreamGatherersAPI和Class-FileAPI的可用性，以及专门为AI推理和量子安全设计...
- 公司ERP突然变慢?“索引重建”这颗“药”可不能随便吃!
-
各位老板、IT小哥、财务小姐姐，有没有遇到过公司ERP系统突然卡顿得像“老爷车”，点个按钮半天没反应，急得直跺脚？这时候，可能有人会跳出来说：“我知道，重建一下数据库索引就好了！”听起来像个“神操作”...
- 基于Java实现，支持在线发布API接口读取数据库，有哪些工具?
-
基于java实现，不需要编辑就能发布api接口的，有哪些工具、平台？还能一键发布、快速授权和开放提供给第三方请求调用接口的解决方案。架构方案设计：以下是一些基于Java实现的无需编辑或只需少量编辑...
欢迎 你 发表评论:
- 一周热门
- 最近发表
-
- 一文带您了解数据库的行列之争:行式与列式存储的异同
- NL2SQL(三)开源项目怎么选:talk is cheap, show me the code!
- JDK25长期支持版九月降临:18项王炸功能全解析
- OceanBase 推出单机版 高度兼容MySQL和Oracle
- 黄远邦:应对7月1日闰秒对Oracle数据库影响
- MySQL数据库密码忘记了，怎么办?（mysql 数据库密码）
- Chinese AI Talent in Spotlight as Nvidia and Meta Escalate Talent War
- 用Cursor开启JAVA+AI生涯（javascirpt怎么开启）
- 毕业十年了，自从做了开发用了很多软件，但距离写开发工具还很远
- 盘点Java中最没用的知识⑤:这3个老古董你还在代码里“考古”?
- 标签列表
-
- oracle位图索引 (74)
- oracle批量插入数据 (65)
- oracle事务隔离级别 (59)
- oracle 空为0 (51)
- oracle主从同步 (55)
- oracle 乐观锁 (51)
- redis 命令 (78)
- php redis (88)
- redis 存储 (66)
- redis 锁 (69)
- 启动 redis (66)
- redis 时间 (56)
- redis 删除 (67)
- redis内存 (57)
- redis并发 (52)
- redis 主从 (69)
- redis 订阅 (51)
- redis 登录 (54)
- redis 面试 (58)
- 阿里 redis (59)
- redis 搭建 (53)
- redis的缓存 (55)
- lua redis (58)
- redis 连接池 (61)
- redis 限流 (51)