百度360必应搜狗淘宝本站头条
php redisredis 命令oracle位图索引redis 锁启动 redis
当前位置：网站首页 > 技术教程 > 正文

MQ-消息堆积-一条SQL阻塞了整个服务线程案例分析

mhr18 2024-10-11 12:58 39 浏览 0 评论

业务背景

业务中某个应用在消费MQ的时候，出现部分机器消息堆积，随着时间推移，堆积的机器数量越来越多，消息的堆积总量越来越多。

问题现象

系统监控

CPU、Load、内存、网络、磁盘监控指标正常；JVM 内存、GC正常。

MQ监控

分析过程

MQ消息堆积最常见的情况是：
应用侧处理MQ消息比较慢，触发了MQ的流控机制（MQ在统计到应用消费慢的时候，会逐步减少给应用侧的消息，最糟糕的情况是MQ一条消息也不会发给应用来消费）。

接下来的思路是慢在了哪？

  • 在业务监控完备的情况下，通过分析业务监控指标，可以粗略定位异常点
  • 明确运行的程序在忙些什么，分析线程堆栈信息

堆栈信息


上面图片中，TID=562的线程正在read Oracle返回的信息。经过观测，TID=562的线程一直处于上面图片中的状态。由于上面图片中的堆栈信息不完整，所以使用jstack抓取后分析出一个关键信息：

locked oracle.jdbc.driver.T4CConnection@31c02e79

T4CConnection分析

【oracle.jdbc.driver.T4CConnection@31c02e79】是与Oracle交互的数据库连接对象，需要分析出

  • 该连接对象对应的socket信息
  • 该连接对象正在执行的SQL
  • 该连接对象关联的statements对象信息

T4CConnection信息

Socket信息


获取到Socket信息进行了如下几个方面的分析：
该Socket与Oracle服务端交互情况:

//通过tcpdump分析与Oracle服务端交互的报文，发现该连接上没有任何报文交互
tcpdump -i any tcp and port 45556 -A -nn

问：与Oracle DBA确认该Socket在服务端正在执行什么SQL？
答：没找到任何关于该Socket的信息

SQL信息

通过分析oracle.jdbc.driver.T4CConnection类代码及【oracle.jdbc.driver.T4CConnection@31c02e79】属性信息找到了正在执行的SQL及与该连接关联的statements信息：
SQL:


statements:


到此，我们分析出了引起线程阻塞的SQL详情。

解决办法

  • 对参数是null的情况进行过滤，不再向Oracle发送这样的SQL语句；同时日志里对这种异常情况进行记录，以便更细致地分析数据为null的产生场景。
  • 加强应用可观测性之线程执行耗时监控
    ○ 在业务逻辑开始的前面，添加一个filter
    ○ 当请求到达filter的时候，将当前线程及此时的时间记录到一个Map中
    ○ 当请求结束回到filter的时候，将当前线程从Map中删除
    ○ 单独起一个定时任务来遍历Map，当发现Map中某个线程执行时间超过阈值，就打印出线程的堆栈
    ○ 当开发人员收到异常堆栈的报警，人工介入进行系统恢复及问题快速定位

相关推荐

订单超时自动取消业务的 N 种实现方案，从原理到落地全解析

在分布式系统架构中，订单超时自动取消机制是保障业务一致性的关键组件。某电商平台曾因超时处理机制缺陷导致日均3000+订单库存锁定异常，直接损失超50万元/天。本文将从技术原理、实现细节、...

使用Spring Boot 3开发时，如何选择合适的分布式技术?

作为互联网大厂的后端开发人员，当你满怀期待地用上SpringBoot3，准备在项目中大显身手时，却发现一个棘手的问题摆在面前：面对众多分布式技术，究竟该如何选择，才能让SpringBoot...

数据库内存爆满怎么办?99%的程序员都踩过这个坑!

你的数据库是不是又双叒叕内存爆满了？！服务器监控一片红色警告，老板在群里@所有人，运维同事的电话打爆了手机...这种场景是不是特别熟悉？别慌！作为一个在数据库优化这条路上摸爬滚打了10年的老司机，今天...

springboot利用Redisson 实现缓存与数据库双写不一致问题

使用了Redisson来操作Redis分布式锁，主要功能是从缓存和数据库中获取商品信息，以下是针对并发时更新缓存和数据库带来不一致问题的解决方案1.基于读写锁和删除缓存策略在并发更新场景下，...

外贸独立站数据库炸了?对象缓存让你起死回生

上周黑五，一个客户眼睁睁看着服务器CPU飙到100%——每次页面加载要查87次数据库。这让我想起2024年Pantheon的测试：Redis缓存能把WooCommerce查询速度提升20倍。跨境电商最...

手把手教你在 Spring Boot3 里纯编码实现自定义分布式锁

为什么要自己实现分布式锁？你是不是早就受够了引入各种第三方依赖时的繁琐？尤其是分布式锁这块，每次集成Redisson或者Zookeeper，都得额外维护一堆配置，有时候还会因为版本兼容问题头疼半...

如何设计一个支持百万级实时数据推送的WebSocket集群架构?

面试解答：要设计一个支持百万级实时数据推送的WebSocket集群架构，需从**连接管理、负载均衡、水平扩展、容灾恢复**四个维度切入：连接层设计-**长连接优化**：采用Netty或Und...

Redis数据结构总结——面试最常问到的知识点

Redis作为主流的nosql存储，面试时经常会问到。其主要场景是用作缓存，分布式锁，分布式session，消息队列，发布订阅等等。其存储结构主要有String，List，Set，Hash，Sort...

skynet服务的缺陷 lua死循环

服务端高级架构—云风的skynet这边有一个关于云风skynet的视频推荐给大家观看点击就可以观看了！skynet是一套多人在线游戏的轻量级服务端框架，使用C+Lua开发。skynet的显著优点是，...

七年Java开发的一路辛酸史:分享面试京东、阿里、美团后的心得

前言我觉得有一个能够找一份大厂的offer的想法，这是很正常的，这并不是我们的饭后谈资而是每个技术人的追求。像阿里、腾讯、美团、字节跳动、京东等等的技术氛围与技术规范度还是要明显优于一些创业型公司...

mysql mogodb es redis数据库之间的区别

1.MySQL应用场景概念：关系型数据库,基于关系模型,使用表和行存储数据。优点：支持ACID事务,数据具有很高的一致性和完整性。缺点：垂直扩展能力有限,需要分库分表等方式扩展。对于复杂的查询和大量的...

redis，memcached，nginx网络组件

1.理解阻塞io，非阻塞io，同步io，异步io的区别2.理解BIO和AIO的区别io多路复用只负责io检测，不负责io操作阻塞io中的write，能写多少是多少，只要写成功就返回，譬如准备写500字...

SpringBoot+Vue+Redis实现验证码功能

一个小时只允许发三次验证码。一次验证码有效期二分钟。SpringBoot整合Redis...

AWS MemoryDB 可观测最佳实践

AWSMemoryDB介绍AmazonMemoryDB是一种完全托管的、内存中数据存储服务，专为需要极低延迟和高吞吐量的应用程序而设计。它与Redis和Memcached相似，但具有更...

从0构建大型AI推荐系统:实时化引擎从工具到生态的演进

在AI浪潮席卷各行各业的今天，推荐系统正从幕后走向前台，成为用户体验的核心驱动力。本文将带你深入探索一个大型AI推荐系统从零起步的全过程，揭示实时化引擎如何从单一工具演进为复杂生态的关键路径。无论你是...

取消回复欢迎 你 发表评论:

一周热门
最近发表
标签列表
赣ICP备2024040476号-7