当前位置: 首页 > article >正文

测试基础|记一次CPU冲高的排查过程!

背景

需求需要计算大容量环境下多个数据库数据的负载,并把分库关系迁移,以实现多个数据库节点负载均衡。

现象

执行分库迁移脚本后,脚本执行进度始终保持 10%,组件 CPU 使用率冲到 95% 以上,且后台没有打印出有用的日志。

图片

排查过程

  1. 尝试重启组件并重写执行脚本:判断该故障是否可复现。结论:故障可以复现。

  2. 查看新增代码:发现新增代码量太大,若进行全面代码走查将耗费大量时间,且由于后台日志较少,增加了代码走查的难度。

  3. 使用 arthas 工具排查

    3.1 编译并打包 arthas,然后将其部署到节点上。

    3.2 通过kubectl -n zenap cp {arthas-path} {pod}:{任意路径}命令将 arthas 拷贝到容器中。

    3.3 进入容器内的 arthas 目录,执行java -jar arthas-boot.jar,并选择容器中运行的 java 进程 pid。

    3.4 使用 arthas 提供的命令进行问题排查,首先执行dashboard命令查看面板。

    - 发现pool-47-thread-1线程占用 CPU 90.98%,疑似进入死循环。

    图片

    3.5 继续执行thread -n 3命令找到该线程,查看其堆栈信息。

    - 发现占用 CPU 的线程堆栈中,LoadMigrateJobregularMigrate方法存在问题。

图片

代码问题定位

图片

- 在while循环中,第二个if逻辑判断如果网元以cn.me开头且配置为False,则会继续循环。

- 但是,循环内没有对detailLoadsInOneDB_out进行任何增减操作,导致每次循环都会走continue流程,从而引发死循环。

- 这就是为什么 CPU 使用率会一直冲高。

最后感谢每一个认真阅读我文章的人,看着粉丝一路的上涨和关注,礼尚往来总是要有的,虽然不是什么很值钱的东西,如果你用得到的话可以直接拿走! 

软件测试面试文档

我们学习必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有字节大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。


http://www.kler.cn/a/291498.html

相关文章:

  • 【蓝桥杯C/C++】I/O优化技巧:cin.tie(nullptr)的详解与应用
  • C++ 并发专题 - 线程安全的单例模式
  • 【东莞石碣】戴尔R740服务器维修raid硬盘问题
  • vue2动态导出多级表头表格
  • Vue实现响应式导航菜单:桌面端导航栏 + 移动端抽屉式菜单
  • 前端处理input框只能输入带小数点的数字
  • Lua 代码编码规范
  • mybatisplus使用OptimisticLockerInnerInterceptor实现版本号乐观锁
  • 七月刚入职字节跳动的测试开发面试题,附答案
  • SpringCloud Alibaba】(十三)学习 RocketMQ 消息队列
  • Linux内核编程(十五)网络设备驱动
  • Transforms的常见用法
  • ARM的寄存器组织
  • 深度学习--机器学习相关(1)
  • 游戏:科技强国的璀璨星芒与经济增长新动力
  • Linux中的echo命令
  • LSPosed 模块开发入门和踩的坑
  • 游戏语音交流,求推荐第三方IM服务?增加玩家体验!
  • 如何阅读PyTorch文档及常见PyTorch错误
  • MLM:多模态大型语言模型的简介、微调方法、发展历史及其代表性模型、案例应用之详细攻略
  • JavaEE(2):前后端项目之间的交互
  • King’s LIMS 实验室信息管理系统:引领实验室数字化转型的创新力量
  • plc1200 weiluntong001
  • Tomato靶机通关攻略
  • sci文章录用后能要求删除其中一位作者吗?
  • 【Linux】在 bash shell 环境下,当一命令正在执行时,按下 control-Z 会?