一、现象
1)钉钉告警不断,告警如下CPU使用达到100%
普罗米修斯监控
2)查看数据库,没有发现比平时同一时段,业务量的增加。但是,数据库显示latch free等告警,验证了CPU使用过高导致。
3)Linux系统
vmstat 1查看系统负载,发现us、sy很高,加起来达到100%。而且,in/cs比平时高出很多。
平时都是2000-6000左右,现在跑到10000多
4)查看磁盘使用情况
发现系统盘在清除完部分日之后,一直在增长,而且是快速增长
二、使用pidstat查看进程使用磁盘的情况
pidstat -d 1
这个可以针对单个进程进行查看,可以显示正在使用磁盘的进程
通过进程号找到对应的脚本名称,并杀掉对应的进程