1 理解CPU
CPU（Cental Processing Unit）是计算机系统的运算和控制核心，是信息处理、程序运行的最终执行单元，相当系统的“大脑”。
当 cpu 过于繁忙，就像“人脑”并发处理过多事情，会降低做事效率，严重时甚至会导致崩溃“宕机”。因此，理解 CPU 工作原理，合理控制资源，是保障系统稳定持续运行的重要手段。
1.1 多 cpu 和多核 cpu
多个物理CPU，CPU通过总线进行通信，效率比较低：
用于双路Xeon可扩展的主板：超微X11DAi-N
多核CPU，不同的核通过L2 cache进行通信，存储和外设通过总线与CPU通信：
用于单路Xeon-W的主板：超微X11SRA
2 查询CPU信息
[root@localhost ~]# cat /proc/cpuinfo | grep 'physical id' | sort | uniq | wc -l //查看 cpu 个数 [root@localhost ~]# cat /proc/cpuinfo | grep 'cpu cores' | sort | uniq // 查看cpu物理核数
cpu cores :
[root@localhost ~]# cat /proc/cpuinfo | grep 'siblings' | sort | uniq // 查看 cpu 逻辑核数
siblings :
3 平均负载含义
当系统变慢的时候，我们一般使用 top 或 uptime 命令来查看系统平均负载情况。
正确定义：单位时间内，系统中处于 可运行状态(R,Running/Runnable)和不可中断睡眠状态(D，Disk Sleep) 的平均进程数。
错误定义：单位时间内的 cpu 使用率。
可运行状态的进程：正在使用 cpu 或者正在等待 cpu 的进程，即 ps aux 命令下 STAT 处于 R 状态的进程
不可中断状态的进程：处于内核态关键流程中的进程，且不可被打断，如等待硬件设备IO响应，ps命令D状态的进程。
理想状态：每个 cpu 上都有一个活跃进程，即平均负载数等于 cpu 数。
过载经验值：平均负载高于 cpu 数量 70% 的时候。
假如在一个单 cpu 系统上看到 1.73 0.60 7.98，表示在过去一分钟内系统有73%的超载，而在15分钟内，有698%的超载。
注：可运行状态进程包括正在使用cpu或等待cpu的进程；不可中断状态进程是指处于内核关键流程中的进程，并且该流程不可被打断，比如当进程向磁盘写数据时，如果被打断，就可能出现磁盘数据与进程数据不一致。
不可中断进程状态，本质上是系统对进程和硬件设备的一种保护机制。
4 平均负载案例分析
系统环境和工具
系统环境和配置：CentOS 7 64bit 4G内存 2CPU
相关工具：stress、sysstat。
stress：一个Linux系统压力测试工具。
sysstat：监控和分析系统的性能工具，包括mpstat关于cpu详细信息(单独输出或分组输出)、pidstat（进程性能分析）命令、iostat等。
安装工具：yum install -y epel-release stress sysstat
同一个Linux系统开三个终端。
场景一：CPU密集型进程
第一个终端运行stress命令模拟一个cpu使用率100%
[root@localhost ~]# stress --cpu --timeout
stress: info: [] dispatching hogs: cpu, io, vm, hdd
第二个终端运行uptime查看平均负载变化情况
#-d参数表示高亮显示变化的区域
[root@localhost ~]# watch -d uptime
第三个终端云溪mpstat查看cpu使用率变化情况
#-P ALL表示监控所有cpu，5表示间隔5秒输出一组数据
[root@localhost zhiwenwei]# mpstat -P ALL
Linux 3.10.-957.10..el7.x86_64 (localhost.localdomain) 2019年04月01日 _x86_64_ ( CPU) 22时33分45秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
22时33分50秒 all 50.95 0.00 0.30 0.00 0.00 0.00 0.00 0.00 0.00 48.75
22时33分50秒 1.80 0.00 0.60 0.00 0.00 0.00 0.00 0.00 0.00 97.60
22时33分50秒 100.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00
结论：从终端二看到1分钟的平均负载会慢慢增加到1.00；终端三正好有一个cpu使用率为100%，但它的iowait只有0，说明平均负载的升高正是由于cpu使用率的升高。
那么到底是哪个进程导致cpu使用率为100%，可以使用top命令来来查或使用pidstat命令。
[root@localhost zhiwenwei]# pidstat -u
Linux 3.10.-957.10..el7.x86_64 (localhost.localdomain) 2019年04月01日 _x86_64_ ( CPU) 22时37分09秒 UID PID %usr %system %guest %wait %CPU CPU Command
22时37分14秒 0.00 0.20 0.00 0.00 0.20 xfsaild/dm-
22时37分14秒 1.20 0.20 0.00 0.00 1.40 mono
22时37分14秒 0.00 0.20 0.00 0.00 0.20 rsyslogd
22时37分14秒 0.00 0.20 0.00 0.00 0.20 watch
22时37分14秒 100.20 0.00 0.00 0.00 100.20 stress
22时37分14秒 0.20 0.20 0.00 0.00 0.40 pidstat 平均时间: UID PID %usr %system %guest %wait %CPU CPU Command
平均时间: 0.00 0.20 0.00 0.00 0.20 - xfsaild/dm-
平均时间: 1.20 0.20 0.00 0.00 1.40 - mono
平均时间: 0.00 0.20 0.00 0.00 0.20 - rsyslogd
平均时间: 0.00 0.20 0.00 0.00 0.20 - watch
平均时间: 100.20 0.00 0.00 0.00 100.20 - stress
平均时间: 0.20 0.20 0.00 0.00 0.40 - pidstat
场景二：I/O密集型进程
第一个终端运行stress命令模拟I/O压力
[root@localhost ~]# stress -i --timeout
第二个终端运行uptime查看当前平均负载变化情况
[root@localhost ~]# watch -d uptime
第三个终端运行mpstat查看cpu使用率变化情况
[zhiwenwei@localhost tmp]$ mpstat -P ALL
Linux 3.10.-957.10..el7.x86_64 (localhost.localdomain) 2019年04月02日 _x86_64_ ( CPU) 13时44分56秒 CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
13时45分01秒 all 1.41 0.00 47.43 0.00 0.00 0.00 0.00 0.00 0.00 51.16
13时45分01秒 1.61 0.00 89.52 0.00 0.00 0.00 0.00 0.00 0.00 8.87
13时45分01秒 1.21 0.00 5.43 0.00 0.00 0.00 0.00 0.00 0.00 93.36 平均时间: CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle
平均时间: all 1.41 0.00 47.43 0.00 0.00 0.00 0.00 0.00 0.00 51.16
平均时间: 1.61 0.00 89.52 0.00 0.00 0.00 0.00 0.00 0.00 8.87
平均时间: 1.21 0.00 5.43 0.00 0.00 0.00 0.00 0.00 0.00 93.36
结论：1分钟的平均负载会慢慢增加到1，其中两个cpu平均使用率49.40，而idle平均达到50.40。说明平均负载的升高由于idle的升高。
查看导致idle升高的进程：
[zhiwenwei@localhost tmp]$ pidstat -u
Linux 3.10.-957.10..el7.x86_64 (localhost.localdomain) 2019年04月02日 _x86_64_ ( CPU) 13时50分46秒 UID PID %usr %system %guest %wait %CPU CPU Command
13时50分51秒 0.00 8.58 0.00 1.60 8.58 kworker/u4:
13时50分51秒 1.40 0.00 0.00 0.00 1.40 mono
13时50分51秒 1.00 62.08 0.00 3.59 63.07 stress
13时50分51秒 0.00 14.77 0.00 1.60 14.77 kworker/u4:
13时50分51秒 0.00 0.20 0.00 0.00 0.20 pidstat 平均时间: UID PID %usr %system %guest %wait %CPU CPU Command
平均时间: 0.00 8.58 0.00 1.60 8.58 - kworker/u4:
平均时间: 1.40 0.00 0.00 0.00 1.40 - mono
平均时间: 1.00 62.08 0.00 3.59 63.07 - stress
平均时间: 0.00 14.77 0.00 1.60 14.77 - kworker/u4:
平均时间: 0.00 0.20 0.00 0.00 0.20 - pidstat
可以发现是stress进程导致的。
场景三：大量进程
第一个终端使用stress命令模拟10个进程
[root@localhost ~]# stress -c --timeout
第二个终端用uptime查看平均负载变化情况
[root@localhost ~]# watch -d uptime
第三个终端pidstat查看进程情况
[root@localhost ~]# pidstat -u
Linux 3.10.-957.10..el7.x86_64 (localhost.localdomain) 2019年04月02日 _x86_64_ ( CPU) 13时55分59秒 UID PID %usr %system %guest %wait %CPU CPU Command
13时56分04秒 1.38 0.20 0.00 0.00 1.58 mono
13时56分04秒 19.53 0.00 0.00 79.49 19.53 stress
13时56分04秒 19.72 0.00 0.00 79.49 19.72 stress
13时56分04秒 19.72 0.00 0.00 79.68 19.72 stress
13时56分04秒 19.72 0.00 0.00 79.68 19.72 stress
13时56分04秒 19.53 0.00 0.00 79.09 19.53 stress
13时56分04秒 19.72 0.00 0.00 79.29 19.72 stress
13时56分04秒 19.53 0.00 0.00 78.90 19.53 stress
13时56分04秒 19.72 0.00 0.00 80.08 19.72 stress
13时56分04秒 19.53 0.00 0.00 79.09 19.53 stress
13时56分04秒 19.72 0.00 0.00 79.29 19.72 stress
13时56分04秒 0.00 0.20 0.00 0.39 0.20 pidstat 平均时间: UID PID %usr %system %guest %wait %CPU CPU Command
平均时间: 1.38 0.20 0.00 0.00 1.58 - mono
平均时间: 19.53 0.00 0.00 79.49 19.53 - stress
平均时间: 19.72 0.00 0.00 79.49 19.72 - stress
平均时间: 19.72 0.00 0.00 79.68 19.72 - stress
平均时间: 19.72 0.00 0.00 79.68 19.72 - stress
平均时间: 19.53 0.00 0.00 79.09 19.53 - stress
平均时间: 19.72 0.00 0.00 79.29 19.72 - stress
平均时间: 19.53 0.00 0.00 78.90 19.53 - stress
平均时间: 19.72 0.00 0.00 80.08 19.72 - stress
平均时间: 19.53 0.00 0.00 79.09 19.53 - stress
平均时间: 19.72 0.00 0.00 79.29 19.72 - stress
平均时间: 0.00 0.20 0.00 0.39 0.20 - pidstat
总结：
平均负载高有可能是cpu密集型进程导致的；
平均负载高不一定是cpu使用率高，还有可能是I/O更繁忙
当发现负载高的时候，可以使用mpstat、pidstat等工具辅助分析负载高的根源。
参考文献