什么是中断
中断interrupts是指硬件主动的来告诉CPU去做某些事情。比如网卡收到数据后可能主动的告诉CPU来处理自己接受到的数据,键盘有了按键输入后会主动告知CPU来读取输入。 硬件主动的打扰CPU这种沟通方式就叫做中断。不同的设备会有一个中断号叫IRQ号 来唯一标识自己,这样CPU就知道发生中断的是哪些设备。
中断通常都是硬件产生的一些信号,该信号会先发送给中断控制器,现在叫做通常用的是高级可编程终端控制器APIC。 该控制器会把中断信息转发给CPU。
linux 2.4版本以后能够支持把不同硬件产生的中断分配给不同的CPU CORE处理。 这种技术叫做 SMP IRQ Affinity。更多介绍请参看Linux内核源代码自带的文档:linux-2.6.31.8/Documentation/IRQ-affinity.txt。
如何查看中断
我们首先来了解两个基本命令:
- cat /proc/interrupts,查看系统上的中断情况,通常网卡的中断会被分配到CPU0上。
- cat cat /proc/cpuinfo,查看CPU信息,有多少CPU,有多少核心。
比如下面的命令输出。
cat /proc/interrupts | head
CPU0 CPU1 CPU2 CPU3 CPU4 CPU5 CPU6 CPU7 CPU8
0: 9906 0 0 0 0 0 0 0 0 IO-APIC-edge timer
1: 660 0 0 0 0 0 0 0 0 IO-APIC-edge i8042
7: 0 0 0 0 0 0 0 0 0 IO-APIC-edge parport0
8: 1 0 0 0 0 0 0 0 0 IO-APIC-edge rtc0
第一列是IRQ Number, 最后一列是硬件名称。 我们把head 命令换成grep eth 可以看见各网卡的中断情况如下
cat /proc/interrupts | grep eth
18: 19237552 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth0
19: 1570 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth1
可知,网卡eth0 IRQ number 18. 中断分配给CPU0. 网卡eth1 IRQ number19 中断也分配给CPU0.
如何调整
上面我们看见了中断的分配情况。所有网卡的中断都分配给了CPU 0 。 这样如果我们的机器有多块网卡,那么在CPU 负荷过高的时候可能就不能有效的响应每一块网卡的中断请求。 我们希望把不同网卡的中断请求发送给不同的CPU 可以像下面这样做。
echo "2" > /proc/irq/19/smp_affinity
这样把irq 19的硬件也就是eth1的中断请求发送给CPU1. 为什么这里是echo 2呢? 这是因为 cpu在系统中的表示是二进制表示如下
0000 0001 cpu0
0000 0010 cpu1
自然十进制的2就代表第二块cpu。 运行完上面的命令我们再看中断情况如下:
cat /proc/interrupts | grep eth
18: 19237980 0 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth0
19: 1792 19 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth1
cat /proc/interrupts | grep eth
18: 19237880 0 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth0
19: 1792 28 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth1
cat /proc/interrupts | grep eth
18: 19238980 0 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth0
19: 1792 48 0 0 0 0 0 0 0 0 IO-APIC-fasteoi eth1
我们运行了不同次数的命令,可以看见对于irq 19. cpu 0 上的中断数不再增加而cpu1的中断数一直增加,所以cpu1现在负责相应eth1的中断请求。
意义
在网络非常 heavy 的情况下,对于文件服务器、高流量 Web 服务器这样的应用来说,把不同的网卡 IRQ 均衡绑定到不同的 CPU 上将会减轻某个 CPU 的负担,提高多个 CPU 整体处理中断的能力。 对于数据库服务器这样的应用来说,把磁盘控制器绑到一个 CPU、把网卡绑定到另一个 CPU 将会提高数据库的响应时间、优化性能
other
还有一些其它需要知道的事情如:
interrupt affinity with multiple cores
在上面的例子中我们 echo 2 指定网卡eth1的中断请求发送给CPU 1. 但有时候可以echo 3 把网卡eth1的请求平均发送给 cpu 0和1。因为1+2 = 3 代表这两块cpu。
我们说有时候是因为 I0-APIC的工作模式有两种logic和 physical。 只有在logical的情况下才可以做到这一点。 logical模式这种CPU 自动负载均衡的机制只能支持最多8个core。所以一旦CPU过多可能无法使用logical模式。 不过这样也不是什么坏事,因为这种模式其实对性能有一定影响, 考虑下面这种情况:
一个TCP connection发来请求给eth1. 中断被cpu 0 响应。 cpu0 做如下事情:
1. 读取TCP相关数据
2. 放入高速缓存和内存
同一个TCP connection 发来另一个请求,中断被cpu 1响应。 cpu1 做如下事情:
1. 读取 缓存中的数据, 发现自己的高速缓存中没有
...
可见不同的cpu 来handle同一个网卡有时会导致性能的下降。