测试环境:
PC1:Windows10
iperf3
PC2:Ubuntu
iperf3
都装有千兆网卡,直连的iperf速度是935Mbps。
因为TXRX两个方向的数据是差不多的,下面的测试数据只给出平均值。
1.1 TPLINK 841N
1.1.1 Switch测试
TPLIN841N使用了Marvell的88E6060芯片,使用了dsa技术,在Openwrt下面,所有的包都是软件网桥处理的。
l 内核大量打印到终端
默认在内核里面的网桥代码加入了不少的打印,测试的时候会吐出大量的日志。测试结果是1Mbps。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
|
|
Mem: 22572K used, 38140K free, 72K shrd, 2612K buff, 6752K cached
CPU: 0% usr 0% sys 0% nic 7% idle 0% io 0% irq 92% sirq
Load average: 1.61 0.97 0.95 7/33 1459
^[[7m PID PPID USER STAT VSZ %VSZ %CPU COMMAND^[[0m 1000 1 root R 1184 2% 29% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 1422 1 root R 1636 3% 20% /usr/sbin/hostapd -P /var/run/wifi-ph 1339 1 root R 1168 2% 5% /sbin/logd -S 16 1173 1 dnsmasq R 1040 2% 5% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 1459 513 root R 1188 2% 5% top -d 1 3 2 root RW 0 0% 0% [ksoftirqd/0] 879 1 root S 1620 3% 0% /sbin/netifd 100 2 root SW 0 0% 0% [kworker/0:1] 1 0 root S 1520 2% 0% /sbin/procd 960 1 root S 1504 2% 0% /usr/sbin/uhttpd -f -h /www -r OpenWr 844 1 root S 1432 2% 0% /sbin/rpcd 893 1 root S 1272 2% 0% /usr/sbin/odhcpd 513 1 root S 1188 2% 0% /bin/ash --login 512 1 root S 1168 2% 0% /cnblogs/tanhangbo 943 1 root S 1052 2% 0% /usr/sbin/dropbear -F -P /var/run/dro 6 2 root SW 0 0% 0% [kworker/u2:0] 8 2 root SW 0 0% 0% [kworker/u2:1] 172 2 root SW 0 0% 0% [spi0] 99 2 root SW 0 0% 0% [kswapd0] 340 2 root SW< 0 0% 0% [kworker/0:1H]
|
可以看到CPU负载很高(Load average),CPU已经没有资源了。主要的消耗在内核的Softirq部分(92%)。
l 关闭内核的打印
使用dmesg -n 1关闭内核的打印,发现速率接近理想状况但不是最完美的。
观察到CPU资源没有被消耗完。
TP=83Mbps
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
|
Mem: 21380K used, 39332K free, 68K shrd, 2612K buff, 6744K cached
CPU: 21% usr 0% sys 0% nic 8% idle 0% io 0% irq 70% sirq
Load average: 0.55 0.74 0.91 4/33 1440
PID PPID USER STAT VSZ %VSZ %CPU COMMAND 1339 1 root R 1168 2% 38% /sbin/logd -S 16 1422 1 root R 1636 3% 21% /usr/sbin/hostapd -P /var/run/wifi-ph 3 2 root RW 0 0% 18% [ksoftirqd/0] 1440 513 root R 1188 2% 7% top -d 1 100 2 root SW 0 0% 6% [kworker/0:1] 879 1 root S 1620 3% 0% /sbin/netifd 1 0 root S 1520 2% 0% /sbin/procd 960 1 root S 1504 2% 0% /usr/sbin/uhttpd -f -h /www -r OpenWr 844 1 root S 1432 2% 0% /sbin/rpcd 893 1 root S 1272 2% 0% /usr/sbin/odhcpd 1000 1 root S 1184 2% 0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 513 1 root S 1184 2% 0% /bin/ash --login 512 1 root S 1168 2% 0% /sbin/ubusd 943 1 root S 1052 2% 0% /usr/sbin/dropbear -F -P /var/run/dro 1173 1 dnsmasq S 1040 2% 0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 6 2 root SW 0 0% 0% [kworker/u2:0] 8 2 root SW 0 0% 0% [kworker/u2:1] 172 2 root SW 0 0% 0% [spi0] 99 2 root SW 0 0% 0% [kswapd0] 340 2 root SW< 0 0% 0% [kworker/0:1H]
|
l 彻底关闭内核的打印
将代码内核打印的代码去掉,发现CPU空闲的资源变多了。
TP=92Mbps,已经可以满足要求
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
|
Mem: 18376K used, 42336K free, 68K shrd, 1788K buff, 5540K cached
CPU: 0% usr 0% sys 0% nic 60% idle 0% io 0% irq 37% sirq
Load average: 0.46 0.38 0.16 1/31 1284
PID PPID USER STAT VSZ %VSZ %CPU COMMAND 1109 1 root S 1636 3% 1% /usr/sbin/hostapd -P /var/run/wifi-ph 3 2 root SW 0 0% 1% [ksoftirqd/0] 1284 448 root R 1176 2% 0% top 1148 1 dnsmasq S 1040 2% 0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 99 2 root SW 0 0% 0% [kworker/0:1] 861 1 root S 1620 3% 0% /sbin/netifd 1 0 root S 1516 2% 0% /sbin/procd 882 1 root S 1272 2% 0% /usr/sbin/odhcpd 448 1 root S 1172 2% 0% /bin/ash --login 965 1 root S 1172 2% 0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 826 1 root S 1168 2% 0% /sbin/logd -S 16 447 1 root S 1168 2% 0% /sbin/ubusd 920 1 root S 1052 2% 0% /usr/sbin/dropbear -F -P /var/run/dro 171 2 root SW 0 0% 0% [spi0] 8 2 root SW 0 0% 0% [kworker/u2:1] 6 2 root SW 0 0% 0% [kworker/u2:0] 98 2 root SW 0 0% 0% [kswapd0] 66 2 root SW< 0 0% 0% [bioset] 65 2 root SW< 0 0% 0% [crypto]
^C339 2 root SW< 0 0% 0% [kworker/0:1H]
|
1.1.2 NAT测试
设置方法:PC1固定IP,连接到WAN口,PC2连接到LAN口。然后进路由器的命令行固定WAN口的IP。
测试结果:
LAN-WAN Result = 92Mbps
WAN-LAN Result = 88Mbps
可以看到CPU资源被占用了大部分,但是还是有16%的idle。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
|
Mem: 18656K used, 42056K free, 76K shrd, 1788K buff, 5608K cached
CPU: 0% usr 0% sys 0% nic 16% idle 0% io 0% irq 82% sirq
Load average: 0.00 0.03 0.06 2/33 1535
PID PPID USER STAT VSZ %VSZ %CPU COMMAND 1109 1 root S 1636 3% 5% /usr/sbin/hostapd -P /var/run/wifi-ph 3 2 root RW 0 0% 4% [ksoftirqd/0] 1535 448 root R 1176 2% 3% top 99 2 root SW 0 0% 1% [kworker/0:1] 861 1 root S 1688 3% 0% /sbin/netifd 1 0 root S 1516 2% 0% /sbin/procd 882 1 root S 1272 2% 0% /usr/sbin/odhcpd 965 1 root S 1172 2% 0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 448 1 root S 1172 2% 0% /bin/ash --login 1425 861 root S 1172 2% 0% udhcpc -p /var/run/udhcpc-wan.pid -s 826 1 root S 1168 2% 0% /sbin/logd -S 16 447 1 root S 1168 2% 0% /sbin/ubusd 920 1 root S 1052 2% 0% /usr/sbin/dropbear -F -P /var/run/dro 1379 1 dnsmasq S 1040 2% 0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 1428 861 root S 912 1% 0% odhcp6c -s /lib/netifd/dhcpv6.script 171 2 root SW 0 0% 0% [spi0] 8 2 root SW 0 0% 0% [kworker/u2:1] 6 2 root SW 0 0% 0% [kworker/u2:0] 98 2 root SW 0 0% 0% [kswapd0]
^C339 2 root SW< 0 0% 0% [kworker/0:1H]
|
1.2 XIAOMI MINI
1.2.1 Switch测试
小米MINI的switch转发路径是在硬件里面的,所以LAN转发的路径对CPU几乎没有占用。
测试结果:
94.7Mbps
可以看到CPU占用几乎没有。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
|
Mem: 20860K used, 105092K free, 560K shrd, 2060K buff, 7016K cached
CPU: 0% usr 3% sys 0% nic 94% idle 0% io 0% irq 1% sirq
Load average: 0.10 0.08 0.05 1/45 1536
PID PPID USER STAT VSZ %VSZ %CPU COMMAND 1164 1 dnsmasq S 1044 1% 3% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 1530 1235 root R 1180 1% 1% top -d 1 1234 1147 root S 1124 1% 1% /usr/sbin/dropbear -F -P /var/run/dro 908 1 root S 1628 1% 0% /sbin/netifd 973 1 root S 1540 1% 0% /usr/sbin/uhttpd -f -h /www -r OpenWr 1 0 root S 1536 1% 0% /sbin/procd 872 1 root S 1440 1% 0% /sbin/rpcd 931 1 root S 1280 1% 0% /usr/sbin/odhcpd 1235 1234 root S 1180 1% 0% -ash 410 1 root S 1176 1% 0% /sbin/ubusd 863 1 root S 1176 1% 0% /sbin/logd -S 16 1089 908 root S 1176 1% 0% udhcpc -p /var/run/udhcpc-eth0.2.pid 1022 1 root S 1176 1% 0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 1147 1 root S 1056 1% 0% /usr/sbin/dropbear -F -P /var/run/dro 1091 908 root S 916 1% 0% odhcp6c -s /lib/netifd/dhcpv6.script 411 1 root S 892 1% 0% /sbin/askfirst /usr/libexec/login.sh 118 2 root SW 0 0% 0% [kworker/0:1] 175 2 root SW 0 0% 0% [spi0] 3 2 root SW 0 0% 0% [ksoftirqd/0]
^C 6 2 root SW 0 0% 0% [kworker/u2:0]
|
1.2.2 NAT测试
小米使用的硬件平台是MediaTek MT7620A ver:2 eco:6 ,带有NAT硬件加速,简称HNAT。
Openwrt不支持硬件NAT,测试结果如下:
Result= 94.7Mbps
在这个测试中,几乎占用了所有的CPU。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
|
Mem: 23308K used, 102644K free, 560K shrd, 2060K buff, 7024K cached
CPU: 1% usr 14% sys 0% nic 0% idle 0% io 0% irq 83% sirq
Load average: 0.29 0.16 0.08 2/47 1669
PID PPID USER STAT VSZ %VSZ %CPU COMMAND 1089 908 root R 1176 1% 92% udhcpc -p /var/run/udhcpc-eth0.2.pid 3 2 root RW 0 0% 3% [ksoftirqd/0] 1164 1 dnsmasq S 1044 1% 2% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 1669 1659 root R 1180 1% 1% top 1658 1147 root S 1124 1% 1% /usr/sbin/dropbear -F -P /var/run/dro 118 2 root SW 0 0% 1% [kworker/0:1] 908 1 root S 1628 1% 0% /sbin/netifd 6 2 root SW 0 0% 0% [kworker/u2:0] 973 1 root S 1540 1% 0% /usr/sbin/uhttpd -f -h /www -r OpenWr 1 0 root S 1536 1% 0% /sbin/procd 872 1 root S 1440 1% 0% /sbin/rpcd 931 1 root S 1280 1% 0% /usr/sbin/odhcpd 1235 1234 root S 1180 1% 0% -ash 1659 1658 root S 1180 1% 0% -ash 410 1 root S 1176 1% 0% /sbin/ubusd 863 1 root S 1176 1% 0% /sbin/logd -S 16 1022 1 root S 1176 1% 0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 1234 1147 root S 1124 1% 0% /usr/sbin/dropbear -F -P /var/run/dro 1147 1 root S 1056 1% 0% /usr/sbin/dropbear -F -P /var/run/dro
^C091 908 root S 916 1% 0% odhcp6c -s /lib/netifd/dhcpv6.script
|
使用PandoraBox的固件可以挽救这一局面。它集成了私有的HNAT代码。
1
|
|
PandoraBox-ralink-mt7620-xiaomi-mini-squashfs-sysupgrade-r1024-20150608.bin
|
若要打开这个功能,需要在网页中设置,相关的脚本在/etc/init.d/下面,他会加载HNAT的驱动。
测试的结果是94.7Mbps
可以看到几乎没有CPU的占用。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
|
Mem: 48232K used, 78160K free, 0K shrd, 0K buff, 2146650668K cached
CPU: 0% usr 0% sys 0% nic 98% idle 0% io 0% irq 0% sirq
Load average: 0.00 0.09 0.12 1/42 2685
PID PPID USER STAT VSZ %VSZ %CPU COMMAND 2685 2625 root R 1376 1% 1% top -d 1 2124 1 root S 2576 2% 0% /usr/sbin/nmbd -D 2117 1 root S 2496 2% 0% /usr/sbin/smbd -D 2399 1 nobody S 1936 2% 0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 1784 1 root S 1548 1% 0% /usr/sbin/uhttpd -f -h /www -r Pandor 1650 1 root S 1472 1% 0% /sbin/netifd 1 0 root S 1404 1% 0% /sbin/procd 1769 1 root S 1376 1% 0% /usr/sbin/telnetd -F -l /bin/login.sh 2625 1769 root S 1376 1% 0% -ash 2354 1 root S 1376 1% 0% /usr/sbin/crond -f -c /etc/crontabs - 1722 1 root S 1372 1% 0% /usr/sbin/ntpd -n -l -p 0.pool.ntp.or 1851 1650 root S 1372 1% 0% udhcpc -p /var/run/udhcpc-eth0.2.pid 1685 1 root S 1160 1% 0% /usr/sbin/odhcpd 2157 1 root S 1148 1% 0% /usr/sbin/dropbear -F -P /var/run/dro 1614 1 root S 1040 1% 0% /sbin/logd -S 16 1801 1 root S 984 1% 0% /usr/sbin/vsftpd 480 1 root S 884 1% 0% /sbin/ubusd 1864 1650 root S 828 1% 0% odhcp6c -s /lib/netifd/dhcpv6.script 558 1 root S 768 1% 0% /sbin/askfirst /bin/login
^C559 1 root S 768 1% 0% /sbin/askfirst /bin/login
|
1.3 总结
1. 对于Switch和NAT功能,硬件可以实现offload功能,减轻CPU的负担
2. 对于满速的Throughput测试,CPU基本可以满足需求,但是会吃光CPU的资源。
3. 加入大量的打印会影响性能,如果将打印输出到串口会让性能降到几乎为0
l 打印和速率的关系(打印影响性能)
l 硬件Switch和软件网桥比较
可以看出来,硬件Switch的优势明显。
l 硬件NAT和软件NAT比较
可以看出来,实现硬件NAT会降低很多系统的负担。但是硬件NAT不够灵活,没有集成一些软件可以添加的高级功能。