Switch&NAT 测试

时间:2022-06-28 06:54:04


测试环境:

PC1:Windows10
iperf3

PC2:Ubuntu
iperf3

都装有千兆网卡,直连的iperf速度是935Mbps。

因为TXRX两个方向的数据是差不多的,下面的测试数据只给出平均值。

1.1      TPLINK 841N

1.1.1    Switch测试

TPLIN841N使用了Marvell的88E6060芯片,使用了dsa技术,在Openwrt下面,所有的包都是软件网桥处理的。

l  内核大量打印到终端

默认在内核里面的网桥代码加入了不少的打印,测试的时候会吐出大量的日志。测试结果是1Mbps

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

Mem: 22572K used, 38140K free, 72K shrd, 2612K buff, 6752K cached 

CPU:   0% usr   0% sys   0% nic   7% idle   0% io   0% irq  92% sirq           

Load average: 1.61 0.97 0.95 7/33 1459                                         

^[[7m  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND^[[0m                    
1000     1 root     R     1184   2%  29% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 
1422     1 root     R     1636   3%  20% /usr/sbin/hostapd -P /var/run/wifi-ph 
1339     1 root     R     1168   2%   5% /sbin/logd -S 16                     
1173     1 dnsmasq  R     1040   2%   5% /usr/sbin/dnsmasq -C /var/etc/dnsmasq                                                    
1459   513 root     R     1188   2%   5% top -d 1                             
3     2 root     RW       0   0%   0% [ksoftirqd/0]                        
879     1 root     S     1620   3%   0% /sbin/netifd                         
100     2 root     SW       0   0%   0% [kworker/0:1]                        
1     0 root     S     1520   2%   0% /sbin/procd                          
960     1 root     S     1504   2%   0% /usr/sbin/uhttpd -f -h /www -r OpenWr 
844     1 root     S     1432   2%   0% /sbin/rpcd      
893     1 root     S     1272   2%   0% /usr/sbin/odhcpd                     
513     1 root     S     1188   2%   0% /bin/ash --login 
512     1 root     S     1168   2%   0% /cnblogs/tanhangbo     
943     1 root     S     1052   2%   0% /usr/sbin/dropbear -F -P /var/run/dro 
6     2 root     SW       0   0%   0% [kworker/u2:0]                       
8     2 root     SW       0   0%   0% [kworker/u2:1]  
172     2 root     SW       0   0%   0% [spi0]     
99     2 root     SW       0   0%   0% [kswapd0]                            
340     2 root     SW<      0   0%   0% [kworker/0:1H]

可以看到CPU负载很高(Load average),CPU已经没有资源了。主要的消耗在内核的Softirq部分(92%)。

l  关闭内核的打印

使用dmesg -n 1关闭内核的打印,发现速率接近理想状况但不是最完美的。

观察到CPU资源没有被消耗完。

TP=83Mbps

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

Mem: 21380K used, 39332K free, 68K shrd, 2612K buff, 6744K cached 

CPU: 21% usr 0% sys 0% nic 8% idle 0% io 0% irq 70% sirq 

Load average: 0.55 0.74 0.91 4/33 1440 

PID PPID USER STAT VSZ %VSZ %CPU COMMAND 
1339 1 root R 1168 2% 38% /sbin/logd -S 16 
1422 1 root R 1636 3% 21% /usr/sbin/hostapd -P /var/run/wifi-ph 
3 2 root RW 0 0% 18% [ksoftirqd/0] 
1440 513 root R 1188 2% 7% top -d 1 
100 2 root SW 0 0% 6% [kworker/0:1] 
879 1 root S 1620 3% 0% /sbin/netifd 
1 0 root S 1520 2% 0% /sbin/procd 
960 1 root S 1504 2% 0% /usr/sbin/uhttpd -f -h /www -r OpenWr 
844 1 root S 1432 2% 0% /sbin/rpcd 
893 1 root S 1272 2% 0% /usr/sbin/odhcpd 
1000 1 root S 1184 2% 0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 
513 1 root S 1184 2% 0% /bin/ash --login 
512 1 root S 1168 2% 0% /sbin/ubusd 
943 1 root S 1052 2% 0% /usr/sbin/dropbear -F -P /var/run/dro 
1173 1 dnsmasq S 1040 2% 0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 
6 2 root SW 0 0% 0% [kworker/u2:0] 
8 2 root SW 0 0% 0% [kworker/u2:1] 
172 2 root SW 0 0% 0% [spi0] 
99 2 root SW 0 0% 0% [kswapd0] 
340 2 root SW< 0 0% 0% [kworker/0:1H]

l  彻底关闭内核的打印

将代码内核打印的代码去掉,发现CPU空闲的资源变多了。

TP=92Mbps,已经可以满足要求

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Mem: 18376K used, 42336K free, 68K shrd, 1788K buff, 5540K cached 

CPU:   0% usr   0% sys   0% nic  60% idle   0% io   0% irq  37% sirq 

Load average: 0.46 0.38 0.16 1/31 1284 

  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND 
1109     1 root     S     1636   3%   1% /usr/sbin/hostapd -P /var/run/wifi-ph 
3     2 root     SW       0   0%   1% [ksoftirqd/0] 
1284   448 root     R     1176   2%   0% top 
1148     1 dnsmasq  S     1040   2%   0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 
99     2 root     SW       0   0%   0% [kworker/0:1] 
861     1 root     S     1620   3%   0% /sbin/netifd 
1     0 root     S     1516   2%   0% /sbin/procd 
882     1 root     S     1272   2%   0% /usr/sbin/odhcpd 
448     1 root     S     1172   2%   0% /bin/ash --login 
965     1 root     S     1172   2%   0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 
826     1 root     S     1168   2%   0% /sbin/logd -S 16 
447     1 root     S     1168   2%   0% /sbin/ubusd 
920     1 root     S     1052   2%   0% /usr/sbin/dropbear -F -P /var/run/dro 
171     2 root     SW       0   0%   0% [spi0] 
8     2 root     SW       0   0%   0% [kworker/u2:1] 
6     2 root     SW       0   0%   0% [kworker/u2:0] 
98     2 root     SW       0   0%   0% [kswapd0] 
66     2 root     SW<      0   0%   0% [bioset] 
65     2 root     SW<      0   0%   0% [crypto] 

^C339     2 root     SW<      0   0%   0% [kworker/0:1H]

1.1.2    NAT测试

设置方法:PC1固定IP,连接到WAN口,PC2连接到LAN口。然后进路由器的命令行固定WAN口的IP。

测试结果:

LAN-WAN Result = 92Mbps

WAN-LAN Result = 88Mbps

可以看到CPU资源被占用了大部分,但是还是有16%的idle。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

Mem: 18656K used, 42056K free, 76K shrd, 1788K buff, 5608K cached 

CPU:   0% usr   0% sys   0% nic  16% idle   0% io   0% irq  82% sirq 

Load average: 0.00 0.03 0.06 2/33 1535 

  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND 
1109     1 root     S     1636   3%   5% /usr/sbin/hostapd -P /var/run/wifi-ph 
3     2 root     RW       0   0%   4% [ksoftirqd/0] 
1535   448 root     R     1176   2%   3% top 
99     2 root     SW       0   0%   1% [kworker/0:1] 
861     1 root     S     1688   3%   0% /sbin/netifd 
1     0 root     S     1516   2%   0% /sbin/procd 
882     1 root     S     1272   2%   0% /usr/sbin/odhcpd 
965     1 root     S     1172   2%   0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 
448     1 root     S     1172   2%   0% /bin/ash --login 
1425   861 root     S     1172   2%   0% udhcpc -p /var/run/udhcpc-wan.pid -s 
826     1 root     S     1168   2%   0% /sbin/logd -S 16 
447     1 root     S     1168   2%   0% /sbin/ubusd 
920     1 root     S     1052   2%   0% /usr/sbin/dropbear -F -P /var/run/dro 
1379     1 dnsmasq  S     1040   2%   0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 
1428   861 root     S      912   1%   0% odhcp6c -s /lib/netifd/dhcpv6.script 
171     2 root     SW       0   0%   0% [spi0] 
8     2 root     SW       0   0%   0% [kworker/u2:1] 
6     2 root     SW       0   0%   0% [kworker/u2:0] 
98     2 root     SW       0   0%   0% [kswapd0] 

^C339     2 root     SW<      0   0%   0% [kworker/0:1H]

1.2      XIAOMI MINI

1.2.1    Switch测试

小米MINI的switch转发路径是在硬件里面的,所以LAN转发的路径对CPU几乎没有占用。

测试结果:
94.7Mbps

可以看到CPU占用几乎没有。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Mem: 20860K used, 105092K free, 560K shrd, 2060K buff, 7016K cached 

CPU:   0% usr   3% sys   0% nic  94% idle   0% io   0% irq   1% sirq 

Load average: 0.10 0.08 0.05 1/45 1536 

  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND 
1164     1 dnsmasq  S     1044   1%   3% /usr/sbin/dnsmasq -C /var/etc/dnsmasq 
1530  1235 root     R     1180   1%   1% top -d 1 
1234  1147 root     S     1124   1%   1% /usr/sbin/dropbear -F -P /var/run/dro 
908     1 root     S     1628   1%   0% /sbin/netifd 
973     1 root     S     1540   1%   0% /usr/sbin/uhttpd -f -h /www -r OpenWr 
1     0 root     S     1536   1%   0% /sbin/procd 
872     1 root     S     1440   1%   0% /sbin/rpcd 
931     1 root     S     1280   1%   0% /usr/sbin/odhcpd 
1235  1234 root     S     1180   1%   0% -ash 
410     1 root     S     1176   1%   0% /sbin/ubusd 
863     1 root     S     1176   1%   0% /sbin/logd -S 16 
1089   908 root     S     1176   1%   0% udhcpc -p /var/run/udhcpc-eth0.2.pid 
1022     1 root     S     1176   1%   0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h 
1147     1 root     S     1056   1%   0% /usr/sbin/dropbear -F -P /var/run/dro 
1091   908 root     S      916   1%   0% odhcp6c -s /lib/netifd/dhcpv6.script 
411     1 root     S      892   1%   0% /sbin/askfirst /usr/libexec/login.sh 
118     2 root     SW       0   0%   0% [kworker/0:1] 
175     2 root     SW       0   0%   0% [spi0] 
3     2 root     SW       0   0%   0% [ksoftirqd/0] 

^C  6     2 root     SW       0   0%   0% [kworker/u2:0]

1.2.2    NAT测试

小米使用的硬件平台是MediaTek MT7620A ver:2 eco:6 ,带有NAT硬件加速,简称HNAT。

Openwrt不支持硬件NAT,测试结果如下:

Result= 94.7Mbps

在这个测试中,几乎占用了所有的CPU。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

Mem: 23308K used, 102644K free, 560K shrd, 2060K buff, 7024K cached

CPU:   1% usr  14% sys   0% nic   0% idle   0% io   0% irq  83% sirq

Load average: 0.29 0.16 0.08 2/47 1669

  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND
1089   908 root     R     1176   1%  92% udhcpc -p /var/run/udhcpc-eth0.2.pid
3     2 root     RW       0   0%   3% [ksoftirqd/0]
1164     1 dnsmasq  S     1044   1%   2% /usr/sbin/dnsmasq -C /var/etc/dnsmasq
1669  1659 root     R     1180   1%   1% top
1658  1147 root     S     1124   1%   1% /usr/sbin/dropbear -F -P /var/run/dro
118     2 root     SW       0   0%   1% [kworker/0:1]
908     1 root     S     1628   1%   0% /sbin/netifd
6     2 root     SW       0   0%   0% [kworker/u2:0]
973     1 root     S     1540   1%   0% /usr/sbin/uhttpd -f -h /www -r OpenWr
1     0 root     S     1536   1%   0% /sbin/procd
872     1 root     S     1440   1%   0% /sbin/rpcd
931     1 root     S     1280   1%   0% /usr/sbin/odhcpd
1235  1234 root     S     1180   1%   0% -ash
1659  1658 root     S     1180   1%   0% -ash
410     1 root     S     1176   1%   0% /sbin/ubusd
863     1 root     S     1176   1%   0% /sbin/logd -S 16
1022     1 root     S     1176   1%   0% /usr/sbin/ntpd -n -S /usr/sbin/ntpd-h
1234  1147 root     S     1124   1%   0% /usr/sbin/dropbear -F -P /var/run/dro
1147     1 root     S     1056   1%   0% /usr/sbin/dropbear -F -P /var/run/dro

^C091   908 root     S      916   1%   0% odhcp6c -s /lib/netifd/dhcpv6.script

使用PandoraBox的固件可以挽救这一局面。它集成了私有的HNAT代码。

1

PandoraBox-ralink-mt7620-xiaomi-mini-squashfs-sysupgrade-r1024-20150608.bin

若要打开这个功能,需要在网页中设置,相关的脚本在/etc/init.d/下面,他会加载HNAT的驱动。

Switch&NAT 测试

测试的结果是94.7Mbps

可以看到几乎没有CPU的占用。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

Mem: 48232K used, 78160K free, 0K shrd, 0K buff, 2146650668K cached

CPU:   0% usr   0% sys   0% nic  98% idle   0% io   0% irq   0% sirq

Load average: 0.00 0.09 0.12 1/42 2685

  PID  PPID USER     STAT   VSZ %VSZ %CPU COMMAND
2685  2625 root     R     1376   1%   1% top -d 1
2124     1 root     S     2576   2%   0% /usr/sbin/nmbd -D
2117     1 root     S     2496   2%   0% /usr/sbin/smbd -D
2399     1 nobody   S     1936   2%   0% /usr/sbin/dnsmasq -C /var/etc/dnsmasq
1784     1 root     S     1548   1%   0% /usr/sbin/uhttpd -f -h /www -r Pandor
1650     1 root     S     1472   1%   0% /sbin/netifd
1     0 root     S     1404   1%   0% /sbin/procd
1769     1 root     S     1376   1%   0% /usr/sbin/telnetd -F -l /bin/login.sh
2625  1769 root     S     1376   1%   0% -ash
2354     1 root     S     1376   1%   0% /usr/sbin/crond -f -c /etc/crontabs -
1722     1 root     S     1372   1%   0% /usr/sbin/ntpd -n -l -p 0.pool.ntp.or
1851  1650 root     S     1372   1%   0% udhcpc -p /var/run/udhcpc-eth0.2.pid
1685     1 root     S     1160   1%   0% /usr/sbin/odhcpd
2157     1 root     S     1148   1%   0% /usr/sbin/dropbear -F -P /var/run/dro
1614     1 root     S     1040   1%   0% /sbin/logd -S 16
1801     1 root     S      984   1%   0% /usr/sbin/vsftpd
480     1 root     S      884   1%   0% /sbin/ubusd
1864  1650 root     S      828   1%   0% odhcp6c -s /lib/netifd/dhcpv6.script
558     1 root     S      768   1%   0% /sbin/askfirst /bin/login

^C559     1 root     S      768   1%   0% /sbin/askfirst /bin/login

1.3      总结

1. 对于Switch和NAT功能,硬件可以实现offload功能,减轻CPU的负担

2. 对于满速的Throughput测试,CPU基本可以满足需求,但是会吃光CPU的资源。

3. 加入大量的打印会影响性能,如果将打印输出到串口会让性能降到几乎为0

l  打印和速率的关系(打印影响性能)

Switch&NAT 测试

l  硬件Switch和软件网桥比较

Switch&NAT 测试

可以看出来,硬件Switch的优势明显。

l  硬件NAT和软件NAT比较

Switch&NAT 测试

可以看出来,实现硬件NAT会降低很多系统的负担。但是硬件NAT不够灵活,没有集成一些软件可以添加的高级功能。