Broadcom以太网交换芯片培训

时间:2020-12-12 03:02:33

 

目录

1、交换芯片架构............................................................................................................. 2

2、L2转发流程............................................................................................................... 3

2.1 L2转发原理........................................................................................................ 3

2.2 L2转发相关的表项............................................................................................. 5

2.2.1 port表..................................................................................................... 5

2.2.2 egress port表.......................................................................................... 6

2.2.3 L2地址表................................................................................................. 6

2.2.4 VLAN表................................................................................................... 7

3、L3转发流程............................................................................................................... 8

4、L2组播转发流程...................................................................................................... 10

5、L3组播转发流程...................................................................................................... 10

6、流分类处理流程....................................................................................................... 13

本文以broadcom56504/56300交换芯片为重点,介绍一下交换芯片的工作原理。

1、交换芯片架构

交换芯片由GE/XE接口(MAC/PHY)模块、CPU接口模块、输入输出匹配/修改模块、MMU模块、L2转发模块、L3转发模块、安全模块、流分类模块等模块组成,其结构如图1所示:

Broadcom以太网交换芯片培训

图1 交换芯片的组成

 

56504包含24个GE端口,4个10G端口,10G端口既可以用于堆叠,也可以用于上联/级联。

56504交换芯片与CPU的接口称为CMIC接口。交换芯片与CPU通过PCI总线连接。其他类型交换芯片与CPU的接口可以是:SPI+MII、I2C+MII、系统总线+MII、SMI+MII等。交换芯片的包处理流程如图2所示:

Broadcom以太网交换芯片培训

图2 交换芯片的包处理流程简图

 

  包由端口进入交换芯片之后,首先进行包头字段匹配,为流分类做准备;然后经过一个安全引擎进行包过滤;符合安全的包进行L2交换或者L3路由,并经过流分类处理器对匹配的包做相关动作(比如丢弃、限速、修改VLAN等);对于可以转发的包根据802.1P或DSCP放到不同队列的buffer中,调度器根据优先级或者WRR等算法进行队列调度,在端口发出该包之前执行流分类修改动作,最终从相应端口发送出去。

2、L2转发流程

2.1 L2转发原理

对于交换芯片来说,L2转发是一个最基本的功能。L2功能主要包括ingress过滤、MAC学习和老化、根据MAC+VLAN转发、广播与洪泛、生成树控制等基本功能。

L2转发的具体流程如图3所示:

Broadcom以太网交换芯片培训

图3 L2转发流程

从端口进入交换芯片的包首先检查TAG,对于tagged包,判断是否是802.1p的包,(802.1p的包vid为0),对于untagged的包和802.1p的包,根据系统配置加上tag(这些配置包括:基于MAC的vlan、基于子网的vlan、基于协议的vlan和基于端口的vlan)。经过这一步以后,到交换芯片内部的包都变成802.1Q的tagged包了(vid为1-4094,4095保留),如果设置了ingress过滤,就会检查本端口是否在该vid对应的VLAN中,对于本端口不在该vid对应的VLAN中的包就丢弃。对于没有设置ingress过滤,或者设置ingress过滤但本端口在该vid对应的VLAN中的包进行STP端口状态检查,对于BPDU(网桥协议数据单元)以外的包,只有端口处于forwarding状态,才允许包进入。然后进行原MAC地址检查,以原MAC+VID的哈希为索引查找L2 TABLE,如果没有找到,就把这个表项(原MAC+VID)以及对应的端口写到L2 TABLE中,这个过程称为MAC地址学习。当然地址学习的方法有很多种,可以是硬件学习,也可以是软件学习,可以根据PORT表中的CMI字段的配置来进行。

下一步进行目的MAC地址检查:目的MAC地址为广播地址(0xffffffff)的包,在vlan内广播出去;目的MAC地址为组播地址的包,进行组播流程的处理;对于单播包,查找L2 TABLE,如果没有找到,就在vlan内进行洪泛;如果找到,检查表项中的L3 bit是否设置,如果设置了L3 bit,就进行L3流程的转发;否则就转发到L2 TABLE表项中的端口去,在egress方向,也有egress过滤设置(默认是使能的),如果egress端口不在vlan中也是不能转发的。至此,L2转发流程完成了。

与地址学习相反的过程是地址老化。地址老化的机制是:ASIC内部有个定时器,称为age timer,命令行可以对这个寄存器进行设置,每次查找L2 TABLE时(包括原地址查找和目的地址查找,可以配置),如果命中,就会设置hit标志。当老化时间到后,ASIC把hit标志清除,当下一个老化时间到后,ASIC把hit为0的地址设置为无效,这就是为什么实际地址老化的时间为1~2倍agingTime的原因。

2.2 L2转发相关的表项

2.2.1 port表

Broadcom以太网交换芯片培训

图4 port表

 

Port表是一个非常重要的表,有很多与端口相关的控制都在这里设置。每个端口对应一个表项,按端口号进行索引。下面介绍一下重要的设置:

1) PVID:设置PORT_VID

2) 缺省优先级:设置PORT_PRI

3) 流分类使能:设置FILTER_ENABLE

4) VLAN转换使能:设置VT_ENABLE和VT_MISS_DROP

5) Ingress过滤使能:设置EN_IFILTER

6) 信任COS还是信任DSCP:对于IPV4:TRUST_DSCP_V4=0:信任COS;TRUST_DSCP_V4=1:信任DSCP,对于IPV6:同样设置TRUST_DSCP_V6。

7) Ingress方向mirror使能:设置MIRROR

8) MAC地址学习方式:设置CML

9) IP组播是否使用VLAN信息:设置IPMC_DO_VLAN

10) L3转发使能:设置V4L3_ENABLE和V6L3_ENABLE

11) 是否丢弃BPDU:设置DROP_BPDU

12) 控制是否转发带tag和不带tag的包:设置PORT_DIS_TAG和PORT_DIS_UNTAG

13) Pause帧控制:设置PASS_CONTROL_FRAMES

14) 基于子网的VLAN使能:设置SUBNET_BASED_VID_ENABLE

15) 基于MAC的VLAN使能:设置MAC_BASED_VID_ENABLE

16) 设置堆叠口:HIGIG_PACKET

17) 设置NNI口:NNI_PORT

18) 修改优先级使能:MAP_TAG_PACKET_PRIORITY

19) 堆叠口modid设置:MY_MODID

20) Out tpid设置:OUTER_TPID

21) 基于MAC和基于子网的VLAN优先级设置:VLAN_PRECEDENCE

22) 是否允许单臂桥功能:PORT_BRIDGE

23) IP组播位图设置:IGNORE_IPMC_L2_BITMAP和IGNORE_IPMC_L3_BITMAP

2.2.2 egress port表

Broadcom以太网交换芯片培训

图5 egress port表

 

EGR_PORT是一组寄存器,每个端口一个,用于EGRESS方向的控制,有几个重要设置介绍如下:

1) 设置egress端口类型:PORT_TYPE=0,UNI端口;PORT_TYPE=1,NNI端口 (用户侧接口和网络侧接口, UNI就是面向客户侧,NNI面向网络侧。对PTN来说,UNI就是客户过来的业务,没有打上PW/LSP等标签;NNI则打上PW和LSP标签内容)

2) 设置egress过滤:EN_EFILTER=1

2.2.3 L2地址表

Broadcom以太网交换芯片培训

图6 L2地址表

 

56504的L2地址表大小为16K,5630X的L2地址表大小为8K,地址表使用MAC+VID的hash值作为索引查表。实际上56504的L2地址表hash值为4K,每个hash值对应4条地址,这样最多可以保存4条hash冲突的地址。地址表中每个表项都保存了MAC_ADDR和VLAN_ID。MAC学习的时候使用原MAC+VID的hash查表,把表中的MAC+VID与包中的MAC+VID进行比较,如果完全相等,表示找到了。然后看端口(TGID_PORT)是否相等,如果不相等表示地址发生了迁移,对于动态学习的地址需要更新port;如果相等表示命中,更新hit标志。其他几个重要的功能介绍如下:

1) 设置静态地址:STATIC_BIT=1

2) 设置L3转发标志:L3=1

3) 设置本地址的包都转发到CPU去:CPU=1

4) 设置本地址匹配的包丢弃:SRC_DISCARD=1、DST_DISCARD=1

5) 设置本地址匹配的包对某些端口阻塞:MAC_BLOCK_INDEX

6) 设置本地址匹配的包镜像:MIRROR=1

7) 设置组播索引:L2MC_PTR

8) 地址有效标志:VALID=1

2.2.4 VLAN表

Vlan表分为ingress和egress两个部分,分别对应入口控制和出口控制。

Broadcom以太网交换芯片培训

图7 ingress vlan表

 

Ingress Vlan表中主要包含了端口列表,用于ingress filter功能。PFM是用于控制组播洪泛的开关。PFM=0,组播在vlan内洪泛;PFM=1,注册的组播按组播表转发,未注册的组播在vlan内洪泛;PFM=2,注册的组播按组播表转发,未注册的组播丢弃。STG用于标识本vlan所属的生成树组。

Broadcom以太网交换芯片培训

图8 egress vlan表

Egress vlan表中除了PFM和STG外,还包含了出口方向的端口位图,以及哪些端口以untag的方式发送本vlan的包。

3、L3转发流程

Broadcom以太网交换芯片培训

图9 L3转发流程

如果查目的MAC地址表的时候发现L3bit置位了,就进入到L3转发流程。与L2交换相比,L3交换可以实现跨VLAN转发,而且它的转发依据不是根据目的MAC地址,而是根据目的IP。L3转发的流程是:首先对L3头部进行校验,校验和错的包直接丢弃;然后进行原IP地址查找,如果主机路由表中没有找到,会上报给CPU,CPU会进行相应的处理,并更新接口表;下一步进行目的IP地址查找,如果主机路由表中没有找到,就会在子网路由表中进行查找,在子网路由表中进行最长子网匹配的查找算法,如果在子网路由表中还没有找到,也送给CPU进行处理,如果在主机路由表或子网路由表中找到了,就会得到下一跳的指针。如果ECMP使能的话,会得到ECMP的指针和ECMP的个数,从而根据hash算法得到一个下一跳指针。下一条表项中包含了下一跳的MAC地址和接口表的索引。在包转发出去的时候,用下一跳的MAC地址替换掉包的目的MAC地址。用接口表中的MAC地址和VLAN替换掉包的原MAC地址和VLAN。

与L3有关的几个重要的表:

Broadcom以太网交换芯片培训

图10 L3单播主机路由表

 Broadcom以太网交换芯片培训

图11 L3子网路由表

Broadcom以太网交换芯片培训

图12 ECMP表

 

Broadcom以太网交换芯片培训

图13 EGRESS 下一跳表 

Broadcom以太网交换芯片培训

图14 接口表

Broadcom以太网交换芯片培训

图15 INGRESS 下一跳表

4、L2组播转发流程

在L2转发流程中,查找目的MAC+VID的时候,如果表项的目的MAC是一个组播地址,该表项有一个组播指针指向组播表,组播表中有一个端口位图,表示哪些端口属于该组播组。组播组中的端口位图与VLAN中的端口位图相与的结果是实际转发的端口位图。静态配置的或协议动态添加的组播地址通过SSP写到MAC地址表中,组播成员通过SSP写到组播表中。L2组播表的结构如下:

Broadcom以太网交换芯片培训

图16 L2组播表

5、L3组播转发流程

L3组播支持有源树和共享树。所谓有源树是指根据源IP地址和组地址来确定一个组播组,而共享树是指仅根据组地址来确定一个组播组。芯片也支持反向路径检查(Reverse Path Forwarding check),所谓反向路径检查是指通过检查源IP地址确定源端口,从而不要向源端口转发的技术。

L3组播的转发流程是,先查L2表,对于组播地址而且是L3 bit置位的,查L3表。L3表给出IPMC_INDEX。根据这个索引查L3_IPMC表,L3_IPMC表给出L2_BITMAP和L3_BITMAP。对于L2_BITMAP,按照L2组播流程转发;对于L3_BITMAP,根据IPMC_INDEX和BITMAP得到IPMC_GROUP的VLAN_INDEX,最后根据VLAN_INDEX查找IPMC_VLAN表,IPMC_VLAN表包含了VLAN的位图,芯片在进行L3组播的时候,对VLAN的位图中的每个成员进行组播复制。

Broadcom以太网交换芯片培训

图17 L3组播表

Broadcom以太网交换芯片培训

图18 L3组播复制

L3单播和组播的转发流程综合起来,如下图所示:

Broadcom以太网交换芯片培训

图19 L3单播和组播的转发流程

IPMC转发相关的表的结构如下:   

Broadcom以太网交换芯片培训

图20 L3 TABLE

L3 TABLE表项大小8K(5650X)/2K(5630X)。

Broadcom以太网交换芯片培训

图21 IPMC TABLE

IPMC TABLE表项大小1K。

Broadcom以太网交换芯片培训

图22 IPMC _GROUP TABLE

IPMC _GROUP TABLE表项大小1K。

Broadcom以太网交换芯片培训

图23 IPMC _VLAN TABLE

IPMC _VLAN TABLE表项大小2K。

6、流分类处理流程

Broadcom以太网交换芯片培训

在5650X/5630X中,流分类是通过CFP实现的,CFP是ContentAware Filter Processor的缩写。所谓ContentAware就是对packet的内容进行智能匹配的技术。5650X/5630X中的流分类分为5个阶段,流程如图:

Broadcom以太网交换芯片培训

图24 CFP流程

这5个部分分别是智能协议识别选择器、CAM查找引擎、策略引擎、meter和统计引擎、动作裁决引擎。在ingress端口,智能协议识别选择器对进来的包的前128bit按照协议字段进行选择和标记,CAM查找引擎按照用户给的key匹配协议选择器的内容,如果找到了,就执行策略引擎的动作,并可以实验meter和统计引擎进行限速、标记颜色和统计。5650X有16个CAM查找引擎,5630X有8个CAM查找引擎,它们可以并行执行,执行的动作如果有冲突的话,由动作裁决引擎进行裁决。 

与协议内容识别选择器有关的表是:

Broadcom以太网交换芯片培训

图25 协议内容识别选择器

Broadcom以太网交换芯片培训

图26 FP_TCAM表

下面这个是策略引擎表项:

Broadcom以太网交换芯片培训

图27 FP_TCAM_PLUS_POLICY表 

下面这个是meter表和counter表:

Broadcom以太网交换芯片培训

图28 FP_METER表

Broadcom以太网交换芯片培训

图29 FP_COUNTER表 

动作裁决的优先级如下:

1. DROP

2. Else REPLACE

3. Else REDIRECT

4. Then EGRESSMASK

5. Then COPY_TO_CPU