多数据中心思科 ACI 架构配置备份线路

1.简介

生产环境配置为东莞IDC和湖南IDC通过思科 ACI （软件定义网络）架构+移动专线网络（要求 MTU =9000）连接。考虑专线费用问题另外配置了一条联通的互联网专线，通过 WOC （VPN） 的方式实现业务网络的备份配置。网络架构如下图所示。

通过 VPN 的方式实现业务的配置切换主要存在以下问题：

1、需要手动切换

2、MTU是1500

3、只能备份三层业务

优化方案：调整路由优先级实现自动切换

2.方案一、配置 ACI 策略实现

注：目前我们使用的ACI版本是4.25，从 Cisco APIC 4.2(6h) 版本开始，才可以在路由映射中配置拒绝操作，以对静态路由和直接子网进行交错再分配。

测试发现ACI支持打community，当打上not-advertise community时，不发布给EBGP和IBGP邻居，即可实现拒绝操作同样的效果。

1、在核心交换机192.168.0.1上配置湖南网段的静态路由，下一跳指向总部WOC，优先级大于110（使得正常从ACI学到的OSPF路由优先于静态路由）

ip route  10.103.6.0 255.255.255.0 192.168.0.207  222

2、在APIC上配置总部网段的L3OUT路由，下一条指向湖南WOC，优先级大于200（使得overlay路由优先于静态路由）

3、在APIC上配置路由策略，控制静态路由的重发布。

①进入创建路由策略界面

②指定路由策略的命名、序号及行为，并创建前缀列表匹配需要拒绝的路由前缀。

3.方案二：IPN之间建立GRE隧道运行OSPF协议

3.1.架构分析：

1、ACI的控制平面：Leaf之间通过BGP协议动态建立VXLAN隧道，其中Spine是BGP RR，Leaf是BGP client，Spine之间建立IBGP邻居。

2、ACI的数据平面：

Underlay：Leaf和Spine之间运行的是ISIS协议，Spine、IPN之间运行的是OSPF协议。

Leaf的Loopback0路由在Spine上重发布进OSPF，是第二类外部路由，外部开销为20。

第二类外部路由选路原则：先比较外部开销，外部开销小的优先，如果外部开销相等则比较内部开销，内部开销小的优先。

Overlay：Leaf之间通过BGP协议在Loopback0之间建立起VXLAN隧道，业务报文被封装在VXLAN隧道中转发。

3.2方案描述

IPN之间通过公网建立起一条MTU为9000的GRE隧道，并通过GRE隧道建立起OSPF邻居关系，调整cost使其作为备份。

3.3.存在问题

1、公网建立的IPSEC或GRE隧道的MTU不大于1500，而使用OPENVPN最大可以实现9000的MTU。

2、GRE隧道不支持PIM Bidir，会影响广播、未知单播和多播 (BUM) 流量。

3.4.具体方案

1.两边部署VYOS(VM)，通过公网在两台VYOS之间建立起OPEN VPN隧道，MTU为9000。

hn-smartgw1 10.103.4.251  dg-smartgw1 192.168.6.10

①公网映射，将东莞移动120.197.151.246的62888端口映射到192.168.6.10。

②湖南端VYOS固定移动出口。

2、VYOS之间建立OPEN VPN隧道，调整MTU为9000。

3、IPN-12增加一条线连接Leaf102，将Leaf102的端口静态分配进与VYOS同一个EPG当中。

4、IPN-22增加一条线连接接入交换机，将VYOS和IPN-22划分进同一个VLAN当中。

interface XGigabitEthernet0/0/4
 port link-type access
 port default vlan 21

5、IPN之间通过静态路由写通两端IPN的loopback2，然后建立起vxlan隧道。

①通过静态路由写通IPN

IPN-22:  ip route 100.100.100.12/32 10.70.2.1
IPN-12:  ip route 100.100.100.22/32 10.103.4.251
hn-smartgw1:  set protocols static route 100.100.100.22/32 next-hop '10.70.1.1'
dg-smartgw1:  set protocols static route 100.100.100.120/32 next-hop '10.70.1.2'

②IPN之间建立静态vxlan隧道并在vlanif上运行OSPF协议，调整隧道接口cost为50。

IPN-22
feature interface-vlan                                                                //开启三层虚接口功能
feature vn-segment-vlan-based                                               //开启vxlan功能
feature bfd                                                                               //开启bfd功能
feature nv overlay                                                                    //开启vxlan功能
vlan 2888
  vn-segment 2888
interface nve1
  no shutdown
  source-interface loopback2
  member vni 2888
    ingress-replication protocol static
    peer-ip 100.100.100.12
interface Vlan2888
 description VXLAN OVER OPENVPN-TO-B14-IPN-12
  no shutdown
  mtu 8900
  vrf member MYJ_Fabric
  no ip redirects
  ip address 10.70.0.1/30
  no ipv6 redirects
  ip ospf cost 50
  ip ospf network point-to-point
  ip router ospf 1 area 0.0.0.0
#ip ospf bfd                                                                    //基于VXLAN的VLANIF不支持BFD。
 ip ospf hello 1                                                                //可调整hello时间来加快OSPF收敛。
  ip pim sparse-mode

6、调整沿途经过的设备MTU。

①IPN连接交换机/Leaf接口MTU大于9000。

②VMware网卡及虚拟交换机MTU为9000。

③VYOS网卡MTU为9000。

④GRE隧道和OPENVPN隧道MTU为9000。