Cisco ACI 架构生产环境异地数据中心线路备份方案

1.简介

传统方案通过WOC VPN备份

注：上次湖南-东莞中断曾手动切换到WOC VPN进行备份。

存在问题：

1、需要手动切换。

2、MTU是1500。

3、只能备份三层业务。

2.方案一：调整路由优先级实现自动切换

注：目前我们使用的ACI版本是4.25，从 Cisco APIC 4.2(6h) 版本开始，才可以在路由映射中配置拒绝操作，以对静态路由和直接子网进行交错再分配。

测试发现ACI支持打community，当打上not-advertise community时，不发布给EBGP和IBGP邻居，即可实现拒绝操作同样的效果。

2.1.操作步骤

1、在核心交换机192.168.0.1上配置湖南网段的静态路由，下一跳指向总部WOC，优先级大于110（使得正常从ACI学到的OSPF路由优先于静态路由）

ip route  10.103.6.0 255.255.255.0 192.168.0.207  222

2、在APIC上配置总部网段的L3OUT路由，下一条指向湖南WOC，优先级大于200（使得overlay路由优先于静态路由）

3、在APIC上配置路由策略，控制静态路由的重发布。

①进入创建路由策略界面

②指定路由策略的命名、序号及行为，并创建前缀列表匹配需要拒绝的路由前缀。

3.方案二：IPN之间建立GRE隧道运行OSPF协议

3.1.架构分析

1、ACI的控制平面：Leaf之间通过BGP协议动态建立VXLAN隧道，其中Spine是BGP RR，Leaf是BGP client，Spine之间建立IBGP邻居。

2、ACI的数据平面：

Underlay：Leaf和Spine之间运行的是ISIS协议，Spine、IPN之间运行的是OSPF协议。

Leaf的Loopback0路由在Spine上重发布进OSPF，是第二类外部路由，外部开销为20。

第二类外部路由选路原则：先比较外部开销，外部开销小的优先，如果外部开销相等则比较内部开销，内部开销小的优先。

Overlay：Leaf之间通过BGP协议在Loopback0之间建立起VXLAN隧道，业务报文被封装在VXLAN隧道中转发。

3.2.方案描述

IPN之间通过公网建立起一条MTU为9000的GRE隧道，并通过GRE隧道建立起OSPF邻居关系，调整cost使其作为备份。

存在问题：

1、公网建立的IPSEC或GRE隧道的MTU不大于1500，而使用OPEN VPN最大可以实现9000的MTU。

2、GRE隧道不支持PIM Bidir，会影响广播、未知单播和多播 (BUM) 流量。

3.3.操作步骤

1、两边部署VYOS(VM)，通过公网在两台VYOS之间建立起OPEN VPN隧道，MTU为9000。

hn-smartgw1 10.103.4.251  dg-smartgw1 192.168.6.10

①公网映射，将东莞移动1xxxxx的62888端口映射到192.168.6.10。

②湖南端VYOS固定移动出口。

2、VYOS之间建立OPEN VPN隧道，调整MTU为9000。

3、IPN-12增加一条线连接Leaf102，将Leaf102的端口静态分配进与VYOS同一个EPG当中。

4、IPN-22增加一条线连接接入交换机，将VYOS和IPN-22划分进同一个VLAN当中。

interface XGigabitEthernet0/0/4
 port link-type access
 port default vlan 21

5、IPN之间通过静态路由写通两端IPN的loopback2，然后建立起vxlan隧道。

①通过静态路由写通IPN

IPN-22:  ip route 100.100.100.12/32 10.70.2.1
IPN-12:  ip route 100.100.100.22/32 10.103.4.251
hn-smartgw1:  set protocols static route 100.100.100.22/32 next-hop '10.70.1.1'
dg-smartgw1:  set protocols static route 100.100.100.120/32 next-hop '10.70.1.2'

②IPN之间建立静态vxlan隧道并在vlanif上运行OSPF协议，调整隧道接口cost为50。

IPN-22

feature interface-vlan                                                                //开启三层虚接口功能
feature vn-segment-vlan-based                                               //开启vxlan功能
feature bfd                                                                               //开启bfd功能
feature nv overlay                                                                    //开启vxlan功能

vlan 2888
  vn-segment 2888

interface nve1
  no shutdown
  source-interface loopback2
  member vni 2888
    ingress-replication protocol static
      peer-ip 100.100.100.12

interface Vlan2888
  description VXLAN OVER OPEN VPN-TO-B14-IPN-12
  no shutdown
  mtu 8900
  vrf member MYJ_Fabric
  no ip redirects
  ip address 10.70.0.1/30
  no ipv6 redirects
  ip ospf cost 50
  ip ospf network point-to-point
  ip router ospf 1 area 0.0.0.0

#ip ospf bfd                                                                         //基于VXLAN的VLANIF不支持BFD。
 ip ospf hello 1                                                                //可调整hello时间来加快OSPF收敛。
  ip pim sparse-mode

6、调整沿途经过的设备MTU。

①IPN连接交换机/Leaf接口MTU大于9000。

②VMware网卡及虚拟交换机MTU为9000。

③VYOS网卡MTU为9000。

④GRE隧道和OPEN VPN隧道MTU为9000。