多数据中心思科 ACI 架构配置备份线路

时间:2022-11-30 15:04:15

1.简介

生产环境配置为东莞IDC和湖南IDC通过思科 ACI (软件定义网络)架构+移动专线网络(要求 MTU =9000)连接。考虑专线费用问题另外配置了一条联通的互联网专线,通过 WOC (VPN) 的方式实现业务网络的备份配置。网络架构如下图所示。

多数据中心思科 ACI 架构配置备份线路

通过 VPN 的方式实现业务的配置切换主要存在以下问题:

1、需要手动切换

2、MTU是1500

3、只能备份三层业务

优化方案:调整路由优先级实现自动切换

2.方案一、配置 ACI 策略实现

注:目前我们使用的ACI版本是4.25,从 Cisco APIC 4.2(6h) 版本开始,才可以在路由映射中配置拒绝操作,以对静态路由和直接子网进行交错再分配

测试发现ACI支持打community,当打上not-advertise community时,不发布给EBGP和IBGP邻居,即可实现拒绝操作同样的效果。

1、在核心交换机192.168.0.1上配置湖南网段的静态路由,下一跳指向总部WOC,优先级大于110(使得正常从ACI学到的OSPF路由优先于静态路由)

ip route  10.103.6.0 255.255.255.0 192.168.0.207  222

2、在APIC上配置总部网段的L3OUT路由,下一条指向湖南WOC,优先级大于200(使得overlay路由优先于静态路由)

多数据中心思科 ACI 架构配置备份线路

多数据中心思科 ACI 架构配置备份线路

3、在APIC上配置路由策略,控制静态路由的重发布。

①进入创建路由策略界面

多数据中心思科 ACI 架构配置备份线路

②指定路由策略的命名、序号及行为,并创建前缀列表匹配需要拒绝的路由前缀。

多数据中心思科 ACI 架构配置备份线路

3.方案二:IPN之间建立GRE隧道运行OSPF协议

多数据中心思科 ACI 架构配置备份线路

3.1.架构分析:

1、ACI的控制平面:Leaf之间通过BGP协议动态建立VXLAN隧道,其中Spine是BGP RR,Leaf是BGP client,Spine之间建立IBGP邻居。

2、ACI的数据平面:

Underlay:Leaf和Spine之间运行的是ISIS协议,Spine、IPN之间运行的是OSPF协议。

Leaf的Loopback0路由在Spine上重发布进OSPF,是第二类外部路由,外部开销为20。

第二类外部路由选路原则:先比较外部开销,外部开销小的优先,如果外部开销相等则比较内部开销,内部开销小的优先。

Overlay:Leaf之间通过BGP协议在Loopback0之间建立起VXLAN隧道,业务报文被封装在VXLAN隧道中转发。

3.2方案描述

IPN之间通过公网建立起一条MTU为9000的GRE隧道,并通过GRE隧道建立起OSPF邻居关系,调整cost使其作为备份。

3.3.存在问题

1、公网建立的IPSEC或GRE隧道的MTU不大于1500,而使用OPENVPN最大可以实现9000的MTU。

2、GRE隧道不支持PIM Bidir,会影响广播、未知单播和多播 (BUM) 流量。

3.4.具体方案

1.两边部署VYOS(VM),通过公网在两台VYOS之间建立起OPEN VPN隧道,MTU为9000。

hn-smartgw1 10.103.4.251  dg-smartgw1 192.168.6.10

①公网映射,将东莞移动120.197.151.246的62888端口映射到192.168.6.10。

多数据中心思科 ACI 架构配置备份线路

②湖南端VYOS固定移动出口。

多数据中心思科 ACI 架构配置备份线路

2、VYOS之间建立OPEN VPN隧道,调整MTU为9000。

多数据中心思科 ACI 架构配置备份线路

多数据中心思科 ACI 架构配置备份线路

3、IPN-12增加一条线连接Leaf102,将Leaf102的端口静态分配进与VYOS同一个EPG当中。

多数据中心思科 ACI 架构配置备份线路

4、IPN-22增加一条线连接接入交换机,将VYOS和IPN-22划分进同一个VLAN当中。

interface XGigabitEthernet0/0/4
port link-type access
port default vlan 21

5、IPN之间通过静态路由写通两端IPN的loopback2,然后建立起vxlan隧道。

①通过静态路由写通IPN

IPN-22:  ip route 100.100.100.12/32 10.70.2.1
IPN-12: ip route 100.100.100.22/32 10.103.4.251
hn-smartgw1: set protocols static route 100.100.100.22/32 next-hop '10.70.1.1'
dg-smartgw1: set protocols static route 100.100.100.120/32 next-hop '10.70.1.2'

②IPN之间建立静态vxlan隧道并在vlanif上运行OSPF协议,调整隧道接口cost为50。

IPN-22
feature interface-vlan //开启三层虚接口功能
feature vn-segment-vlan-based //开启vxlan功能
feature bfd //开启bfd功能
feature nv overlay //开启vxlan功能
vlan 2888
vn-segment 2888
interface nve1
no shutdown
source-interface loopback2
member vni 2888
ingress-replication protocol static
peer-ip 100.100.100.12
interface Vlan2888
description VXLAN OVER OPENVPN-TO-B14-IPN-12
no shutdown
mtu 8900
vrf member MYJ_Fabric
no ip redirects
ip address 10.70.0.1/30
no ipv6 redirects
ip ospf cost 50
ip ospf network point-to-point
ip router ospf 1 area 0.0.0.0
#ip ospf bfd //基于VXLAN的VLANIF不支持BFD。
ip ospf hello 1 //可调整hello时间来加快OSPF收敛。
ip pim sparse-mode

6、调整沿途经过的设备MTU。

①IPN连接交换机/Leaf接口MTU大于9000。

②VMware网卡及虚拟交换机MTU为9000。

③VYOS网卡MTU为9000。

④GRE隧道和OPENVPN隧道MTU为9000。