集群CloudFabric云数据中心网解决方案-设计指南Remote Leaf

CloudFabric云数据中心网解决方案设计指南Remote Leaf

目录

1 Multi-PoD方案及Remote Leaf特性简介.................................................................................1

2 Remote Leaf特性价值.................................................................................................................10

3软硬件要求....................................................................................................................................11

4 Remote Leaf对于IP Network的要求.....................................................................................12

5 Remote Leaf场景下QoS相关建议及部署..............................................................................16

6 Remote Leaf场景下的ZTP........................................................................................................22

7 Remote Leaf场景下的网络策略和安全策略............................................................................24

8 Remote Leaf的控制平面和转发平面........................................................................................26

9 Remote Leaf故障处理.................................................................................................................36

10 Multi-Pod方案和Remote Leaf方案的集成..........................................................................44

A参考图片......................................................................................................................................53

特性简介

随着业务的发展越来越多的应用部署在数据中心单个数据中心的规模有限不可能无限扩容业务规模的不断增长使得单个数据中心的资源很难满足业务增长的需求需要多个数据中心来部署业务 同时数据安全、业务的可靠性和连续性也越来越被重视备份和容灾逐渐成为了普遍需求需要通过建设多个数据中心来解决容灾备份问题。

Multi-PoD方案介绍

Multi-PoD方案实际上在多DC近距离的场景下通过单套控制器拉远管理多个DC多个DC在同一资源池中可以构建跨DC的大二层网络从而实现VPC跨DC部署同时控制器主备集群部署在管理面上实现容灾备份。Multi-PoD方案可以支持集群跨DC部署 VM跨DC迁移 网络级主备容灾等业务场景。

集群跨DC部署

随着集群技术的成熟越来越多的双活数据中心建设开始尝试将集群跨DC部署 以实现跨地域的可用性保证 同时可提供一定负载分担能力。

对于DB层服务器 以及少量App层服务器往往采用物理IP直接提供业务这种模式仅用于数据类应用CS模式。通常以集群方式部署为了提高业务连续性集群也可以跨DC部署此时集群服务器分布在不同数据中心对外提供统一访问接口业务IP由VIP取代服务器集群中间通过DC间互联网络实现协商和状态同步。 由于集群心跳及集群公网通常需要接入同一个二层域需要跨DC的大二层网络 因此可采用裸光纤、波分传输、 VPLS、 EVPN-VXLAN等技术进行二层互联如图1-1所示。

图1-1集群跨DC部署示意图

服务器集群方案对数据中心网络要求

 低时延 RTT时延要求对部署距离有限制

 二层互联要求二层互联、对互连时延有限制

 网络高可靠互联网络高可靠避免脑裂发生

虚拟机跨DC迁移

对于虚拟机承载的数据类应用系统业务是由虚拟机直接提供访问的 因此虚拟机的IP地址就是业务的访问IP地址。

当虚拟机资源池扩展到两个中心后则可以更加灵活的充分利用备中心的物理服务器资源实现跨中心的虚拟资源灵活调度大幅提升资源利用率。

特别是故障场景利用虚拟机高可用机制 当主用数据中心A虚拟机发生故障时虚拟机可以动态热迁移到主用数据中心B业务不中断如图1-2所示。

图1-2VM迁移前后流量示意图

虚拟机跨数据中心热迁移对网络的要求

 二层互联 IP/MAC地址配置 T CP会话状态等不发生改变

 低时延虚拟机状态同步要求低时延

 大带宽虚拟机迁移要求较高的带宽保证状态数据和存储数据快速迁移网络级主备容灾

在服务器集群跨DC部署的场景下集群提供一个统一的VIP作为对外服务的IP这个IP需要一个网关 由于跨DC部署并且需要考虑容灾的能力 因此要在多个DC创建这个业务网关并且建立容灾关系 比如主备关系。 同理在业务的虚拟机跨DC迁移场景下 由于迁移虚机的IP地址是不变的虚机的网关也需要跨DC部署并且建立容灾关系。如果这个业务南北向流量需要经过FW安全防护的话那么FW也需要跨DC部署安全策略要同步。

在主用DC发生故障时主用网关故障流量可以切换到备网关经过备FW进行安全防护保障业务南北向流量畅通能继续对外提供服务如图1-3所示。

图1-3主备DC容灾切换示意图

网络级主备容灾对网络的需求

 主备出口两个数据中心出口可以形成主备关系选择其中一个出口作为外部网

关其余出口作为备份在主用出口发生故障时 自动切换到备份出口。 主备FW FW安全策略同步在主用出口发生故障时 自动切换到备份出口使用

的FW。

Multi-PoD方案架构

Multi-PoD主要的场景就是在同城近距离部署的数据中心中 网络层面提供网络容灾的功能。

如图1-4所示多个DC的计算、 网络都是统一的资源池统一由一套控制器集中管理VPC可跨DC部署子网可跨DC部署可二层互通可三层互通。

为提高管理面的可靠性两个DC都可以部署控制器两套控制器集群建立主备集群关系 由主用控制器集群管理网络 当主用控制器集群发生故障时两套集群发生主备切换 由原来备控制器集群升主接管网络在管理面上实现容灾备份。

图1-4 Multi-PoD方案架构图

在此场景中每个DC的物理网络在架构上相互间独立需要在单DC的基础上增加DC间互联的设备和通路多个DC是统一的端到端VXLAN域 网络和计算都是统一的资源池。

对于出口网关推荐部署主备出口网关 即所有南北向流量都从主出口网关进行绕行如图1-4中DC1的出口 出口为主备出口的情况下防火墙也是主备部署实现业务高可用。

图1-5 Multi-PoD场景示意图

如图1-5所示Multi-PoD场景主要有以下一些特性

 单Domain管理面容灾多个数据中心是一个资源池在一个VXLAN域内对于业务来说相当于只看到一个资源池所以VPC可以跨数据中心进行部署 同时控制器主备集群部署提供管理面容灾功能。

 VPC跨数据中心部署如上面所说 由于是一个资源池 VPC可以跨Fabric部署。 VPC出口跨数据中心主备容灾多数据中心可以有多个出口 VPC可以选择其中一个出口作为外部网关其余出口作为备份。主备出口通过路由优先级实现。也可以只选择一个出口集中出口所有南北向流量均从这一个出口访问北向。 VPC内FW跨数据中心主备部署 Fabric内FW主备镜像部署 Fabric间部署两组防火墙控制器向两组FW同时下发配置和策略两组防火墙之间的主备由主备路由确定。

 当控制器集群需要和管理平台对接时如果需要对接OpenStac k云平台或者华为FusionSphere同理可以由一套OpenStack拉远管理多个数据中心基于可靠性考虑 OpenStac k部署时可以跨数据中心集群部署。如果对接VMM则建议每个数据中心各部署一套VM M一套控制器集群对接多个VMM。

Multi-PoD网络级容灾

Multi-PoD方案是一个控制器管理域 由一套控制器集群管理所有DC的网络所以在考虑其网络级容灾的过程中主要需要考虑的两点是管理面的容灾和出口可靠性下面就这两点做具体说明。

图1-6 Multi-PoD管理面容灾

图1-6为管理面容灾示意图管理面容灾的主体思路是通过部署备用的控制器来进行容灾备份虽然是一套控制器统一管理两个数据中心但是为提高管理面的可靠性可以在不同数据中心再部署一套备用控制器集群主备控制器集群间实时同步支持主备切换 由主控制器集群管理设备对接仲裁设备。在每个控制器集群内部各节点之间同样也互为备份如果单个数据中心完全故障如断电等则备控制器集群升主继续对网络进行管理。如果两个数据中心间链路Down则系统分裂此时需要依赖仲裁服务仲裁设备会判断脑裂发生依据预配置好的优先级决定哪个控制器集群作为主集群防止双主的情况产生。

在出口容灾设计中Multi-PoD方案提供主备出口方案。Multi-PoD主备出口是指在一套控制器管理下多个DC互联成一个统一资源池业务将其中一个DC作为外网主用出口将另一个DC的作为外网备用出口。如图1-7所示

图1-7 Multi-PoD主备出口