上海电信SDN合作创新方案

《上海电信SDN合作创新方案》由会员分享，可在线阅读，更多相关《上海电信SDN合作创新方案（36页珍藏版）》请在装配图网上搜索。

1、HUAWEI TECHNOLOGIES CO., LTD.上海电信数据中心SDN方案解决方案及网络设计部HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 2目录上海电信IDC SDN+VXLAN解决方案整体架构托管业务方案云计算业务方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 3云计算业务托管业务RESTful APINetMatrixNovaNovaCinderCinderRESTful APINetconfNeutronNeutronPlugin/Driv

2、erPlugin/DriverSNC硬件NVE硬件NVE硬件NVE硬件NVE硬件NVE硬件NVEVxLAN-GWVxLAN-GWVirtual ClusterFWvLB PoolFWIPSVXLAN FabricVXLAN FabricService RouterService RouterVirtual ClusterRESTful APIOpenflowCPE NVEVXLAN NVENetconf/CLINetconf/CLIvSwitchVM2VM1Server1vSwitchVM2VM1Server2vSwitchVM2VM1Server3企业分支租户网络租户SW租户SW租户SW上海

3、电信IDC SDN+VXLAN网络解决方案整体架构n业务呈现层l面向运营商的Portal，提供云计算业务和托管业务的定制服务。n云计算协同层l采用开源Openstack Havana版本。l实现存储、计算和网络资源的协同。nSDN网络协同器&控制器l由NetMatrix和SNC组成，完成网络建模和网络实例化。l网络协同器为NetMatrix，具备托管业务&云计算业务网络资源调度和协同，以及VAS资源调度和协同，实现VAS业务自动化。l网络控制器为SNC，负责VXLAN NVE转发器的流表转发控制，以及VxLAN虚拟网络的自动化建立。l北向支持RESTful API接口，实现业务快速定制和自动发

4、放。l南向支持OpenFlow/Netconf/CLI等接口，控制物理和虚拟网络。n基础网络l基于一套物理网络，通过VXLAN overlay技术构建虚拟网络，分别满足托管业务和云计算业务的需求。l面向云计算业务提供vLB PooL服务和FW/IPS服务l面向托管业务提供FW和IPS服务HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 4目录上海电信IDC SDN+VXLAN解决方案整体架构托管业务方案云计算业务方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 5

5、托管业务方案 整体组网方案 托管业务场景 & 企业分支接入场景 业务流量模型 租户主机通过虚拟网络实现互访 QoS场景 托管业务租户L3接入公网场景HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 6上海电信IDC托管业务物理组网 DC扁平化组网（VxLAN GW+硬件NVE）u两台VxLAN网关通过虚拟集群形成一个逻辑节点，提高可靠性u接入交换机双上联至两台VxLAN网关 NetMatrix & SNCu通过主备模式提供可靠性，可以跨机房部署 Service-Routeru对于托管类业务，Service Router主要通过Ne

6、tMatrix下发的引流策略实现租户VAS业务引流动作 NVEu接入交换机做VxLAN网络边缘节点，为DC租户提供VxLAN虚拟网络接入服务uCPE支持VxLAN接入，为中小企业和分支机构提供远程接入DC的服务 增值业务u硬件防火墙及IPS旁挂在VxLAN-GW两侧Service RouterService RouterVirtual Cluster硬件NVE硬件NVEFW硬件NVEService RouterService RouterVirtual Cluster硬件NVE硬件NVEFW硬件NVEService RouterService RouterVirtual Cluster硬件NV

7、E硬件NVE硬件NVERouterRouterRouter同城跨DC VxLAN overlay虚拟网络CPE NVEIP MAN中小企业/分支接入DCIDC汇聚平面NetmatrixSNC增值业务设备VxLAN网络设备网络控制器&协同器DC-1DC-2DC-nVxLAN NVERack 1Rack 2Rack nRack 1Rack 2Rack nRack 1Rack 2Rack nvLBIPSHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 7PortalDC2DC2TOR NVE3VxLAN-GWTOR NVE4DC1DC1

8、TOR NVE1VxLAN-GWTOR NVE2网络协同器&控制器NetMatrixSNCDC3DC3TOR NVE5VxLAN-GWTOR NVE6VXLAN overlay虚拟网络企业分支企业分支CPE NVEFW/IPSFW/IPSOpenflowCLI1、通过Portal定制VXLAN虚拟网络业务以及VAS业务2、业务模板下发至NetMatrix3、NetMatrix分配网络资源，并且针对租户需求下发FW和IPS业务配置，以及VXLAN GW引流策略4、SNC通过Openflow控制转发器并创建VXLAN网络1234托管业务流程及方案5、TOR NVE和CPE NVE学习租户主机MAC

9、，且本地做MAC查表转发，并依据SNC下发的广播域做BUM报文头端复制5HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 8DC汇聚平面托管业务场景：租户TAG透传（运营商不感知租户VLAN）TOR交换机1（NVE）租户服务器1租户服务器2租户服务器3租户服务器4租户服务器5租户服务器6租户L3 GW/L2 Switch租户L2 SwitchTOR交换机2（NVE）P2P1InternetL3L2 TrunkL2 TrunkVLAN 11VLAN 12VLAN 13VLAN 11VLAN 12VLAN 13DC2DC1VLAN透传

10、VLAN透传Service RouterService RouterVirtual ClusterL3L3Service RouterService RouterVirtual Cluster租户服务器8租户服务器9TOR交换机3（NVE）L2 TrunkDC3VLAN透传Service RouterService RouterVirtual ClusterVNI 100VNI 100租户虚拟网络VXLANVXLANVXLANVXLANVXLANVXLANIPIP路由路由租户服务器7P1P2L2 TrunkVLAN透传P2P1由租户服务器网卡或虚拟交换机封装解封装VLAN由租户服务器网卡或虚拟

11、交换机封装解封装VLAN租户自组网租户自组网服务器机位机架资源机架资源服务器机位运营商网络租户网络租服务器机位租服务器机位每租户每VNI运营商提供VXLAN二层网络，透传租户VLAN报文；运营商的VXLAN GW做Service Router，通过NetMatrix下发的引流策略实现租户VAS业务引流动作；运营商分配公网IP或地址段给租户；租户自组网提供L3 GW和L2 SW，由租户根据运营商分配的公网IP地址段配置自有L3 GW和服务器；租户向运营商租少量的服务器机位满足新增服务器部署要求，并需要与租户自组网互通；FWIPSTOR NVE IPTOR PORTVNIACL匹配VNINE40E

12、基于ACL CAR做双向限速HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 9企业分支接入场景DC汇聚平面IP MANCPE NVETOR NVE 1Service RouterService RouterVirtual ClusterDC 1TOR NVE 2Service RouterService RouterVirtual ClusterTOR NVE 3DC 2ServiceRouterServiceRouterVirtual ClusterTOR NVE 4DC 3 企业分支CPE NVE接入城域网，通过城域网与ID

13、C实现IP互通 CPE NVE与TOR NVE直接建立VXLAN Tunnel CPE NVE和TOR NVE接入侧端口采用PORT与VNI映射，并支持租户VLAN透传Internet租户L3 GW租户L2 SWFWIPSIPIP路由路由P1P2租户服务器租户服务器租户L2 SW租户网络租户网络企业分支网络P1P2 P3P4P5P6TOR NVE 1TOR NVE 2TOR NVE 3TOR NVE 4CPE NVETunnel1Tunnel2Tunnel3Tunnel4VXLAN Fabric租户虚拟网络P7Tunnel 2 + VNI 10Tunnel 2 + VNI 10Tunnel 4

14、 + VNI 10Tunnel 4 + VNI 10Tunnel 3 + VNI 10Tunnel 3 + VNI 10Tunnel 1 + VNI 10Tunnel 1 + VNI 10VxLAN overlay虚拟网络L3NetMatrixSNCHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 10租户托管业务&企业分支网络模型InternetL3L2L2L2L2L2DC1_TOR NVE 1DC2_TOR NVE 2DC2_TOR NVE 3DC3_TOR NVE 4CPE NVETunnel1Tunnel2Tunnel3T

15、unnel4VXLAN Fabric 租户虚拟网络L2Service RouterL3 IPFWIPSVNI 100Service Router通过NetMatrix来下发租户VAS引流策略，基于租户公网IP或IP五元组来做策略路由引流至VAS设备FW、IPS等增值业务设备，通过NetMatrix下发租户VAS业务配置CPE NVE接入端口与VNI桥接映射，透传租户VLAN；支持双向做CARCPE NVE网络侧通过Tunnel+VNI方式做双向QoS CARTOR NVE网络侧通过Tunnel+VNI方式做双向QoS CAR租户接入公网的端口，基于端口做QoS CAR，限制租户南北向流的上下行

16、带宽租户网络租户网络租户服务器租户服务器TOR NVE接入端口与VNI桥接映射，透传租户VLAN；支持双向做CAR租户网络租户SW租户GW企业分支租户SW租户SWHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 11DC汇聚平面托管类业务流量模型TOR交换机1（NVE）租户服务器1租户服务器2租户服务器3租户服务器4租户服务器5租户服务器6租户L3 GW/L2 Switch租户L2 SwitchTOR交换机2（NVE）P2P1InternetL3L2 TrunkL2 TrunkVLAN 11VLAN 12VLAN 13VLAN 1

17、1VLAN 12VLAN 13DC2DC1VLAN透传VLAN透传Service RouterService RouterVirtual ClusterL3L3Service RouterService RouterVirtual Cluster租户服务器8租户服务器9TOR交换机3（NVE）L2 TrunkDC3VLAN透传Service RouterService RouterVirtual ClusterVNI 100VNI 100租户虚拟网络VXLANVXLANVXLANVXLANVXLANVXLAN租户服务器7P1P2L2 TrunkVLAN透传P2P1由租户服务器网卡或虚拟交换机封

18、装解封装VLAN由租户服务器网卡或虚拟交换机封装解封装VLAN租户自组网租户自组网服务器机位机架资源机架资源服务器机位运营商网络租户网络租服务器机位租服务器机位运营商提供跨DC大二层虚拟网络，不感知租户VLAN信息TOR NVE之间建立P2P的VXLAN隧道运营商不向租户提供多物理端口接入租户自组网网络，避免环路租户非自组网场景下所接入的服务器支持VLAN的封装与解封装FWIPSVLAN 13VLAN 11VLAN 12DC1的Virtual Cluster路由器需要依据租户公网IP或IP五元组来做增值业务引流租户跨机房同子网流量需要通过VXLAN隧道实现互访租户同一个TOR下同子网流量经本地

19、TOR桥接实现互访租户跨子网流量需要绕行至租户L3 GW终结二层后实现互访红色标识为租户同子网服务器间的东西向流量蓝色标识为租户服务器与Internet间的南北向流量橙色标识为租户跨子网服务器间的东西向流量HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 12VLAN 11企业分支业务流量模型DC汇聚平面IP MANCPE NVETOR NVE 1Service RouterService RouterVirtual ClusterDC 1TOR NVE 2Service RouterService RouterVirtual C

20、lusterTOR NVE 3DC 2Service RouterService RouterVirtual ClusterTOR NVE 4DC 3Internet租户L3 GW租户L2 SWFWIPSP1P2租户服务器租户服务器租户网络租户网络VxLAN overlay虚拟网络分支L2 SW租户网络租户L2 SWVLAN 11VLAN 12VLAN 11VLAN 12VLAN 11VLAN 12VLAN 12L3IPIP路由路由红色标识为企业分支与IDC托管网络同子网服务器间的东西向流量蓝色标识为企业分支以IDC托管网络中的租户L3 GW作为三层出口网关，与Internet间的南北向流量企

21、业分支CPE NVE与DC中的TOR NVE之间建立VxLAN Tunnel企业分支机构与IDC托管业务中的租户网络共享L3 GW，企业分支至Internet的流量由租户自组网中的L3 GW终结二层实现三层转发企业分支与IDC托管业务间三层跨租户子网流量，需要通过租户自己的L3 GW实现二层终结跨子网互访HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 13租户同子网主机通过VXLAN虚拟网络实现互访DC汇聚平面IP MANCPE NVETOR NVE 1Service RouterService RouterVirtual Cl

22、usterDC 1TOR NVE 2 TOR NVE 3DC 2TOR NVE 4DC 3租户L3 GW租户L2 SWFWIPSP1P2主机110.1.1.1分支L2 SW租户L2 SWVLAN 11VLAN 12IPIP路由路由VLAN 12VLAN 11主机2主机3主机6VLAN 12VLAN 11VLAN 12VLAN 11主机4主机510.1.1.5主机7主机8VxLAN overlay虚拟网络PayloadSIP: 10.1.1.1DIP: 10.1.1.5DMAC: 0 xFFFFSMAC: MAC11PayloadSIP: 10.1.1.1DIP: 10.1.1.5DMAC: 0

23、 xFFFFSMAC: MAC12VLAN：1112PayloadSIP: 10.1.1.1DIP: 10.1.1.5DMAC: 0 xFFFFSMAC: MAC13VLAN：11SIP: NVE1DIP：NVE GroupSMAC：NVE1 MACDMAC：Net MACPayloadSIP: 10.1.1.1DIP: 10.1.1.5DMAC: 0 xFFFFSMAC: MAC15456PayloadSIP: 10.1.1.5DIP: 10.1.1.1DMAC: MAC1SMAC: MAC56VLAN：119nARP请求1. 主机1发送ARP请求；2. 租户L2 SW接收主机ARP学习主机

24、1的MAC，对ARP封装VLAN头，然后源端口剪枝并在广播域内广播；3. TOR NVE1接收到ARP报文，根据Port与VNI的映射关系，同时查广播域列表，然后封装VXLAN头做头端复制（依据SNC提前下发的广播域列表做头端复制）；4. TOR NVE3接收到NVE1发送的头端复制报文做VXLAN解封装，还原带TAG的主机1发送的ARP请求报文，学习源MAC，并在BD域内做源端剪枝广播5. 主机5接收ARP广播报文，服务器网卡或服务器内的虚拟交换机支持VLAN报文的解封装，主机5对ARP报文做处理nARP应答6. 主机5发送ARP应答，服务器网卡或服务器内的虚拟交换机封装VLAN头，单播至T

25、OR NVE37. TOR NVE3接收到主机5发送的ARP应答，查MAC表和NVE表获取目的NVE1 IP及出口Tunnel，封装VXLAN头，单播转发至NVE18. TOR NVE1解封装VXLAN头，还原带TAG的ARP应答报文，学习源MAC5，同时查目的MAC获得出接口并向租户网络转发企业分支ARP请求ARP应答PayloadSIP: 10.1.1.5DIP: 10.1.1.1DMAC: MAC1SMAC: MAC58VLAN：11738NVE本地进行MAC学习，并通过SNC下发的广播域列表，做BUM报文头端复制Service RouterService RouterVirtual C

26、lusterPayloadSIP: 10.1.1.1DIP: 10.1.1.5DMAC: 0 xFFFFSMAC: MAC14VLAN：11Service RouterService RouterVirtual ClusterPayloadSIP: 10.1.1.5DIP: 10.1.1.1DMAC: MAC1SMAC: MAC57VLAN：11SIP: NVE3DIP：NVE1SMAC：NVE3 MACDMAC：Net MACHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 14租户跨子网主机通过VXLAN虚拟网络实现互访DC汇

27、聚平面IP MANCPE NVETOR NVE 1Service RouterService RouterVirtual ClusterDC 1TOR NVE 2Service RouterService RouterVirtual ClusterTOR NVE 3DC 2Service RouterService RouterVirtual ClusterTOR NVE 4DC 3租户L3 GW租户L2 SWFWIPSP1P2主机1分支L2 SW租户L2 SWVLAN 11VLAN 12IPIP路由路由VLAN 12VLAN 11主机210.12.1.2主机3主机6VLAN 12VLAN 1

28、1VLAN 12VLAN 11主机4主机510.1.1.5主机710.11.1.7主机8VxLAN overlay虚拟网络企业分支IDC托管网络中的主机2属于VLAN12，企业分支中的主机7属于VLAN11，两台主机的通信需要通过租户的L3 GW实现跨VLAN子网互访HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 15NE40EInternet租户1租户2 CE78505 56 67 78 81 12 23 34 412122 23 3200.1.1.250200.1.1.1200.1.1.2NE40EInternet租户1租户

29、2 CE78505 56 67 78 81 12 23 34 412122 23 3100.1.1.2200.1.1.2/30200.1.2.1/30200.1.1.1/30100.1.1.1租户3 200.1.3.1/30133.1.1.0/24133.1.2.0/24133.1.3.0/24200.1.2.2/30200.1.3.2/30租户3 200.1.1.3L2 SwitchL3 Switch托管业务租户L3接入公网11111 111111 1基于SW端口控制租户L3接入的上下行带宽LAGEth-Trunk运营商给租户分配的公网地址133.1.1.0/24133.1.2.0/2413

30、3.1.3.0/24红色IP为租户L3 GW与运营商路由器的互联地址蓝色IP为分配给租户的公网IP地址或地址段HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 16托管业务QoS场景Service RouterService RouterVirtual ClusterService RouterService RouterVirtual ClusterService RouterService RouterVirtual ClusterVNI 100VNI 100硬件NVE硬件NVE硬件NVEVXLANVXLANVXLANVXLA

31、NVXLANVXLANNE40E：NNI侧基于VNI控制租户跨机房子网内带宽（跨机房同子网带宽=1G）NetMatrixSNC托管业务TOR NVE：UNI侧基于端口控制租户接入的上下行带宽NNI侧基于VNI+NVE DIP控制跨TOR的带宽NetconfOpenflowCPE NVEVXLANVXLANDC1DC2DC3企业分支CPE NVE：UNI侧基于端口控制租户接入的上下行带宽NNI侧基于VNI+NVE DIP控制跨TOR的带宽业务流程通过Portal定制QoS业务，选择策略控制点及带宽参数，业务下发至NetMatrix，由NetMatrix分配资源并下发配置至SNC以及非NVE节点。

32、SNC下发业务配置至NVE节点。QoS策略控制点PortalHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 17目录上海电信IDC SDN+VXLAN解决方案整体架构托管业务方案云计算业务方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 18云计算业务方案 整体组网方案 VxLAN同子网/跨子网业务互访 南北向业务流程 增值业务部署方案 业务可靠性方案 QoS方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LT

33、D.Page 19上海电信IDC云计算业务物理组网 DC扁平化组网（VxLAN GW+硬件NVE）u两台VxLAN网关通过虚拟集群形成一个逻辑节点，提高可靠性u接入交换机双上联至两台VxLAN网关 NetMatrix & SNCu通过主备模式提供可靠性，可以跨机房部署 VxLAN-GWu南北向VxLAN业务终结点，终结VxLAN，做L3网关，提供南北向的IP转发u东西向VxLAN跨子网业务的网关 NVEu接入交换机做VxLAN网络边缘节点，为DC租户提供VxLAN虚拟网络接入服务 增值业务u硬件防火墙及IPS旁挂在VxLAN-GW两侧u软件的LB部署在服务器上，形成vLB资源池，通过交换机与V

34、xLAN-GW相连VxLAN-GWVxLAN-GWVirtual Cluster硬件NVE硬件NVE硬件NVEVxLAN-GWVxLAN-GWVirtual Cluster硬件NVE硬件NVEFW硬件NVEvLB PoolVxLAN-GWVxLAN-GWVirtual Cluster硬件NVE硬件NVE硬件NVERouterRouterRouter同城跨DC VxLAN大二层资源池InternetIDC汇聚平面NetMatrixSNC增值业务设备VxLAN网络设备网络控制器&协同器DC-1DC-2DC-nVxLAN NVEIPSvSwitchVM2VM1Server1vSwitchVM2VM1

35、Server2vSwitchVM2VM1Server3vSwitchVM2VM1Server4vSwitchVM2VM1Server5vSwitchVM2VM1Server6vSwitchVM2VM1Server7vSwitchVM2VM1Server8vSwitchVM2VM1Server9HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 20云计算业务方案 整体组网方案 VxLAN同子网/跨子网业务互访 南北向业务流程 增值业务部署方案 业务可靠性方案 QoS方案HISILICON SEMICONDUCTORHUAWEI TE

36、CHNOLOGIES CO., LTD.Page 21VxLAN网络同子网互访nARP请求1. VM1发送ARP请求(SMAC：MAC1，SIP：IP1，DMAC：?，DIP：IP3），在本地VLAN内广播。2. VM1至NVE中间的vSwitch进行MAC地址学习。3. ARP请求广播到NVE1，NVE1更新本地MAC转发表4. NVE1通过流表匹配，将ARP请求上送SNC。nARP应答5. SNC根据目的IP，查找到对应的MAC3及NVE2，通过NVE1发送ARP响应报文给VM16. SNC同时向NVE1下发目的地址MAC3的转发流表，出接口为VXLAN tunnel NVE2。n业务转发

37、7. VM1向VM3发送业务报文。8. 报文到NVE1后，查找MAC转发表，找到出接口NVE2，进行VXLAN封装，外层目的地址为NVE2，源地址为NVE1。9. 报文依据外层IP行路由转发到NVE2，NVE2进行VXLAN解封装，然后在本地VLAN内转发/广播，NVE2和VM3之间的vSwitch进行MAC地址学习。10.报文到达目的地VM3。nVM3访问VM1的过程同上述VM1访问VM3过程。VXLAN网络同子网主机间通信VM1 MAC1VM1 IP1VNI 1VLAN1NVE1 IPVM2 MAC2VM2 IP2VNI 2VLAN2NVE1 IPVM3 MAC3VM3 IP3VNI 1V

38、LAN1NVE2 IPVM4 MAC4VM4 IP4VNI 2VLAN2NVE2 IPPayloadSIP: 10.10.10.1DIP: 10.10.10.3DMAC: 0 xFFFFSMAC: MAC11PayloadSIP: 10.10.10.1DIP: 10.10.10.3DMAC: 0 xFFFFSMAC: MAC14OpenFlow PackinVM1 MAC1VLAN1 vif1.1VM3 MAC3VNI 1 NVE25PayloadDIP: 10.10.10.1SIP: 10.10.10.3SMAC: MAC3DMAC: MAC1OpenFlow packout6Payload

39、DIP: 10.10.10.3SIP: 10.10.10.1SMAC: MAC1DMAC: MAC32PayloadSIP: 10.10.10.1DIP: 10.10.10.3DMAC: MAC3SMAC: MAC17VM1 MAC1VLAN1 G1/0.139DC Fabric L3 NetworkPayloadDIP: 10.10.10.3DMAC: MAC3SMAC: MAC18DIP: NVE2SIP: NVE1SMAC: NVE1 MACDMAC: Net MACSIP: 10.10.10.1SNC(控制器ARP 代答)主机1主机3TOR NVE 2TOR NVE 1VM1 MAC1

40、VLAN1NVE110HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 22VxLAN网络跨子网互访nARP请求1. VM1发送ARP请求(SMAC：MAC1，SIP：IP1，DMAC：?，DIP：IP5）2. VM1至NVE中间的vSwitch进行MAC地址学习。3. ARP请求广播到NVE1，NVE1更新本地MAC转发表。4. NVE1通过流表匹配，将ARP请求上送SNC。nARP应答5. SNC根据目的IP5，查找到对应的MAC5及NVE3，通过NVE1发送ARP响应报文给VM16. SNC同时向NVE1下发目的地址MAC5

41、的转发流表，出接口为VXLAN Tunnel NVE3。n业务转发7. VM1向VM4发送业务报文。8. 报文到NVE1后，查找MAC转发表，找到出接口NVE3，进行VXLAN封装，外层目的地址为NVE3，源地址为NVE1。9. 报文依据外层IP路由转发到NVE3，NVE3收到报文后进行VXLAN解封装，查找路由，转发报文至目的IP所在的网关NVE4；NVE4查找MAC转发表，找到出接口NVE2，进行VXLAN封装，外层目的地址为NVE2，源地址为NVE4。 10.报文根据外层IP路由转发到NVE2，NVE2接收报文后，执行VXLAN解封装，然后本地转发/广播到VM4。跨VXLAN网络的主机通

42、信：源VMGW目的VMDC FabricL3 NetworkSNCPayloadSIP: 10.10.10.1DIP: 10.10.10.5DMAC: 0 xFFFFSMAC: MAC14OpenFlow Packin5PayloadDIP: 10.10.10.1SIP: 10.10.10.5SMAC: MAC5DMAC: MAC1OpenFlow PackoutVM1 MAC1IP1VNI 1NVE1 IPVM2 MAC2IP2VNI 2NVE1 IPVM3 MAC3IP3VNI 1NVE2 IPVM4 MAC4IP4VNI 2NVE2 IPGW1 MAC5IP5VNI 1NVE3 IPGW

43、2 MAC6IP6VNI 2NVE4 IPPayloadSIP: 10.10.10.1DIP: 10.10.10.5DMAC: 0 xFFFFSMAC: MAC11VM1 MAC1VLAN1 vif1.1GW1 MAC5VNI 1 NVE362PayloadSIP: 10.10.10.1DIP: 20.20.20.4DMAC: MAC5SMAC: MAC17VM1 MAC1VLAN1G1/0.13PayloadSIP: 10.10.10.1DIP: 20.20.20.4SMAC: MAC1DMAC: MAC5DIP: NVE3SIP: NVE1SMAC: NVE1 MACDMAC: Net M

44、AC8PayloadDIP: 20.20.20.4SIP: 10.10.10.1DMAC: MAC4SMAC: MAC69DIP: NVE2SIP: NVE4SMAC: NVE4 MACDMAC: Net MACPayloadDIP: 20.20.20.4SIP: 10.10.10.1SMAC: MAC6DMAC: MAC410TOR NVE 1TOR NVE 2主机1主机4VxLAN GWNVE 3NVE 4HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 23云计算业务方案 整体组网方案 VxLAN同子网/跨子网业务互访 南北

45、向业务流程 增值业务部署方案 业务可靠性方案 QoS方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 24FWvLB PoolIPSDC汇聚平面南北向业务流程VxLAN-GWVxLAN-GWVirtual Cluster硬件NVE1硬件NVE2WEB-AWEB-BInternetRouter用户用户n业务流程 Internet用户至WEB流量（用户B访问WEB-B）业务流经过汇聚平面路由器按目的IP转发至VxLAN GWVxLAN GW依据租户VAS业务策略匹配业务链流表，按照业务链依次向FW、IPS、LB增值业务节点引流Vx

46、LAN GW将增值业务设备处理完的流量做VxLAN封装，并发给目的NVE2NVE2解封装VxLAN，还原用户B的报文，查询目的MAC转发至WEB-B WEB至Internet用户流量（用户A访问WEB-A）WEB-A流量到NVE1，由NVE1封装VxLAN并转发至VxLAN GWWEB-A网关为VxLAN GW， VxLAN GW解封装VxLAN，依据策略查询业务链流表，并按照业务链依次将回程流量引导至增值业务设备处理VxLAN GW接收VAS处理完的流量，并查询目的IP（用户A）向公网转发WEB至Internet用户流量Internet用户至WEB流量VxLANVxLANIPIP123123

47、非透明非透明非透明NAT4HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 25云计算业务方案 整体组网方案 VxLAN同子网/跨子网业务互访 南北向业务流程 增值业务部署方案 业务可靠性方案 QoS方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 26DC汇聚平面VAS引流方案硬件NVE1IPS硬件NVE2vLB Pool硬件NVE1RouterRouterInternetVxLAN-GWVxLAN-GWVirtual ClusterDC-1同城跨DC VxLA

48、N overlay虚拟网络FW跨DC大二层，与VAS设备直连的VxLAN GW作为远端DC的L3网关DC-2RouterRouterVirtual ClusterVNI 100VNI 100vSwitchVM2VM1Server1vSwitchVM4VM3Server2vSwitchVM6VM5Server3VNI 100VNI 100VNI 100VNI 100LBDC1VxLAN-GWDC2NVE1VM5DC汇聚平面FWDC1VxLAN-GWInternetDIP:10.1.1.1SIP:192.168.1.1VNI 100VNI 100服务器私网网关：192.168.1.100；解封装V

49、xLAN，查目的IP 10.1.1.1转发至LB将VM5的VIP：10.1.1.1做NAT转换为公网地址：202.1.1.1，查公网默认路由以及安全策略流表进行转发DC1VxLAN-GWVRF_sub-if3VRF_sub-if2VRF_sub-if1VLAN到VNI映射，封装VxLANDC1的VxLAN-GW做远端DC2中租户主机的网关查公网路由转发DIP:192.168.1.1SIP：10.1.1.1查服务器私网路由，封装VxLAN转发根据负载均衡算法调度服务器，选中VM 5，查192.168.1.1路由转发查10.1.1.1私网路由转发，下一跳为LB查NAT流表，将公网地址转换为对应的V

50、IP：10.1.1.1私网地址，做FW安全策略，并查私网路由转发VNI到VLAN映射，解封装VxLAN查202.1.1.1公网路由转发将VM5的SIP做源地址替换为10.1.1.1，并查私网默认路由转发查私网默认路由转发，下一跳FWVRF_sub-ifvFWvLBInternet至服务器服务器至InternetVM 5 IP: 192.168.1.1（私网）GW IP: 192.168.1.100（私网）LB VIP/Self IP: 10.1.1.1（私网）FW NAT Public IP: 202.1.1.1（公网）192.168.1.1HISILICON SEMICONDUCTORHUA

51、WEI TECHNOLOGIES CO., LTD.Page 27VxLAN-GWVxLAN-GWVirtual ClusterFW1LB1FW2LB2硬件NVE vSwitchNVEVXLAN FabricHRP心跳线Failover串口线InternetvSwitchVMVMServerVMVMServerLink-GroupLink-GroupFW2FW1VxLAN-GWVxLAN-GWVirtual ClusterVxLAN-GWVxLAN-GWVirtual ClusterVRRPHRP服务器侧Internet侧LB2LB1VxLAN-GWVxLAN-GWVirtual Cluste

52、rVRRPInternet侧服务器侧FailoverLink-GroupLink-GroupnFW部署方案lFW双臂旁挂在VXLAN-GW（虚拟集群）两侧，FW部署HRP双机热备保护。lFW上下行链路及业务板绑定在一个Link-Group中，当其中任意成员故障会使整个逻辑组置down，从而触发FW主备倒换。l两台FW的服务器侧子接口部署VRRP，VRRP VIP作为VXLAN-GW的虚拟下一跳，提供可靠性；同时可以按照租户粒度（每租户对应一个子接口和vFW）或租户业务粒度（每租户业务区对应一个子接口和vFW）配置两台FW的VRRP主备关系，实现租户级或租户业务级的VRRP负载分担。lFW部署N

53、AT做南北向流NAT网关，并关联VRRP。nLB部署方案lLB单臂旁挂在VXLAN GW（虚拟集群）两侧，并部署双机热备。l两台LB与VXLAN-GW互联的链路上配置子接口并部署VRRP，VRRP VIP作为VXLAN-GW的虚拟下一跳，提供可靠性；同时可以按照租户粒度（每租户对应一个子接口和vFW）或租户业务粒度（每租户业务区对应一个子接口和vFW）配置两台LB的VRRP主备关系，实现租户级或租户业务级的VRRP负载分担。FW上行链路FW下行链路FW上行链路FW下行链路FW下行链路FW上行链路VAS（FW/LB）方案HISILICON SEMICONDUCTORHUAWEI TECHNOLO

54、GIES CO., LTD.Page 28Server1FW业务自动化发放InternetL3 NetworkSNCPortal1. 租户通过Portal申请安全增值业务NetMatrix(Netconf)4. SNC向VXLAN GW下发OpenFlow流表，将相关流量引导至防火墙处理2. NetMatrix向防火墙下发网络安全和路由策略Open API(OpenFlow)3. NetMatrix通知SNC建立流表（引导流量至防火墙）n1. 租户通过Portal申请安全增值业务。n2. NetMatrix选择增值业务的部署位置，并向该防火墙下发安全和路由策略。n3. NetMatrix针对租

55、户定制的业务需求，进行配置分解，并通知SNC建立相应的OpenFlow流表。n4. SNC向对应的VXLAN GW下发OpenFlow流表，从而将流量引至防火墙。n5.VM与Internet间的流量途径VXLAN GW，在VXLAN GW上命中OpenFlow流表并被转发至FW处理。1324TOR NVE2TOR NVE1VxLAN GW5Server2FWHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 29L3 NetworkVxLAN GWLB业务自动化发放InternetSNC1. 租户通过Portal申请负载均衡增值业务

56、NetMatrix(Netconf)4. SNC向VXLAN GW下发OpenFlow流表，将相关流量引至LB处理2. NetMatrix向LB下发负载均衡策略Open API(OpenFlow)3. NetMatrix通知SNC建立流表（引导流量至LB）n1. 租户通过Portal申请负载均衡增值业务。n2. NetMatrix选择增值业务的部署位置，并向该LB下发负载均衡和路由策略。n3. Portal将租户定制的业务下发给NetMatrix，NetMatrix针对需要引至LB处理的业务流进行配置分解，并通知SNC建立相应的OpenFlow流表。n4. SNC向对应的网络设备（VXLAN

57、GW）下发OpenFlow流表，从而将流量引导LB。n5.VM与Internet间的流量途径VXLAN GW，在VXLAN GW上命中OpenFlow流表并被转发至LB处理。PortalTOR NVE1Server1Server2TOR NVE2LB12345HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 30云计算业务方案 整体组网方案 VxLAN同子网/跨子网业务互访 南北向业务流程 增值业务部署方案 业务可靠性方案 QoS方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., L

58、TD.Page 31DC汇聚平面VxLAN-GWVxLAN-GWVirtual ClusterVxLAN-GWVxLAN-GWVirtual Cluster硬件NVE硬件NVEWEB1WEB3Internet用户1SLB12DNS解析返回域名对应的VIP地址WEB2WEB43用户向VIP发送业务请求4SLB依据调度算法选择WEB服务器，将业务请求发至WEB服务器7WEB1服务器接收请求并向用户返回业务数据DC1DC2同城跨DC大二层业务可靠性跨DC大二层10.1.1.1VIP:201.10.1.110.1.1.210.1.1.310.1.1.4用户2用户1请求，调度至服务器1，用户2请求，调度

59、至服务器4，或根据其他调度算法，实现负载分担。HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 32GSLBDC汇聚平面双活数据中心方案VxLAN-GWVxLAN-GWVirtual ClusterVxLAN-GWVxLAN-GWVirtual Cluster硬件NVE硬件NVEWEB1WEB3Internet用户1SLB1SLB21423心跳和信息收集心跳和信息收集返回优选SLB所对应的VIP返回优选SLB对应的VIPWEB2WEB45用户向VIP发送业务请求6SLB1依据调度算法选择WEB服务器，将业务请求发至WEB服务器7W

60、EB1服务器接收请求并向用户返回业务数据DC1DC2用户1请求，返回SLB1 VIP，用户2请求，返回SLB2 VIP，或根据其他调度算法，实现双活负载分担。GSLB功能：1.租户级的站点保护2.租户业务级的站点选择SLB功能：租户业务级的服务器选择 VIP:201.10.1.1VIP:211.18.1.110.1.1.110.1.1.2192.168.1.1192.168.1.2用户2HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 33SNC控制器电信级可靠性方案nNSR机制控制器支持NSR,控制器内部备组件实时备份主组件数据

61、状态，保持同步；主控制器内部某个组件/进程/节点/单板故障,业务可自动平滑切换到主控制器上的备组件，流量可保持不中断；n双机热备机制热备控制器实时备份主控制器数据状态，保持同步主控制器因为电源/地震等原因完全崩溃， 业务可自动平滑切换热备控制器上，流量可保持不中断；n控制器与转发面可靠性控制器使用eth-trunk作为南向业务接口，主板上和备板上各出一个物理口加入该eth-trunk；交换机采用集群方式保障可靠性。转发器和控制器连接只要保证IP可达即可。 服务器服务器1 1（主控制器）（主控制器） 服务器服务器2 2（备控制器）（备控制器）iStackLAGSNCNetwork转发器转发器转发

62、器转发器转发器转发器物理服务器1和物理服务器2跨机房部署HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 34云计算业务方案 整体组网方案 VxLAN同子网/跨子网业务互访 南北向业务流程 增值业务部署方案 业务可靠性方案 QoS方案HISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 35Openstack（Neutron）云计算业务QoS场景DC汇聚平面硬件NVE1硬件NVE2硬件NVE3RouterRouterInternetVxLAN-GWVxLAN-GWVirt

63、ual ClusterDC-1同城跨DC VxLAN overlay虚拟网络DC-2RouterRouterVirtual ClusterVxLANVxLANTunnelTunnelVxLANVxLANTunnelTunnelVxLAN TunnelVxLAN TunnelGWSubnetPortSubnetPortSubnetPortvSwitchTOR NVEVxLAN-GWvSwitchVM1Server1vSwitchVM2Server2vSwitchVM3Server3VM1VM2VM3VLANVLANVxLANVxLANIPIPQoS策略控制点NE40E：NNI侧基于VNI控制租户跨机房子网内带宽（跨机房同子网带宽=1G）；在VxLAN-GW上基于租户网关接口控制租户南北向流量带宽租户虚拟拓扑vSwitch：控制VM主机带宽NetMatrixSNC云计算业务PortalNetconfOVS PluginHW PluginOpenflowNetconfHISILICON SEMICONDUCTORHUAWEI TECHNOLOGIES CO., LTD.Page 36Thank You