SDN 技術研究和組網實踐
數年前，農業銀行在總行層面規劃和建設了VXLAN DCI（Datacenter Interconnect）網絡核心，將內外網Fabric資源池通過DCI高速互聯，并采用原創的多段式VXLAN和兩級外部網絡技術，實現跨Fabric的邏輯分區、資源調度及服務鏈功能，為云原生應用提供超大規模的網絡資源池。該架構業已成為大型金融數據中心網絡的最佳實踐和事實標準，被同業廣泛采用。
VXLAN DCI初始主要提供硬SDN Fabric資源池接入，但近幾年軟SDN技術在金融行業逐漸試點和規模應用，VXLAN DCI架構要兼顧軟SDNFabric資源池接入需求，實現軟硬SDN融合的統一架構。本文以華為HCS8.1云平臺為原型，重點討論軟SDN的技術原理、組網設計以及與VXLAN DCI的對接方式。
軟SDN組網結構
軟硬SDN又分別稱為Host Overlay和Network Overlay，最大的區別在于VxLAN網關位置，還有網絡服務和運維方式等，兩者比較如下。
VXLAN網關，硬SDN網關位于外部接入交換機上，對硬件MAC/ARP/FIB表項要求很高，支持高密度線速轉發，一般要求Fabric內網絡設備同構；軟SDN網關位于服務器內部vSwitch上，對軟件vSwitch Openflow表項要求高，需占用服務器CPU、內存等資源，轉發性能稍弱一些，硬件接入交換機為純Underlay設備，不感知租戶和虛機信息，Fabric內網絡設備支持異構。
網絡服務，硬SDN主要提供L2/L3連通性，FW、LB等高層服務需要專門的軟件或硬件設施，還要解決控制器與云平臺適配問題；軟SDN為云平臺的集成組件，不涉及云網對接問題，能提供L2~L7全棧的服務，具體包括vFW、ELB、EIP、NAT、VPN等，全都通過服務器軟件或NFV實現，具備快速交付和水平擴展能力。
運維方式，硬SDN技術在金融行業起步較早，設備間通過BGPEVPN交換MAC和IP路由信息，與傳統路由交換技術體系一脈相承，網絡人員稍加培訓便能上手，還有成熟配套的可視化智能運維系統，網絡狀態一目了然。軟SDN發源于公有云環境，近一兩年才在金融行業逐步落地部署，vSwitch基于控制器下發的Openflow流表封裝和轉發VXLAN報文，對習慣路由交換的網絡人員，技術路線切換是一個很大的挑戰，而且缺乏完備的智能化運維系統，故障處理會比較吃力。
從以上對比可以看出，軟SDN除了轉發性能和智能運維等略顯不足，在靈活性和擴展性方面較領先于硬SDN。隨著公有云技術棧私有化部署推進，軟SDN逐漸被業界和用戶接受認可。
典型的軟SDN Fabric由管理區、公共服務區、網絡服務區、業務區等構成，各分區通過核心交換機互聯，分區內部為SPINE+LEAF物理組網結構，具體分工如下。
管理區：為Openstack控制節點、軟SDN控制器、云服務組件等接入區域。
公共服務區：為租戶DNS、公共PaaS、API網關等服務器接入區域。
網絡服務區：為VPCRouter、ELB、EIP、NAT、VPN等軟網元接入區域。
業務區：為VM宿主機、BM裸金屬、存儲等服務器接入區域。
軟SDN技術原理
軟SDN通過統一的服務器形態模擬所有的網絡和安全服務，包括基礎的L2/L3連通性、vFW、ELB、EIP、NAT、VPN等，能滿足云用戶對網絡服務的所有想象，下面逐一介紹私有云中最為常用的軟SDN技術、網絡服務及基本原理，具體實現如圖1所示。
圖1 網絡服務示意圖
（1）DVR（Distributed Virtual Router），類似硬SDN的分布式路由技術，主要提供VPC內路由互通。
假設vpc1網段a的vm1a（宿主機kvm1）訪問網段b的vm1b（宿主機kvm2），kvm1 vm1a將報文經由br-int送給dvr gwa網關，dvr查詢流表修改源mac=gwb、目的mac=vm1b，報文再經過本地br-int和br-tun，br-tun查詢流表修改源mac=dvr，并通過VXLAN隧道（vni=b）將報文送至kvm2。kvm2br-tun收到VXLAN報文后，查詢流表剝離VXLAN封裝并映射到VLAN b，由于源mac=dvr，直接把報文轉給br-int，最后抵達vm1b。
（2）VPCRouter，在DVR基礎上提供VPC間路由互通。
假設vpc1網段a的vm1a訪問vpc2網段c的vm2c，在vpc router上配置跨vpc靜態路由，vpc1路由c指向vpc2，vpc2路由a指向vpc1。kvm1 vm1a將報文經由br-int送給dvr gwa，dvr查詢流表修改源mac=gwa、目的mac=vpcrouter，報文再經過本地br-int和brtun，br-tun查詢流表修改源mac=dvr，并通過VXLAN隧道（vni=a）將報文送至vpc router。vpc router收到VXLAN報文后，查詢流表剝離VXLAN封裝并映射到vpc1，根據目的地址vm2c切換到vpc2，最后使用VXLAN隧道（vni=c）把報文送達vm2c。
以上為同Fabric不同VPC的路由互通過程，如果vpc1、vpc2分別屬于Fabric1、Fabric2，則需要在兩個Fabric的VPC Router之間建立VPC Peering，還要打通Underlay路由，才能實現跨Fabric的VPC路由直通。
（3）云專線，Fabric內部或云上全部基于VXLAN構建VPC虛擬網絡，但最終還是要通往云外世界，服務于云下用戶，而云專線就是連接云上云下網絡的紐帶。提供云專線接入的設備稱為L3GW（Layer 3 Gateway），一般為硬SDN交換機，軟SDN控制器負責與L3GW建立BGPEVPN鄰居，以及Openflow流表與Type2/3/5 EVPN路由的轉換。
假設vpc1網段a的vm1a訪問云下網段z的vmz，kvm1vm1a將報文經由br-int送給dvrgwa，dvr查詢流表修改源mac=gwx、目的mac=l3gw，報文再經過本地br-int和br-tun，br-tun查詢流表修改源mac=dvr，并通過VXLAN隧道（vni=x）將報文送至l3gw。l3gw收到VXLAN報文后，剝離VXLAN封裝并映射到vpc1 vrf1，查詢vmz路由指向云專線vrf2，再將報文送給云外pe，最終經云外網絡路由至vmz。
上面描述的是基于L3GW的硬專線，還可以通過VPCRouter提供的軟專線連接云下網絡，從性能角度考慮首選硬專線。
（4）ELB，為計算資源提供L4和L7負載均衡服務。
假設vpc1網段a的vm1a作為client訪問vpc2網段d的vip2d服務地址，后端服務器為vpc2網段c的vm2c，在vpcrouter上配置跨vpc靜態路由，vpc1路由c+d指向vpc2，vpc2路由a指向vpc1。kvm1 vm1a將報文送給vpc router，vpc router查詢流表轉發給vpc2 vip2d，elb收到后調度給服務器vm2c，同時軟sdn控制器還會向kvm2 br-int下發回程流表，確保來回路徑一致。
實際組網中，更多為云下內網客戶端通過云專線，公眾客戶端通過互聯網+EIP訪問云上ELBVIP，ELB調度過程同上。
（5）BM GW，為BM裸金屬提供網絡接入。
LEAF交換機通過Access端口連接BM，為每個BM分配唯一VLAN ID，通過Trunk端口連接BM GW，允許所有BM VLAN通過，邏輯上等同于BM直連BMGW內部的br-int，接入與VM共享的VPC平面。具體實現時，由于LEAF為硬件交換機，軟SDN控制器需要通過Neutron+管理LEAF交換機端口。
假設vpc1網段a的bm1a訪問vpc1網段b的bm1b，訪問過程與vm相似不再贅述。
（6）其他服務，vFW基于計算節點宿主機的iptables機制實現，屬于分布式云上FW，能滿足大部分VPC的防護需求，但vFW的策略規格明顯低于硬件FW，對于大型VPC，使用云外硬件FW是一個不錯的選項，其他如EIP、NAT、VPN等服務，更多與互聯網接入相關，就不逐一展開介紹了。
（7）容器網絡，HCS8.1為IaaS+PaaS一體化云平臺，能夠一站式提供BM/VM/Pod多態的計算資源，以及VPCIP、VPCENI(Elastic Network Interface)等主流一體化網絡接入方式，具體示例如下。
VPC IP模式，云平臺在vpc1內創建eni1彈性網卡并綁定vm1a，分配網段a地址，vm1a內部采用l3 ipvlan cni，eni1為父接口，通過子接口為pod1e1、pod1e2提供網絡接入，pod分配獨立網段e地址，還需要在vpc router上配置網段e路由，下一跳指向vm1a，實現vpc網絡平面和pod網絡平面的路由互通。
VPC ENI模式，云平臺在vpc1內創建eni2、eni3彈性網卡并綁定vm1b內的pod1b1、pod1b2，分配網段b地址，創建eni4、eni5彈性網卡并綁定bm1a內的pod1a1、pod1a2，分配網段a地址，實現pod直連vpc網絡平面。實際使用eni時有規格的限制，華為采用獨創的eni+vlan技術，巧妙解決了eni上限問題。
軟SDN組網設計
介紹完軟SDN技術原理，下面就組合這些技術來構建一個通用的軟SDNFabric，并融入VXLANDCI網絡，具體組網如圖2所示。
圖2 綜合組網示意圖
軟SDN Fabric1采用標準四功能區架構，可支持2000臺以上物理服務器接入，云上創建了外聯DMZ區vpc1、內網生產區vpc2，通過各自的云專線連接DCIPE，在L3GW上將vpc1綁定extdmz dci vpn、vpc2綁定prd dci vpn，打通云上vpc和dci vpn路由，dci vpn代表邏輯分區或安全域。
硬SDN Fabric2采用BL+SPINE+LEAF標準架構，云上創建內網生產區vpc3，通過邊界BL連接DCI核心，在BL上將vpc3綁定prd dci vpn，打通云上vpc和dci vpn路由。由于vpc1和vpc3綁定了相同的prd dci vpn，自然就實現兩個內網生產分區的路由直通。
PRD-DS為云上prd dci vpn和云下intra vpn的網絡邊界，并旁掛部署硬件FW，確保云上云下互訪經過FW嚴格控制。同時顧及軟SDN Fabric的vFW規格限制，vpc2內部不啟用vFW，而是通過PRD-DS的FW同時為vpc2和vpc3提供邊界防護。
EXT-DS為云上ext-dmz dci vpn和云下intra vpn以及外聯的網絡邊界，并旁掛部署內外網硬件FW，形成標準兩道FW的DMZ網絡結構。vpc1內部也不啟用vFW，通過EXT-DS直連的FW為vpc1提供內外邊界防護。
以vpc1和vpc2互訪為例，由于vpc1、vpc2都未啟用vFW，因此不能使用vpc peering直接在云上打通兩個vpc路由，而是借助DCI和邊界FW提供的服務鏈能力，保證訪問路徑經過各自的邊界FW，并實現云上云下訪問的統一入口和安全防護。
總結和展望
雖然軟SDN技術較為靈活，服務較為豐富，但在轉發性能和網絡運維方面還需要優化改進，性能提升終極手段為智能網卡技術，又稱為彈性裸金屬，將Hypervisor和VXLAN網關功能卸載到硬件網卡上，既保留了軟SDN的靈活性，又達到與硬SDN相當的性能水平，當然成本會相對較高。而硬SDN在一些特定場景還是有明顯優勢，比如追求極致性能的分布式數據庫、大數據等，需要云平臺供給物理服務器資源和網絡提供高速轉發能力，對其他網絡服務的依賴相對較少，硬SDN可以很好的應對解決這些痛點。可以預見，軟硬SDN在很長一段時間內還會并存，以發揮各自優勢，具體實現時，軟硬交換機可以獨立或聯合構建Fabric，后者又稱為Hybrid Overlay，需要控制器同時管理軟硬交換機和協議轉換，分別滿足虛機和裸金屬的網絡接入需求。
（欄目編輯：張麗霞）
