在當今云計算、人工智能、大數(shù)據(jù)平臺等一系列顛覆性的技術創(chuàng)新背后，軟件的價值被前所未有的推向高峰，“軟件吞噬一切”在整個IT行業(yè)中盛行，幾十年沉淀下來的網(wǎng)絡也未能幸免。各大標準組織和學術派爭先恐后的制定網(wǎng)絡行業(yè)標準，試圖打破傳統(tǒng)網(wǎng)絡的技術限制和商業(yè)壁壘，用標準軟件來定義功能，用通用硬件來承載軟件，最終為用戶帶來物美價廉、互通性高、可持續(xù)性升級換代的新一代網(wǎng)絡解決方案。

SDN應運而生，提出了將網(wǎng)絡控制平面和轉發(fā)平面解耦，采用相對集中式的控制器替代原有分布式控制，通過開放的可編程接口實現(xiàn)“軟件定義”。這種可編程的網(wǎng)絡架構特性，為網(wǎng)絡資源的設計、管理和使用提供了更多的可能性，從而更容易推動整個網(wǎng)絡的變革與發(fā)展。

盛大游戲一直通過采用先進云計算技術助推游戲產業(yè)的發(fā)展，打造出國內一流的私有云平臺G云1.0。隨著游戲運營環(huán)境的急劇變化，為承載紛繁復雜的業(yè)務體系及線上游戲運營系統(tǒng)，盛大游戲希望能緊跟行業(yè)技術發(fā)展態(tài)勢，進而重構整個游戲混合云網(wǎng)絡架構。

在設計盛大游戲G云2.0網(wǎng)絡過程中，要求充分考慮盛大游戲系統(tǒng)架構的通用性和易用性，同時需要針對游戲行業(yè)的特殊性，例如網(wǎng)絡延時、彈性擴容、安全等進行定制化的架構設計，所以新的網(wǎng)絡架構必須要著眼于以下幾點：

標準且開放化：無論是物理網(wǎng)絡還是虛擬化網(wǎng)絡，必須采用業(yè)界相對標準的組網(wǎng)模型和網(wǎng)絡協(xié)議，兼顧開放性和互通性，實現(xiàn)網(wǎng)絡的模塊化設計，為今后平臺的演進提供標準化模型；

靈活擴展性：需要引入Overlay VxLAN技術替代原有的VLAN來更加靈活的支持云主機對于網(wǎng)絡的要求，包括：熱遷移、租戶隔離、多租戶等；

高性能：對于虛擬化網(wǎng)絡Overlay，必須滿足游戲場景下對網(wǎng)絡延時的苛刻要求。VPC網(wǎng)絡需要滿足租戶各云主機（虛機、物理機）之間高吞吐、低延時的網(wǎng)絡互通要求；

高可靠性：無論是Underlay網(wǎng)絡，還是SDN控制器，必須充分考慮單點故障和HA等機制，從而保障整個網(wǎng)絡 7 x 24小時高可靠性要求；

解耦合：需要充分考慮控制和轉發(fā)平面的解耦合，以及虛擬化網(wǎng)絡和物理設備的解耦，以便實現(xiàn)云主機的靈活接入，熱遷移等功能；

自動化：引入SDN控制器，實現(xiàn)對租戶網(wǎng)絡VPC的集中管理，支持物理網(wǎng)絡和虛擬化網(wǎng)絡的快速部署和靈活擴展。

盛大游戲引入思華ExpressNET

SDN產品打造新一代混合云網(wǎng)絡架構

經(jīng)過雙方充分的需求分析和論證工作，引入以盛科SDN白牌交換機為網(wǎng)絡承載（同時支持華為等數(shù)據(jù)中心交換機），思華科技ExpressNET為控制平面的方案。該方案沒有僵化地采用純OpenFlow的方式，而采用了支持VxLAN的數(shù)據(jù)中心交換機和開放API相結合方式，由網(wǎng)絡設備提供出足夠靈活的API供思華的SDN控制器（ExpressNET）調用，思華ExpressNET整體架構如下圖所示：

<圖示1：思華ExpressNET整體架構>

盛大游戲G云2.0 整體網(wǎng)絡部署架構如下圖所示：

<圖示2：G云2.0 網(wǎng)絡部署架構>

思華ExpressNET網(wǎng)絡平臺為云主機、裸機提供了必要的實體和虛擬網(wǎng)絡環(huán)境，包括但不限于：VPC內部二三層東西向訪問、南北向公網(wǎng)訪問、虛機和物理機訪問、跨云跨IDC訪問等，同時以VPC為單元對租戶進行安全隔離、公網(wǎng)QoS限制。整個網(wǎng)絡架構主要包含了下列組件及其功能特點：

1.由可編程標準化網(wǎng)絡硬件設備（例如盛科E系列，華為CloudEngine系列等）組成Clos IP Fabric：其承擔了整個底層網(wǎng)絡（Underlay）功能，為上層的虛擬化網(wǎng)絡提供了堅實的網(wǎng)絡基礎，同時作為VxLAN的端點，提供高性能的VTEP隧道終結。該架構具有運維簡單、等價多路徑、水平擴容和可編程化特點，已被互聯(lián)網(wǎng)公司，數(shù)據(jù)中心和傳統(tǒng)企業(yè)IT所廣泛接受；

2.位于各計算節(jié)點和Neutron節(jié)點的思華ExpressNET分布式控制器：作為思華ExpressNET尤為重要的虛擬化網(wǎng)絡的控制平面，提供二層、三層網(wǎng)絡、DHCP、NAT、QoS、ARP Proxy等功能，各功能采用App Plugin的方式實現(xiàn)，易于擴展。采用分布式控制器的好處在于消除了單點故障，性能有保障，同時兼顧了SDN的設計理念，將控制和轉發(fā)平面進行了解耦；

3.位于Neutron節(jié)點的思華ExpressNET交換機控制器：該控制器負責通過廠商自定義RPC或者標準的NetConf協(xié)議對Underlay網(wǎng)絡設備進行管控，從而打通虛擬和物理網(wǎng)絡的控制平面，真正做到虛實網(wǎng)絡的結合與聯(lián)動；

4.位于各計算節(jié)點的Open vSwitch（以下簡稱為OVS）：以OpenFlow流表的形式提供了高效的網(wǎng)絡轉發(fā)平面，并支持Intel DPDK擴展，以滿足今后對性能的進一步要求；

5.采用VxLAN隧道封裝技術提供租戶VPC虛擬化網(wǎng)絡：不僅實現(xiàn)了虛機到虛機的二/三層網(wǎng)絡連通，同時實現(xiàn)了VPC內虛機到裸機的二/三層直通，以及G云2.0到用戶線下IDC的直通，各VPC安全隔離；

6.考慮到Host VxLAN性能的限制，采用VxLAN Offloading技術將VxLAN加/解封裝上移到物理交換機ToR上，不僅提高了網(wǎng)絡吞吐、降低了網(wǎng)絡延時，同時將寶貴的主機計算資源預留給云主機。

ExpressNET, 重新定義網(wǎng)絡

網(wǎng)絡設計之初，充分分析了OpenStack 原生Neutron網(wǎng)絡架構上的一些缺陷和不足，在兼容Neutron ML2 Framework的基礎上，參考了市面上已有的開源項目，引入了思華ExpressNET全面替換原生Neutron網(wǎng)絡方案，從而彌補了原生方案的不足，主要體現(xiàn)在以下幾個方面：

1、ExpressNET以OpenFlow流表實現(xiàn)分布式DHCP取代集中式的DHCP：OpenStack原生模型設計會在Neutron節(jié)點上造成大量的資源占用和單點故障風險，例如有100個租戶，每個租戶有100個子網(wǎng)，那么在Neutron節(jié)點上就要維持100 x 100 = 10,000個DHCP進程，消耗大量CPU資源，并且增加了維護和排障難度。

<圖示3：OpenStack原生集中式的DHCP模型>

思華ExpressNET解決方案利用OVS OpenFlow流表將DHCP功能分散到各個計算節(jié)點實現(xiàn)，不僅有效的避免單點故障，同時減少了對計算資源的消耗，簡化了系統(tǒng)部署，降低了運維排障難度。

<圖示4：思華Express NET分布式DHCP模型>

2、ExpressNET以OpenFlow流表方式實現(xiàn)的分布式vRouter和DNAT替代原生Neutron的vRouter模型。OpenStack原生的Neutron有兩種vRouter模型：一種是早期版本的集中式vRouter實現(xiàn)，該模型下所有的三層流量都會經(jīng)過位于Neutron節(jié)點的虛擬路由器（通過網(wǎng)絡Namespace實現(xiàn)），不僅增加了網(wǎng)絡單點故障、限制了網(wǎng)絡吞吐，同時加大了網(wǎng)絡延時，如下圖所示：

<圖示5：OpenStack原生集中式的vRouter>

隨后OpenStack提出了分布式vRouter即DVR的概念，在各計算節(jié)點上為租戶創(chuàng)建多個Namespace并安裝相應路由作為租戶本地化的vRouter，雖然該方案在一定程度上解決了集中式模型的一些問題，但由于其依舊采用Namespace的實現(xiàn)方式，不僅耗費計算節(jié)點大量的CPU資源，公網(wǎng)IP地址（用于Floating IP Namespace），同時并未降低網(wǎng)絡延時和排障難度，如下圖所示：

<圖示6：OpenStack原生分布式的vRouter>

而在盛大游戲的案例中，思華ExpressNET擁有L2/L3和DNAT App Plugin，使得位于各計算節(jié)點的本地控制器提供路由和地址轉換等控制平面功能，并結合OVS OpenFlow流表實現(xiàn)轉發(fā)平面功能，不僅有效的解決了集中式路由帶來的諸多問題，同時降低了復雜度、提高了網(wǎng)絡彈性，釋放了本地計算資源，減少了公網(wǎng)IP地址浪費以及降低了網(wǎng)絡延時，如下圖所示：

<圖示7：思華ExpressNET 以OVS流表方式實現(xiàn)分布式vRouter>

3、ExpressNET支持多公網(wǎng)網(wǎng)段（Multiple Elastic IP Pool）：原生的OpenStack無法很好的支持多外網(wǎng)功能，導致平臺無法使用多個公網(wǎng)IP網(wǎng)段，從而增加了網(wǎng)絡實際部署難度。如下圖所示，當申請了多個公網(wǎng)網(wǎng)段后，由于OpenStack的限制，無法讓虛機VM1申請缺省公網(wǎng)網(wǎng)段Pool 1以外的地址段，如EIP Pool 2 & Pool 3（每個虛機一個公網(wǎng)EIP）：

<圖示8：OpenStack原生的單一外網(wǎng)限制>

思華ExpressNET取消該限制并增加相應的保護機制，使得平臺可以將任何可用的公網(wǎng)地址段與分布式的路由器相關聯(lián)，極大的降低了對IDC網(wǎng)絡的需求。如下圖所示，在平臺管理員創(chuàng)建完額外的外網(wǎng)及網(wǎng)段后（External Network 2 & 3），租戶可以在控制臺中從EIP Pool 1, 2 &3中隨機挑出一個公網(wǎng)IP，綁定到其指定的虛機或者物理機上

<圖示9：思華ExpressNET取消限制，支持多公網(wǎng)網(wǎng)段>

4、ExpressNET擴展OpenStack 網(wǎng)絡功能，支持VPC與線下IDC互聯(lián)互通：盛大游戲案例中必須要考慮用戶云上資源和原有IDC的互聯(lián)互通，典型的應用場景是各工作室或者技術部門既有在原平臺中的Legacy系統(tǒng)，又有新業(yè)務在G云2.0上開展，同時新舊系統(tǒng)需要二層或者三層網(wǎng)絡直通而不經(jīng)過NAT。如下圖所示，思華ExpressNET方案利用分布式虛擬路由器和底層Underlay網(wǎng)絡設備，實現(xiàn)了云上VPC與云下IDC不經(jīng)過NAT轉換的網(wǎng)絡直通，云上的虛機或者物理機可以直接訪問盛大游戲原有Legacy系統(tǒng)的IP，不僅滿足了用戶原有的使用習慣，降低了上云的復雜度，同時保證了網(wǎng)絡的延續(xù)性和透明性。

<圖示10：思華ExpressNET實現(xiàn)VPC與線下IDC互聯(lián)互通>

5、ExpressNET支持跨IDC的VPC Peering：雖然該需求目前在盛大云平臺中并不是非常強烈，但是伴隨著多地IDC服務的提供，部分平臺使用者希望將分散在各地IDC的VPC進行互通，這也是很多公有云例如 AWS、阿里云所推出的VPC Peering網(wǎng)絡服務。相應的解決方案可以按照以前AWS或者阿里云以用戶VPC為單位，部署相應的軟件VPN網(wǎng)關，實現(xiàn)VPC的互聯(lián)互通，但是缺點是用戶參與度過高，部署方案復雜，性能受限。參考了最新的阿里云和AWS的VPC Peering高速互聯(lián)方案，依托盛大游戲原有的內網(wǎng)資源，思華ExpressNET通過在虛擬路由器中引入成熟的靜／動態(tài)路由協(xié)議，結合外部網(wǎng)絡設備，打造一張高性能、高擴展性的DCI（數(shù)據(jù)中心互連）網(wǎng)絡。數(shù)據(jù)中心之間的網(wǎng)絡設備借助成熟的BGP-EVPN技術實現(xiàn)控制平面，依舊采用VxLAN作為轉發(fā)平面保證整個設計的一致性。

<圖示11：思華ExpressNET實現(xiàn)跨IDC的VPC Peering>

通過引入思華科技ExpressNET SDN解決方案后，盛大游戲G云2.0網(wǎng)絡平臺SDN收獲的不僅僅是數(shù)據(jù)中心、基礎架構，而是包括盛大游戲各個場景的服務和功能，都能在通用的策略框架下實現(xiàn)高效、可靠、安全地運營，實現(xiàn)無縫的移動性、無縫的工作負載遷移。

盛大游戲技保平臺中心總監(jiān)應華說，“在建設G云2.0之初，我們也分析參考了市面上多家SDN的技術，包括原生Neutron，多少都存在一些缺陷和不足，并考慮到被單一廠家從軟件到硬件全部綁定的風險。最終我們決定選擇思華ExpressNET作為G云2.0的網(wǎng)絡架構，主要還是看重ExpressNET采用了SDN白牌交換機和開放API相結合的方式，各個IDC可以選擇不同廠家的網(wǎng)絡設備，有效降低了對單一硬件廠商的依賴度。再加上思華多年的技術積累，能夠為盛大游戲提供定制化的SDN開發(fā)服務，是我們值得信賴的長期合作伙伴。”