介紹了數據中心網絡對于算力的意義，歸納出影響數據中心全以太化演進的因素，以及超融合數據中心網絡架構的典型特征與價值。

結合業界在超融合數據中心網絡技術中的實踐與探索，對超融合數據中心網絡架構的未來發展進行了展望。數據中心內數據處理包括數據的存儲、計算和應用三個環節，分別對應三大資源區：

數據存儲區：存儲服務器內置不同的存儲介質，如機械硬盤、閃存盤（SSD）、藍光等，對于數據進行存儲、讀寫與備份，存儲節點間通過存儲網絡互聯。

高性能計算區：服務器較少虛擬化，配置CPU、GPU 等計算單元進行高性能計算或 AI 訓練，服務器節點間通過高性能計算網絡互聯。

通用計算區：服務器大量使用 VM或容器等虛擬化技術，通過通用計算網絡（又稱為應用網絡、業務網絡、前端網絡），與外部用戶終端對接提供服務。

在這個持續循環的過程中，網絡就像聯接計算和存儲資源的中樞神經，貫穿數據處理的全生命周期。數據中心算力水平不僅取決于計算服務器和存儲服務器的性能，很大程度上也受到網絡性能的影響。如果網絡算力水平無法滿足要求，則會引發“木桶效應”拉低整個數據中心的實際算力水平。

數據中心算力是數據中心的服務器通過對數據進行處理后實現結果輸出的一種能力。在服務器主板上，數據傳輸的順序依次為 CPU、內存、硬盤和網卡，若針對圖形則需要 GPU。所以，從廣義上講，數據中心算力是一個包含計算、存儲、傳輸（網絡）等多個內涵的綜合概念，是衡量數據中心計算能力的一個綜合指標。

提升網絡性能可顯著改進數據中心算力能效比

定 義 數 據 中 心 算 效（CE，Computational Efficiency）為數據中心算力與所有 IT 設備功耗的比值，即“數據中心 IT 設備每瓦功耗所產生的算力”（單位：FLOPS/W）：

在服務器規模不變的情況下，提升網絡能力可顯著改善數據中心單位能耗下的算力水平。ODCC2019 年針對基于以太的網算一體交換機的測試數據表明，在 HPC場景同等服務器規模下，相對于傳統 RoCE（基于融合以太的遠程內存直接訪問協議）網絡，網算一體技術可大幅度降低HPC 的任務完成時間，平均降幅超過 20%。即：單位時間提供的算力提升 20%，同等算力下能耗成本降低 20%。

在存儲網絡場景，采用基于 NVMeover Fabric 的無損以太網絡，可實現同等服務器規模 下， 存 儲 IOPS性能相對于傳統 FC網絡最高可提升87%，這也將大幅減少業務端到端運行時長。由此可見，重構數據中心網絡可以實現在單位ICT 能耗下對算力的極大提升，更好滿足綠色節能數據中心的建設要求。在大算力需求持續高漲的情況下，為企業帶來更加直接的價值。

存儲全閃存化驅動 RoCE 產業生態發展

相比 HDD，SSD 介質在短時間內將存儲性能提升了近 100 倍，實現了跨越式的發展，而 FC 網絡技術無論是從帶寬或時延已成為存儲網絡場景的系統瓶頸，存儲業務開始呼喚更快、更高質量的網絡。為此，存儲與網絡從架構和協議層進行了深度重構，NVMeoverFabric 應運而生。

在新一代存儲網絡技術的選擇上，業界存在NVMeoverFC、NVMeoverRoCE等多條路徑。然而，FC 網絡始終無法突破三大挑戰：

第一、FC 網絡技術及互通性相對封閉，整體產業生態與連續性面臨著很大挑戰；

第二、由于產業規模受限，FC 技術的發展相對遲緩，目前最大帶寬只有 32G 且已長達 6 年沒有出現跨代式技術；

第三、同樣由于產業規模受限，FC 網絡運維人員稀缺，能夠運維 FC 網絡的技術人員不足以太網絡維護人員的 1/10。這造成 FC網絡運維成本居高不下，故障解決效率低下。

相比FC網絡，NVMeoverRoCE 技術無論從產業規模、技術活躍度、架構擴展性、開放生態、和多年 SDN（Software-DefinedNetwork，軟件定義網絡）管理運維能力積累上都具有明顯的優勢，已成為下一代存儲網絡技術的最優選擇。

CPU/GPU 去PCIe化，直出以太以獲取極致性能

隨著人工智能技術的快速發展，PCIe 總線瓶頸凸顯。PCIe 是英特爾在 2001 年提出的高速串行計算機擴展總線標準，接口速度決定了 CPU 間的通信速度，而接口數量則決定了主板的擴展性。

當前，占據數據中心服務器 CPU 市場絕對地位的 Intelx86 架構普遍使用 PCIe3.0，PCIe3.0 單通道僅支持 8GT/s 的傳輸速率，且通道擴展數量有限。在 AI 超算服務器已經全面邁入 100GE 網卡的時代，PCIe3.0 架構速率成為大吞吐高性能計算場景下的性能瓶頸。

為此，業界開始探索計算單元去 PCIe 之路。2019 年，Habana 公司發布了在 AI 芯片處理器片內集成 RoCE 以太端口的處理器 Gaudi，Gaudi 將10 個基于融合以太網的 RoCE-RDMA100GE 端口集成到處理器芯片中，每個以太網端口均支持 RoCE功能，從而讓 AI 系統通過標準以太網，在速度和端口數方面獲得了幾乎無限的可擴展性，提供了過去的芯片無法實現的可擴展能力。同年，華為的達芬奇芯片昇騰 910 集成了 RoCE 接口，通過片內RoCE 實現節點間直接互聯，為構建橫向擴展（ScaleOut）和縱向擴展（ScaleUp）系統提供了靈活高效的方法。

IPv6 大規模部署，產業政策加速以太化進程

IPv6 即互聯網協議第6版，是互聯網工程任務組設計的用于替代 IPv4 的下一代 IP 協議。IPv6 不僅能解決網絡地址資源數量的問題，而且還解決了多種接入設備連入互聯網的障礙問題，具有更大的地址空間和更高的安全性。從人人互聯到萬物智聯，網絡對 IP 地址的需求量指數級增加；數據中心作為智能世界的算力中樞，IPv6 成為互聯的基礎訴求。

超融合數據中心網絡架構與核心特征

下一代超融合數據中心網絡需具備如下特征，實現三個層面的融合：

? 全無損以太網絡，實現流量承載融合：通用計算、存儲、高性能計算網絡統一承載在 0 丟包以太網技術棧上，實現大規模組網協議統一，TCP、RoCE 數據混流運行，打破傳統分散架構限制；

? 全生命周期自動管理，實現管控析融合：基于統一網絡數字孿生底座，加以大數據及 AI 手段，實現規劃、建設、維護、優化全生命周期自動化，代替人工處理大量重復性、復雜性的操作，并可基于海量數據提升網絡預測和預防能力，打破多工具多平臺分散管理限制；

? 全場景服務化能力，實現全場景融合：抽象數據中心網絡“物理網絡服務”、“邏輯網絡服務”、“應用服務”、“互聯服務”、“網絡安全服務”、“分析服務”等核心服務能力，基于開放服務化架構實現多廠家、離線與在線數據的靈活接入。滿足多私有云、多公有云、混合云、以及豐富行業場景下的網絡統一編排需求，支持算力跨云靈活智能調度，打破區域與場景限制。

超融合數據中心網絡技術最佳實踐

基于全無損以太的超融合數據中心網絡技術正在迅猛發展，在存儲、高性能計算、通用計算等場景得到了較好地商業實踐。

在無損網絡方向，標準以太網絡雖然有 QoS 以及流量控制能力，但執行機制簡單粗暴，通常通過靜態水線控制。靜態水線無法適應千變萬化的存儲業務流量，設置過高可能引發丟包，設置過低則無法充分釋放存儲的 IOPS 性能。為了解決這個難題，業界將 AI 機制引入到交換機中，一方面交換機可毫秒級感知流量變化，另一方面基于海量存儲流量樣本持續訓練獲得的 AI 算法可通過智能動態調整隊列水線實現亞秒級流量精準控制，最大程度釋放存儲性能。

在可靠性方面，業界正在推動網絡與存儲在故障場景下的聯動標準化方案。通過交換機毫秒級主動通告故障，并聯動存儲協同倒換，可支持亞秒級的網絡故障倒換，真正實現網絡單點故障存儲業務無感知。

在網絡易用性與運維方面，業界發布了以太網絡環境下的存儲即插即用最佳實踐，相比傳統以太逐節點、逐 ZONE 手工配置方式，可以做到業務單點配置、全網同步，實現存儲設備的即插即用。

由于傳統 FC 網絡當前主流商用端口帶寬只有8G，最大端口帶寬只有 32G，同城 100G 存儲傳輸往往需要 4~10 條以上的鏈路。相比之下，以太網絡 100G/400G 接口能力已經成熟商用，可以大幅減少同城鏈路資源。然而，在同城雙活及災備場景中，跨城傳輸時延增大，短距流控反壓機制存在嚴重的滯后性。以同城 70 公里傳輸場景為例，RTT（Round-TripTime）時延往往大于 1 毫秒，導致傳統流控機制徹底失效。網絡時延由四部分組成：

動態時延：主要由排隊時延產生，受端口擁塞影響；

靜態時延：主要包括網絡轉發（查表）時延和轉發接口時延，一般為固定值，當前以太交換靜態時延遠高于超算專網；

網絡跳數：指消息在網絡中所經歷的設備數；

入網次數：指消息進入網絡的次數。新一代無損以太網絡在動態時延、靜態時延、網絡跳數以及入網次數幾個方面均做出了系統性優化，大幅優化了網絡性能，可滿足高性能計算場景的實際訴求。

傳統的以太交換機在轉發層面，因需要考慮兼容性和眾多協議支持等問題，導致轉發流程復雜、轉發時延較大。與此同時，以太查表算法復雜、查表時延大，導致整體轉發處理時延長。目前業界主流商用以太交換機的靜態轉發時延大約在 600ns-1us 左右。

高性能計算場景的流量關注靜態時延的同時需要支持超大規模組網。然而傳統的 CLOS 架構作為主流網絡架構，主要關注通用性，犧牲了時延和性價比。業界針對該問題開展了多樣的架構研究和新拓撲的設計。

當前數據中心網絡架構設計大多基于工程經驗，不同搭建方式之間難以選擇，缺乏理論指導和統一性設計語言。網絡拓撲性能指標繁多，不同指標之間相互制約，指標失衡很難避免。

審核編輯：郭婷