在分布式存儲網(wǎng)絡(luò)中，我們使用的協(xié)議有RoCE、Infiniband（IB）和TCP/IP。其中RoCE和IB屬于RDMA (RemoteDirect Memory Access)技術(shù)，他和傳統(tǒng)的TCP/IP有什么區(qū)別呢，接下來我們將做詳細對比。

RDMA和TCP/IP

面對高性能計算、大數(shù)據(jù)分析等IO高并發(fā)、低時延應(yīng)用，現(xiàn)有TCP/IP軟硬件架構(gòu)不能滿足應(yīng)用的需求，這主要體現(xiàn)在傳統(tǒng)的TCP/IP網(wǎng)絡(luò)通信是通過內(nèi)核發(fā)送消息，這種通信方式存在很高的數(shù)據(jù)移動和數(shù)據(jù)復(fù)制的開銷。RDMA(RemoteDirect Memory Access)技術(shù)全稱遠程直接內(nèi)存訪問，就是為了解決網(wǎng)絡(luò)傳輸中服務(wù)器端數(shù)據(jù)處理的延遲而產(chǎn)生的。RDMA技術(shù)能直接通過網(wǎng)絡(luò)接口訪問內(nèi)存數(shù)據(jù)，無需操作系統(tǒng)內(nèi)核的介入。這允許高吞吐、低延遲的網(wǎng)絡(luò)通信，尤其適合在大規(guī)模并行計算機集群中使用。

圖1-1RDMA和傳統(tǒng)TCP/IP比較

RDMA的種類

目前有三種RDMA網(wǎng)絡(luò)，分別是Infiniband、RoCE(RDMA over Converged Ethernet)、iWARP。

其中，Infiniband是一種專為RDMA設(shè)計的網(wǎng)絡(luò)，從硬件級別保證可靠傳輸 ，技術(shù)先進，但是成本高昂。而RoCE 和 iWARP都是基于以太網(wǎng)的RDMA技術(shù)，這使高速、超低延時、極低CPU使用率的RDMA技術(shù)得以部署在目前使用最廣泛的以太網(wǎng)上。

如所示，RoCE協(xié)議有RoCEv1和RoCEv2兩個版本，RoCEv1是基于以太網(wǎng)鏈路層實現(xiàn)的RDMA協(xié)議(交換機需要支持PFC等流控技術(shù)，在物理層保證可靠傳輸)，而RoCEv2是以太網(wǎng)TCP/IP協(xié)議中UDP層實現(xiàn)，引入IP解決了擴展性問題。

圖1-2RDMA網(wǎng)絡(luò)種類

表1-1RoCE和InfiniBand比較

三種RDMA網(wǎng)絡(luò)的特點總結(jié)如下：

InfiniBand：設(shè)計之初就考慮了 RDMA，從硬件級別保證可靠傳輸，提供更高的帶寬和更低的時延。但是成本高，需要支持IB網(wǎng)卡和交換機。

RoCE：基于 Ethernet 做 RDMA，消耗的資源比 iWARP 少，支持的特性比 iWARP 多。可以使用普通的以太網(wǎng)交換機，但是需要支持RoCE的網(wǎng)卡。

iWARP：基于TCP的RDMA網(wǎng)絡(luò)，利用TCP達到可靠傳輸。相比RoCE，在大型組網(wǎng)的情況下，iWARP的大量TCP連接會占用大量的內(nèi)存資源，對系統(tǒng)規(guī)格要求更高。可以使用普通的以太網(wǎng)交換機，但是需要支持iWARP的網(wǎng)卡。

分布式存儲中常用的網(wǎng)絡(luò)協(xié)議

IB：常用于DPC場景中的存儲前端網(wǎng)絡(luò)。

RoCE：常用于存儲后端網(wǎng)絡(luò)。

TCP/IP：常用于業(yè)務(wù)網(wǎng)絡(luò)。

關(guān)于RoCE網(wǎng)絡(luò)技術(shù)，請參考“關(guān)于RoCE技術(shù)3種實現(xiàn)及應(yīng)用”，“高性能計算：RoCE技術(shù)分析及應(yīng)用”，“高性能計算：RoCE v2 vs. InfiniBand網(wǎng)絡(luò)該怎么選？”，“面向數(shù)據(jù)中心無損網(wǎng)絡(luò)技術(shù)（IP、RDMA、IB、RoCE、AI Fabric）”，“NVMe over RoCEv2網(wǎng)絡(luò)技術(shù)要求和測試規(guī)范”。

審核編輯：湯梓紅