本文來(lái)自ATC 22，由于出色的硬件異構(gòu)管理和資源分解能力，CXL 等新型高速緩存一致性互連協(xié)議近來(lái)備受關(guān)注。本文作者提出了可直接訪問(wèn)的分離式內(nèi)存，DirectCXL，并自行設(shè)計(jì)了CXL內(nèi)存控制器、支持CXL的處理器及相關(guān)軟件運(yùn)行時(shí)以實(shí)現(xiàn)DirectCXL。它通過(guò) CXL 的內(nèi)存協(xié)議 (CXL.mem) 直接連接主機(jī)處理器復(fù)合體和遠(yuǎn)程內(nèi)存資源。 由于 DirectCXL 不需要在主機(jī)內(nèi)存和遠(yuǎn)程內(nèi)存之間進(jìn)行任何數(shù)據(jù)復(fù)制，因此它可以向用戶展示遠(yuǎn)程端分離式內(nèi)存資源的真實(shí)性能，相較于RDMA實(shí)現(xiàn)的分離式內(nèi)存訪問(wèn)速度提升8.2x，在真實(shí)工作負(fù)載上提升最大達(dá)3.7x。 ?

01?背景

? ? 分離式內(nèi)存由于可以提升內(nèi)存利用率而備受關(guān)注，現(xiàn)有的分離式內(nèi)存可以根據(jù)它們?nèi)绾喂芾頂?shù)據(jù)分為1）page-based和2）object-based。Page-based方法基于虛擬內(nèi)存技術(shù)，當(dāng)發(fā)生缺頁(yè)中斷時(shí)從遠(yuǎn)端交換內(nèi)存頁(yè)，無(wú)需修改程序代碼。而object-based方法則需要使用數(shù)據(jù)庫(kù)（如KV數(shù)據(jù)庫(kù)）來(lái)管理內(nèi)存對(duì)象，需要大量的源碼級(jí)修改。 盡管還有許多變種，但所有現(xiàn)有的方法都需要類似RDMA的方式使用網(wǎng)絡(luò)從遠(yuǎn)端內(nèi)存移動(dòng)數(shù)據(jù)到主機(jī)端內(nèi)存，數(shù)據(jù)移動(dòng)和伴隨而來(lái)的操作（如頁(yè)面緩存管理）引入了冗余和軟件開(kāi)銷，這使得分離式內(nèi)存的延遲比本地DRAM高多個(gè)數(shù)量級(jí)。

CXL（Compute Express Link）是一個(gè)行業(yè)支持的緩存一致性互聯(lián)協(xié)議，其下有三個(gè)子協(xié)議： CXL.io使CXL可運(yùn)行在標(biāo)準(zhǔn)PCIe物理層之上，PCIe5.0的帶寬已經(jīng)達(dá)到63GB/s，這足以為遠(yuǎn)端內(nèi)存訪問(wèn)服務(wù)。 CXL.cache允許CXL設(shè)備緩存主機(jī)端的內(nèi)存。 CXL.mem允許主機(jī)使用Load/Store語(yǔ)義像訪問(wèn)本地內(nèi)存一樣訪問(wèn)設(shè)備端的內(nèi)存。 因此CXL在實(shí)現(xiàn)分離內(nèi)存方面表現(xiàn)出巨大的潛力。 02?背景 ? ? 當(dāng)前工作中基于網(wǎng)絡(luò)的數(shù)據(jù)拷貝嚴(yán)重影響了性能，因此DirectCXL直接將遠(yuǎn)端內(nèi)存資源與CPU Compute Complex相連，允許用戶以Load/Store指令訪問(wèn)遠(yuǎn)端內(nèi)存。

1. 通過(guò)CXL連接主機(jī)和內(nèi)存

現(xiàn)有的分離式內(nèi)存技術(shù)仍然需要在遠(yuǎn)端內(nèi)存?zhèn)仍O(shè)置計(jì)算資源，這是因?yàn)樗蠨RAM模塊及其接口都設(shè)計(jì)為無(wú)源外設(shè)，需要計(jì)算資源控制。相比之下，CXL.mem允許主機(jī)計(jì)算資源通過(guò) PCIe 總線 （FlexBus） 直接訪問(wèn)底層內(nèi)存;它的工作方式類似于本地DRAM，連接到其系統(tǒng)總線。 在當(dāng)前架構(gòu)中，設(shè)備的 CXL 控制器解析傳入的基于 PCIe 的 CXL 數(shù)據(jù)包，稱為 CXL flit，將其信息（地址和長(zhǎng)度）轉(zhuǎn)換為 DRAM 請(qǐng)求，并使用 DRAM 控制器從底層 DRAM 為它們提供服務(wù)。

具體來(lái)說(shuō)，主機(jī)CPU系統(tǒng)總線包括了多個(gè)CXL Root Port（RPs），可以將一個(gè)或多個(gè)CXL設(shè)備作為Endpoint（EP）設(shè)備連接。作者實(shí)現(xiàn)的主機(jī)端驅(qū)動(dòng)在啟動(dòng)時(shí)通過(guò)查詢其base address register（BAR）寄存器和host-managed memory（HDM）大小來(lái)枚舉CXL設(shè)備。根據(jù)檢索到的大小，內(nèi)核驅(qū)動(dòng)將BAR和HDM映射到主機(jī)的保留內(nèi)存地址空間中，并通知底層的CXL設(shè)備它們被映射到了主機(jī)內(nèi)存。當(dāng)主機(jī)發(fā)送Load/Store指令時(shí)，請(qǐng)求被送到相應(yīng)的RP，RP將請(qǐng)求轉(zhuǎn)換為CXL Flit。最后CXL內(nèi)存控制器將目標(biāo)內(nèi)存地址減去基地址就得到了CXL設(shè)備中實(shí)際的內(nèi)存地址，下發(fā)到DRAM控制器獲取數(shù)據(jù)，結(jié)果通過(guò)CXL Switch和FlexBus返回到主機(jī)。由于該過(guò)程中沒(méi)有數(shù)據(jù)拷貝和軟件干預(yù)，因此DirectCXL可以提供低延遲的遠(yuǎn)端內(nèi)存訪問(wèn)。 DirectCXL也可以通過(guò)交換機(jī)實(shí)現(xiàn)更廣泛范圍的互連，在CXL標(biāo)準(zhǔn)中CXL Switch作用類似于網(wǎng)絡(luò)交換機(jī)。

2. DirectCXL的軟件運(yùn)行時(shí)

與 RDMA 相反，在主機(jī)和 CXL 設(shè)備之間創(chuàng)建虛擬層次結(jié)構(gòu)后，主機(jī)上運(yùn)行的應(yīng)用進(jìn)程可以通過(guò)引用 HDM 的內(nèi)存空間直接訪問(wèn) CXL 設(shè)備。但是，它需要軟件運(yùn)行時(shí)/驅(qū)動(dòng)進(jìn)程來(lái)管理底層 CXL 設(shè)備，并在應(yīng)用進(jìn)程的內(nèi)存空間中公開(kāi)其 HDM。因此，作者提供了DIRECTCXL 運(yùn)行時(shí)，它只是將 HDM 的地址空間拆分為多個(gè)段，稱為CXL命名空間。然后，DitectCXL 運(yùn)行時(shí)允許應(yīng)用進(jìn)程以內(nèi)存映射文檔 （mmap） 的形式訪問(wèn)每個(gè) CXL 命名空間。

03?原型實(shí)現(xiàn) ? ?

由于還沒(méi)有已經(jīng)上市的支持CXL的處理器、設(shè)備和OS，因此作者自行實(shí)現(xiàn)了DirectCXL。每個(gè)CXL設(shè)備基于定制的add-in-card（AIC）CXL 內(nèi)存刀片構(gòu)建，該刀片采用 16 納米 FPGA 和 8 個(gè)不同的 DDR4 DRAM 模塊（64GB）。作者使用FPGA實(shí)現(xiàn)了一個(gè)CXL控制器和八個(gè)DRAM控制器用以管理CXL EP和內(nèi)部DRAM通道。作者實(shí)現(xiàn)使用RISC-V ISAs的內(nèi)部主機(jī)處理器以支持CXL，它采用四個(gè)無(wú)序內(nèi)核，其最后一級(jí)緩存 （LLC） 實(shí)現(xiàn) CXL RP。每個(gè)支持 CXL 的主機(jī)處理器都在高性能數(shù)據(jù)中心加速器卡中實(shí)現(xiàn)，充當(dāng)主機(jī)的角色，可以單獨(dú)運(yùn)行 Linux 5.13 和 DIRECTCXL 軟件運(yùn)行時(shí)。通過(guò) PCIe 背板向四個(gè)主機(jī)公開(kāi)四個(gè) CXL 設(shè)備（32 個(gè) DRAM 模塊）。 04?實(shí)驗(yàn) ? ? 下圖6展示了RDMA和DirectCXL讀64B數(shù)據(jù)的延遲劃分。 可以看到RDMA需要兩次DMA操作，InfiniBand網(wǎng)絡(luò)開(kāi)銷占到了總延遲的78.7%。相比之下DirectCXL由于不需要網(wǎng)絡(luò)和拷貝，快8.3倍。

圖7a將RDMA訪問(wèn)延遲劃分為軟件庫(kù)、拷貝、內(nèi)存訪問(wèn)和網(wǎng)絡(luò)，當(dāng)負(fù)載較小時(shí)，RDMA庫(kù)開(kāi)銷占比較大，隨著負(fù)載增大，拷貝到MR的數(shù)據(jù)也越來(lái)越多，Copy占比逐漸增大。注意網(wǎng)絡(luò)開(kāi)銷并未降低，當(dāng)負(fù)載增大時(shí)網(wǎng)絡(luò)傳輸和內(nèi)存訪問(wèn)可同時(shí)進(jìn)行，重疊部分被劃分到內(nèi)存訪問(wèn)；7b將DirectCXL訪問(wèn)延遲劃分為CPU Cache、PCIe和內(nèi)存訪問(wèn)。隨著負(fù)載增大，CPU Cache拖慢了訪問(wèn)延遲，這是由于作者定制的CPU中miss status holding registers（MSHR，用于實(shí)現(xiàn)非阻塞式緩存）只能處理16個(gè)并發(fā)內(nèi)存miss，因此隨著組成大負(fù)載的內(nèi)存請(qǐng)求（64B）越來(lái)越多，會(huì)導(dǎo)致CPU停頓。

在真實(shí)工作負(fù)載上，DirectCXL的性能提升達(dá)到了3倍和2.2倍。 05?總結(jié) ? ? 在本文中，作者提出了通過(guò)CXL的內(nèi)存協(xié)議（CXL.mem）連接主機(jī)處理器復(fù)雜和遠(yuǎn)程內(nèi)存資源的DirectCXL。其實(shí)際系統(tǒng)評(píng)估結(jié)果表明，當(dāng)工作負(fù)載可以享受主機(jī)處理器的緩存時(shí)，DirectCXL 的分離式內(nèi)存資源可以表現(xiàn)出類似 DRAM 的性能。對(duì)于實(shí)際應(yīng)用進(jìn)程，它的性能平均比基于 RDMA 的方法高 3×。

編輯：黃飛