在2024OCP全球峰會(huì)上，開發(fā)CXL交換機(jī)SoC和CXL IP的韓國(guó)無晶圓廠初創(chuàng)公司Panmnesia展示了第一個(gè)支持CXL的AI集群，該集群采用CXL 3.1交換機(jī)。

OCP全球峰會(huì)由世界上最大的數(shù)據(jù)中心硬件開發(fā)委員會(huì)OCP主辦。在活動(dòng)期間，全球相關(guān)公司將討論如何構(gòu)建具有成本效益和可持續(xù)性的數(shù)據(jù)中心IT基礎(chǔ)設(shè)施的解決方案。在今年特別關(guān)注AI相關(guān)主題的活動(dòng)中，Panmnesia展示了其支持CXL的AI集群，以加速用于ChatGPT等服務(wù)的下一代人工智能應(yīng)用RAG，擴(kuò)大其全球客戶群。

AI競(jìng)爭(zhēng)的加劇凸顯了CXL的必要性

鑒于AI服務(wù)的重要性日益增加，企業(yè)正在努力提高其AI服務(wù)的質(zhì)量。近年來，人們不斷嘗試提高準(zhǔn)確率，特別是通過增加AI模型的規(guī)模或利用更多的數(shù)據(jù)。這導(dǎo)致企業(yè)對(duì)內(nèi)存的需求增加。為了增加內(nèi)存容量，企業(yè)通常會(huì)增加更多的服務(wù)器。但是，增加更多的服務(wù)器會(huì)給公司帶來不必要的支出，因?yàn)樗鼈冃枰?gòu)買內(nèi)存本身之外的一系列服務(wù)器組件。

這就是下一代連接技術(shù)CXL發(fā)揮作用的地方。與前一種方法相比，CXL提供了一種擴(kuò)展內(nèi)存的新方法。使用CXL，公司只需要購(gòu)買內(nèi)存和CXL設(shè)備，而不需要花錢購(gòu)買額外的服務(wù)器組件。因此，CXL吸引了一些大型IT公司的興趣，這些公司一直遭受著與低效內(nèi)存擴(kuò)展相關(guān)的成本困擾。

AI的CXL解決方案

在CXL獲得全球關(guān)注的同時(shí)，Panmnesia也因其在CXL技術(shù)開發(fā)方面的領(lǐng)導(dǎo)地位而吸引了業(yè)界的興趣。該公司首次在2022年USENIX年度技術(shù)會(huì)議上推出了世界上第一個(gè)帶有CXL 2.0交換機(jī)的完整系統(tǒng)框架“DirectCXL”，引起了人們的關(guān)注。該公司在2023超級(jí)計(jì)算展覽會(huì)上推出了世界上第一個(gè)包含所有類型CXL 3.0/3.1組件的系統(tǒng)，進(jìn)一步鞏固了其在CXL技術(shù)方面的領(lǐng)先地位。此外，該公司還宣布了CXL解決方案，以加速AI，響應(yīng)行業(yè)需求。

在2023年閃存峰會(huì)(CES)上，該公司在其CXL 3.0/3.1框架上展示了推薦系統(tǒng)（商業(yè)上使用最多的AI應(yīng)用之一）的加速。隨后，在CES 2024上，Panmnesia宣布了一款支持CXL的AI加速器，通過處理接近內(nèi)存的數(shù)據(jù)來減少數(shù)據(jù)移動(dòng)開銷，從而獲得了CES創(chuàng)新獎(jiǎng)。在今年的OCP/OpenInfra峰會(huì)上，該公司推出了通過CXL技術(shù)擴(kuò)展GPU系統(tǒng)內(nèi)存的解決方案CXL-GPU，進(jìn)一步鞏固了Panmnesia作為AI CXL解決方案領(lǐng)導(dǎo)者的地位。

啟用了CXL的AI集群

在2024年OCP全球峰會(huì)上，Panmnesia展示了支持CXL的AI集群，它代表了該公司以AI為重點(diǎn)的CXL技術(shù)前沿。

支持CXL的AI集群包括一個(gè)配備CXL內(nèi)存擴(kuò)展器的“CXL-Memory節(jié)點(diǎn)”和一個(gè)配備CXLGPU的“CXL-GPU節(jié)點(diǎn)”。CXL-Memory節(jié)點(diǎn)通過多個(gè)CXL內(nèi)存擴(kuò)展器提供大容量?jī)?nèi)存，而CXL-GPU節(jié)點(diǎn)通過多個(gè)CXL- GPU加速AI模型推理/訓(xùn)練。

為了構(gòu)建這個(gè)AI集群，Panmnesia使用了它的兩個(gè)主要產(chǎn)品：CXL IP和CXL交換機(jī)。首先，該公司的CXL IP嵌入到每個(gè)系統(tǒng)設(shè)備中，以啟用CXL功能。由于CXL IP優(yōu)化了設(shè)備之間的通信過程，因此它允許在不犧牲性能的情況下擴(kuò)展內(nèi)存，同時(shí)保持成本效益。接下來，使用Panmnesia的CXL 3.1交換機(jī)來互連上述各種類型的設(shè)備。

請(qǐng)注意，這不僅僅涉及物理連接。具體來說，CXL將GPU等加速器歸類為第2類設(shè)備，將內(nèi)存擴(kuò)展器歸類為第3類設(shè)備。為了將這些不同類型的設(shè)備互連在一起，交換機(jī)必須支持每種類型的設(shè)備所需的功能。由于該公司的CXL 3.1交換機(jī)滿足這些要求，因此能夠配置由不同類型設(shè)備組成的支持CXL的AI集群。此外，該公司的CXL 3.1交換機(jī)在增強(qiáng)跨多個(gè)節(jié)點(diǎn)（服務(wù)器）的可擴(kuò)展性方面發(fā)揮著至關(guān)重要的作用。這是通過支持為高可擴(kuò)展性而設(shè)計(jì)的CXL 3.1特性來實(shí)現(xiàn)的，例如多級(jí)交換和基于port的路由。

該公司表示：“這是世界上第一個(gè)采用CXL 3.1交換機(jī)的AI集群，也是世界上第一個(gè)采用CXL驅(qū)動(dòng)的AI加速解決方案CXL- GPU的完整系統(tǒng)。”

CXL 3.1開關(guān)芯片也將在25年下半年提供給客戶。

OCP全球峰會(huì)演示：在支持CXL的AI集群上加速前沿AI模型RAG

在OCP全球峰會(huì)上，Panmnesia在其支持CXL的AI集群上展示了全球首個(gè)RAG加速演示。RAG是下一代LLM（大規(guī)模語言模型），目前正在開發(fā)中，并被OpenAI和微軟等公司使用。它可以成為當(dāng)今行業(yè)的主要應(yīng)用，因?yàn)樗鉀Q了現(xiàn)有LLM的固有局限性，即幻覺現(xiàn)象。

簡(jiǎn)單解釋一下RAG的概念，它在包含大量數(shù)據(jù)的數(shù)據(jù)庫(kù)中搜索與用戶輸入相關(guān)的信息，并使用搜索結(jié)果來提高LLM響應(yīng)的準(zhǔn)確性。

Panmnesia的一位代表表示:“我們的演示將顯示，通過利用各種類型的CXL設(shè)備，Panmnesia的支持CXL的AI集群可以加速RAG應(yīng)用程序的所有階段。”

據(jù)該公司透露，通過CXL擴(kuò)展的大內(nèi)存可以有效地加速搜索過程，而CXL-GPU則可以加速LLM。

Panmensia相關(guān)人士表示：“通過CXL 3.1交換器和高性能CXL IP，可以連接數(shù)十臺(tái)甚至100臺(tái)設(shè)備，可以在數(shù)據(jù)中心層面有效地加速RAG等最新AI應(yīng)用。通過參與OCP全球峰會(huì)，我們的目標(biāo)是加強(qiáng)我們現(xiàn)有的全球合作伙伴關(guān)系，擴(kuò)大我們的客戶群。”