吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于第四代英特爾?至強?可擴展處理器的浪潮云海超融合壓縮和糾刪功能設計

全球TMT ? 來源:全球TMT ? 作者:全球TMT ? 2023-11-18 11:55 ? 次閱讀

浪潮云海InCloud Rail超融合一體機通過軟件定義計算、存儲和網絡技術實現服務器的資源池化,為整個IT環境提供更高的可用性、安全性和擴展性,能夠滿足企業對于降低成本、簡化管理、提高安全性和擴展性的需求,助力企業遷移核心業務上云,構建企業云數據中心

面向海量的數據處理需求,浪潮云海超融合一體機提出一種融合壓縮和糾刪功能于一體的數據存儲空間優化方案,該方案基于英特爾?至強?可擴展處理器提供的QAT加速器實現壓縮功能,同時使用英特爾?智能加速庫實現糾刪功能,可同時支持數據壓縮和糾刪。在超融合一體機的海量應用歸檔數據場景,它需要在應用運行質量較少受影響的前提下,盡可能提升數據存儲效率。在控制成本的前提下,開啟同時支持壓縮和糾刪特性,對于數據庫應用節省存儲空間最高可達70.5%,且對性能的影響較低,能夠助力用戶提升數據庫系統的投資收益、釋放數據價值。

浪潮云海超融合一體機分布式存儲InCloud dSAN

InCloud dSAN是浪潮云海超融合一體機中新一代的軟件定義存儲產品,面向用戶在私有云、大數據、高性能應用、云原生、云邊協同等多元化的應用場景。隨著Intel 新一代CPU、NVMe硬盤、RDMA智能網卡等高性能物理硬件普及,InCloud dSAN在系統設計方面根據新一代物理硬件特點設計多種特色功能:

全異步和無鎖化的編程技術,發揮CPU多核性能,:基于SPDK (Storage Performance Development Kit)高性能存儲開發套件,引入Reactor、Thread、Poller三層邏輯抽象,設計輪詢、異步化、無鎖的軟件框架,從網絡、磁盤、管理等模塊發揮CPU多核能力。

多種鏈路傳輸技術,支持多種組網形態:設計全棧RDMA功能,從虛擬機、存儲協議層、副本數據轉發層等內部網絡傳輸方面,支持全棧的用戶態RDMA鏈路傳輸,利用RDMA零拷貝特性降低時延。

全新的存儲引擎設計,發揮NVMe極致性能:設計基于裸盤讀寫的全新引擎,設計元數據、日志、數據等邏輯空間,實現元數據管理、數據分配和I/O調度等邏輯。特別是針對NVMe硬盤,基于SPDK存儲開發套件中的用戶態NVMe庫實現特有的NVMe存儲引擎。

wKgZomVYNZ2AeRazAADtOEVpaqs488.jpg


InCloud Rail一體機產品全景圖

浪潮云海超融合在新一代G7硬件平臺的壓縮和糾刪功能設計

在超融合的應用場景中,針對金融、醫療等行業的數據庫應用不僅對實時讀寫、隨機I/O訪問和大規模數據集等場景對存儲性能有極高要求,同時對于歸檔數據的存儲空間也提出了新的需求,如醫療行業常見的PACS(Picture Archiving and Communication System)影像歸檔和通信系統,將日常產生的醫學影像(包括核磁、CT、超聲等圖像)通過數字化方式海量存儲,同時在需要時可快速調回查看,對存儲系統歸檔和性能有較高的要求。為了應對此場景,浪潮云海新一代超融合一體機的InCloud dSAN設計了新型的數據壓縮和糾刪功能,該功能集成英特爾?QAT加速器和ISA-L加速庫,在原有的高性能設計方案基礎上滿足了極致性能和極致數據壓縮兩種需求。

壓縮和糾刪方案主要思想:將壓縮和糾刪計算放置于緩存下刷階段,可以避免在I/O訪問過程中的壓縮和糾刪計算的性能損耗。通過智能的緩存管理,保障了熱點數據的I/O訪問集中在緩存層,避免在數據訪問過程中的透寫。

wKgaomVYNZ2AZf3jAAEArRZQIr4368.jpg


InCloud dSAN壓縮和糾刪功能設計架構圖

數據分層管理:將數據存儲劃分為緩存層和數據層,其中緩存層使用高性的NVMe和Sata SSD存儲,同時在緩存層使用多副本的設計,提供高性能數據存儲能力。數據層提供冷數據存儲,主要由HDD硬盤存儲,提供高容量存儲空間。

智能緩存管理:設計冷熱分層的智能緩存管理,高效識別熱點數據和冷數據。可支持針對特定的數據設置優先級,保證需要支持壓縮和糾刪的數據區域可優先保存于緩存空間中。

數據空間高效存儲:在緩存層中由于副本存儲,將上層應用的小塊IO聚合,當數據變成冷數據下刷至存儲層時,由于下刷采用數據對齊,可聚合成大塊的順序條帶讀寫,可以在數據層進行高效的數據存儲。

壓縮和EC加速計算:在緩存層數據下刷時,首先經過QAT壓縮處理,經過壓縮的數據調用EC計算,將糾刪和壓縮數據存放到數據存儲層。

為了驗證該方案的性能,測試數據采用在金融和醫療等行業常見的基礎Linux虛擬機鏡像、Windows系統的SQLServer數據庫,及Linux系統的Oracle數據庫應用。調整QAT壓縮的等級及ISA-L的EC糾刪K/M模型,測試在不同的模型壓縮、糾刪及壓縮和糾刪后的節省空間,從測試結果分析,同時開啟QAT和EC糾刪最大空間可以節省比例達70.5%。

wKgZomVYNZ2ANjcKAABlLZMoqU8457.jpg


壓縮和糾刪功能空間節省對比圖

收益

充分發揮第四代英特爾?至強?可擴展處理器內置的英特爾?QAT加速器能力,QAT加速器對于數據庫應用節省數據空間為58.4%,EC糾刪根據不同的K/M模型可計算節省空間比例,在指定特定K/M模型壓縮和糾刪功能可節省70.5%。

總結

浪潮云海InCloud Rail新一代超融合一體機,依托于英特爾?QAT和ISA-L軟件加速庫技術,設計可同時支持壓縮、糾刪、"壓縮和糾刪"等不同的空間節省方案,采用獨特的數據分層、智能緩存管理、軟件硬協同等設計,完美解決了兼顧高性能、高數據冗余度和高存儲空間利用率等技術難題。

審核編輯:湯梓紅

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 處理器
    +關注

    關注

    68

    文章

    19409

    瀏覽量

    231192
  • 英特爾
    +關注

    關注

    61

    文章

    10009

    瀏覽量

    172339
  • 浪潮
    +關注

    關注

    1

    文章

    468

    瀏覽量

    23947
收藏 人收藏

    評論

    相關推薦

    AN65-第四代LCD背光技術

    電子發燒友網站提供《AN65-第四代LCD背光技術.pdf》資料免費下載
    發表于 01-09 14:12 ?0次下載
    AN65-<b class='flag-5'>第四代</b>LCD背光技術

    英特爾帶您解鎖云上智算新引擎

    在近日舉辦的2024火山引擎FORCE原動力大會上,英特爾與火山引擎聯合發布基于英特爾 至強 6 性能核處理器第四代服務
    的頭像 發表于 12-23 14:05 ?394次閱讀

    面向科學計算,第五英特爾至強擴展處理器優勢何在

    與上一產品相比:第五英特爾?至強?處理器的平均科學計算性能提升高達1.22倍,可以幫助企業顯著提升基礎設施的價值1;平均每瓦性能提升高達
    的頭像 發表于 12-07 10:56 ?683次閱讀

    英特爾發布至強6處理器產品

    以“綠色向新,釋放新質生產力”為主題的英特爾至強6能效核處理器新品發布會在北京舉行。會上,英特爾重磅推出首款配備能效核的英特爾
    的頭像 發表于 09-23 15:48 ?421次閱讀

    開箱即用,AISBench測試展示英特爾至強處理器的卓越推理性能

    近期,第五英特爾?至強?擴展處理器通過了中國電子技術標準化研究院組織的人工智能服務
    的頭像 發表于 09-06 15:33 ?425次閱讀
    開箱即用,AISBench測試展示<b class='flag-5'>英特爾</b><b class='flag-5'>至強</b><b class='flag-5'>處理器</b>的卓越推理性能

    亞馬遜網絡服務即將推出第四代Graviton處理器

    7月10日,雅虎財經獨家報道了亞馬遜網絡服務(AWS)即將推出的重大技術進展——其第四代Graviton處理器,即Graviton4芯片。這一重要信息由AWS的計算與人工智能產品管理總監拉胡·庫
    的頭像 發表于 07-10 15:51 ?663次閱讀

    用友攜手英特爾發布《用友BIP+英特爾第四代至強私有化部署藍皮書》

    近日,由用友網絡主辦的“成就數智企業”2024大型企業數智化峰會·西北峰會在陜西西安成功召開。在企業數智化底座與數據智能創新論壇上,用友攜手英特爾共同發布了《用友BIP+英特爾第四代至強
    的頭像 發表于 06-15 11:28 ?1157次閱讀

    浪潮信息元腦?服務率先支持英特爾?至強?6處理器

    支持最新英特爾?至強?6處理器,具備更出色的性能和能效表現,相比第三至強處理器性能提升200%
    的頭像 發表于 06-07 15:36 ?431次閱讀
    <b class='flag-5'>浪潮</b>信息元腦?服務<b class='flag-5'>器</b>率先支持<b class='flag-5'>英特爾</b>?<b class='flag-5'>至強</b>?6<b class='flag-5'>處理器</b>

    寧暢B5000 G5多節點服務采用第五英特爾至強擴展處理器

    “基于第五英特爾 至強 擴展處理器的寧暢B5000 G5多節點服務
    的頭像 發表于 05-27 11:46 ?900次閱讀
    寧暢B5000 G5多節點服務<b class='flag-5'>器</b>采用第五<b class='flag-5'>代</b><b class='flag-5'>英特爾</b><b class='flag-5'>至強</b><b class='flag-5'>可</b><b class='flag-5'>擴展</b><b class='flag-5'>處理器</b>

    capsense第四代和第五在感應模式上的具體區別是什么?

    據我所知,第五capsense相比第四代將電容(包括自電容+互電容技術)和電感觸摸技術集成到了一起,snr信噪比是上一的十多倍,同時功耗僅是上一的十分之一。但是這張圖在感應模式
    發表于 05-23 06:24

    借助英特爾? QAT從而顯著提升網絡和存儲應用的性能

    全新第四代和第五英特爾? 至強? 擴展處理器內置
    的頭像 發表于 03-18 16:25 ?1161次閱讀
    借助<b class='flag-5'>英特爾</b>? QAT從而顯著提升網絡和存儲應用的性能

    第五英特爾至強處理器,AI特化的通用服務CPU

    計算性能的同時,也新增了AI相關的新指令集,諸如AXM、AVX等。 第五至強擴展處理器架構剖析 2023年年底發布的第五
    的頭像 發表于 03-18 08:14 ?4547次閱讀
    第五<b class='flag-5'>代</b><b class='flag-5'>英特爾</b><b class='flag-5'>至強</b><b class='flag-5'>處理器</b>,AI特化的通用服務<b class='flag-5'>器</b>CPU

    英特爾展示下一至強處理器,助力vRAN性能顯著提升

    -- 與ATT和愛立信亦宣布計劃與英特爾合作部署和擴展Open RAN服務。最近,Telus和三星宣布計劃部署基于第四代英特爾?至強?
    的頭像 發表于 03-01 15:43 ?504次閱讀
    <b class='flag-5'>英特爾</b>展示下一<b class='flag-5'>代</b><b class='flag-5'>至強</b><b class='flag-5'>處理器</b>,助力vRAN性能顯著提升

    英特爾至強處理器優化升級,助力打造未來高能效數據中心

    英特爾最新發布的第五至強擴展處理器,擁有多達64個核心,性能提升高達1.4倍。
    的頭像 發表于 02-26 17:39 ?809次閱讀

    高性能存儲實現新突破的英特爾至強處理器

    基于第四代英特爾 至強 擴展處理器的 Curve 高性能分布式存儲方案在吞吐、時延、TCO 等
    發表于 02-26 14:01 ?553次閱讀
    高性能存儲實現新突破的<b class='flag-5'>英特爾</b><b class='flag-5'>至強</b><b class='flag-5'>處理器</b>
    威尼斯人娱乐城首选大丰收| 大发888官网首页| 晓游棋牌官方下载| 必博百家乐官网游戏| 百家乐官网pc| 百家乐游戏真钱游戏| 大发888缺casino组件| 现金百家乐官网伟易博| 阴宅风水24山分房| 全讯网六仔开奖| 新蔡县| 华硕百家乐官网的玩法技巧和规则| 罗浮宫百家乐的玩法技巧和规则 | 百家乐发牌| 广州市| 正宗杨公风水24山分金| 海口太阳城大酒店| 百家乐官网有技巧么| 饿火命适合做生意吗| 大发888娱乐场电话| 百家乐官网赌博讨论群| 百家乐永利娱乐网| 足球网络投注| 罗盘24层| 大发888娱乐场下载 制度| 金城百家乐官网平台| 百家乐积分| 柳河县| 百家乐投注双赢技巧| 香港六合彩网址| 菲彩百家乐官网的玩法技巧和规则 | 太阳城百家乐客户端| 郑州市太阳城宾馆| 百家乐官网赌博大揭密| 百家乐心得打法| 优博国际娱乐城| 亚洲百家乐新全讯网| 安岳县| 澳门百家乐群策略| 百家乐官网能战胜吗| 长方形百家乐筹码|