在存儲(chǔ)領(lǐng)域,容量大、速度快和價(jià)格低是用戶的期望目標(biāo),但就現(xiàn)有的存儲(chǔ)器而言,速度越快的存儲(chǔ)器,容量越小,價(jià)格越高,容量大的存儲(chǔ)器,雖然價(jià)格低,但是速度卻達(dá)不到要求。
尤其是隨著人工智能、機(jī)器學(xué)習(xí)、物聯(lián)網(wǎng)等應(yīng)用場(chǎng)景的出現(xiàn),越來越需要用更快的速度處理更多的數(shù)據(jù)。不過,現(xiàn)有的存儲(chǔ)系統(tǒng)乏力,存儲(chǔ)領(lǐng)域急需一場(chǎng)技術(shù)革命。
那么,存儲(chǔ)界該如何推動(dòng)這場(chǎng)技術(shù)革命?這一革命進(jìn)展如何?就此話題與大內(nèi)存軟件先行者M(jìn)emVerge聯(lián)合創(chuàng)始人兼CEO范承工進(jìn)行了交流。
存儲(chǔ)級(jí)內(nèi)存是革命的基礎(chǔ)
當(dāng)傳統(tǒng)的存儲(chǔ)系統(tǒng)失效時(shí),要么依靠現(xiàn)有的存儲(chǔ)技術(shù)構(gòu)建新的存儲(chǔ)系統(tǒng),要么先發(fā)展新的內(nèi)存介質(zhì)再建存儲(chǔ)系統(tǒng),按照后一種邏輯,存儲(chǔ)級(jí)內(nèi)存技術(shù)(SCM)應(yīng)運(yùn)而生。
顧名思義,存儲(chǔ)級(jí)內(nèi)存就是將速度快性能好的類似DRAM內(nèi)存和容量大價(jià)格低的類似SSD存儲(chǔ)器的優(yōu)點(diǎn)結(jié)合起來,縮小存儲(chǔ)和內(nèi)存之間的差距,改變數(shù)據(jù)的存儲(chǔ)與處理方式。與DRAM不同的是,SCM是非易失性內(nèi)存,這就意味著在斷電時(shí),前者無法保留數(shù)據(jù)與程序代碼,后者卻可以。
范承工表示,過去十幾年里不少硬件廠商都在研發(fā)SCM存儲(chǔ)級(jí)內(nèi)存技術(shù),目前已有大約5種,且這些技術(shù)的發(fā)展和應(yīng)用不盡相同。
“在目前已有的SCM技術(shù)中, MRAM容量相對(duì)較小,價(jià)錢較高,但是它的速度很快,在取代CPU更快更小更貴的內(nèi)存SRAM上有更大的空間,不過它本身無法取代DRAM;RRAM或ReRAM等電阻式內(nèi)存主要是在嵌入式系統(tǒng)內(nèi)得以應(yīng)用,目前還沒有發(fā)展到能夠直接插入服務(wù)器里當(dāng)主內(nèi)存用的產(chǎn)品形式。英特爾和美光合作開發(fā)的3D Xpoint技術(shù)也是SCM技術(shù)中的一種,且是第一個(gè)能夠用作服務(wù)器主內(nèi)存的商業(yè)化技術(shù)。”
這里所說的商業(yè)化,也就是一年之前英特爾基于3DXpoint介質(zhì)推出的傲騰持久內(nèi)存,其大容量和持久性,在取代傳統(tǒng)的DRAM上有一定空間。不過,也有人指出,盡管SCM技術(shù)有很多優(yōu)勢(shì),但是現(xiàn)有的操作系統(tǒng)中很多設(shè)計(jì)機(jī)制考慮內(nèi)存特性,SCM并不能完全替代DRAM。范承工認(rèn)為,單純從硬件的角度來看,這一說法是成立的,持久性內(nèi)存的速度會(huì)比DRAM慢4-5倍,其重復(fù)寫的次數(shù)也遠(yuǎn)遠(yuǎn)少于DRAM,所以它并不能完全取代DRAM。
“依靠SCM取代DRAM,其實(shí)也是MemVerge大內(nèi)存軟件的發(fā)力點(diǎn)。”范承工告訴雷鋒網(wǎng)。
釋放SCM潛能,大內(nèi)存軟件誕生
軟硬件結(jié)合是計(jì)算機(jī)發(fā)展的大趨勢(shì),對(duì)于存儲(chǔ)系統(tǒng)而言亦是如此。基于新型內(nèi)存技術(shù)做大內(nèi)存軟件,MemVerge是第一個(gè)“吃螃蟹的人”。
“我們認(rèn)為未來十年存儲(chǔ)技術(shù)將迎來一場(chǎng)革命,這場(chǎng)革命不僅僅是在硬件上,也會(huì)在應(yīng)用層、軟件設(shè)計(jì)乃至生態(tài)上發(fā)生系列轉(zhuǎn)變。所以在三年前我們創(chuàng)建了MemVerge這家面向企業(yè)級(jí)軟件的公司,只要是在特性和功能上能夠當(dāng)做主存用的存儲(chǔ)硬件技術(shù),我們就計(jì)劃支持,傲騰持久內(nèi)存恰好滿足我們的要求。”范承工向雷鋒網(wǎng)介紹到。
經(jīng)過三年的發(fā)展,MemVerge在今年的9月24日正式發(fā)布了世界上第一款大內(nèi)存軟件,內(nèi)存機(jī)器(Memory Machine Version1.0)。
MemVerge發(fā)布會(huì)上,范承工表示,Memory Machine主要做兩件事:
作為虛擬內(nèi)存層,將DRAM和PMEM(持久性內(nèi)存)統(tǒng)一虛擬化,為內(nèi)存提供軟件定義的內(nèi)存服務(wù)。
內(nèi)存的ZeroIO Snapshot功能,減少硬件宕機(jī)后重啟的時(shí)間。
據(jù)介紹,Memory Machine不需要修改軟件和硬件,就能將DRAM和PMEM都應(yīng)用起來,內(nèi)存容量得以擴(kuò)大。一般而言,傲騰持久內(nèi)存能夠支持一個(gè)CPU線路的3T容量,DRAM能夠支持1.5T容量,而Memoey Machine能夠使兩者并存,這就意味著一個(gè)普通的2路服務(wù)器能夠擁有9T的內(nèi)存容量,是過去的3倍。
另外,傲騰內(nèi)存價(jià)格比DRAM要低,這意味著DRAM與其結(jié)合能夠降低內(nèi)存的平均價(jià)格。“通過我們的軟件,可以選擇一個(gè)最合適的比例將軟件定義的內(nèi)存提供給應(yīng)用,這這種情況下,內(nèi)存成本可以降低30%到50%。”范承工說。
價(jià)格降低的情況下,原本DRAM的性能是否會(huì)受到影響?MemVerge官方給出了不同比例搭配的DRAM和PMEM在KVM虛擬化Hypervisor架構(gòu)上的MySQL數(shù)據(jù)庫(kù)性能測(cè)試數(shù)據(jù)對(duì)比。數(shù)據(jù)顯示,128G PMEM搭配16GB DRAM的QPS達(dá)到49753,超過原本只有128GB DRAM 2175 QPS。
Snapshpt快照技術(shù)是某個(gè)數(shù)據(jù)集在特定時(shí)刻的鏡像,是一種即時(shí)拷貝,大大縮短了備份大型數(shù)據(jù)集時(shí)的時(shí)間,因此這一技術(shù)是存儲(chǔ)上常用的數(shù)據(jù)服務(wù)技術(shù)。但MemVerge是第一個(gè)在內(nèi)存上實(shí)現(xiàn)多次Snapshot,且擁有copy-on-write功能的公司。
據(jù)悉,即使有1T以上的數(shù)據(jù),ZeroIO Snapshot也能在1秒之內(nèi)抓住CPU Cache中的全部狀態(tài)。基于此,ZeroIO內(nèi)存快照有四種數(shù)據(jù)服務(wù):
時(shí)間旅行(Time Travel),應(yīng)用能夠隨意回到過去的任意一個(gè)Snapshot,可以同時(shí)產(chǎn)生128個(gè)Snapshot。
自動(dòng)保存(Auto Save),像在編輯Word時(shí)每隔一段時(shí)間應(yīng)用都會(huì)自動(dòng)保存。
簡(jiǎn)單克隆(Thin Clone),同一個(gè)應(yīng)用可以“克隆”成多個(gè)平行運(yùn)行,且各個(gè)應(yīng)用互相獨(dú)立。
應(yīng)用遷移(APP Migration),應(yīng)用能夠遷移到各個(gè)數(shù)據(jù)中心運(yùn)行,無論是裸機(jī)還是虛擬機(jī)。
對(duì)于128個(gè)數(shù)量級(jí)的快照是否會(huì)占據(jù)大量?jī)?nèi)存,范承工表示, “128個(gè)數(shù)量級(jí)的快照會(huì)占據(jù)一定的容量,具體容量需要根據(jù)應(yīng)用的活躍度決定。如果快照數(shù)量多,改變也多,就需要產(chǎn)生新的內(nèi)存頁(yè)進(jìn)行管理,需要用到多余的內(nèi)存,但即使是這樣,也會(huì)比128倍小很多,這是因?yàn)槲锤淖兊膬?nèi)存頁(yè)在物理層面上是共享的。整體來說,內(nèi)存資源是被節(jié)省了。”
面向應(yīng)用場(chǎng)景,革命需要更多伙伴
有軟件加持的SCM技術(shù),能在哪些具體的應(yīng)用場(chǎng)景發(fā)力呢?
“讓我們下定決心集中力量做大內(nèi)存系統(tǒng)的另一個(gè)重要原因,是我們已經(jīng)找到三個(gè)對(duì)這一技術(shù)最感興趣的應(yīng)用場(chǎng)景,一是云服務(wù)提供者CSP(Cloud Services Provider),二是電影工作室在進(jìn)行創(chuàng)作時(shí)的應(yīng)用,三是金融應(yīng)用領(lǐng)域,可以使最新的股市交易信息在2至3微秒內(nèi)傳遞給用戶,建立一個(gè)更加公平的股市交易平臺(tái)。” 范承工介紹到。
平安銀行是MemVerge的客戶之一,擁有6000多萬的信用卡用戶和9000多萬的零售客戶。平安銀行大數(shù)據(jù)平臺(tái)技術(shù)總監(jiān)沈百軍表示,對(duì)于銀行而言如果用戶體量小,可以直接將所有用戶的數(shù)據(jù)全部加載到內(nèi)存中,提供快速的服務(wù)。面對(duì)一億左右的用戶,就需要新的技術(shù)支持。“我們引進(jìn)大內(nèi)存技術(shù),全面實(shí)現(xiàn)ZeroIO,希望能讓我們的服務(wù)全都是在內(nèi)存里進(jìn)行的,這樣可以達(dá)到一個(gè)非常理想的工作效率。”
Banca Intesa Sanpaolo 是意大利市值最高的銀行集團(tuán),它部署了英特爾持久內(nèi)存和Memory Machine軟件。Banca Intesa Sanpaolo 云和混合數(shù)據(jù)中心主管 Nicola Carotti 表示:“MemVerge Memory Machine的 ZeroIO 快照功能顯著提高了新應(yīng)用程序的性能,將恢復(fù)時(shí)間從數(shù)小時(shí)縮短到了數(shù)秒。”
不過,雖然大內(nèi)存軟件已有一些切實(shí)可行且效果不錯(cuò)的應(yīng)用場(chǎng)景,但大內(nèi)存軟件既是存儲(chǔ)革命在軟件層面的第一個(gè)進(jìn)展,也是MemVerge的第一個(gè)版本。范承工也表示,這一版本軟件還有一些值得升級(jí)的地方,例如將手動(dòng)調(diào)控比例升級(jí)為智能自動(dòng)化、ZeroIO快照還可以有更多的數(shù)據(jù)服務(wù),安全服務(wù)也是MemVerge未來會(huì)考慮的方向。
范承工認(rèn)為,大內(nèi)存軟件才剛剛開始,這是一件值得MemVerge持續(xù)十幾年時(shí)間投入來做的一件事,基于千億美元的內(nèi)存市場(chǎng),需要更多的軟件來更好地管理優(yōu)化,才能充分發(fā)揮出內(nèi)存的價(jià)值,那時(shí)候大內(nèi)存軟件將是一個(gè)百億美元的市場(chǎng)。
“存儲(chǔ)革命無法靠我們一家創(chuàng)業(yè)公司獨(dú)立完成,還需要更多的合作伙伴共同建立一個(gè)良好的生態(tài),才能完成這場(chǎng)革命。”范承工說。
編輯:hfy
-
存儲(chǔ)器
+關(guān)注
關(guān)注
38文章
7528瀏覽量
164345 -
物聯(lián)網(wǎng)
+關(guān)注
關(guān)注
2913文章
44930瀏覽量
377065 -
存儲(chǔ)系統(tǒng)
+關(guān)注
關(guān)注
2文章
414瀏覽量
40940 -
人工智能
+關(guān)注
關(guān)注
1796文章
47680瀏覽量
240297 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8439瀏覽量
133087
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論