阿里巴巴正在其下一代數(shù)據(jù)中心基礎(chǔ)設(shè)施中部署Alibaba Open Channel SSD，這是阿里在FAST 2018大會上宣布Open Channel存儲架構(gòu)后的一個重要里程碑。

背景

Alibaba Open Channel SSD（以下簡稱AOC SSD）是阿里巴巴的第三款自制存儲產(chǎn)品，也是業(yè)界首款量產(chǎn)的Open Channel SSD。 它的部署不僅標(biāo)志著阿里巴巴下一代存儲架構(gòu)邁出了關(guān)鍵一步，也為創(chuàng)新的Open Channel生態(tài)系統(tǒng)奠定了基礎(chǔ)。

在今年2月舉行的2018年FAST大會上，阿里巴巴介紹了為其下一代數(shù)據(jù)中心所設(shè)計的軟件/硬件集成的存儲架構(gòu)。 隨著人工智能、云計算和大數(shù)據(jù)應(yīng)用的激增，新架構(gòu)旨在應(yīng)對數(shù)據(jù)中心的新挑戰(zhàn)。 這些挑戰(zhàn)包括：

（1）性能：對軟件/硬件協(xié)同優(yōu)化的需求

（2）靈活性：多樣化和快速變化的工作負(fù)載需要更多的靈活性和自定義設(shè)置

（3）持續(xù)增長的成本和供應(yīng)彈性

（4）應(yīng)用程序需要控制I / O路徑以獲得確定性的性能。

（5）需要更快地響應(yīng)在線問題。

傳統(tǒng)的標(biāo)準(zhǔn)SSD和專有的基于主機(jī)的SSD都無法有效地應(yīng)對這些挑戰(zhàn)。 因此，阿里巴巴為下一代數(shù)據(jù)中心提出了新的軟件/硬件集成的存儲架構(gòu)，其核心是Alibaba Open Channel SSD以及最上層的Fusion Engine存儲引擎軟件。

作為阿里巴巴新存儲架構(gòu)的核心硬件，AOC SSD不僅提供透明的白盒設(shè)計和定制化功能，還提供標(biāo)準(zhǔn)化平臺。 定義AOC SSD平臺的AOC SSD規(guī)范由阿里巴巴根據(jù)其業(yè)務(wù)需求和案例編寫，與其他公司的“Open Channel Spec 1.2 / 2.0”無關(guān)。

AOC SSD架構(gòu)的設(shè)計理念是開放性和協(xié)作性。 阿里巴巴一直在努力與供應(yīng)商和行業(yè)合作伙伴共同建立AOC SSD生態(tài)系統(tǒng)。 目標(biāo)是減少產(chǎn)品認(rèn)證的時間和復(fù)雜性，提高供應(yīng)彈性，以便所有參與者都能從中受益。

The AOC SSD 硬件

AOC SSD的核心是AliFSC，這是阿里巴巴首款定制的高性能存儲控制器。

AliFSC是為阿里巴巴Open Channel SSD定制的高性能控制器。 它有6核、16通道和PCIe G3x8接口，可與所有主流的3D TLC NAND組件配合使用，同時還支持QLC NAND，針對QLC固件的初步開發(fā)已經(jīng)開始。

AliFSC支持AOC SSD規(guī)范中指定的所有命令，并提供硬件加速 ，這些命令包括系統(tǒng)元數(shù)據(jù)（MBR）管理，靈活的奇偶校，XOR引擎，多個寫入流，以及開放通道模式下的編程/擦除故障處理。

AOC SSD（AliFlash V3）的外形與標(biāo)準(zhǔn)的2.5英寸U.2 NVMe SSD相同。 因此，它與阿里巴巴數(shù)據(jù)中心內(nèi)所有具有NVMe端口的服務(wù)器都兼容。 產(chǎn)品開發(fā)于2018年3月完成，隨后AOC SSD經(jīng)過多輪軟件/固件優(yōu)化，目前正在阿里巴巴的數(shù)據(jù)中心進(jìn)行試運(yùn)行。

The AOC SSD 軟件

AOC SSD與其主機(jī)端的軟件棧配合使用，以充分發(fā)揮其軟/硬件集成設(shè)計的優(yōu)勢。 在硬件開發(fā)的同時，阿里巴巴為不同的應(yīng)用開發(fā)了AOC主機(jī)端的軟件棧：

內(nèi)核態(tài)的AOC SSD驅(qū)動程序和塊設(shè)備FTL。 這允許應(yīng)用程序?qū)OC SSD用作通用塊設(shè)備，涵蓋大多數(shù)傳統(tǒng)應(yīng)用。

用戶態(tài)的AOC SSD驅(qū)動程序，與阿里巴巴的Fusion Engine（用戶態(tài)存儲引擎）配合使用。 將整個I / O路徑移動到用戶空間可以顯著降低軟件開銷，這是阿里巴巴軟/硬件集成架構(gòu)的關(guān)鍵優(yōu)勢之一。

為阿里巴巴的應(yīng)用（非塊解決方案）定制的用戶態(tài)的FTL解決方案。 這也是業(yè)界第一個完整的用戶空間開放式通道的軟件解決方案。

全套的管理，包括監(jiān)控和測試工具，與阿里巴巴的DevOps基礎(chǔ)架構(gòu)集成。

整個AOC SSD主機(jī)端的軟件棧由阿里巴巴開發(fā)，其與開源社區(qū)中的lightnvm解決方案不同。 事實(shí)上，AOC SSD主機(jī)端的軟件是迄今為止唯一能夠保證質(zhì)量并且可以部署的開放式通道軟件解決方案。 此外，AOC SSD的用戶空間軟件也是業(yè)界首個完整的用戶空間開放式通道軟件解決方案。

The AOC SSD 軟硬件協(xié)同設(shè)計

AOC SSD與阿里巴巴的Fusion Engine合作，為阿里巴巴的業(yè)務(wù)部門提供軟件/硬件集成解決方案。 已經(jīng)開發(fā)了幾種不同的解決方案。

內(nèi)核態(tài)的AOC驅(qū)動和塊設(shè)備FTL

自AOC Block Device FTL開發(fā)以來，已經(jīng)對ACL Block Device FTL進(jìn)行了重大改進(jìn)和擴(kuò)展。 初步測試顯示隨機(jī)讀寫的IOPS分別達(dá)到了，700K和120K，超過了標(biāo)準(zhǔn)NVMe SSD的主要替代品。 除了基本的I / O性能之外，AOC SSD還與Fusion Engine軟件一起進(jìn)一步優(yōu)化了QoS功能，從而為高優(yōu)先級應(yīng)用程序提供了更低的讀/寫延遲。

高優(yōu)先級應(yīng)用程序的讀延遲。 平均延遲減少75％，99％延遲減少83％。

高優(yōu)先級應(yīng)用程序在混合工作負(fù)載中的讀/寫延遲。 平均讀/寫延遲分別降低了81％和99％，99％的讀延遲降低了49％。

用戶態(tài)的 AOC SSD軟件設(shè)計

使用用戶態(tài)的AOC SSD軟件，針對特定應(yīng)用開發(fā)了定制化的FTL，以實(shí)現(xiàn)更高級別的軟件/硬件協(xié)同優(yōu)化。 例如，阿里巴巴為Key-Value應(yīng)用開發(fā)了“Object SSD FTL”，并在阿里巴巴的業(yè)務(wù)部門廣泛使用。 Object SSD FTL與阿里巴巴的用戶態(tài)KV引擎配合使用。 將AOC SSD的奇偶校驗作為對象暴露給KV引擎，并將內(nèi)部垃圾回收與應(yīng)用程序的壓縮操作相結(jié)合，KV-Object SSD解決方案有望將寫入放大系數(shù)降低4倍，延遲降低99％ 到80％。

AOC SSD和標(biāo)準(zhǔn)NVMe SSD的對比如下：

The AOC SSD 生態(tài)

AOC SSD架構(gòu)被設(shè)計為一個平臺。 阿里巴巴正在與主要的SSD供應(yīng)商合作開發(fā)兼容的AOC SSD產(chǎn)品。 在這些合作中，SSD供應(yīng)商負(fù)責(zé)SSD硬件和固件，而阿里巴巴則負(fù)責(zé)主機(jī)端軟件。 雙方合作共同開發(fā)和調(diào)試，以減少產(chǎn)品開發(fā)和資格認(rèn)證的時間。 阿里巴巴正在數(shù)據(jù)中心部署供應(yīng)商提供的AOC SSD產(chǎn)品，并逐步將AOC SSD部署到阿里巴巴所有的服務(wù)器中。

The AOC SSD 的未來計劃

作為阿里巴巴下一代存儲架構(gòu)的核心硬件，阿里巴巴有一個關(guān)于AOC SSD的長期計劃。

近期：供應(yīng)商提供的AOC SSD產(chǎn)品的大規(guī)模部署。

中期：AOC SSD的QLC版本，AOC SSD的超低延遲版本，基于FPGA / GPU進(jìn)行加速。

長期：新的非易失性存儲介質(zhì)解決，存儲/內(nèi)存計算解決方案。

總結(jié)

阿里巴巴開放通道SSD的部署不僅是阿里巴巴下一代存儲架構(gòu)的關(guān)鍵一步，也標(biāo)志著阿里巴巴從追隨者向存儲技術(shù)領(lǐng)導(dǎo)者轉(zhuǎn)變。 AOC SSD的大規(guī)模部署將使阿里巴巴的基礎(chǔ)設(shè)施受益，使其在支持阿里巴巴的業(yè)務(wù)創(chuàng)新和全球化方面更具有效的競爭力.