編者按：數(shù)字經(jīng)濟時代，隨著數(shù)據(jù)中心規(guī)模的不斷擴大和數(shù)據(jù)量的爆發(fā)式增長，存儲技術(shù)的重要性日益顯著，?直接關(guān)系到數(shù)據(jù)中心的運行性能、效率和安全可靠。?基于平頭哥在存儲主控芯片領(lǐng)域的創(chuàng)新實踐，策劃推出存儲技術(shù)專欄系列——【存儲技談】，共同探討存儲發(fā)展趨勢。

在上一篇存儲技談中，我們重點闡述了平頭哥技術(shù)團隊通過軟硬件的合理分工和流程優(yōu)化等創(chuàng)新，在鎮(zhèn)岳510存儲主控芯片上實現(xiàn)了4μs的超低4K IO Write Latency，而在SSD（固態(tài)硬盤）主控芯片中，還有一個關(guān)于時延的重要性能指標是E2E（End-to-End，端到端）時延，也能直接影響到SSD的響應(yīng)速度。

E2E時延統(tǒng)計一般用于測量數(shù)據(jù)從應(yīng)用程序發(fā)送請求，經(jīng)過SSD的處理，直到數(shù)據(jù)最終返回給應(yīng)用程序所需的時間。這一過程涉及多個階段，包括命令的接收、數(shù)據(jù)的讀取/寫入、以及結(jié)果的返回等，直接反映了用戶應(yīng)用在與存儲設(shè)備交互時所經(jīng)歷的實際延遲，幫助開發(fā)者和用戶直觀了解SSD在實際應(yīng)用中的表現(xiàn)。

不同階段的時延統(tǒng)計，能很好的幫助定位系統(tǒng)QoS時延問題，從而進行針對性優(yōu)化提升。從主機Host抓取E2E時延，可以界定主機側(cè)發(fā)現(xiàn)的長尾時延是否在盤內(nèi)產(chǎn)生。從SSD盤內(nèi)抓取E2E在IO處理路徑不同階段的分解時延，可以輔助性能調(diào)優(yōu)進行問題定位。E2E時延統(tǒng)計是SSD開發(fā)必不可少的一項功能。

01傳統(tǒng)E2E時延統(tǒng)計造成額外開銷和測量誤差

傳統(tǒng)方案中，E2E時延統(tǒng)計往往依賴于固件中的軟件實現(xiàn)。

當(dāng)一個I/O命令被提交給SSD時，控制器會記錄一個時間戳；隨后，在各個處理階段，如命令解析、地址映射、實際讀寫操作等，可能會再次記錄時間戳以跟蹤進度，以計算各個分段時延；最后，當(dāng)命令完成并發(fā)送CQE（Completion Queue Entry）回主機時，再進行總時延的計算。

這種統(tǒng)計方法不僅增加了額外的軟件開銷，并可能導(dǎo)致一定的測量誤差。軟件進行時間戳抓取與硬件數(shù)據(jù)處理并不同步，如果硬件的數(shù)據(jù)處理和控制信息狀態(tài)更新異步，軟件統(tǒng)計的I/O命令完成時間就會存在較大誤差。

02基于硬件輔助的E2E時延統(tǒng)計更精準高效

為了更精確且高效地進行E2E時延統(tǒng)計，平頭哥技術(shù)團隊在鎮(zhèn)岳510主控芯片的設(shè)計中，引入了硬件級別支持來提升效能，也即利用專用硬件模塊來自動捕獲和管理時間戳，從而避免了軟件干預(yù)帶來的額外延遲和資源消耗。

具體的系統(tǒng)方案包括以下四個步驟：

時間戳捕捉：

硬件可以在接收到來自主機的SQE（Submission Queue Entry）時立即記錄時間戳，并在最終將CQE送回主機之前再次記錄時間戳。

全局時間同步：

確保所有內(nèi)部處理單元使用同一基準時間源，以便能夠準確地比較不同階段的時間差。

分段時延測量：

除了整體E2E時延外，還可以針對SSD內(nèi)部的不同處理步驟（例如前端命令解析、FTL映射查詢、BE后端命令執(zhí)行等）硬件支持單獨進行時延統(tǒng)計，幫助識別性能瓶頸。

異常檢測與報告：

如果某個I/O命令的處理超過了預(yù)設(shè)的時延閾值，硬件可以觸發(fā)報警機制，將相關(guān)信息傳遞給固件進行進一步分析。

平頭哥鎮(zhèn)岳510時延統(tǒng)計方案示意圖

通過如上的硬件輔助方法，不僅可以獲得更加精確的E2E時延統(tǒng)計數(shù)據(jù)，還能有效減少因頻繁時間戳記錄而造成的系統(tǒng)負擔(dān)，同時提供足夠的靈活性用于后續(xù)的數(shù)據(jù)分析和性能調(diào)優(yōu)，在精確性和時效性上實現(xiàn)了雙重提升。

03精準的E2E時延統(tǒng)計可發(fā)揮重要價值

E2E時延統(tǒng)計的精確性和時效性，不僅影響著應(yīng)用程序的響應(yīng)速度，還可能對整體系統(tǒng)吞吐量產(chǎn)生重大影響。

在云計算環(huán)境中，大量用戶同時訪問存儲資源，E2E時延統(tǒng)計可以幫助監(jiān)測數(shù)據(jù)傳輸?shù)男剩瑢τ谄胶庳撦d和保證響應(yīng)時間至關(guān)重要；在科學(xué)計算或模擬等高性能計算應(yīng)用中，E2E時延統(tǒng)計能夠確保數(shù)據(jù)交換的高效性，減少計算等待時間，從而加速整體計算效率；而在金融交易、視頻流處理和在線游戲等實時數(shù)據(jù)分析和處理的場景中，實時監(jiān)測E2E時延有助于確保系統(tǒng)的高可用性和快速響應(yīng)。

隨著應(yīng)用場景的不斷擴展，通過優(yōu)化SSD主控產(chǎn)品中的E2E時延統(tǒng)計，能夠顯著提升性能，同時，基于這些數(shù)據(jù)的深入分析與應(yīng)用也可以為終端用戶帶來更優(yōu)質(zhì)的體驗。因此，關(guān)注和優(yōu)化E2E時延統(tǒng)計不僅是提升系統(tǒng)性能的必要舉措，也是增強用戶體驗的重要手段。

平頭哥鎮(zhèn)岳510通過創(chuàng)新的E2E時延統(tǒng)計方案，有效地提升了SSD在實際應(yīng)用中的響應(yīng)速度和性能表現(xiàn)，從而為云計算、數(shù)據(jù)庫、人工智能等場景提供領(lǐng)先的存儲服務(wù)支持。

更多技術(shù)亮點和創(chuàng)新方案，后續(xù)我們將持續(xù)展開闡釋，敬請關(guān)注。