Spark Streaming動態資源分配策略
大小：0.96 MB 人氣： 2017-12-01 需要積分：3
針對Spark Streaming作為混合大數據計算平臺流處理組件時資源調整周期長和不能滿足多應用多用戶個性化需求的問題，提出了一種多應用下動態資源分配策略（ DRAM）。該策略增加了應用全局變量來控制動態資源分配過程。首先，獲取歷史執行數據反饋和應用全局變量；然后，進行資源增減計算；最后，進行資源增減執行。實驗結果表明，所提策略能夠有效調整應用資源配額，且在穩定數據流和不穩定數據流兩種情況下，其處理延時相比原Spark平臺的Streaming策略和Core策略都有所降低；同時該策略也能夠提高集群資源利用率。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%