近年來(lái)， Serverless作為一種新型的互聯(lián)網(wǎng)架構(gòu)直接或間接推動(dòng)了云計(jì)算的發(fā)展，同時(shí)基于Serverless的輕量計(jì)算也成為了新的技術(shù)熱點(diǎn)，而Serverless SQL大數(shù)據(jù)分析產(chǎn)品就在此背景下應(yīng)運(yùn)而生。

目前，國(guó)內(nèi)云計(jì)算廠商UCloud推出的一款基于Serverless的SQL分析計(jì)算引擎USQL，可輕松完成面向海量數(shù)據(jù)的數(shù)據(jù)建模工作，SQL即可完成數(shù)據(jù)查詢和分析，極大降低使用大數(shù)據(jù)的門(mén)檻，且無(wú)需數(shù)據(jù)庫(kù)管理員和運(yùn)維人員，大幅度改善企業(yè)對(duì)大數(shù)據(jù)工程師的依賴。

下面通過(guò)實(shí)例來(lái)對(duì)Serverless SQL大數(shù)據(jù)分析技術(shù)的應(yīng)用做出詳解：

愛(ài)普新媒是一家專注于移動(dòng)互聯(lián)網(wǎng)產(chǎn)品研發(fā)和新媒體整合營(yíng)銷的高新技術(shù)型公司，旗下?lián)碛?00余款精品軟件，內(nèi)容涵蓋日常生活、效率工具、文章資訊等多個(gè)方面，主營(yíng)以天氣預(yù)報(bào)、快游等綜合自媒體矩陣為載體的推廣業(yè)務(wù)和以云魔方DSP移動(dòng)互聯(lián)網(wǎng)廣告分發(fā)平臺(tái)為基礎(chǔ)的廣告投放業(yè)務(wù)。

目前愛(ài)普新媒廣告業(yè)務(wù)數(shù)據(jù)規(guī)模達(dá)到數(shù)百TB，日增長(zhǎng)量為1TB左右，業(yè)務(wù)日常不固定的分析需求非常多。在現(xiàn)有的大數(shù)據(jù)處理方案下，數(shù)據(jù)部門(mén)每月需投入大數(shù)據(jù)工程師20個(gè)人/日，平均每次需求處理時(shí)長(zhǎng)為1.8天，此外還需額外花費(fèi)數(shù)千元維持一個(gè)數(shù)據(jù)倉(cāng)庫(kù)集群。基于已有架構(gòu)，數(shù)據(jù)部門(mén)將廣告日志數(shù)據(jù)壓縮后存放于對(duì)象存儲(chǔ)UFile中，接收到業(yè)務(wù)分析師不固定的數(shù)據(jù)需求后，再將用于分析的原始數(shù)據(jù)，臨時(shí)加載到數(shù)據(jù)倉(cāng)庫(kù)UDW中，完成SQL分析后實(shí)施清除操作。

圖：愛(ài)普新媒現(xiàn)有架構(gòu)

在已有架構(gòu)的模式下，愛(ài)普新媒面臨著來(lái)自業(yè)務(wù)和數(shù)據(jù)分析部門(mén)極大的挑戰(zhàn)：

業(yè)務(wù)部門(mén)：

（1）由于數(shù)據(jù)規(guī)模較大，業(yè)務(wù)分析師無(wú)法自主完成分析，必須極大程度依賴大數(shù)據(jù)工程師；

（2）任務(wù)處理周期長(zhǎng)，若出現(xiàn)新的需求變更或分析結(jié)果未達(dá)預(yù)期的情況，需要重新走一遍處理流程；

（3）當(dāng)對(duì)分析結(jié)果存有疑問(wèn)時(shí)，無(wú)法查看原始數(shù)據(jù)進(jìn)行校驗(yàn)。

數(shù)據(jù)部門(mén)：

（1）業(yè)務(wù)部門(mén)每月的不固定數(shù)據(jù)分析需求非常多，數(shù)據(jù)部門(mén)有限的技術(shù)人力資源難以支撐；

（2）需求變動(dòng)返工次數(shù)多，導(dǎo)致大量重復(fù)性工作；

（3）隨著數(shù)據(jù)日增長(zhǎng)量的不斷提升，用于臨時(shí)存放不固定需求數(shù)據(jù)的GreenPlum成本不斷在增加。

愛(ài)普新媒對(duì)業(yè)務(wù)改善的訴求便是：可支持?jǐn)?shù)百TB規(guī)模的數(shù)據(jù)分析、業(yè)務(wù)分析師可獨(dú)立完成不固定需求分析工作、具有較強(qiáng)的Ad-Hoc能力、可縮短每次需求處理時(shí)長(zhǎng)、可降低計(jì)算成本投入和運(yùn)維投入。

針對(duì)以上問(wèn)題，UCloud使用USQL產(chǎn)品幫助愛(ài)普新媒對(duì)現(xiàn)有業(yè)務(wù)數(shù)據(jù)處理架構(gòu)做出了改善。UCloud發(fā)現(xiàn)，愛(ài)普新媒現(xiàn)有架構(gòu)中計(jì)算與存儲(chǔ)是分離的狀態(tài)，其原始數(shù)據(jù)并未與GreenPlum強(qiáng)耦合，這為更換分析引擎的方案實(shí)施提供了便利。

GreenPlum數(shù)據(jù)平滑切換至USQL

首先在新架構(gòu)中使用USQL替換原先用于臨時(shí)加載數(shù)據(jù)的GreenPlum，省去數(shù)據(jù)從UFile導(dǎo)入到GreenPlum的過(guò)程，使得業(yè)務(wù)分析師能夠直接通過(guò)SQL分析UFile中海量數(shù)據(jù)，全程無(wú)需大數(shù)據(jù)工程師的參與。

圖：愛(ài)普新媒新架構(gòu)

USQL升級(jí)保障多格式數(shù)據(jù)支持

此外，數(shù)據(jù)對(duì)接中發(fā)現(xiàn)，愛(ài)普新媒的數(shù)據(jù)格式為JSON并通過(guò)GZIP格式壓縮，UCloud了解后一周內(nèi)完成USQL產(chǎn)品升級(jí)，得以支持這兩種數(shù)據(jù)格式，減少對(duì)接上的障礙，并協(xié)助愛(ài)普新媒重新布局其現(xiàn)有數(shù)據(jù)，目前愛(ài)普新媒實(shí)際業(yè)務(wù)SQL已全部落地，同時(shí)完成產(chǎn)品培訓(xùn)以及現(xiàn)場(chǎng)演示。

圖：實(shí)際業(yè)務(wù)SQL示例

最終，我們對(duì)應(yīng)用了USQL的愛(ài)普新媒新數(shù)據(jù)平臺(tái)與原平臺(tái)進(jìn)行了對(duì)比分析：

1、計(jì)算成本降低97.5%

相較于愛(ài)普新媒現(xiàn)在每月花費(fèi)在傳統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)（用于臨時(shí)存放數(shù)據(jù)）的數(shù)千元，處理同樣的數(shù)據(jù)，USQL可將成本控制在每月幾十元，因?yàn)閁SQL按照實(shí)際分析數(shù)據(jù)量計(jì)費(fèi)，每GB數(shù)據(jù)分析價(jià)格極低，且不使用時(shí)不計(jì)費(fèi)。

2、任務(wù)周期縮短55.6%

愛(ài)普新媒現(xiàn)有架構(gòu)下，處理不固定的數(shù)據(jù)需求，數(shù)據(jù)導(dǎo)入與分析平均處理時(shí)長(zhǎng)為1.8天，而USQL可省去數(shù)據(jù)導(dǎo)入的步驟，減少運(yùn)維工作量，大幅度縮短每次任務(wù)完成時(shí)間。

3、分析效率提升5倍

愛(ài)普新媒所有真實(shí)業(yè)務(wù)SQL均已落地，其中最耗時(shí)的SQL分析時(shí)間可從600秒降至118秒，整體明顯提高SQL分析效率。

4、大數(shù)據(jù)工程師投入降為0

目前每月需投入大數(shù)據(jù)工程師20個(gè)人日，使用USQL產(chǎn)品，業(yè)務(wù)分析師可直接通過(guò)SQL在對(duì)象存儲(chǔ)UFile中完成數(shù)據(jù)分析，極大減少對(duì)工程師的依賴，有限的人力資源可得到更好的利用。

愛(ài)普新媒CTO牛德恒總結(jié)道：“使用USQL產(chǎn)品，用戶在原有的數(shù)據(jù)文件基礎(chǔ)上進(jìn)行數(shù)據(jù)建模，即可使用SQL進(jìn)行業(yè)務(wù)數(shù)據(jù)的快速查詢，此種方式對(duì)原有數(shù)據(jù)文件改動(dòng)較小，用戶不用關(guān)注大數(shù)據(jù)分布式處理的過(guò)程，業(yè)務(wù)遷移方便。對(duì)比我們現(xiàn)有的大數(shù)據(jù)處理方案，節(jié)省80%的服務(wù)器成本，提升50%數(shù)據(jù)分析速度，同時(shí)也縮短了新業(yè)務(wù)的開(kāi)發(fā)周期，值得推薦。”