Hadoop得以在大數據處理應用中廣泛應用得益于其自身在數據提取、變形和加載（ETL）方面上的天然優勢。Hadoop的分布式架構，將大數據處理引擎盡可能的靠近存儲，對例如像ETL這樣的批處理操作相對合適，因為類似這樣操作的批處理結果可以直接走向存儲。Hadoop的MapReduce功能實現了將單個任務打碎，并將碎片任務（Map）發送到多個節點上，之后再以單個數據集的形式加載（Reduce）到數據倉庫里。

　　Hadoop是一個能夠對大量數據進行分布式處理的軟件框架。 Hadoop 以一種可靠、高效、可伸縮的方式進行數據處理。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以并行的方式工作，通過并行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴于社區服務，因此它的成本比較低，任何人都可以使用。

　　華為大數據平臺hadoop你了解多少

　　提到大數據平臺，就不得不提Hadoop。Hadoop有三大基因：第一，Hadoop需要sharenothing的架構，所以它可以scale-out。第二，它是一個計算存儲解耦的架構，好處是計算引擎可以多樣化。舉個例子，批處理有Hive，交互查詢有Spark，機器學習還可以有后面的tensorflow這些深度學習的框架。第三，Hadoop是近數據計算的。因為大數據平臺是一個數據密集的計算場景，在這種非場景下，IO會是個瓶頸，所以把計算移動到數據所在地會提升計算的性能。

　　網絡技術的發展是推動大數據平臺發展的一個關鍵因素。2012年以前是一個互聯網的時代，這個時期互聯網公司和電信運營商，掌握著海量的數據，所以他們開始利用Hadoop平臺來進行大數據的處理。那時候程序員自己寫程序跑在Hadoop平臺上來解決應用問題。2012年以后移動互聯網的迅猛發展，這使得服務行業率先數字化。例如在金融行業，手機App讓用戶可以隨時隨地查詢、轉賬，此時銀行開始面臨海量數據和高并發的沖擊，就需要一個大數據平臺來解決這個問題。這也就是為什么華為在2013年面向行業市場推出大數據平臺產品FusionInsight。接下來物聯網的發展會讓更多的實體行業數字化，數據的特征更多是半結構化和非結構化，AI等更多新的搜索技術將能夠幫助我們輕松地使用大數據平臺。

　　華為FusionInsight大數據平臺是集Hadoop生態發行版、大規模并行處理數據庫、大數據云服務于一體的融合數據處理與服務平臺，擁有端到端全生命周期的解決方案能力。除了提供包括批處理、內存計算、流計算和MPPDB在內的全方位數據處理能力外，還提供數據分析挖掘平臺、數據服務平臺，幫助用戶實現從數據到知識，從知識到智慧的轉換，進而幫助用戶從海量數據中挖掘數據價值。

　　此外華為FusionInsight大數據平臺是根據行業客戶需求進行優化的解決方案。為解決用戶在具體場景下的問題，提供許多創新的技術能力，舉幾個例子：

　　第一個是統一SQL。大數據技術中有很多能夠利用SQL語言進行數據處理的組件，比如Hive、SparkSQL、Elk、MPPDB等，當用戶對于這些組件進行業務開發時，需要對不同組件分別進行，造成很大的不便。FusionInsight提供統一SQL，對外業務界面只出現一個SQL開發管理界面，通過統一SQL的業務分發層進行業務分發，這樣就簡化了業務開發。同時，華為還提供了SQLonHadoop引擎Elk，這個引擎完全兼容SQL2003標準，無需修改測試腳本就可以通過TPC-DS測試，性能超過開源產品3倍。通過使用統一SQL技術，某大型保險公司實現了用大數據平臺替代傳統數倉，在復雜計算業務場景下，其性能提升了10-100倍。

　　第二個是實時搜索。華為FusionInsight率先實現了對Hadoop平臺與MPPDB數倉平臺的統一全文檢索，率先支持SQLonSolr接口，提升業務開發效率5倍以上，獨創標簽索引方案，提升搜索性能3-10倍。目前，實時搜索技術在平安城市和金融行業已經實現商用。在國內某省的平安城市項目中，百億級規模數據集中查詢，實時搜索響應時間《3秒。

　　第三個是實時決策。與日常生活息息相關的很多業務是需要實時決策的，比如使用銀行卡交易過程中的風險控制。由于傳統技術處理速度的原因，往往只能實現事后風控。也就是說用戶在刷卡完成后，銀行才能夠檢查出來，剛才的交易是否有風險。這樣對于銀行和客戶而言，都會有很大的風險存在。而華為FusionInsight實時決策平臺，可以實現毫秒級復雜規則的風險檢查，提供百萬TIPS的業務處理能力，從而讓風險控制從事后變為事中，并確保端到端的交易可在500毫秒內完成，不影響交易用戶的體驗。

　　第四個是圖分析技術。在生活中有很多時候是需要進行用戶的關系分析來進行風險控制和業務處理的。如果我們的客戶中有一個是VIP客戶，那么他的朋友符合VIP客戶條件的可能性就會很大。因此如果我們能夠通過關系分析技術找到他的朋友圈，在針對他的朋友進行針對性營銷，那么業務成功的可能性也就會大大增加。但是，傳統的數據庫技術在處理客戶關系發現時很困難，某公司曾經做過一個測試，想在2000萬客戶中發現客戶間的關系信息，但是一直無法算出來。但是用圖分析技術就可以很好解決這一類問題。因為在圖數據庫中，用戶就是點，用戶關系就是邊，發現用戶關系就變成了發現點與點間需要幾條邊的問題。華為的分布式圖數據庫，能夠實現萬億頂點百億邊的實時查詢，從而很快發現用戶關系。在某項目中，華為幫助客戶實現了13.7億條關系圖譜數據，3層關系查詢秒級響應，從而大大提高了業務響應的速度。

　　最后，華為大數據平臺是有著豐富的市場實踐的產品。華為FusionInsight大數據平臺已在40+個國家，總計700+項目中實現了成功商用。客戶包括中國石油、一汽集團、中國商飛、工商銀行、招商銀行、中國移動、西班牙電信等眾多世界500強企業。同時華為公司在全球建成有13個開放實驗室，在這里華為與各國200+合作伙伴進行大數據方案的聯合創新，包括SAP、埃森哲、IBM、宇信科技、中軟國際等，共同推動大數據技術在各行各業的應用。

　　數博會正在進行中，相約數博會，與華為共同開啟大數據時代美好未來！