2003 年谷歌大數(shù)據(jù)“三駕馬車”論文發(fā)表，至今，大數(shù)據(jù)技術(shù)已經(jīng)成為各大企業(yè)尤其是互聯(lián)網(wǎng)企業(yè)的基礎設施。十幾年中，早期 Hadoop 的大力發(fā)展、中期 Kafka、Spark 的異軍突起以及現(xiàn)在 Flink 的強勢突圍，不僅推動大數(shù)據(jù)成為了企業(yè)應用的關鍵組件，同時為機器學習AI技術(shù)的發(fā)展提供了強有力的保障。大數(shù)據(jù)促進了人工智能技術(shù)的革新，大數(shù)據(jù)、深度學習使得人工智能在廣泛的領域都獲得了突破性進展。

人工智能主要有三個分支

1.依據(jù)規(guī)則的人工智能；

2.無規(guī)則，計算機讀取大量數(shù)據(jù)，依據(jù)數(shù)據(jù)的計算、概率剖析等方法，進行智能處理的人工智能；

3.依據(jù)神經(jīng)元網(wǎng)絡的一種深度學習。

大數(shù)據(jù)發(fā)掘與人工智能技能相輔相成，互相影響。大數(shù)據(jù)分為“結(jié)構(gòu)化數(shù)據(jù)”與“非結(jié)構(gòu)化數(shù)據(jù)”。“結(jié)構(gòu)化數(shù)據(jù)”是指企業(yè)的客戶信息、運營數(shù)據(jù)、銷售數(shù)據(jù)、庫存數(shù)據(jù)等，存儲于普通的數(shù)據(jù)庫之中，專指可作為數(shù)據(jù)庫進行管理的數(shù)據(jù)。相反，“非結(jié)構(gòu)化數(shù)據(jù)”是指不存儲于數(shù)據(jù)庫之中的，包括電子郵件、文本文件、圖畫、視頻等數(shù)據(jù)。

現(xiàn)在，非結(jié)構(gòu)化數(shù)據(jù)激增，企業(yè)數(shù)據(jù)的80％左右都對錯結(jié)構(gòu)化數(shù)據(jù)。跟著交際媒體的鼓起，非結(jié)構(gòu)化數(shù)據(jù)更是迎來了爆發(fā)式添加。復雜、海量的數(shù)據(jù)通常被稱為大數(shù)據(jù)。

每個企業(yè)在經(jīng)營過程中都會產(chǎn)生大量的數(shù)據(jù)，隨著數(shù)據(jù)資源的不斷積累，數(shù)據(jù)管理和治理也將成為企業(yè)思考的重要問題。

2020年，將會有更多企業(yè)加入到尋求通過AI技術(shù)實現(xiàn)數(shù)據(jù)管理的行列中來?；贏I的數(shù)據(jù)管理，通過機器學習模型，結(jié)合研發(fā)與運維等操作過程中的元數(shù)據(jù)，自動化創(chuàng)建數(shù)據(jù)質(zhì)量規(guī)則，提供問題精準定位、監(jiān)控預警等能力，從而免去許多手動任務操作過程。

有機構(gòu)預測，在2022年底之前，通過機器學習和和自動化服務管理技術(shù)，數(shù)據(jù)管理的手動任務將會減少45%。

現(xiàn)在，大量數(shù)據(jù)發(fā)生之后，有低成本的存儲器將其存儲，有高速的CPU對其進行處理，所以才有了人工智能后兩個分支的理論得以實踐。由此，人工智能就能做出挨近人類的處理或許判別，提高精準度。同時，選用人工智能的服務作為高附加值服務，成為了獲取更多用戶的主要因素，而不斷添加的用戶，發(fā)生更多的數(shù)據(jù)，使得人工智能進一步優(yōu)化。

大數(shù)據(jù)經(jīng)歷了較長時間的發(fā)展，目前已經(jīng)進入了穩(wěn)步的發(fā)展時期，主流的大數(shù)據(jù)計算框架已經(jīng)成型，越來越多的基于這些主流框架的精細化上層應用會成為一個趨勢。此外機器學習、AI 的持續(xù)發(fā)展反過來也在推動大數(shù)據(jù)的規(guī)模、實時性以及平臺化的發(fā)展。越來越多的企業(yè)構(gòu)建起端到端的大數(shù)據(jù)機器學習平臺以提高大數(shù)據(jù)AI 落地效率，各大云廠商更是構(gòu)建出此類一體化產(chǎn)品希望能夠收獲更多的客戶和收益。
責任編輯:tzh