在過(guò)去的十年中,圍繞人工智能的突破,投資和企業(yè)家活動(dòng)的爆炸式增長(zhǎng)完全由深度學(xué)習(xí)驅(qū)動(dòng),深度學(xué)習(xí)是一種復(fù)雜的統(tǒng)計(jì)分析技術(shù),用于發(fā)現(xiàn)大量數(shù)據(jù)中的隱藏模式。1955年創(chuàng)造的一個(gè)術(shù)語(yǔ)(人工智能)被應(yīng)用到(或錯(cuò)誤地應(yīng)用到了)深度學(xué)習(xí),這是一種訓(xùn)練計(jì)算機(jī)執(zhí)行某些任務(wù)的方法的更高級(jí)版本- 機(jī)器學(xué)習(xí),這個(gè)術(shù)語(yǔ)是在1959年創(chuàng)造的。
深度學(xué)習(xí)的最新成功是由于大量數(shù)據(jù)(大數(shù)據(jù))的可用性增加以及圖形處理單元(GPU)的出現(xiàn),顯著增加了用于訓(xùn)練計(jì)算機(jī)的數(shù)據(jù)的廣度和深度,并減少了所需的時(shí)間用于訓(xùn)練深度學(xué)習(xí)算法。
“大數(shù)據(jù)”一詞最早出現(xiàn)在1997年10月由Michael Cox和David Ellsworth撰寫的計(jì)算機(jī)科學(xué)文獻(xiàn)中,該文章發(fā)表在IEEE第八屆可視化會(huì)議論文集中,“ 針對(duì)核心外可視化的應(yīng)用程序控制的需求分頁(yè) ” 。他們寫道:“可視化給計(jì)算機(jī)系統(tǒng)帶來(lái)了一個(gè)有趣的挑戰(zhàn):數(shù)據(jù)集通常很大,這給主內(nèi)存,本地磁盤甚至遠(yuǎn)程磁盤的容量增加了負(fù)擔(dān)。我們稱此為大數(shù)據(jù)問(wèn)題 。當(dāng)數(shù)據(jù)集不能容納在主存儲(chǔ)器(核心)中,或者甚至不能容納在本地磁盤中時(shí),最常見的解決方案是獲取更多資源。”該術(shù)語(yǔ)在學(xué)術(shù)界之外也曾使用過(guò)。
SGI的創(chuàng)始人吉姆·克拉克(Jim Clark)于1974年在“計(jì)算機(jī)圖形之父”伊萬(wàn)·薩瑟蘭(Ivan Sutherland)的指導(dǎo)下在猶他大學(xué)完成了博士學(xué)位論文。克拉克后來(lái)創(chuàng)立了Netscape Communications,其成功的網(wǎng)絡(luò)瀏覽器和1995年的IPO引發(fā)了“互聯(lián)網(wǎng)熱潮”。蒂姆·伯納斯·李(Tim Berners-Lee)在1989年發(fā)明了網(wǎng)絡(luò),并成功地使全世界數(shù)十億人成為數(shù)字?jǐn)?shù)據(jù)的消費(fèi)者和創(chuàng)造者,這為數(shù)十億廣泛共享的數(shù)字圖像(例如,將貓的照片識(shí)別為一只貓”)。
2007年, 普林斯頓大學(xué)的計(jì)算機(jī)科學(xué)家Fei-Fei Li和她的同事開始組裝ImageNet,ImageNet是一個(gè)帶注釋的圖像的大型數(shù)據(jù)庫(kù),旨在幫助視覺(jué)對(duì)象識(shí)別軟件研究。五年后,即2012年10月,由多倫多大學(xué)研究人員設(shè)計(jì)的深度學(xué)習(xí)人工神經(jīng)網(wǎng)絡(luò)在ImageNet大規(guī)模視覺(jué)識(shí)別挑戰(zhàn)賽中的錯(cuò)誤率僅達(dá)到16%,大大超過(guò)了25%的錯(cuò)誤率。一年前最好的進(jìn)入,預(yù)示著“人工智能”的興起。
大數(shù)據(jù)確實(shí)很大。 RJT Morris和BJ Truskowski在“ 存儲(chǔ)系統(tǒng)的發(fā)展 ”一書中說(shuō),在1996年,數(shù)字存儲(chǔ)在存儲(chǔ)數(shù)據(jù)方面比在紙上更具成本效益。在2002年,數(shù)字信息存儲(chǔ)首次超過(guò)了非數(shù)字存儲(chǔ)。根據(jù)馬丁·希爾伯特(Martin Hilbert)和普里西拉·洛佩茲(Priscila Lopez)的“世界存儲(chǔ),通信和計(jì)算信息的技術(shù)能力 ”,在1986年至2007年之間,世界的信息存儲(chǔ)能力以每年25%的復(fù)合年增長(zhǎng)率增長(zhǎng)。他們還估計(jì), 1986年,所有存儲(chǔ)容量中有99.2%是模擬存儲(chǔ),但在2007年,有94%的存儲(chǔ)容量是數(shù)字存儲(chǔ),這完全顛倒了角色。
2000年10月,加州大學(xué)伯克利分校的Peter Lyman和Hal Varian發(fā)表了“ 多少信息?”,這是第一個(gè)以計(jì)算機(jī)存儲(chǔ)量來(lái)量化世界上每年創(chuàng)建的新信息和原始信息(不計(jì)算副本)總量的綜合研究。1999年,全世界產(chǎn)生了1.5艾字節(jié)的原始數(shù)據(jù)。2007年3月,John Gantz,David Reinsel和IDC的其他研究人員發(fā)布 了第一項(xiàng)研究, 以估計(jì)和預(yù)測(cè)每年創(chuàng)建和復(fù)制的數(shù)字?jǐn)?shù)據(jù)的數(shù)量-2006年為161艾字節(jié),據(jù)估計(jì),該數(shù)字將增加六倍,達(dá)到988艾字節(jié)。 2010年,或每18個(gè)月翻一番。
信息爆炸(根據(jù)牛津英語(yǔ)詞典的說(shuō)法,該術(shù)語(yǔ)在1941年首次使用)已經(jīng)變成了大型數(shù)字?jǐn)?shù)據(jù)爆炸。但是,可用數(shù)據(jù)的數(shù)量只是使深度學(xué)習(xí)成功的兩個(gè)催化劑之一。另一個(gè)是GPU。
雖然深度學(xué)習(xí)算法的開發(fā)及其實(shí)際應(yīng)用在1980年代和1990年代穩(wěn)步發(fā)展,但它們受到計(jì)算機(jī)能力不足的限制。1986年10月,David Rumelhart,Geoffrey Hinton和Ronald Williams出版了“ 通過(guò)反向傳播錯(cuò)誤學(xué)習(xí)表示法 ”,其中描述了“一種新的學(xué)習(xí)過(guò)程,即反向傳播,用于神經(jīng)元樣單元網(wǎng)絡(luò),”是一個(gè)概念性突破。在深度學(xué)習(xí)的發(fā)展中。三年后,Yann LeCun和AT&T貝爾實(shí)驗(yàn)室的其他研究人員成功地應(yīng)用了反向傳播算法到多層神經(jīng)網(wǎng)絡(luò),識(shí)別手寫的郵政編碼。但是鑒于當(dāng)時(shí)的硬件限制,培訓(xùn)網(wǎng)絡(luò)大約花了3天的時(shí)間(與以前的工作相比有很大的改進(jìn))。
大數(shù)據(jù)誕生的計(jì)算機(jī)圖形學(xué)得以拯救。到1990年代,實(shí)時(shí)3D圖形在街機(jī),計(jì)算機(jī)和游戲機(jī)游戲中變得越來(lái)越普遍,導(dǎo)致對(duì)硬件加速3D圖形的需求增加。索尼在1994年推出家用視頻游戲機(jī)PS1時(shí),首先將GPU一詞稱為 “幾何處理單元”。
視頻游戲渲染需要快速并行執(zhí)行許多操作。圖形卡具有較高的并行度和較高的內(nèi)存帶寬,但相對(duì)于傳統(tǒng)CPU而言,其時(shí)鐘速度較低且分支能力較低。碰巧,在人工神經(jīng)網(wǎng)絡(luò)上運(yùn)行的深度學(xué)習(xí)算法需要類似的特性-并行性,高內(nèi)存帶寬,無(wú)分支。
到2000年代末,許多研究人員已經(jīng)證明了GPU在深度學(xué)習(xí)(特別是對(duì)于人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練)中的實(shí)用性。由新的編程語(yǔ)言(如NVIDIA的CUDA)支持的通用GPU已應(yīng)用于各種深度學(xué)習(xí)任務(wù)。此類應(yīng)用程序中最明顯的是上述2012年ImageNet挑戰(zhàn)賽的冠軍。
2020年3月18日,計(jì)算機(jī)技術(shù)協(xié)會(huì)(ACM)將Patrick M.(Pat)Hanrahan和Edwin E.(Ed)Catmull提名為2019 ACM AM圖靈獎(jiǎng)的獲得者,以表彰其對(duì)3D計(jì)算機(jī)圖形學(xué)的基本貢獻(xiàn),以及這些技術(shù)對(duì)電影制作和其他應(yīng)用中的計(jì)算機(jī)生成圖像(CGI)產(chǎn)生了革命性的影響。
根據(jù)ACM新聞稿,今天,“ 3-D計(jì)算機(jī)動(dòng)畫電影代表了在價(jià)值1380億美元的全球電影行業(yè)中廣受歡迎的類型。3-D計(jì)算機(jī)圖像對(duì)于蓬勃發(fā)展的視頻游戲行業(yè)以及新興的虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)領(lǐng)域也至關(guān)重要。Catmull和Hanrahan做出了開創(chuàng)性的技術(shù)貢獻(xiàn),這些貢獻(xiàn)仍然是當(dāng)今CGI圖像開發(fā)方式不可或缺的部分。此外,他們對(duì)編程圖形處理單元(GPU)的見解不僅對(duì)計(jì)算機(jī)圖形學(xué)產(chǎn)生了影響,還影響了包括數(shù)據(jù)中心管理和人工智能在內(nèi)的各個(gè)領(lǐng)域。”
像吉姆·克拉克(Jim Clark)一樣,卡特姆(Catmull)是伊萬(wàn)·薩瑟蘭(Ivan Sutherland)的學(xué)生,并于1974年獲得猶他大學(xué)的博士學(xué)位。正如羅伯特·里夫林(Robert Rivlin)在1986年的著作《算法圖像:計(jì)算機(jī)時(shí)代的圖形視覺(jué)》中所寫的那樣,“現(xiàn)代計(jì)算機(jī)中幾乎每個(gè)有影響力的人圖形社區(qū)要么通過(guò)了猶他大學(xué),要么以某種方式與之接觸。”
在2010年對(duì) Pat Hanrahan的采訪中,Catmull描述了U U工作環(huán)境:
“戴夫·埃文斯(Dave Evans)是該系主任,伊萬(wàn)(Ivan)在教書,但他們的公司埃文斯(Evans)和薩瑟蘭(Sutherland)花費(fèi)了所有多余的時(shí)間。這些學(xué)生幾乎是獨(dú)立的,這是我真正的肯定,因?yàn)閷W(xué)生必須自己做一些事情。我們期望創(chuàng)造原創(chuàng)作品。我們處于前沿,我們的工作是擴(kuò)展它。他們基本上說(shuō):“您可以每隔一段時(shí)間與我們聯(lián)系,我們將與您聯(lián)系,但我們將關(guān)閉這家公司。”
我認(rèn)為效果很好!它建立了相互支持,共同工作的環(huán)境。”
在同一討論的稍后部分,Hanrahan說(shuō):
“當(dāng)我第一次對(duì)研究生院的圖形感興趣時(shí),我聽說(shuō)過(guò)要制作完整的計(jì)算機(jī)生成圖片的要求。當(dāng)時(shí),我對(duì)人工智能非常感興趣,因?yàn)槿斯ぶ悄芫哂袌D靈測(cè)試和模仿思維的想法。我認(rèn)為制作計(jì)算機(jī)生成圖片的想法是對(duì)人的思維進(jìn)行建模的先驅(qū),或者至少與之類似,因?yàn)槟仨殞?duì)整個(gè)虛擬世界進(jìn)行建模,并且必須在該世界中擁有人-如果虛擬世界和其中的人們看起來(lái)并不聰明,那么該世界將無(wú)法通過(guò)圖靈測(cè)試,因此看起來(lái)似乎不太合理。
我想我很聰明,以為我們一生中實(shí)際上無(wú)法建立人類智力模型。因此,我對(duì)圖形感興趣的原因之一是我認(rèn)為它具有良好的長(zhǎng)期職業(yè)發(fā)展?jié)摿Α!?/p>
-
人工智能
+關(guān)注
關(guān)注
1796文章
47683瀏覽量
240311 -
深度學(xué)習(xí)
+關(guān)注
關(guān)注
73文章
5516瀏覽量
121556
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
嵌入式和人工智能究竟是什么關(guān)系?
人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)存在什么區(qū)別
![<b class='flag-5'>人工智能</b>、機(jī)器<b class='flag-5'>學(xué)習(xí)</b>和<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>存在什么區(qū)別](https://file.elecfans.com/web1/M00/B4/CF/pIYBAF5XOz-AXxSIAAQkWPK5u6Y842.png)
《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第6章人AI與能源科學(xué)讀后感
《AI for Science:人工智能驅(qū)動(dòng)科學(xué)創(chuàng)新》第一章人工智能驅(qū)動(dòng)的科學(xué)創(chuàng)新學(xué)習(xí)心得
risc-v在人工智能圖像處理應(yīng)用前景分析
報(bào)名開啟!深圳(國(guó)際)通用人工智能大會(huì)將啟幕,國(guó)內(nèi)外大咖齊聚話AI
FPGA在人工智能中的應(yīng)用有哪些?
人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)是什么
人工智能深度學(xué)習(xí)的五大模型及其應(yīng)用領(lǐng)域
5G智能物聯(lián)網(wǎng)課程之Aidlux下人工智能開發(fā)(SC171開發(fā)套件V2)
機(jī)器學(xué)習(xí)怎么進(jìn)入人工智能
5G智能物聯(lián)網(wǎng)課程之Aidlux下人工智能開發(fā)(SC171開發(fā)套件V1)
為什么深度學(xué)習(xí)的效果更好?
![為什么<b class='flag-5'>深度</b><b class='flag-5'>學(xué)習(xí)</b>的效果更好?](https://file.elecfans.com/web2/M00/4E/DC/poYBAGLCjeiALm_WAAAYmfR7Qec474.png)
評(píng)論