在媒體層面?zhèn)鞑啄旰螅包S氏定律”這一命名終于被英偉達(dá)官方認(rèn)可。

摩爾定律會(huì)失效嗎？

除了Intel一直不肯承認(rèn)外，想必其他廠商的答案都是“肯定”的。

在這一事實(shí)的前提下，他們更多的考慮的問題是：摩爾定律失效后，該如何進(jìn)一步提高處理器的能效？針對(duì)這個(gè)問題，一些公司已經(jīng)找到了自己的答案，比如英偉達(dá)。

過去幾年來，黃仁勛一直對(duì)外表達(dá)“摩爾定律已死、新定律正在形成”，尤其是在GPU方面，更是預(yù)測(cè)每10年GPU性能增長(zhǎng)1000倍，這一預(yù)測(cè)也被戲稱為“黃氏定律”。

值得注意的是，就在正在舉辦的GTC 2020中國(guó)線上大會(huì)上，“黃氏定律”正式被官方敲章——官方活動(dòng)上，英偉達(dá)首席科學(xué)家兼研究院副總裁Bill Dally親口說出“黃氏定律”。

什么是黃氏定律？

聊黃氏定律之前，我們先了解一下被預(yù)測(cè)即將失效或“已死”的摩爾定律。

摩爾定律由Intel創(chuàng)始人之一的戈登·摩爾提出，預(yù)測(cè)集成電路上可以容納的晶體管數(shù)目大約每經(jīng)過24個(gè)月就會(huì)增加一倍。

之后，Intel前CEO大衛(wèi)·豪斯更新了另外一版說法，即每18個(gè)月芯片性能將提高一倍。

現(xiàn)在，以性能提升一倍為目標(biāo)，黃仁勛也帶來了自己的答案——1年。沒錯(cuò)，在黃仁勛認(rèn)為，基于GPU的一倍性能提升只需要1年的時(shí)間，這個(gè)速度比摩爾定律至少快1．5倍。

當(dāng)然，任何一個(gè)論點(diǎn)的成立沒有事實(shí)依據(jù)來支撐必然是脆弱的，為此Bill Dally在線上演講過程中直接以英偉達(dá)GPU產(chǎn)品為例，證明芯片產(chǎn)品性能的提升核心并不是制程工藝。

具體來看，Bill Dally帶來了一張圖標(biāo)，其中展示了從2012年的Kepler，一直到今年5月份的Ampere A100等多款GPU產(chǎn)品的性能增長(zhǎng)趨勢(shì)圖：

8年時(shí)間，單芯片推理性能提高了317倍。“實(shí)際上，我們的推理性能每年都要增加一倍以上，部分原因在于Tensor Core的改進(jìn)、更優(yōu)化的電路設(shè)計(jì)和架構(gòu)，制程技術(shù)所發(fā)揮的作用不大。”Bill Dally表示。

他解釋稱，自2012年到2020年，英偉達(dá)在GPU產(chǎn)品養(yǎng)發(fā)上僅使用了3代制程工藝，分別是最開始Kepler架構(gòu)使用的28nm、中間時(shí)期采用的16nm，以及最近Ampere架構(gòu)使用的7nm。

其中Bill Dally指出，在“317倍”這一成果中，制程工藝整體上發(fā)揮的作用不到2成，主要功臣是“架構(gòu)的改進(jìn)”。

“在摩爾定律消失之后，我們還有‘黃氏定律’來不斷提高計(jì)算性能，因?yàn)槲覀兾磥硇枰酶叩挠?jì)算性能來完成許多工作。”

眾所周知，摩爾定律的關(guān)鍵是基于先進(jìn)工藝在特定體積內(nèi)放入更多的晶體管，還是容易理解的。至于黃氏定律的“架構(gòu)改進(jìn)”，具體怎么實(shí)現(xiàn)？針對(duì)這個(gè)問題，Bill Dally也在演講中做出了解答。

如何實(shí)現(xiàn)黃氏定律？

針對(duì)這個(gè)問題，Bill Dally在演講中用了三個(gè)項(xiàng)目進(jìn)行解答。

首先是為了實(shí)現(xiàn)超高能效加速器的MAGNet工具。英偉達(dá)稱，MAGNet生成的AI推理加速器在模擬測(cè)試中，能夠達(dá)到每瓦 100 tera ops 的推理能力，比目前的商用芯片高出一個(gè)數(shù)量級(jí)。

之所以能夠達(dá)到這樣的成效，是因?yàn)镸AGNet采用了一系列新技術(shù)來協(xié)調(diào)并控制通過設(shè)備的信息流，最大限度地減少數(shù)據(jù)傳輸，畢竟數(shù)據(jù)傳輸正是當(dāng)今芯片中最耗能的環(huán)節(jié)。整個(gè)過程中，這一研究原型均以模組化實(shí)現(xiàn)，因此能夠靈活擴(kuò)展。

第二個(gè)項(xiàng)目的目標(biāo)則是為了以更快速的光鏈路取代現(xiàn)有系統(tǒng)內(nèi)的電器鏈路。Bill Dally表示：“我們可以將連接GPU的NVLink速度提高一倍，也許還會(huì)再翻番，但電子信號(hào)最終會(huì)消耗殆盡。”

目前，由Bill Dally帶領(lǐng)的200人團(tuán)隊(duì)正在與哥倫比亞大學(xué)的研究人員密切合作，探討如何利用電信供應(yīng)商在其核心網(wǎng)絡(luò)中所采用的技術(shù)，通過一條光纖來傳輸數(shù)十路信號(hào)。

據(jù)了解，這種名為“密集波分復(fù)用”的技術(shù)， 有望在僅一毫米大小的芯片上實(shí)現(xiàn)Tb/s級(jí)數(shù)據(jù)的傳輸，是如今互連密度的十倍以上。

值得注意的是，除了更大的吞吐量，光鏈路也有助于打造更為密集型的系統(tǒng)。針對(duì)這一點(diǎn)，Bill Dally舉例展示了一個(gè)未來將搭載160多個(gè)GPU的NVIDIA DGX系統(tǒng)模型。

想要發(fā)揮光鏈路的全部潛能，還需要相應(yīng)的軟件，這也是Bill Dally分享的第三個(gè)項(xiàng)目——全新編程系統(tǒng)原型Legate。

Legate將一種新的編程速記融入了加速軟件庫(kù)和高級(jí)運(yùn)行時(shí)環(huán)境Legion，借助Legate，開發(fā)者可在任何規(guī)模的系統(tǒng)上運(yùn)行針對(duì)單一GPU編寫的程序——甚至適用于諸如 Selene等搭載數(shù)千個(gè)GPU的巨型超級(jí)計(jì)算機(jī)。

目前，Legate正在美國(guó)國(guó)家實(shí)驗(yàn)室接受測(cè)試。

黃氏定律存在“天花板”嗎？

一個(gè)定律的成立與延續(xù)，必然不是一家企業(yè)單打獨(dú)斗能夠做到的，需要更多上下游的合作伙伴一起來激發(fā)新需求和推進(jìn)創(chuàng)新落地。

這方面，英偉達(dá)也正以GPU產(chǎn)品為中心，搭建自己的AI生態(tài)圈。以英偉達(dá)初創(chuàng)加速計(jì)劃為例，在4年時(shí)間內(nèi)，加入該計(jì)劃的企業(yè)已經(jīng)超過了7000家，遍布全球92個(gè)國(guó)家，其中僅在中國(guó)，得到英偉達(dá)扶持的企業(yè)就已經(jīng)超過了800家。

在Bill Dally的演講中，我們也見到了國(guó)內(nèi)12家代表性AI創(chuàng)企的展示，其中包括自動(dòng)駕駛明星創(chuàng)企圖森未來、文遠(yuǎn)知行、衛(wèi)星圖像數(shù)據(jù)分析公司大地量子等等。

以圖森未來為例，早在此前的一次采訪中，他們就曾對(duì)外表示，采用英偉達(dá)AI芯片的系統(tǒng)，效能每年都增加一倍。站在落地商用的角度，從企業(yè)所表述的情況來看，“黃氏定律”顯然正發(fā)揮作用、成為現(xiàn)實(shí)。

當(dāng)然，參考當(dāng)前摩爾定律正在失效的情況，人們也不可避免的開始擔(dān)憂，黃氏定律也會(huì)有失效的一天嗎？

不同于制程工藝的肉眼可見，架構(gòu)的改進(jìn)相對(duì)來講是較為虛化的。針對(duì)這個(gè)問題，曾有人給出了一個(gè)“10年內(nèi)”的可能答案。對(duì)于這個(gè)答案的準(zhǔn)確與否，我們也不過多評(píng)判，不管“天花板”存在與否，我們目前可以確定的是，從過去8年的表現(xiàn)來判斷，在未來一段十日內(nèi)，黃氏定律仍然會(huì)繼續(xù)發(fā)揮它“性能一年翻一倍”的優(yōu)勢(shì)，這一定律帶來的最終成果還是很值得期待的。

責(zé)任編輯：PSY