MIT的研究人員開發出一種新型“光子”芯片,它使用光而不是電,并且在此過程中消耗相對較少的功率。該芯片用于處理大規模神經網絡的效率比現有的計算機高出數百萬倍。模擬結果表明,光子芯片運行光神經網絡的效率是其電子芯片的1000萬倍。
神經網絡是一種機器學習模型,廣泛用于機器人目標識別、自然語言處理、藥物開發、醫學成像和驅動無人駕駛汽車等任務。使用光學現象加速計算的新型光學神經網絡可以比其他電子對應物更快、更有效地運行。
但隨著傳統神經網絡和光學神經網絡越來越復雜,它們消耗了大量的能量。為了解決這個問題,研究人員和包括谷歌、IBM和特斯拉在內的主要科技公司開發了“人工智能加速器”,這是一種專門的芯片,可以提高培訓和測試神經網絡的速度和效率。
對于電子芯片,包括大多數人工智能加速器,有一個理論上的最低能耗限制。最近,MIT的研究人員開始為光神經網絡開發光子加速器。這些芯片執行數量級的效率更高,但它們依賴于一些體積龐大的光學元件,這些元件限制了它們在相對較小的神經網絡中的使用。
在《物理評論X》上發表的一篇論文中,MIT的研究人員描述了一種新型光子加速器,它使用更緊湊的光學元件和光信號處理技術,以大幅降低功耗和芯片面積。這使得芯片可以擴展到神經網絡,比對應的芯片大幾個數量級。
比傳統電子加速器的能耗極限低1000萬倍以上
神經網絡在MNIST圖像分類數據集上的模擬訓練表明,加速器理論上可以處理神經網絡,比傳統電子加速器的能耗極限低1000萬倍以上,比光子加速器的能耗極限低1000倍左右。研究人員現在正在研制一種原型芯片來實驗證明這一結果。
“人們正在尋找一種能夠計算出超出基本能耗極限的技術,”電子研究實驗室的博士后RyanHamerly說:“光子加速器是很有前途的……但我們的動機是建造一個(光子加速器)可以擴展到大型神經網絡。”
這些技術的實際應用包括降低數據中心的能耗。“對于運行大型神經網絡的數據中心的需求越來越大,而且隨著需求的增長,它越來越難以計算,”合著者、電子研究實驗室的研究生Alexander Sludds說,其目的是“利用神經網絡硬件滿足計算需求……以解決能源消耗和延遲的瓶頸”。
與Sludds和Hamerly合寫該論文的有:RLE研究生、聯合作者Liane Bernstein;麻省理工學院物理教授Marin Soljacic;一名麻省理工學院電氣工程和計算機科學副教授Dirk Englund;一名RLE的研究員,以及量子光子學實驗室的負責人。
依賴于一種更緊湊、節能的“光電”方案
神經網絡通過許多包含互聯節點(稱為“神經元”)的計算層來處理數據,從而在數據中找到模式。神經元接收來自其上游“鄰居”的輸入,并計算一個輸出信號,該信號被發送到下游更遠的神經元。每個輸入也被分配一個“權重”,一個基于其對所有其他輸入的相對重要性的值。隨著數據在各層中“深入”傳播,網絡逐漸學習更復雜的信息。最后,輸出層根據整個層的計算生成預測。
所有人工智能加速器的目標都是減少在神經網絡中的特定線性代數步驟(稱為“矩陣乘法”)中處理和移動數據所需的能量。在那里,神經元和權重被編碼成單獨的行和列表,然后結合起來計算輸出。
在傳統的光子加速器中,脈沖激光編碼了一個層中每個神經元的信息,然后流入波導并通過分束器。產生的光信號被送入一個稱為“Mach-Zehnder 干涉儀”的正方形光學元件網格中,該網格被編程為執行矩陣乘法。干涉儀用每個重量的信息進行編碼,使用處理光信號和重量值的信號干擾技術來計算每個神經元的輸出。但是有一個縮放問題:對于每個神經元,必須有一個波導管,對于每個重量,必須有一個干涉儀。由于重量的數量與神經元的數量成正比,那些干涉儀占用了大量的空間。
“你很快就會意識到輸入神經元的數量永遠不會超過100個左右,因為你不能在芯片上安裝那么多的元件,”Hamerly說,“如果你的光子加速器不能每層處理100個以上的神經元,那么很難將大型神經網絡應用到這種結構中。”
研究人員的芯片依賴于一種更緊湊、節能的“光電”方案,該方案利用光信號對數據進行編碼,但使用“平衡零差檢測”進行矩陣乘法。這是一種在計算兩個光信號的振幅(波高)的乘積后產生可測量電信號的技術。
光脈沖編碼的信息輸入和輸出神經元的每個神經網絡層——用來訓練網絡——通過一個單一的通道流動。用矩陣乘法表中整行權重信息編碼的單獨脈沖通過單獨的通道流動。將神經元和重量數據傳送到零差光電探測器網格的光信號。光電探測器利用信號的振幅來計算每個神經元的輸出值。每個檢測器將每個神經元的電輸出信號輸入一個調制器,該調制器將信號轉換回光脈沖。光信號成為下一層的輸入,以此類推。
這種設計只需要每個輸入和輸出神經元一個通道,并且只需要和神經元一樣多的零差光電探測器,而不需要重量。因為神經元的數量總是遠遠少于重量,這就節省了大量的空間,所以芯片能夠擴展到每層神經元數量超過一百萬的神經網絡。
找到最佳位置
有了光子加速器,信號中會有不可避免的噪聲。注入芯片的光線越多,噪音越小,精確度也越高——但這會變得非常低效。輸入光越少,效率越高,但會對神經網絡的性能產生負面影響。但是有一個“最佳點”,Bernstein說,它在保持準確度的同時使用最小的光功率。
人工智能加速器的最佳位置是以執行一次兩個數相乘的單一操作(如矩陣相乘)需要多少焦耳來衡量的。現在,傳統的加速器是用皮焦(picojoules)或萬億焦耳(joule)來測量的。光子加速器以attojoules測量,效率高出一百萬倍。
在模擬中,研究人員發現他們的光子加速器可以以低于attojoules的效率運行。 “在失去準確性之前,你可以發送一些最小的光功率。我們的芯片的基本限制比傳統的加速器低得多......并且低于其他光子加速器,”Bernstein表示。
-
MIT
+關注
關注
3文章
253瀏覽量
23504 -
機器學習
+關注
關注
66文章
8439瀏覽量
133087 -
電子芯片
+關注
關注
3文章
58瀏覽量
15064 -
光子芯片
+關注
關注
3文章
99瀏覽量
24474
原文標題:MIT設計新型光子芯片,效率比電子芯片高1000萬倍
文章出處:【微信號:aicapital,微信公眾號:全球人工智能】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
![](https://file1.elecfans.com/web2/M00/09/FF/wKgaomcE_1SAKzmkAAUQPTyGZpk158.png)
評論