吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于相變全光學神經元系統實現監督學習和非監督學習

cMdW_icsmart ? 來源:YXQ ? 2019-05-12 11:47 ? 次閱讀

近日,Nature刊載IBM新研究,使用光學器件打造的“全光學”深度神經網絡可以比傳統計算方式的能效更高,同時具備可擴展性、無需光電轉換和高帶寬等優勢。這一發現可能給未來光學神經網絡加速器的出現打下基礎。

光纖能夠以光的形式在世界范圍內傳輸數據,成為現代電信技術的支柱。不過如果需要分析這些傳輸數據,要將其從光信號轉換為電子信號,然后用電子設備進行處理。曾經有一段時間,光學被認為是未來最具潛力的計算技術的基礎,但與電子計算機的快速進步相比,光學計算技術的競爭力明顯不足。

不過,在過去幾年中,業界越來越關注對計算能源的成本問題。因此,光學計算系統再次受到關注。光學計算的能耗低,又能作為AI算法(如深度神經網絡(DNN))的專用加速硬件。 近日,Feldmann等人在《自然》期刊上發表了這種“全光學網絡實現”的最新進展。

深度神經網絡包括多層人工神經元和人工突觸。這些連接的強度稱為網絡權重,可以是陽性,表示神經元的興奮,或陰性,表示神經元的抑制。網絡會盡力將實際輸出和期望輸出之間的差異實現最小化,從而改變突觸的權重,來執行圖像識別等任務。

CPU和其他硬件加速器通常用于DNN的計算。DNN的訓練可以使用已知數據集,而經過訓練后的DNN可以用來推理任務中的未知數據。雖然計算量很大,但計算操作的多樣性不會很高,因為“乘法累加”操作在許多突觸權重和神經元激勵中占主導地位。

DNN在計算精度較低時仍能正常工作。因此,DNN網絡代表了非傳統計算技術的潛在機會。研究人員正在努力打造基于新型非易失性存儲器件的DNN加速器。這類設備在切斷電源時也能保存信息,通過模擬電子計算提升DNN的速度和能效。

那么,為什么不考慮使用光學器件呢?導光部件中可以包含大量數據 - 無論是用于電信的光纖還是用于光子芯片上的波導。在這種波導內部,可以使用“波分復用”技術,讓許多不同波長的光一起傳播。然后可以以與電子到光學調制和光電子檢測相關的可用帶寬限制的速率調制(以可以攜帶信息的方式改變)每個波長。

圖1 全光學脈沖神經元回路

使用諧振器可以實現單個波長的添加或移除,就像對貨車的裝貨和卸貨一樣。使用微米級環形諧振器可以構建DNN網絡突觸權重陣列。這種諧振器可以采用熱調制,電光調制,或通過相變材料調制。這些材料可以在非晶相和結晶相之間切換,不同的材料的吸光能力差別很大。在理想條件下,進行乘法累加運算的功耗很低。

Feldmann研究團隊在毫米級光子芯片上實現了“全光學神經網絡”,其中網絡內沒有使用光電轉換。輸入的數據被電子調制到不同的波長上注入網絡,但此后所有數據都保留在芯片上。利用集成相變材料實現突觸權重的調節和神經元的集成。

圖2 人工神經元的脈沖生成與操作

本文作者小規模地展示了有監督和無監督的學習 - 即使用標記數據實現訓練(DNN學習的方式),以及使用未標記的數據訓練(類似人類的學習方式)。

圖3 基于相變全光學神經元系統實現監督學習和非監督學習

因為權重表達是通過光的吸收實現的,所以負權重需要更大的偏置信號,該信號不能激活相變材料。一種替代方法是使用Mach-Zehnder干涉儀的裝置,將單個波導分成兩個臂,然后重新組合,這時的透射光量取決于兩個傳播路徑之間光學相位的差異。然而,要想將這種方法與波分復用相結合可能難度較大,因為每個干涉儀的臂需要為每個波長引入適當的相位差。

全光學實現的DNN仍然存在重大挑戰。在理想情況下,它們的總功率使用率可能較低,經常需要熱光功率來調節和維持每個Mach-Zehnder干涉儀臂中的光學相位差異。

圖4 全光學神經網絡的可擴展架構

此外,對注入含有相變材料的系統的總光功率必須仔細校準,以使材料對輸入信號的響應符合預期。盡管相變材料也可以用于調整Mach-Zehnder相位,但是材料吸收光的強度和減慢光速之間會出現不可避免的交叉耦合,這會增加系統的復雜性。

傳統的DNN規模已經發展到很大,可能包含數千個神經元和數百萬個突觸。但是光子網絡的波導需要彼此間隔很遠才能防止耦合,并且避免急劇彎曲以防止光離開波導。因為兩個波導的交叉可能會將不需要的功率注入錯誤路徑,這對光子芯片設計的2D特性造成了實質性的限制。

圖5 單層脈沖神經網絡的實驗實現

實現光學器件打造神經網絡需要很長的距離和很大的面積,但是每個光學結構的關鍵部分的制造需要高精度。這是因為波導和耦合區域,比如在每個微環諧振器的入口和出口處,必須達到相應網絡性能所需的精確尺寸。對于如何制造小型微環諧振器也存在諸多限制。

最后,調制技術提供的光學效應較弱,需要很長的相互作用區域,以使其對通過的光的有限影響能夠達到顯著水平。

Feldmann 團隊的研究中所取得的進步,有望推動該領域的未來發展,該研究可能會為未來高能效、可擴展的光學神經網絡加速器的出現打下基礎。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 神經網絡
    +關注

    關注

    42

    文章

    4781

    瀏覽量

    101177
  • 神經元
    +關注

    關注

    1

    文章

    363

    瀏覽量

    18511

原文標題:下一代計算架構革命,從“全光學神經網絡”開始

文章出處:【微信號:icsmart,微信公眾號:芯智訊】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    時空引導下的時間序列自監督學習框架

    【導讀】最近,香港科技大學、上海AI Lab等多個組織聯合發布了一篇時間序列無監督預訓練的文章,相比原來的TS2Vec等時間序列表示學習工作,核心在于提出了將空間信息融入到預訓練階段,即在預訓練階段
    的頭像 發表于 11-15 11:41 ?333次閱讀
    時空引導下的時間序列自<b class='flag-5'>監督學習</b>框架

    【《大語言模型應用指南》閱讀體驗】+ 基礎篇

    章節最后總結了機器學習的分類:有監督學習、無監督學習、半監督學習、自監督學習和強化學習。 1.3
    發表于 07-25 14:33

    神經元是什么?神經元神經系統中的作用

    神經元,又稱神經細胞,是神經系統的基本結構和功能單位。它們負責接收、整合、傳導和傳遞信息,從而參與和調控神經系統的各種活動。神經元在形態上高
    的頭像 發表于 07-12 11:49 ?1642次閱讀
    <b class='flag-5'>神經元</b>是什么?<b class='flag-5'>神經元</b>在<b class='flag-5'>神經系統</b>中的作用

    人工神經元模型的基本構成要素

    人工神經元模型是人工智能領域中的一個重要概念,它模仿了生物神經元的工作方式,為機器學習和深度學習提供了基礎。本文將介紹人工神經元模型的基本構
    的頭像 發表于 07-11 11:28 ?1468次閱讀

    人工神經元模型的基本原理是什么

    人工神經元模型是人工智能領域中的一個重要概念,它模仿了生物神經系統中的神經元行為,為機器學習和深度學習提供了基礎。 一、人工
    的頭像 發表于 07-11 11:26 ?922次閱讀

    人工神經元由哪些部分組成

    人工神經元是深度學習神經網絡和機器學習領域的核心組件之一。 1. 引言 在深入討論人工神經元之前,我們需要了解其在人工智能領域的重要性。人
    的頭像 發表于 07-11 11:17 ?776次閱讀

    人工神經元模型的基本原理及應用

    人工神經元模型是人工智能和機器學習領域的一個重要概念,它模仿了生物神經元的工作方式,為計算機提供了處理信息的能力。 一、人工神經元模型的基本原理 生物
    的頭像 發表于 07-11 11:15 ?1113次閱讀

    人工神經元模型的三要素是什么

    神經元是構成神經系統的基本單元,它們通過突觸與其他神經元相互連接,實現信息的傳遞和處理。人工神經元則是模仿生物
    的頭像 發表于 07-11 11:13 ?1063次閱讀

    神經網絡如何用無監督算法訓練

    神經網絡作為深度學習的重要組成部分,其訓練方式多樣,其中無監督學習是一種重要的訓練策略。無監督學習旨在從未標記的數據中發現數據內在的結構、模式或規律,從而提取有用的特征表示。這種訓練方
    的頭像 發表于 07-09 18:06 ?896次閱讀

    深度學習中的無監督學習方法綜述

    應用中往往難以實現。因此,無監督學習在深度學習中扮演著越來越重要的角色。本文旨在綜述深度學習中的無監督學習方法,包括自編碼器、生成對抗網絡、
    的頭像 發表于 07-09 10:50 ?953次閱讀

    神經元的分類包括哪些

    神經元神經系統的基本功能單位,它們通過電信號和化學信號進行信息傳遞和處理。神經元的分類非常復雜,可以根據不同的標準進行分類。 一、神經元的基本概念 1.1
    的頭像 發表于 07-03 11:36 ?1502次閱讀

    神經元的結構及功能是什么

    神經元神經系統的基本結構和功能單位,它們通過電信號和化學信號進行信息傳遞和處理。神經元的結構和功能非常復雜,涉及到許多不同的方面。 一、神經元的形態結構
    的頭像 發表于 07-03 11:33 ?1562次閱讀

    神經網絡反向傳播算法原理是什么

    神經網絡反向傳播算法(Backpropagation Algorithm)是一種用于訓練多層前饋神經網絡的監督學習算法。它通過最小化損失函數來調整網絡的權重和偏置,從而提高網絡的預測性能。本文將詳細
    的頭像 發表于 07-02 14:16 ?768次閱讀

    神經元神經網絡的區別與聯系

    在人工智能和機器學習的領域中,神經元神經網絡是兩個至關重要的概念。雖然它們都與人腦中的神經系統有著密切的聯系,但在實際應用和理論研究中,它們各自扮演著不同的角色。本文旨在深入探討
    的頭像 發表于 07-01 11:50 ?1153次閱讀

    基于FPGA的類腦計算平臺 —PYNQ 集群的無監督圖像識別類腦計算系統

    的 FPGA 集群的硬件加速器,通過并行流水線結構實現 8 個神經元同時計算并采用分時復用 8 個神經元實現任意規模的脈沖神經網絡的加速,并
    發表于 06-25 18:35
    尊龙百家乐官网娱乐网| 百家乐官网赌博网址| 哪个百家乐官网技巧平台信誉好 | 百家乐官网翻天粤语qvod| 百家乐官网怎赌才赢钱| 怎么玩百家乐能赢钱| 百家乐电子游戏试| 大发888网址官方| 泉州市| 百家乐官网赌博规| 马牌百家乐娱乐城| 百家乐网页游戏| 申博娱乐城开户| 玩百家乐官网去哪个平台好| 24楼层风水| 怎么玩百家乐的玩法技巧和规则| 球探网足球比分| 百家乐官网平台哪个有在线支付呢 | 百家乐玩法教学视频| 威尼斯人娱乐城备用网| 得荣县| 水果老虎机游戏| 百家乐官网是骗人吗| 女神百家乐官网的玩法技巧和规则 | 六合彩网站| 至尊百家乐官网奇热| 百家乐视频二人雀神| 德州扑克几副牌| 免费百家乐平预测软件| 百家乐视频游戏大厅| 百家乐官网只打闲打法| 广东百家乐官网扫描分析仪 | 百家乐官网规律打法| 赌场百家乐官网代理| 在线百家乐官网技巧| 真人百家乐官网网西陆| 任你博百家乐官网的玩法技巧和规则 | 网上百家乐| 真人轮盘| 百家乐官网第三张规则| 大发888娱乐城动态|