吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

超干貨解讀膠囊網(wǎng)絡(luò)

智能生物識(shí)別說(shuō) ? 來(lái)源:快商通AI ? 作者:快商通AI ? 2021-09-27 17:54 ? 次閱讀

The pooling operation used in convolutional neural networks is a big mistake and the fact that it works so well is a disaster. ——Hinton

先引用深度學(xué)習(xí)三巨頭之一Geoffrey Hinton(杰弗里·辛頓)的名人名言作為開(kāi)端.

CNN是現(xiàn)在十分火熱的模型,首先我們都知道,通過(guò)pooling層能夠?qū)W到部分高階特征,比如對(duì)于人臉而言可以激活識(shí)別到鼻子 ,嘴巴 ,眼睛 等。

大神們看到CNN模型的強(qiáng)大開(kāi)始進(jìn)行人性本質(zhì)的思索,那么它有什么搞不懂的時(shí)候咩?

答:確實(shí)有。

具體來(lái)說(shuō),pooling并不能夠?qū)W到這些特征具體是從哪一層特征學(xué)到的,也就意味著會(huì)損失高階特征之間的相互空間關(guān)系,空間層級(jí)信息無(wú)法獲取到。也就是混亂的 并不能夠表征一張人臉。這就是pooling層存在的缺陷。

好吧,簡(jiǎn)言之就是臉盲。

我們接著來(lái)看,計(jì)算機(jī)得到圖像的過(guò)程是一層一層,從圖像的內(nèi)部表示到整體圖像表示。但是人對(duì)圖像的認(rèn)識(shí)恰恰相反!

科普時(shí)間到:

人腦對(duì)圖像的認(rèn)識(shí)關(guān)鍵的點(diǎn)在于圖像位置姿態(tài)的認(rèn)識(shí),也就是即便圖像進(jìn)行了旋轉(zhuǎn),平移人腦依然可以認(rèn)識(shí)圖像,而計(jì)算機(jī)卻不行。因此提出膠囊網(wǎng)絡(luò)CapsNet。

那么我們來(lái)正經(jīng)地看看到底什么是膠囊(總之不是吃的那個(gè)小藥丸 )

一:膠囊定義

膠囊(Capsule)是一個(gè),包含多個(gè)神經(jīng)元的特征載體。每個(gè)神經(jīng)元可以表示圖像中出現(xiàn)的特定實(shí)體的各種屬性,比如姿態(tài)(位置,大小,方向),紋理,變形等。

膠囊以向量的形式封裝特征的各種屬性表示。數(shù)值就是這個(gè)屬性表示存在的概率,會(huì)隨著特征的空間變化而變化,向量的長(zhǎng)度保持不變的話,整個(gè)膠囊表征的高層特征就保持一致,這就是Hinton提出的活動(dòng)等變性,這個(gè)不變性的意義高于pooling的不變性。

o4YBAGCwqwSAB74wAACgPqYm2fA307.png

聽(tīng)懂以上概念后,大神小伙伴們就接著來(lái)看它的運(yùn)算過(guò)程吧。

二:膠囊卷積運(yùn)算過(guò)程

1. 輸入向量的矩陣乘法

2. 輸入向量的標(biāo)量加權(quán)

3. 加權(quán)輸入向量之和

4. 向量到向量的非線性變換

總之就是先這樣,再那樣就好啦~

好了,回歸干貨:

u1、u2、u3就是來(lái)自下層的3個(gè)膠囊 ,向量的長(zhǎng)度編碼了下層膠囊相應(yīng)特征的概率。

那么

w1j、w2j、w3j 就能夠編碼高層特征和低層特征之間的空間關(guān)系。

o4YBAGCwq0CAJfjwAAB2VSAqs9w212.png

神經(jīng)網(wǎng)絡(luò)是通過(guò)反向傳播來(lái)學(xué)習(xí)參數(shù),而膠囊網(wǎng)絡(luò)是通過(guò)“動(dòng)態(tài)路由”算法來(lái)進(jìn)行更新。

低層膠囊需要決定它的輸出是向哪個(gè)高層膠囊輸出。通過(guò)學(xué)習(xí)cici才能夠激活是向哪個(gè)方向的膠囊進(jìn)行映射。

所以對(duì)于動(dòng)態(tài)路由算法就是ujuj服從的某個(gè)分布,每層膠囊會(huì)相對(duì)聚集,那么接下來(lái)學(xué)習(xí)的低層膠囊向哪個(gè)高層膠囊映射,就是通過(guò)這種預(yù)測(cè)更接近的膠囊聚集來(lái)判斷的。

接下來(lái)向量到向量的非線性變換就是用了一個(gè)新穎的非線性激活函數(shù),接收一個(gè)向量,然后在不改變方向的前提下,壓縮它的長(zhǎng)度到1以下。就是squash(?):

pIYBAGCwq2OALvVmAABDqyQ6DFs635.png

為了清晰地讓大家理解,整來(lái)了一張圖,更形象的描述整個(gè)學(xué)習(xí)過(guò)程:??

pIYBAGCwq5aAMXp_AAHnhdbGC9w615.png

怎么樣,是不是看著一下子就通透了起來(lái)呀^ ^

三:動(dòng)態(tài)路由算法

好了我們繼續(xù)往下肝??

pIYBAGCwq7aAWpxRAACclfVoehQ556.png

從上述算法過(guò)程就能夠明白,輸入為低層所有的膠囊線性變換的輸出$hat{u}_{j|i}$以及路由迭代次數(shù)$r$和層$l$ 。定義了一個(gè)零時(shí)變量$b_{ij}$初始化為0,在迭代過(guò)程中會(huì)更新,$c_i leftarrow softmax(b_i)$就是低層膠囊所有的權(quán)重。

舉個(gè)簡(jiǎn)單的小例子??

權(quán)重分配過(guò)程:$b_{ij }$初始化為0,第一次迭代,假設(shè)有3個(gè)低層膠囊,2個(gè)高層膠囊,那么$c_{ij}$都會(huì)等于0.5,所有的權(quán)重$c_{ij}$都相等。

隨著迭代才會(huì)使得低層膠囊可以根據(jù)這個(gè)權(quán)重指向?qū)?yīng)的高層膠囊。$s_j leftarrow sum_i c_{ij} hat{mathbf{u}}_{j|i}$ 就是對(duì)每一個(gè)膠囊做一個(gè)線性組合,然后通過(guò)$squash$函數(shù)得到傳遞方向不變的權(quán)重向量。最后更行相應(yīng)的權(quán)重$b_{ij}$。

(嗯!大神們是不是覺(jué)得很簡(jiǎn)單(o^^o))

高層膠囊$j$的當(dāng)前輸出和從低層膠囊 $i$出接收的輸入做點(diǎn)積,再加上上一輪的權(quán)重$b_{ij}$,得到更新的$b_{ij}$。點(diǎn)積可以表征膠囊之間的相似性,其實(shí)也就是將低層膠囊的特征學(xué)習(xí)過(guò)來(lái),這就與$CNN$的學(xué)習(xí)效果一致。

pIYBAGCwq9mAX-mxAAAXnbwcpM805.jpeg

明顯從上圖就可以看出,$hat{u}{1|1}$和上面黑色的向量不相似,$hat{u}{2|1}$就和上面黑色的向量是相似的,那么路由權(quán)重$c_{11}$會(huì)降低,而$c_{12}$會(huì)增大。從而低層膠囊的學(xué)習(xí)就能有最優(yōu)的匹配。

綜上!一篇簡(jiǎn)單的科普教學(xué)文就結(jié)束啦,誰(shuí)用誰(shuí)知道!

所以————

聽(tīng)懂掌聲!

那下篇我們來(lái)簡(jiǎn)單聊聊「相似三連」:DNN、RNN、CNN里的RNN吧!(遞歸神經(jīng)網(wǎng)絡(luò))

編輯:jq

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    小鵬大眾將攜手合力打造中國(guó)最大的快充網(wǎng)絡(luò)

    小鵬汽車和大眾汽車集團(tuán)(中國(guó))宣布簽署諒解備忘錄(MOU),將合力為客戶打造中國(guó)最大的快充網(wǎng)絡(luò),雙方相互將開(kāi)放各自專有的、行業(yè)領(lǐng)先的快充網(wǎng)絡(luò)。 小鵬汽車和大眾汽車集團(tuán)(中國(guó))的客戶
    的頭像 發(fā)表于 01-06 09:46 ?806次閱讀

    MOSFET參數(shù)解讀

    SGT-MOSFET各項(xiàng)參數(shù)解讀
    發(fā)表于 12-30 14:15 ?1次下載

    基于恩智浦 MCX N947 MCU 通過(guò) NPU 實(shí)現(xiàn) AI 咖啡膠囊識(shí)別方案

    本方案充分利用了恩智浦(NXP)高性能微控制器(MCU)MCX N947 集成的神經(jīng)網(wǎng)絡(luò)處理單元(NPU)的強(qiáng)大性能,旨在開(kāi)發(fā)一款具有真正智能化識(shí)別能力的 AI 咖啡膠囊識(shí)別的咖啡機(jī)。 通過(guò)
    的頭像 發(fā)表于 12-18 13:43 ?292次閱讀
    基于恩智浦 MCX N947 MCU 通過(guò) NPU 實(shí)現(xiàn) AI 咖啡<b class='flag-5'>膠囊</b>識(shí)別方案

    六類網(wǎng)絡(luò)面板怎么接線

    六類網(wǎng)絡(luò)面板的接線步驟如下: 一、準(zhǔn)備工具和材料 六類網(wǎng)線 網(wǎng)絡(luò)面板(帶有六類模塊) 剝線刀 打線刀(或壓線鉗) 剪刀
    的頭像 發(fā)表于 11-26 09:34 ?1114次閱讀

    網(wǎng)和無(wú)類間路由是什么?

    ?一、 網(wǎng)概述 ? 網(wǎng)是將多個(gè)連續(xù)的網(wǎng)絡(luò)地址組合成一個(gè)增加的網(wǎng)絡(luò)地址的技術(shù)。常用于減少路由器的路由表大小,網(wǎng)絡(luò)的可擴(kuò)展性。通過(guò)合并連續(xù)的
    的頭像 發(fā)表于 08-14 17:06 ?324次閱讀
    <b class='flag-5'>超</b>網(wǎng)和無(wú)類間路由是什么?

    六類有沒(méi)有百兆

    關(guān)于六類網(wǎng)線是否支持百兆網(wǎng)絡(luò)的問(wèn)題,我們可以從以下幾個(gè)方面進(jìn)行清晰、歸納的解答: 一、六類網(wǎng)線的標(biāo)準(zhǔn)與性能 標(biāo)準(zhǔn)定義:六類網(wǎng)線(通常表示為CAT6A)是六類網(wǎng)線(CAT6)的升級(jí)
    的頭像 發(fā)表于 07-15 10:26 ?945次閱讀

    卷積神經(jīng)網(wǎng)絡(luò)與循環(huán)神經(jīng)網(wǎng)絡(luò)的區(qū)別

    網(wǎng)絡(luò)結(jié)構(gòu),分別適用于不同的應(yīng)用場(chǎng)景。本文將從基本概念、結(jié)構(gòu)組成、工作原理及應(yīng)用領(lǐng)域等方面對(duì)這兩種神經(jīng)網(wǎng)絡(luò)進(jìn)行深入解讀
    的頭像 發(fā)表于 07-03 16:12 ?3707次閱讀

    膠囊字符機(jī)器視覺(jué)檢測(cè)識(shí)別方案定制

    目前實(shí)驗(yàn)來(lái)看,可以檢測(cè)出膠囊上有無(wú)印字 一個(gè)工位采用三個(gè)相機(jī)拍攝 視野:35mm*26.25mm 像素精度:35mm/640pix=0.055mm/pix 問(wèn)題:膠囊顏色太多,會(huì)存在不能完全兼容情況
    的頭像 發(fā)表于 06-10 18:29 ?508次閱讀
    <b class='flag-5'>膠囊</b>字符機(jī)器視覺(jué)檢測(cè)識(shí)別方案定制

    六類非屏蔽雙絞線在網(wǎng)絡(luò)中的地位

    六類非屏蔽雙絞線(UTP CAT6e)是一種寬帶線,也稱為網(wǎng)線,是網(wǎng)絡(luò)連接中重要的連接線。它是六類非屏蔽雙絞線的改進(jìn)版,其最高傳輸頻率達(dá)500MHz,是六類線的兩倍,主要用于萬(wàn)兆(10G)網(wǎng)絡(luò)
    的頭像 發(fā)表于 06-07 10:30 ?859次閱讀

    矢量網(wǎng)絡(luò)分析儀的關(guān)鍵技術(shù)指標(biāo)解讀

    的發(fā)展提供了有力支持。而矢量網(wǎng)絡(luò)分析儀的關(guān)鍵技術(shù)指標(biāo),則是衡量其性能優(yōu)劣的重要標(biāo)準(zhǔn)。本文將對(duì)矢量網(wǎng)絡(luò)分析儀的關(guān)鍵技術(shù)指標(biāo)進(jìn)行詳細(xì)解讀,以期為讀者提供更深入的了解。
    的頭像 發(fā)表于 05-13 17:26 ?788次閱讀

    一圖看懂2024華為智能充電網(wǎng)絡(luò)開(kāi)啟充新紀(jì)元

    一圖看懂2024華為智能充電網(wǎng)絡(luò)開(kāi)啟充新紀(jì)元
    的頭像 發(fā)表于 04-29 10:27 ?703次閱讀
    一圖看懂2024華為智能充電<b class='flag-5'>網(wǎng)絡(luò)</b>開(kāi)啟<b class='flag-5'>超</b>充新紀(jì)元

    融合架構(gòu)解決方案

    隨著信息技術(shù)的發(fā)展,企業(yè)對(duì)數(shù)據(jù)中心的依賴日益增強(qiáng),對(duì)存儲(chǔ)、計(jì)算和網(wǎng)絡(luò)資源的需求也在不斷增長(zhǎng)。融合架構(gòu)作為一種新興的IT基礎(chǔ)設(shè)施解決方案,正逐漸成為企業(yè)數(shù)據(jù)中心建設(shè)的首選。本文將詳細(xì)介紹融合架構(gòu)
    的頭像 發(fā)表于 04-10 14:57 ?715次閱讀

    生醫(yī)應(yīng)用的磁控膠囊機(jī)器人,實(shí)現(xiàn)多模態(tài)響應(yīng)與多功能集成

    膠囊機(jī)器人可以通過(guò)口服方式抵達(dá)胃腸道病灶區(qū)域?qū)嵤┽t(yī)療功能,為實(shí)現(xiàn)胃腸道疾病無(wú)痛無(wú)創(chuàng)診療和提高患者依從性提供了重要途徑。
    的頭像 發(fā)表于 03-14 15:36 ?1292次閱讀
    生醫(yī)應(yīng)用的磁控<b class='flag-5'>膠囊</b>機(jī)器人,實(shí)現(xiàn)多模態(tài)響應(yīng)與多功能集成

    EMC技術(shù):基礎(chǔ)概念到應(yīng)用的解讀

    EMC技術(shù):基礎(chǔ)概念到應(yīng)用的解讀?|深圳比創(chuàng)達(dá)電子
    的頭像 發(fā)表于 03-11 11:55 ?688次閱讀
    EMC技術(shù):基礎(chǔ)概念到應(yīng)用的<b class='flag-5'>解讀</b>?

    COMSOL Multiphysics在材料與表面仿真中的應(yīng)用

    隨著科技的飛速發(fā)展,材料和表面作為新興研究領(lǐng)域,吸引了廣泛關(guān)注。它們通過(guò)人工設(shè)計(jì)的結(jié)構(gòu),能夠在特定條件下表現(xiàn)出特殊的物理性質(zhì),為光電子領(lǐng)域帶來(lái)革命性的變革。COMSOL Multiphysics
    發(fā)表于 02-20 09:20
    申请百家乐官网会员送彩金| 澳门百家乐官网娱乐城送体验金 | 百家乐下注瀛钱法| 百家乐官网单跳| 贵族国际娱乐城| 威尼斯人娱乐备用622| 属猪与属蛇做生意怎么样| 澳门百家乐官网怎赌才能赚钱| 皇冠网vip小说| 大发888官网授权网 | 百家乐官网推荐| 缅甸百家乐官网赌博现场下载| 晓游棋牌官网| 盈得利百家乐娱乐城| 澳门百家乐洗码提成查询| 帝王百家乐官网的玩法技巧和规则| 百家乐官网娱乐城公司| 百家博彩网| 赚钱的棋牌游戏| 百家乐又称什么| 百家乐赌博破解| 网上百家乐娱乐场| 新葡京百家乐官网的玩法技巧和规则 | 百家乐任你博娱乐场开户注册| 百家乐赌具哪里最好| 宁乡县| bet365存| 大发888娱乐城大发888大发网| 百家乐网上真钱娱乐场开户注册| 百家乐桌德州扑克桌| 做生意门朝哪个方向好| 百家乐官网送錢平臺| 88百家乐官网现金网| 色达县| 御金娱乐城| 金濠国际娱乐城| 香港六合彩开| 网狐棋牌源码| 大发888体育娱乐场| 大发888大发娱乐场| 合肥太阳城在哪|