吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

Dropout怎么體現(xiàn)正則化作用?

汽車電子技術(shù) ? 來源:神經(jīng)網(wǎng)絡(luò)研究所 ? 作者:NNResearcher ? 2023-03-01 10:24 ? 次閱讀

在學(xué)習(xí)CNN的時候,我讀到Dropout具有正則化的作用時,不明白正則化的意思,查看了很多資料,寫的都很深奧,這里我用簡單的語言來記錄一下。。

01

正則化定義

百度百科的定義寫的非常的學(xué)術(shù)化,我用我的理解來敘述一遍:通俗的意義來講就是我們想要通過一條光滑曲線(圖中綠色的曲線)來最大程度的擬合另外一條歪七扭八的曲線(圖中的藍(lán)色曲線),這樣我們就可以將這條歪七扭八存在諸多奇點(diǎn)的曲線通過方程的形式表達(dá)出來,這種做法就叫做正則化。

圖片

這樣做后,我們通過曲線來預(yù)測或者表示原圖像的時候,結(jié)果勢必就會有誤差,如果沒有誤差會是什么呢?那就是說我們找了一條和圖中藍(lán)色曲線一模一樣的線來表示藍(lán)色的線,也就是說我們把一些有噪音的點(diǎn)也表示出來了,這種行為放在卷積中就叫做 過擬合 ,而在卷積中,相比較于過擬合曲線,我們更希望有一條正則化的曲線。換句話說,正則化的作用就是為了防止過擬合。那么Dropout是怎么實(shí)現(xiàn)過擬合的呢?

02

Dropout怎么防止過擬合

在第一眼看到Dropout的時候,我本來認(rèn)為只是簡單地舍棄了一些神經(jīng)元而已,經(jīng)過研究,我發(fā)現(xiàn)其中的原理并沒有我想的那么簡單。

圖片

我們從圖中看到,Dropout在每一層中通過概率來隨機(jī)的舍棄一些神經(jīng)元,注意!!!這些舍棄的神經(jīng)元只是在這一次訓(xùn)練中被舍棄,而不是永久的被舍棄,也就是說,等到下一波數(shù)據(jù)到來的時候,其中一些神經(jīng)元依然會參與訓(xùn)練,最后整個網(wǎng)絡(luò)被訓(xùn)練完成后,圖中所有的神經(jīng)元都是被訓(xùn)練過的!那這么做有什么好處呢?

在左圖的標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)中,這只是一個神經(jīng)網(wǎng)絡(luò)在參與訓(xùn)練,而且容易發(fā)生過擬合。但是在右圖中,每一次訓(xùn)練的時候,都是不同的神經(jīng)元在參與訓(xùn)練,也就是說, 右圖不僅僅是一個神經(jīng)網(wǎng)絡(luò)!!!而是具有數(shù)十個神經(jīng)網(wǎng)絡(luò)在一起訓(xùn)練!!!這就是Dropout的偉大之處! 這種方法就相當(dāng)于,原來你是自己出謀劃策,現(xiàn)在多了數(shù)十個軍師為你出謀劃策,每一次都只聽取一個軍師的意見,這種方法當(dāng)然可以防止過擬合,而CNN的原理就是擬合一條曲線來表示每個輸入,在我們解決了過擬合問題后,我們就認(rèn)為Dropout具有正則化的作用!

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 曲線
    +關(guān)注

    關(guān)注

    1

    文章

    82

    瀏覽量

    20909
  • 方程
    +關(guān)注

    關(guān)注

    0

    文章

    33

    瀏覽量

    16954
  • 正則化
    +關(guān)注

    關(guān)注

    0

    文章

    17

    瀏覽量

    8153
收藏 人收藏

    評論

    相關(guān)推薦

    關(guān)于Dropout、BN及數(shù)據(jù)預(yù)處理方案

    Dropout 可以看作是 Bagging 的極限形式,每個模型都在當(dāng)一種情況中訓(xùn)練,同時模型的每個參數(shù)都經(jīng)過與其他模型共享參數(shù),從而高度正則化。
    的頭像 發(fā)表于 05-31 17:37 ?4407次閱讀
    關(guān)于<b class='flag-5'>Dropout</b>、BN及數(shù)據(jù)預(yù)處理方案

    shell正則表達(dá)式學(xué)習(xí)

    正則表達(dá)式在計(jì)算機(jī)科學(xué)中,是指一個用來描述或者匹配一系列符合某個句法規(guī)則的字符串的單個字符串。在很多文本編輯器或其他工具里,正則表達(dá)式通常被用來檢索和/或替換那些符合某個模式的文本內(nèi)容。許多
    發(fā)表于 07-25 17:18

    賽靈思ISE? 設(shè)計(jì)套件11.1版對FPGA有什么優(yōu)化作用

    每一版本都提供了完整的FPGA設(shè)計(jì)流程,并且專門針對特定的用戶群體(工程師)和特定領(lǐng)域的設(shè)計(jì)方法及設(shè)計(jì)環(huán)境要求進(jìn)行了優(yōu)化。那大家知道賽靈思ISE? 設(shè)計(jì)套件11.1版對FPGA有什么優(yōu)化作用嗎?
    發(fā)表于 07-30 06:52

    字符串處理、正則表達(dá)式用法

    寫程序的過程中經(jīng)常會用到字符串的處理,Labview中給出了一些列的處理函數(shù),但是有時候遇到問題還是不知道該如何處理,后來發(fā)現(xiàn)正則表達(dá)式是一個非常強(qiáng)大的東西,但是不會用,雖然根據(jù)網(wǎng)上的提示,自己可以
    發(fā)表于 12-18 13:45

    如何創(chuàng)建正則的表達(dá)式?

    正則表達(dá)式:用于匹配規(guī)律規(guī)則的表達(dá)式,正則表達(dá)式最初是科學(xué)家對人類神經(jīng)系統(tǒng)的工作原理的早期研究,現(xiàn)在在編程語言中有廣泛的應(yīng)用,經(jīng)常用于表單校驗(yàn),高級搜索等。
    發(fā)表于 10-27 15:49

    在舵機(jī)控制上PWM的作用是怎么體現(xiàn)的呢

    PWM是什么?PWM如何通過電壓或者電流的調(diào)節(jié)來實(shí)現(xiàn)轉(zhuǎn)速控制?在舵機(jī)控制上,pwm的作用是怎么體現(xiàn)的呢?
    發(fā)表于 08-23 07:13

    如何使用QTIMER模塊來實(shí)現(xiàn)正交解碼

    RT1064之ADC例程Ps:本例程主要作用是,展示如何使用QTIMER模塊來實(shí)現(xiàn)正交解碼。主板為:逐飛RT1064 + 母板
    發(fā)表于 11-23 06:02

    初識 Python 正則表達(dá)式

    的結(jié)果如下:是否含有“兩點(diǎn)水”這個字符串:True是否含有“兩點(diǎn)水”這個字符串:True那么,如果使用正則表達(dá)式呢?剛剛提到過,Python 給我們提供了 re 模塊來實(shí)現(xiàn)正則表達(dá)式的所有功能,那么我們先
    發(fā)表于 03-17 16:44

    dropout正則化技術(shù)介紹

    dropout技術(shù)是神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)模型的一種簡單而有效的正則化方式。 本文將向你介紹dropout正則化技術(shù),并且教你如何在Keras中用Python將其應(yīng)用于你的模型。 讀完本文
    發(fā)表于 10-10 10:38 ?2次下載

    加權(quán)正則文法語言

    正則文法是研究自動機(jī)的重要工具。引入取值于賦值幺半群的加權(quán)正則文法、加權(quán)類正則文法的定義,討論了賦值幺半群上加權(quán)正則文法、加權(quán)類正則文法和加
    發(fā)表于 11-28 16:52 ?0次下載

    【連載】深度學(xué)習(xí)筆記5:正則化與dropout

    ,這種外層的正則化起到了防止過擬合的作用。????? 所以說,總體而言,dropout 的功能類似于 L2 正則化,但又有所區(qū)別。另外需要注意的一點(diǎn)是,對于一個多層的神經(jīng)網(wǎng)絡(luò),我們的
    的頭像 發(fā)表于 08-20 12:47 ?3298次閱讀

    深度學(xué)習(xí)筆記5:正則化與dropout

    ,這種外層的正則化起到了防止過擬合的作用。????? 所以說,總體而言,dropout 的功能類似于 L2 正則化,但又有所區(qū)別。另外需要注意的一點(diǎn)是,對于一個多層的神經(jīng)網(wǎng)絡(luò),我們的
    的頭像 發(fā)表于 08-24 18:31 ?3914次閱讀

    UPIoT的主要作用和價值體現(xiàn)

    基于此,本文探討了 UPIoT 的主要作用和價值體現(xiàn),分析了物聯(lián)網(wǎng)技術(shù)在發(fā)電、輸電、變電、配電和用電 5 個環(huán)節(jié)中的已有基礎(chǔ),闡述了未來透明電網(wǎng)和零邊際成本電網(wǎng)的概念、內(nèi)涵和發(fā)展趨勢。最后,本文提出了 UPIoT 的若干技術(shù)挑戰(zhàn)。
    的頭像 發(fā)表于 01-06 14:02 ?4106次閱讀

    Python正則表達(dá)式指南

    本文介紹了Python對于正則表達(dá)式的支持,包括正則表達(dá)式基礎(chǔ)以及Python正則表達(dá)式標(biāo)準(zhǔn)庫的完整介紹及使用示例。本文的內(nèi)容不包括如何編寫高效的正則表達(dá)式、如何優(yōu)化
    發(fā)表于 03-26 09:13 ?10次下載
    Python<b class='flag-5'>正則</b>表達(dá)式指南

    python正則表達(dá)式中的常用函數(shù)

    編譯正則表達(dá)式模式,返回一個正則對象的模式。(可以把那些常用的正則表達(dá)式編譯成正則表達(dá)式對象,這樣可以提高一點(diǎn)效率。)
    的頭像 發(fā)表于 03-18 16:12 ?1848次閱讀
    百家乐赢足球博彩皇冠| 娱乐城注册送18体验金| 百家乐官网赌神| 真让百家乐游戏开户| 顶级赌场真假的微博| 百家乐官网送现金200| 二八杠游戏平台| 百家乐官网封号| 百家乐麻将筹码币| 网上赌博游戏| 做生意的十大风水禁忌| 香港六合彩官方网站| 百家乐官网平注秘籍| 顶级赌场真假的微博| 风水24山| 博彩qq群| 百家乐网站是多少| 在线百家乐官网有些一| 网上赌百家乐正规吗| 百家乐官网游戏分析| 网上的百家乐是假的吗| 百家乐官网高手qq| 电子百家乐打法| 网络百家乐官网的信誉| 百家乐群shozo| 澳门百家乐官网网上赌博| 大发888娱乐城送58| 百家乐官网园选蒙| 伊春市| 基础百家乐的玩法技巧和规则| k7百家乐官网最小投注| 太阳城论坛| 百家乐官网如何抽千| 真人轮盘游戏| 百家乐在线赌场| 百家乐官网扑克多少张| 大发888下载专区| 汇丰百家乐官网娱乐城| 华宝娱乐城| 百家乐娱乐网代理佣金| 百家乐官网园云鼎娱乐平台 |