吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

用epoll來實現多路復用

科技綠洲 ? 來源:Linux開發架構之路 ? 作者:Linux開發架構之路 ? 2023-11-09 10:15 ? 次閱讀

本人用epoll來實現多路復用,epoll觸發模式有兩種:

  • ET(邊緣模式)
  • LT(水平模式)

LT模式

是標準模式,意味著每次epoll_wait()返回后,事件處理后,如果之后還有數據,會不斷觸發,也就是說,一個套接字上一次完整的數據,epoll_wait()可能會返回多次,直到沒有數據為止。

ET模式

也稱高效模式,有數據過來后,epoll_wait()會返回一次,一段時間內,該套接字就算有數據源源不斷地過來,epoll_wait()也不會返回了。這里注意,是一段時間,不代表這個套接字上有數據就只觸發一次。時間過長,還是會返回多次的。比如我寫FTP用了epoll+多線程,但是每次套接字上有信息就開線程處理,同一時間內希望一個套接字只被一個線程持有,但是因為文件傳輸時間過長,就算使用ET模式,套接字還是會返回多次。這里要特別強調一個參數EPOLLONESHOT,如果要保證套接字同一時段只被一個線程處理,必須加上。解決方案:給accept()后的套接字加上參數EPOLLONESHOT,線程結束后處理完之后,再重置EPOLLONESHOT屬性,但是,千萬不可以給listen()后的監聽套接字設置此屬性,這會造成同一時刻只能處理一個連接的情況。

深入理解EPOLLONESHOT事件

即使使用ET模式,一個socket上的某個事件還是可能被觸發多次,這是跟數據報的大小有關系,常見的情景就是一個線程,而在數據的處理過程中該socket上又有新數據可讀(EPOLLIN再次被觸發),此時另外一個線程被喚醒處理這些新的數據,于是出現了兩個線程同時操作一個socket,為了避免這種情況,就可以采用epoll的EPOLLONESPOT事件。同時要注意,注冊了EPOLLONESHOT事件的socket一旦被某個線程處理完畢,該線程就應該立即重置這個socket的EPOLLONESHOT的事件,以確保這個socket下次可讀時,其EPOLLIN事件被觸發,進而讓其他的工作線程有機會繼續處理這個socket。

網絡事件EAGIN

在一個非阻塞的socket上調用read/write函數, 返回EAGAIN或者EWOULDBLOCK(注: EAGAIN就是EWOULDBLOCK)從字面上看, 意思是:EAGAIN: 再試一次,EWOULDBLOCK: 如果這是一個阻塞socket, 操作將被block,perror輸出: Resource temporarily unavailable.

小結:

這個錯誤表示資源暫時不夠,能read時,讀緩沖區沒有數據,或者write時,寫緩沖區滿了。遇到這種情況,如果是阻塞socket,read/write就要阻塞掉。而如果是非阻塞socket,read/write立即返回-1, 同時errno設置為EAGAIN。所以,對于阻塞socket,read/write返回-1代表網絡出錯了。但對于非阻塞socket,read/write返回-1不一定網絡真的出錯了。可能是Resource temporarily unavailable。這時你應該再試,直到Resource available。

EAGAIN: 再試一次,EWOULDBLOCK: 如果這是一個阻塞socket, 操作將被block,perror輸出: Resource temporarily unavailable。這個錯誤表示資源暫時不夠,能read時,讀緩沖區沒有數據,或者write時,寫緩沖區滿了。遇到這種情況,如果是阻塞socket,read/write就要阻塞掉。而如果是非阻塞socket,read/write立即返回-1, 同時errno設置為EAGAIN。所以,對于阻塞socket,read/write返回-1代表網絡出錯了。但對于非阻塞socket,read/write返回-1不一定網絡真的出錯了。可能是Resource temporarily unavailable。這時你應該再試,直到Resource available。

綜上,對于non-blocking的socket,正確的讀寫操作為: 讀:忽略掉errno = EAGAIN的錯誤,下次繼續讀 寫:忽略掉errno = EAGAIN的錯誤,下次繼續寫

對于select和epoll的LT模式,這種讀寫方式是沒有問題的。但對于epoll的ET模式,這種方式還有漏洞。

epoll的兩種模式LT和ET

二者的差異在于level-trigger模式下只要某個socket處于readable/writable狀態,無論什么時候進行epoll_wait都會返回該socket;而edge-trigger模式下只有某個socket從unreadable變為readable或從unwritable變為writable時,epoll_wait才會返回該socket。如下兩個示意圖:

從socket讀數據:

圖片

從socket寫數據:

圖片

所以,在epoll的ET模式下,正確的讀寫方式為:

讀:只要可讀,就一直讀,直到返回0,或者 errno = EAGAIN 寫:只要可寫,就一直寫,直到數據發送完,或者 errno = EAGAIN。

正確的讀:

n = 0;
while ((nread = read(fd, buf + n, BUFSIZ-1)) > 0) {
if (nread == -1 && errno != EAGAIN)
{
perror("read error");
}
n += nread;
}

正確的寫:

int nwrite, data_size = strlen(buf);
n = data_size;
while (n > 0)
{
nwrite = write(fd, buf + data_size - n, n);
if (nwrite < n)
{
if (nwrite == -1 && errno != EAGAIN)
{
perror("write error");
}
break;
}
n -= nwrite;
}

accept上的問題

  • 阻塞模式 accept 存在的問題

考慮這種情況:TCP連接被客戶端夭折,即在服務器調用accept之前,客戶端主動發送RST終止連接,導致剛剛建立的連接從就緒隊列中移出,如果套接口被設置成阻塞模式,服務器就會一直阻塞在accept調用上,直到其他某個客戶建立一個新的連接為止。但是在此期間,服務器單純地阻塞在accept調用上,就緒隊列中的其他描述符都得不到處理。

解決方案:把監聽套接口設置為非阻塞,當客戶在服務器調用accept之前中止某個連接時,accept調用可以立即返回-1,這時源自Berkeley的實現會在內核中處理該事件,并不會將該事件通知給epoll,而其他實現把errno設置為ECONNABORTED或者EPROTO錯誤,我們應該忽略這兩個錯誤。

  • ET模式下accept存在的問題。

考慮這種情況:多個連接同時到達,服務器的TCP就緒隊列瞬間積累多個就緒連接,由于是邊緣觸發模式,epoll只會通知一次,accept只處理一個連接,導致TCP就緒隊列中剩下的連接都得不到處理。

解決辦法是用while循環抱住accept調用,處理完TCP就緒隊列中的所有連接后再退出循環。如何知道是否處理完就緒隊列中的所有連接呢?accept返回-1并且errno設置為EAGAIN就表示所有連接都處理完。

綜合以上兩種情況,服務器應該使用非阻塞地accept,accept在ET模式下的正確使用方式為:

while ((conn_sock = accept(listenfd,(struct sockaddr *) &remote, (size_t *)&addrlen)) > 0)
{
handle_client(conn_sock);
}
if (conn_sock == -1)
{
if (errno != EAGAIN && errno != ECONNABORTED && errno != EPROTO && errno != EINTR)
perror("accept");
}

一道騰訊后臺開發的面試題:

使用Linux epoll模型,水平觸發模式;當socket可寫時,會不停的觸發socket可寫的事件,如何處理?

第一種最普遍的方式:

需要向socket寫數據的時候才把socket加入epoll,等待可寫事件。接受到可寫事件后,調用write或者send發送數據。當所有數據都寫完后,把socket移出epoll。

這種方式的缺點是,即使發送很少的數據,也要把socket加入epoll,寫完后在移出epoll,有一定操作代價。

第二種的方式:

開始不把socket加入epoll,需要向socket寫數據的時候,直接調用write或者send發送數據。如果返回EAGAIN,把socket加入epoll,在epoll的驅動下寫數據,全部數據發送完畢后,再移出epoll。這種方式的優點是:數據不多的時候可以避免epoll的事件處理,提高效率。

我自己代碼的問題

因為我之前才用的是非阻塞ET模式,這樣我在發送緩沖數據的數據,會出現EAGAIN的問題。這個問題并不可怕,最可怕的是會發生,因為上面已經有方法解決。為了看起來方便我這邊再拷貝一份。但是我源代碼采用的writev源代碼下載地址614行進行發送,根本無法才采用下面的方法。

int nwrite, data_size = strlen(buf);
n = data_size;
while (n > 0)
{
nwrite = write(fd, buf + data_size - n, n);
if (nwrite < n)
{
if (nwrite == -1 && errno != EAGAIN)
{
perror("write error");
}
break;
}
n -= nwrite;
}

我的解決方法采用阻塞寫,這個方法很好的解決上面的問題:對于非阻塞的TCP套接字,如果緩沖區根本就沒空間,則返回一個EWOULDBLOCK錯誤。如果緩沖區有一些空間,返回值是內核能夠復制到該緩沖區的字節數。這個字節數也叫作不足計數.。詳細見我上述連接的代碼文件。

在讀取緩沖區也是這樣。也是采用阻塞進行讀取,這樣做,雖然降低并發性,但是為了準確處理數據。

總結

ET模式下:

如果read返回0,那么說明已經接受所有數據 如果errno=EAGAIN,說明還有數據未接收,等待下一次通知 如果read返回-1,說明發生錯誤,停止處理

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 數據
    +關注

    關注

    8

    文章

    7145

    瀏覽量

    89591
  • 緩沖
    +關注

    關注

    0

    文章

    53

    瀏覽量

    17863
  • 線程
    +關注

    關注

    0

    文章

    505

    瀏覽量

    19758
  • epoll
    +關注

    關注

    0

    文章

    28

    瀏覽量

    2985
收藏 人收藏

    評論

    相關推薦

    #硬聲創作季 網絡協議:多路復用EPOLL的面試題

    網絡協議復用多路復用多路復用網絡系統
    Mr_haohao
    發布于 :2022年10月16日 12:47:22

    [6.4.1]--多路復用

    多路復用數字邏輯
    李開鴻
    發布于 :2022年11月13日 01:18:45

    時鐘信號切換可以多路復用開關嗎

    FPGA設計,外部時鐘有兩個,切換時可以多路復用開關實現
    發表于 06-27 22:17

    如何在Mx1051的FlexCAN1中配置簡單信號多路復用和擴展信號多路復用

    我們正在研究 FlexCAN1 的 mxrt1051。我們是第一次在 FlexCAN 上工作,請協助以下幾點: - 如何在 Mx1051 的 FlexCAN1 中配置簡單信號多路復用和擴展信號
    發表于 05-05 11:05

    多路復用與數字復接

    多路復用與數字復接8.1 頻分多路復用(FDM)原理8.2 時分多路復用(TDM)原理8.3 準同步數字體系(PDH) 8.4 同步數字體系(SDH)  
    發表于 10-22 13:26 ?0次下載

    多路復用技術

    2.3  多路復用技術2.3.1  頻分多路復用2.3.2  時分多路復用2.3.3  波分多路復用2.3.4  碼分
    發表于 06-27 21:46 ?0次下載

    基于CPLD的非多路復用多路復用總線轉換橋的設計與實現

    基于CPLD的非多路復用多路復用總線轉換橋的設計與實現 微處理器對外并行總線接口方式一般分為兩種,一種為多路復用方式,數據與地址采用共用引腳,分時傳輸;另一
    發表于 03-28 15:08 ?864次閱讀
    基于CPLD的非<b class='flag-5'>多路復用</b>與<b class='flag-5'>多路復用</b>總線轉換橋的設計與<b class='flag-5'>實現</b>

    多路復用多路復用總線轉換橋的設計與實現

    多路復用多路復用總線轉換橋的設計與實現 提出了一種新穎的非多路復用總線與多路復用總線的轉換接口電路。以兩種總線的典型代表芯片TMS
    發表于 03-28 15:14 ?971次閱讀
    非<b class='flag-5'>多路復用</b>與<b class='flag-5'>多路復用</b>總線轉換橋的設計與<b class='flag-5'>實現</b>

    多路復用多路復用總線轉換橋的設計與實現

    摘要:提出了一種新穎的非多路復用總線與多路復用總線的轉換接口電路。以兩種總線的典型代表芯片TMS320F206與SJA1000為例,分
    發表于 06-20 13:20 ?823次閱讀
    非<b class='flag-5'>多路復用</b>與<b class='flag-5'>多路復用</b>總線轉換橋的設計與<b class='flag-5'>實現</b>

    復用器的多路復用

    復用器的多路復用  多路復用
    發表于 01-07 14:27 ?1201次閱讀

    時分多路復用(TDM),時分多路復用(TDM)的原理是什么?

    時分多路復用(TDM),時分多路復用(TDM)的原理是什么?  為了提高信道利用率,使多個信號沿同一信道傳輸而互相不干擾,稱
    發表于 03-19 14:07 ?1w次閱讀

    什么是異步時分多路復用(ATDM)

    什么是異步時分多路復用(ATDM) 異步時分多路復用技術 (ATDM,Asynchronism Time-Division Multiplexing)
    發表于 04-03 15:25 ?1949次閱讀

    時分多路復用(TDM),時分多路復用(TDM)是什么意思

    時分多路復用(TDM),時分多路復用(TDM)是什么意思 這種方法是把傳輸信道按時間分割,為每個用戶指定一個時間間隔,每個間隔里傳輸信號
    發表于 04-03 15:28 ?5981次閱讀

    IO多路復用基本概念

    一、IO多路復用基本概念 select、poll、epoll都是IO多路復用的機制。IO多路復用就是通過一種機制,讓一個進程/線程可以監視多個描述符,一旦某個描述符就緒(一般是讀寫就緒
    的頭像 發表于 11-10 16:34 ?1547次閱讀
    IO<b class='flag-5'>多路復用</b>基本概念

    頻分多路復用和時分多路復用的區別有哪些

    頻分多路復用(FDM)和時分多路復用(TDM)是兩種主要的多路復用技術,它們在通信系統中扮演著至關重要的角色。
    的頭像 發表于 05-07 15:24 ?3209次閱讀
    澳门百家乐娱乐场| 搓牌百家乐技巧| 德州扑克顺子| 百家乐官网西园出售| 百家乐扑克桌| 皇冠百家乐| 做生意摆放龙龟方向| 百家乐看澳门| 大新县| 百家乐怎么压对子| 香港六合彩号码| 互联网百家乐官网的玩法技巧和规则| 百家乐博赌场娱乐网规则| 鸡泽县| 澳门百家乐博客| 德保县| 百家乐公式书| 百家乐官网无敌直缆| 平台百家乐的区别| 阜南县| 豪华百家乐人桌| 百家乐官网玩法既规则| 百家乐走势图解| 百家乐官网视频二人雀神| 互联网百家乐的玩法技巧和规则| 天地人百家乐官网现金网| 新加坡百家乐的玩法技巧和规则| 百家乐官网最新赌王| 太原百家乐招聘| 百家乐官网mediacorp| 威尼斯人娱乐城官方地址| 百家乐官网哪条路准| 大发888娱乐场下载专区| 百家乐官网公式软件| 水果机遥控器多少钱| 哪家百家乐官网最好| 998棋牌游戏| 百家乐出庄概率| 澳门百家乐官网加盟| 自贡百家乐娱乐场开户注册| 百家乐官网赢家电子书|