吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何讓Python和Go互相調(diào)度

科技綠洲 ? 來源:Python實用寶典 ? 作者:Python實用寶典 ? 2023-11-02 11:24 ? 次閱讀

我們曾經(jīng)研究過如何讓Python和Go互相調(diào)度,當(dāng)時發(fā)現(xiàn),將Go語言寫的模塊打包成動態(tài)鏈接庫,就能在Python中進行調(diào)度:

優(yōu)劣互補! Python+Go結(jié)合開發(fā)的探討

Go的優(yōu)勢很明顯,從1億減到1,在我的設(shè)備上測試,用Go運行只需要50ms,Python可能需要接近100倍的時間。

但是,這種寫法也有缺點:實在太麻煩了,大大增加了整個項目的耦合性。

那Python中有沒有辦法不通過打包成動態(tài)鏈接庫的方法,用Python調(diào)度Go的任務(wù)呢?答案是Go celery.

https://github.com/gocelery/gocelery

我們可以用Go寫一個計算密集型任務(wù)的Worker,然后用Python的Celery beat來調(diào)度這個Worker,下面給大家演示一下:

1.編寫Go Worker

最好是將計算密集型的任務(wù)改造成Go語言版的,這樣收益才能最大化。

比如這里,我使用的是上回從1億減到1的老梗。

PS,別被下面這段代碼嚇到了,其實大部分是可以去掉的配置項,核心代碼就幾行。

圖片

輸入命令:

go run main.go

即可運行該worker

2.編寫Python客戶端

圖片

每5秒調(diào)度一次1億減到1,不過不跑Python worker. 由于Go Worker在運行,這里的minus會被Go Worker消費。

另外請注意,這里的minus函數(shù)實際上只是為了能被識別到而編寫的,其內(nèi)容毫無意義,直接寫個pass都沒問題(因為實際上是Go Worker在消費)。

編寫完后,針對go_tasks模塊啟動beat:

celery -A go_tasks beat

此時,調(diào)度器就會調(diào)度Go Worker執(zhí)行任務(wù):

圖片

圖片

可以看到,我們成功用Python的Celery Beat調(diào)度了Go寫的Worker!可喜可賀。

接下來可以看看如果單純用Python的Worker做這樣的計算是有多耗時:

圖片

啟動worker:

celery worker -A python_tasks -l info --pool=eventlet

啟動beat調(diào)度器:

celery -A python_tasks beat

結(jié)果如下:

圖片

可以看到,Python從1億減到1平均需要5.2秒左右的時間,和Go版相差了100倍左右。

如果我們將調(diào)度器的頻率提高到每秒計算1次,Python版的Worker,其任務(wù)隊列一定會堵塞,因為Worker消費能力不夠強大。相比之下,Go版的Worker可就非常給力了。

因此,如果你的項目中有這種計算密集型的任務(wù),可以嘗試將其提取成Go版本試試,說不定有驚喜呢。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • Go
    Go
    +關(guān)注

    關(guān)注

    0

    文章

    43

    瀏覽量

    12270
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4807

    瀏覽量

    85037
  • Worker
    +關(guān)注

    關(guān)注

    0

    文章

    8

    瀏覽量

    6481
  • 動態(tài)鏈接庫
    +關(guān)注

    關(guān)注

    0

    文章

    11

    瀏覽量

    7077
收藏 人收藏

    評論

    相關(guān)推薦

    Go語言開發(fā)有什么優(yōu)勢?怎么學(xué)?

    。  1. 部署簡單。Go 編譯生成的是一個靜態(tài)可執(zhí)行文件,除了glibc 外沒有其他外部依賴。這部署變得異常方便:目標(biāo)機器上只需要一個基礎(chǔ)的系統(tǒng)和必要的管理、監(jiān)控工具,完全不需要操心應(yīng)用所需的各種包
    發(fā)表于 12-19 16:08

    Go開發(fā)語言的優(yōu)勢在哪里?

    Go語言是谷歌發(fā)布的第二款開源編程語言,可以在不損失應(yīng)用程序性能的情況下降低代碼的復(fù)雜性,并專門針對多處理器系統(tǒng)應(yīng)用程序的編程進行了優(yōu)化,開發(fā)速度極快,可以與C或C++媲美,而且更加安全、支持并行
    發(fā)表于 03-22 15:04

    python2和python3是如何互相切換的

    python2和python3互相切換在本地有兩個Python的版本:默認(rèn)使用Python2.7:可以這樣查看當(dāng)前版本:如果要使用
    發(fā)表于 07-12 07:53

    Python 轉(zhuǎn)向 Go語言的9大原因和3大缺點

    轉(zhuǎn)用一門新語言通常是一項大決策,尤其是當(dāng)你的團隊成員中只有一個使用過它時。今年 Stream 團隊的主要編程語言從 Python 轉(zhuǎn)向了 Go。本文解釋了其背后的九大原因以及如何做好這一轉(zhuǎn)換。
    發(fā)表于 06-17 07:40 ?6835次閱讀

    GoPython,Erlang的語言對比分析和Go編程示例概述

    本文對GoPython、Erlang做了一些有趣的分析對比,相信大家能從中感受到Go語言的強大和與眾不同。
    的頭像 發(fā)表于 07-21 09:52 ?7781次閱讀
    <b class='flag-5'>Go</b>和<b class='flag-5'>Python</b>,Erlang的語言對比分析和<b class='flag-5'>Go</b>編程示例概述

    Go語言其實有很多優(yōu)良特性,很多時候都可以代替Python

    Go 要想撼動編程界的常青樹 Java 二十多年的地位無疑難度頗大。據(jù) HackerRank 數(shù)據(jù)顯示,2018 年,Java 在開發(fā)者最受歡迎的編程語言排行榜中仍然排名第 2,Python 排名第 4,Go 排名第 13,
    的頭像 發(fā)表于 02-13 10:01 ?4769次閱讀

    golang的調(diào)度模型-GPM 模型的源碼結(jié)構(gòu)

    【導(dǎo)讀】GMP 模型是 go 語言輕量快速高效的重要調(diào)度模型,本文從 GMP 源碼出發(fā)直觀地解析了這一模型。 這篇文章就來看看 golang 的調(diào)度模型-GPM 模型的源碼結(jié)構(gòu)。
    的頭像 發(fā)表于 07-06 11:55 ?2253次閱讀

    詳解剖析Go語言調(diào)度模型的設(shè)計

    golang的MPG調(diào)度模型是保障Go語言效率高的一個重要特性,本文詳細(xì)介紹了Go語言調(diào)度模型的設(shè)計。 前言 Please remember that at the end of th
    的頭像 發(fā)表于 07-26 10:12 ?2138次閱讀
    詳解剖析<b class='flag-5'>Go</b>語言<b class='flag-5'>調(diào)度</b>模型的設(shè)計

    go項目怎么docker鏡像體積減小

    【導(dǎo)讀】go 項目怎么 docker 鏡像體積減小?本文做了詳細(xì)介紹。
    的頭像 發(fā)表于 06-12 15:07 ?1464次閱讀

    go項目怎么docker鏡像體積減小

    go 項目怎么 docker 鏡像體積減小?本文做了詳細(xì)介紹。
    的頭像 發(fā)表于 06-23 10:49 ?1228次閱讀

    Go/Rust挑戰(zhàn)Java/Python地位

    編程語言方面,Java 和 Python 仍然遙遙領(lǐng)先,并且分別微小增長了 1.7% 和 3.4%;圍繞 Go (增長 20%) 和 Rust (增長 22%) 的興趣則大幅增加。報告稱,如果這種
    的頭像 發(fā)表于 03-06 10:19 ?734次閱讀

    Schedule:簡單實用的 Python 周期任務(wù)調(diào)度工具

    如果你想在Linux服務(wù)器上周期性地執(zhí)行某個 Python 腳本,最出名的選擇應(yīng)該是 Crontab 腳本,但是 Crontab 具有以下缺點: ** 1.不方便執(zhí)行 秒級的任務(wù)
    的頭像 發(fā)表于 10-30 11:18 ?708次閱讀

    Crontab:簡單實用的Python 周期任務(wù)調(diào)度工具

    如果你想周期性地執(zhí)行某個 Python 腳本,最出名的選擇應(yīng)該是 Crontab 腳本,但是 Crontab 具有以下缺點: 1.不方便執(zhí)行 秒級任務(wù) 。 2.當(dāng)需要執(zhí)行的定時任務(wù)有上百個的時候
    的頭像 發(fā)表于 11-01 09:40 ?802次閱讀

    Go在單線程計算性能上的優(yōu)勢

    ,將計算和保存的過程保存在本地的redis緩存中,然后使用Celery來調(diào)度這些任務(wù)。 問題在于,從這些網(wǎng)址中獲取數(shù)據(jù)的步驟,寫在Go Worker里是否合適?Go進行網(wǎng)絡(luò)請求是否比Pytho
    的頭像 發(fā)表于 11-02 11:16 ?526次閱讀
    <b class='flag-5'>Go</b>在單線程計算性能上的優(yōu)勢

    Go語言比Python強多少

    1.都說Go語言性能非常強大,那么到底比Python強多少? 為了比較Go語言和Python語言在單線程性能上的差距,我們可以做一個簡單實驗,從1億減到1:
    的頭像 發(fā)表于 11-02 14:05 ?611次閱讀
    <b class='flag-5'>Go</b>語言比<b class='flag-5'>Python</b>強多少
    威盈| 全南县| 水果老虎机的程序| 大发888线上娱乐城二十一点| 大发888的促销代码| 百家乐官网硬币打法| 大发888娱乐城登陆| 百家乐软件辅助器| 大发888棋牌乐城下载| 月华百家乐官网的玩法技巧和规则 | 博彩机| 属狗与属龙做生意好吗| 南京百家乐电| 百家乐官网游戏开发技术| 做生意什么花招财| 明溪县| 百家乐赢一注| 木棉百家乐官网网络| 海王星百家乐官网的玩法技巧和规则 | 广东百家乐官网网| 大发888大发娱乐场| 澳门百家乐官网路单怎么看| 百家乐棋牌交| 大发888大发娱乐城| 保险百家乐怎么玩| 百家乐官网在线直播| 风水24山代表什么意思| 澳门百家乐官网娱乐城送体验金| 罗盘24山度数| 百家乐官网2号干扰| 大发888真钱官网| 盈丰娱乐场| 土豪百家乐的玩法技巧和规则 | 申博娱乐城开户| 百家乐网络公式| 百家乐官网连黑记录| 大发888官方 hplsj| 百家乐最好投注法是怎样的去哪儿能了解一下啊 | 霍城县| 南京百家乐电| 大发888娱乐城注册送筹码|