吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

能快速找到代碼運行最慢部分的編程神器

Linux愛好者 ? 來源:Python七號 ? 作者:somenzz ? 2021-10-13 16:40 ? 次閱讀

天下武功,唯快不破。

編程也不例外,你的代碼跑的快,你能快速找出代碼慢的原因,你的碼功就高。

今天分享一個超級實用的 Python 性能分析工具 pyinstrument ,可以快速找到代碼運行最慢的部分,幫助提高代碼的性能。支持 Python 3.7+ 且能夠分析異步代碼,僅需一條命令即可顯示具體代碼的耗時。經常寫 Python 的小伙伴一定要用一下。

安裝

pipinstallpyinstrument

簡單的使用

在程序的開始,啟動 pyinstrument 的 Profiler,結束時關閉 Profiler 并打印分析結果如下:

frompyinstrumentimportProfiler

profiler=Profiler()
profiler.start()

#這里是你要分析的代碼

profiler.stop()

profiler.print()

比如這段代碼 123.py,我們可以清楚的看到是列表推導式比較慢:

frompyinstrumentimportProfiler

profiler=Profiler()
profiler.start()

#這里是你要分析的代碼
a=[iforiinrange(100000)]
b=(iforiinrange(100000))

profiler.stop()
profiler.print()

上述分析需要修改源代碼,如果你使用命令行工具,就不需要修改源代碼,只需要執行 pyinstrument xxxx.py 即可:

比如有這樣一段排序的程序 c_sort.py:

importsys
importtime

importnumpyasnp

arr=np.random.randint(0,10,10)

defslow_key(el):
time.sleep(0.01)
returnel

arr=list(arr)

foriinrange(10):
arr.sort(key=slow_key)

print(arr)

這段代碼里面故意放了一句 time.sleep(0.01) 來延遲性能,看看 pyinstrument 能否識別,命令行執行 pyinstrument c_sort.py:

從結果來看,程序運行了 1.313 秒,而 sleep 就運行了 1.219 秒,很明顯是瓶頸,現在我們把它刪除,再看看結果:

刪除之后,性能最慢的就是 numpy 模塊的初始化代碼 __init__.py了,不過這些代碼不是自己寫的,而且并不是特別慢,就不需要去關心了。

分析 Flask 代碼

Web 應用也可以使用這個來找出性能瓶頸,比如 flask,只需要在請求之前記錄時間,在請求之后統計時間,只需要在 flask 的請求攔截器里面這樣寫:

fromflaskimportFlask,g,make_response,request
app=Flask(__name__)

@app.before_request
defbefore_request():
if"profile"inrequest.args:
g.profiler=Profiler()
g.profiler.start()

@app.after_request
defafter_request(response):
ifnothasattr(g,"profiler"):
returnresponse
g.profiler.stop()
output_html=g.profiler.output_html()
returnmake_response(output_html)

假如有這樣一個 API:

@app.route("/dosomething")
defdo_something():
importrequests
requests.get("http://google.com")
return"Googlesayshello!"

為了測試這個 API 的瓶頸,我們可以在 url 上加一個參數 profile 就可以:http://127.0.0.1:5000/dosomething?profile,哪一行代碼執行比較慢,結果清晰可見:

分析 Django 代碼

分析 Django 代碼也非常簡單,只需要在 Django 的配置文件的 MIDDLEWARE 中添加

"pyinstrument.middleware.ProfilerMiddleware",

然后就可以在 url 上加一個參數 profile 就可以:

如果你不希望所有人都能看到,只希望管理員可以看到,settings.py 可以添加這樣的代碼:

defcustom_show_pyinstrument(request):
returnrequest.user.is_superuser

PYINSTRUMENT_SHOW_CALLBACK="%s.custom_show_pyinstrument"%__name__

如果不想通過 url 后面加參數的方式查看性能分析,可以在 settings.py 文件中添加:

PYINSTRUMENT_PROFILE_DIR='profiles'

這樣,每次訪問一次 Django 接口,就會將分析結果以 html 文件形式保存在 項目目錄下的 profiles 文件夾中。

分析異步代碼

簡單的異步代碼分析:

async_example_simple.py:

importasyncio

frompyinstrumentimportProfiler

asyncdefmain():
p=Profiler()
withp:
print("Hello...")
awaitasyncio.sleep(1)
print("...World!")
p.print()

asyncio.run(main())

復雜一些的異步代碼分析:

importasyncio
importtime

importpyinstrument

defdo_nothing():
pass

defbusy_wait(duration):
end_time=time.time()+duration

whiletime.time()ifprofile:
p=pyinstrument.Profiler()
p.start()

busy_wait(0.1)
sleep_start=time.time()
awaitasyncio.sleep(when)
print(f"sleptfor{time.time()-sleep_start:.3f}seconds")
busy_wait(0.1)

print(what)
ifprofile:
p.stop()
p.print(show_all=True)

loop=asyncio.get_event_loop()

loop.create_task(say("firsthello",2,profile=True))
loop.create_task(say("secondhello",1,profile=True))
loop.create_task(say("thirdhello",3,profile=True))

loop.run_forever()
loop.close()

工作原理

Pyinstrument 每 1ms 中斷一次程序,并在該點記錄整個堆棧。它使用 C 擴展名和 PyEval_SetProfile 來做到這一點,但只每 1 毫秒讀取一次讀數。你可能覺得報告的樣本數量有點少,但別擔心,它不會降低準確性。默認間隔 1ms 是記錄堆棧幀的下限,但如果在單個函數調用中花費了很長時間,則會在該調用結束時進行記錄。如此有效地將這些樣本“打包”并在最后記錄。

Pyinstrument 是一個統計分析器,并不跟蹤,它不會跟蹤您的程序進行的每個函數調用。相反,它每 1 毫秒記錄一次調用堆棧。與其他分析器相比,統計分析器的開銷比跟蹤分析器低得多。

比如說,我想弄清楚為什么 Django 中的 Web 請求很慢。如果我使用 cProfile,我可能會得到這個:

151940functioncalls(147672primitivecalls)in1.696seconds

Orderedby:cumulativetime

ncallstottimepercallcumtimepercallfilename:lineno(function)
10.0000.0001.6961.696profile:0(at0x1053d6a30,file"./manage.py",line2>)
10.0010.0011.6931.693manage.py:2()
10.0000.0001.5861.586__init__.py:394(execute_from_command_line)
10.0000.0001.5861.586__init__.py:350(execute)
10.0000.0001.1421.142__init__.py:254(fetch_command)
430.0130.0001.1240.026__init__.py:1()
3880.0080.0001.0620.003re.py:226(_compile)
1580.0050.0001.0480.007sre_compile.py:496(compile)
10.0010.0011.0421.042__init__.py:78(get_commands)
1530.0010.0001.0360.007re.py:188(compile)
106/1020.0010.0001.0300.010__init__.py:52(__getattr__)
10.0000.0001.0291.029__init__.py:31(_setup)
10.0000.0001.0211.021__init__.py:57(_configure_logging)
20.0020.0011.0110.505log.py:1()

看完是不是還是一臉懵逼,通常很難理解您自己的代碼如何與這些跟蹤相關聯。Pyinstrument 記錄整個堆棧,因此跟蹤昂貴的調用要容易得多。它還默認隱藏庫框架,讓您專注于影響性能的應用程序/模塊:

_.___/_______/_Recorded:1435Samples:131
/_//_////_///_/////_'///Duration:3.131CPUtime:0.195
/_/v3.0.0b3

Program:examples/django_example/manage.pyrunserver--nothreading--noreload

3.131manage.py:2
└─3.118execute_from_command_linedjango/core/management/__init__.py:378
[473frameshidden]django,socketserver,selectors,wsgi...
2.836selectselectors.py:365
0.126_get_responsedjango/core/handlers/base.py:96
└─0.126hello_worlddjango_example/views.py:4

最后的話

本文分享了 pyinstrument 的用法,有了這個性能分析神器,以后優化代碼可以節省很多時間了,這樣的效率神器很值得分享,畢竟人生苦短,能多點時間干點有意思的不香么?

責任編輯:haq


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 編程
    +關注

    關注

    88

    文章

    3637

    瀏覽量

    93981
  • 代碼
    +關注

    關注

    30

    文章

    4825

    瀏覽量

    69043

原文標題:效率神器:快速定位運行最慢的代碼

文章出處:【微信號:LinuxHub,微信公眾號:Linux愛好者】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    電腦相片云存儲位置,如何快速找到電腦相片云存儲位置

    在數字化時代,傳統的電腦已經無法滿足我們對高效、便捷計算的需求。云電腦以其強大的功能和靈活的使用方式,成為了新時代的寵兒。今天就為大家介紹如何快速找到電腦相片云存儲位置。 ? ?在現代辦公和生活中
    的頭像 發表于 01-16 10:44 ?159次閱讀
    電腦相片云存儲位置,如何<b class='flag-5'>快速</b><b class='flag-5'>找到</b>電腦相片云存儲位置

    如何快速入門HAL庫編程 HAL庫與裸機編程的比較

    如何快速入門HAL庫編程快速入門HAL庫編程,可以遵循以下步驟: 了解基礎知識 : 掌握C語言編程基礎,包括變量、數據類型、函數、指針等
    的頭像 發表于 12-02 11:39 ?450次閱讀

    【「倉頡編程快速上手」閱讀體驗】+初步讀后感

    《倉頡編程快速上手》這本書給我留下了深刻的印象。 首先,書籍的排布清晰明了,章節劃分合理,讓人在閱讀過程中能夠輕松地找到所需內容。無論是按照順序閱讀還是選擇性地查閱特定部分,都十分
    發表于 09-10 11:09

    【「倉頡編程快速上手」閱讀體驗】+壹讀后感

    清晰透徹,讓你即使沒有任何編程經驗,也輕松理解。 書中還配備了大量的實例和練習,這使得理論知識不再空洞抽象。通過實際操作這些例子,你可以更好地掌握編程的技巧和方法,快速上手
    發表于 09-06 20:12

    愛普生產品-低抖動溫補可編程晶振

    的晶體振蕩器。由于項目和實驗急迫,怎么才能快速找到合適的晶振呢?很多工程師都遇到過這樣的問題,愛普生可編程晶振滿足快速交付的急切需求。
    發表于 08-09 13:55 ?0次下載

    國內低代碼平臺推薦--萬界星空科技低代碼平臺

    代碼平臺是一種應用程序,它為編程提供圖形用戶界面,從而以極快的速度開發代碼,減少傳統編程工作。 這些工具有助于快速開發
    的頭像 發表于 07-18 15:39 ?358次閱讀
    國內低<b class='flag-5'>代碼</b>平臺推薦--萬界星空科技低<b class='flag-5'>代碼</b>平臺

    運動控制器的代碼運行順序是什么

    組成部分和關鍵步驟。 初始化 運動控制器的代碼運行順序首先從初始化開始。初始化是為控制器設置初始狀態的過程,包括配置輸入/輸出接口、設置寄存器、初始化變量等。初始化的目的是確保控制器在開始執行任務之前處于正確的狀
    的頭像 發表于 06-13 09:25 ?538次閱讀

    模擬運行代碼時間和實際運行代碼時間非常不同是什么原因導致的?

    ! 模擬運行代碼時間和實際運行代碼時間非常不同! 那我到底是應該信任哪一個時間呢? 下面是我的代碼: Below is my ISR
    發表于 05-17 14:52

    stm32cubeIDE代碼運行時間如何查看?

    stm32cubeIDE 代碼運行時間,如何查看?就如 keil 調試時候那樣,可以測試代碼運行時間。但是在stm32cubeIDE 中,一直沒有
    發表于 04-16 08:10

    愛普生的低抖動溫補可編程晶振

    由于項目和實驗急迫,怎么才能快速找到合適的晶振呢?很多工程師都遇到過這樣的問題,愛普生可編程晶振滿足快速交付的急切需求。愛普生應對急迫的市
    發表于 04-08 14:27 ?0次下載

    STM32G070RB部分代碼運行是什么原因導致的?

    STM32G070RB 部分代碼運行 主循環代碼運行一會就不運行了,但定時器、串口都正常在工作
    發表于 04-02 06:55

    請問STM32IDE如何設定代碼到ITCM中運行

    近期使用STM32MUX生成STM32IDE的代碼(MCU是STM32H743),目前希望可以將部分代碼定位到ITCM中運行,加快處理速度,關于代碼
    發表于 03-26 06:08

    關于STM8S字長度問題和自動快速字節編程問題求解

    (1)字長度問題:RM0016文檔 字編程部分介紹1字=4字節,PM0044介紹1字=2字節 (例如LDW指令),因此這兩個文檔不是矛盾嗎? (2)自動快速字節編程問題:上文字節
    發表于 03-14 08:24

    在數控編程中,g代碼的作用是什么

    在數控編程中,G代碼是一種用于控制數控機床運動和功能的編程語言。它是數控加工過程中的重要組成部分,通過編寫G代碼,人們可以靈活地控制數控機床
    的頭像 發表于 02-14 15:53 ?1625次閱讀

    數控編程的g功能代碼是什么

    數控編程中,G代碼(也稱為指令代碼)是一種用于控制數控機床運動、輔助功能和工作過程的指令。在數控編程中,通過一系列的G代碼指令的組合和排列,
    的頭像 發表于 02-14 15:51 ?4360次閱讀
    上海德州扑克俱乐部| 皇冠百家乐官网在线游戏| 真钱德州扑克| 来博| 凌源市| 百家乐官网视频二人麻将| 澳门百家乐官网网址多少| 衡阳市| 百家乐官网必赢法软件| 百家乐官网公式论坛| 天天百家乐官网的玩法技巧和规则| 黄浦区| 真人百家乐官网视频赌博| 百家乐官网游戏程序下载| 百家乐官网合法| 中国百家乐官网技巧软件| 为什么百家乐官网玩家越来越多选择网上百家乐官网 | 金球国际娱乐城| 大佬百家乐官网现金网| 百家乐官网赌场大全| 澳门赌百家乐官网的玩法技巧和规则 | 百家乐官网赔率技巧| 百家乐官网二人视频麻将| 百家乐官网首页红利| 百家乐游戏机子| 大三巴百家乐的玩法技巧和规则| 百家乐赌场合作| 大发888合营商| 澳门百家乐官网公司| 百家乐官网双龙| 百家乐电脑上怎么赌| 路单百家乐的玩法技巧和规则| 百家乐赌场详解| 太阳城娱乐总站| 网上百家乐官网优博| 澳门百家乐官网玩法心得技巧 | 澳门百家乐海星王| 至尊百家乐娱乐| 娱乐城注册送奖金| 百家乐官网高手看百家乐官网| 鲨鱼百家乐官网游戏平台|