吴忠躺衫网络科技有限公司

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

如何在python代碼中使用HTTP代理IP

華益云HTTP爬蟲(chóng)IP ? 來(lái)源:華益云HTTP爬蟲(chóng)IP ? 作者:華益云HTTP爬蟲(chóng)IP ? 2022-08-04 15:46 ? 次閱讀

如何在python代碼中使用HTTP代理IP。

以下代碼主要圍繞第一次接觸HTTP代理IP的python新手來(lái)寫(xiě)。(步驟注釋清晰)

直接把下面示例代碼中的HTTP代理API,替換成你后臺(tái)生成的代理API鏈接,就可以跑起來(lái)了。

以下是一個(gè)示例代碼,只是一個(gè)基礎(chǔ)的演示,具體的代碼還是要根據(jù)你業(yè)務(wù)的實(shí)際情況去寫(xiě)的。

示例代碼中的HTTP代理IP,我使用的是華益云的HTTP代理,注冊(cè)就送1萬(wàn)個(gè)高匿爬蟲(chóng)IP,有效期是一年,對(duì)于調(diào)試代碼來(lái)說(shuō)這個(gè)時(shí)間是非常的友好。(步驟注釋清晰)

華益云-企業(yè)級(jí)HTTP爬蟲(chóng)代理IP供應(yīng)商-點(diǎn)我免費(fèi)領(lǐng)取示例代碼demo中同款10000個(gè)高匿IP

打開(kāi)代理API,獲取里面的IP,使用IP訪問(wèn)目標(biāo)網(wǎng)站,其實(shí)代碼中就是執(zhí)行這個(gè)過(guò)程而已,然后加了幾個(gè)錯(cuò)誤判斷有助于代碼的穩(wěn)定運(yùn)行。(步驟注釋清晰)

# 需要安裝此依賴
# pip install requests
import requests

def main():
    # 發(fā)送給服務(wù)器的標(biāo)識(shí)
    userAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/532.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36"
    # 代理api(這里我推薦使用www.9vps.com華益云HTTP代理的API,注冊(cè)就送1萬(wàn)IP)
    proxyUrl = "http://http.9vps.com/getip.asp?username=166xxxx6597&pwd=xxxxbaa59ce237dff65134984b9cxxxx&geshi=1&fenge=1&fengefu=&Contenttype=1&getnum=20&setcity=&operate=all&"
    # 請(qǐng)求代理url,獲取代理ip 
    outPutProxy = getProxy(proxyUrl, userAgent)
    if len(outPutProxy)==0:
        # 沒(méi)有獲取到代理
        return
    
    # 目標(biāo)請(qǐng)求網(wǎng)站
    url = "https://www.qq.com/"
    content = None
    for _ in range(0, 3):
        # 最多嘗試三次
        try:
            # 從列表中取出一個(gè)代理出來(lái)
            px = outPutProxy.pop(0)
            proxy = {
                "http": "http://"+px,
                "https": "http://"+px
            }
            content = requestGet(url, userAgent, proxy)
            break
        except Exception as e:
            print(e)
            if (len(outPutProxy) == 0):
                # 如果發(fā)現(xiàn)沒(méi)有代理了,就去獲取下。
                outPutProxy = getProxy(proxyUrl, userAgent)
    
    print(content)
def getProxy(proxyUrl, userAgent):
    proxyIps=""
    outPutProxy = []
    try:
        proxyIps = requestGet(proxyUrl, userAgent, None)
        print(proxyIps)
        # {"code":3002,"data":[],"msg":"error!用戶名或密碼錯(cuò)誤","success":false}
        if "{" in proxyIps:
            raise Exception("[錯(cuò)誤]"+proxyIps)
        outPutProxy = proxyIps.split("\n")
        
    except Exception as e:
        print(e)
    print("總共獲取了"+str(len(outPutProxy))+"個(gè)代理")
    return outPutProxy

def requestGet(url, userAgent, proxy):
    headers = {
        "User-Agent": userAgent
    }
    response = None
    if (proxy):
        # 有代理的時(shí)候走這個(gè)
        response = requests.get(url, headers=headers, timeout=5, proxies=proxy) 
    else:
        # 沒(méi)有代理走這個(gè)
        response = requests.get(url, headers=headers, timeout=5)
    # 設(shè)置編碼,防止亂碼
    # requests 庫(kù)會(huì)幫我們自動(dòng)分析這個(gè)網(wǎng)頁(yè)的字符編碼
    response.encoding = response.apparent_encoding
    return response.text

main()

或者直接百度搜索:華益云HTTP代理

審核編輯:湯梓紅

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • HTTP
    +關(guān)注

    關(guān)注

    0

    文章

    511

    瀏覽量

    31518
  • 代碼
    +關(guān)注

    關(guān)注

    30

    文章

    4825

    瀏覽量

    69044
  • python
    +關(guān)注

    關(guān)注

    56

    文章

    4807

    瀏覽量

    85037
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    何在java代碼中使HTTP代理IP

    何在java代碼中使HTTP代理IP
    的頭像 發(fā)表于 08-04 15:38 ?2274次閱讀

    python代碼中使HTTP代理IP,demo注釋清晰

    如何再python代碼中使HTTP代理IP。 以下代碼
    的頭像 發(fā)表于 08-04 15:40 ?1085次閱讀

    何在PHP代碼中使HTTP代理IP

    何在PHP代碼中使HTTP代理IP
    的頭像 發(fā)表于 08-04 16:08 ?2493次閱讀

    go語(yǔ)言代碼中使HTTP代理IP的方法

    何在go語(yǔ)言代碼中使HTTP代理IP
    的頭像 發(fā)表于 08-04 16:13 ?3239次閱讀

    何在易e語(yǔ)言代碼中使HTTP代理IP

    何在易e語(yǔ)言代碼中使HTTP代理IP,示例代碼d
    的頭像 發(fā)表于 08-05 16:29 ?7013次閱讀

    何在c語(yǔ)言代碼中使HTTP代理IP

    何在c語(yǔ)言代碼中使HTTP代理IP,示例代碼de
    的頭像 發(fā)表于 08-05 16:31 ?2395次閱讀

    何在c#語(yǔ)言代碼中使HTTP代理IP

    何在c#語(yǔ)言代碼中使HTTP代理IP,示例代碼d
    的頭像 發(fā)表于 08-05 16:33 ?2680次閱讀

    java中怎么使用HTTP代理

    java中怎么使用HTTP代理,華益云python爬蟲(chóng)ip
    的頭像 發(fā)表于 09-01 14:31 ?1735次閱讀

    python中怎么使用HTTP代理

    python中怎么使用HTTP代理,華益云高匿爬蟲(chóng)代理ip
    的頭像 發(fā)表于 09-01 14:36 ?1668次閱讀

    PHP中怎么使用HTTP代理

    PHP中怎么使用HTTP代理,華益云高匿爬蟲(chóng)代理ip
    的頭像 發(fā)表于 09-01 14:38 ?1785次閱讀

    c語(yǔ)言中怎么使用HTTP代理

    如何再c語(yǔ)言代碼中使HTTP代理IP
    的頭像 發(fā)表于 09-01 14:44 ?1456次閱讀

    python代碼中如何使用HTTP代理

    華益云HTTP代理API有效期是一年,也就是說(shuō)一年內(nèi)這1萬(wàn)IP用完就沒(méi)了,如果你一年都用不完那到時(shí)候剩余IP才會(huì)被清零,對(duì)于調(diào)試代碼來(lái)說(shuō)時(shí)間
    的頭像 發(fā)表于 09-01 14:50 ?927次閱讀

    python代碼中如何使用HTTP代理

    HTTP代理就是介于瀏覽器和web服務(wù)器之間的一臺(tái)服務(wù)器,連接代理后,瀏覽器不再直接向web服務(wù)器取回網(wǎng)頁(yè),而是向代理服務(wù)器發(fā)出request信號(hào),
    的頭像 發(fā)表于 09-13 09:24 ?1324次閱讀

    何在python代碼中使HTTP代理IP

    如何再python代碼中使HTTP代理IP
    的頭像 發(fā)表于 09-13 09:25 ?1042次閱讀

    何在Python中使用MQTT

    本文主要介紹如何在 Python 項(xiàng)目中使用?paho-mqtt?客戶端庫(kù) ,實(shí)現(xiàn)客戶端與?MQTT?服務(wù)器的連接、訂閱、取消訂閱、收發(fā)消息等功能。
    的頭像 發(fā)表于 12-22 10:41 ?9973次閱讀
    如<b class='flag-5'>何在</b><b class='flag-5'>Python</b><b class='flag-5'>中使</b>用MQTT
    百家乐在线投注顺势法| 澳门百家乐会出老千吗| 城市| 3U百家乐的玩法技巧和规则 | 赣榆县| 大发888注册bet| 属兔魔羯女在哪个方位做生意| 百家乐官网澳门有网站吗| 大发888娱乐场优惠| 百家乐游戏打水方法| 机械百家乐官网技巧| 百家乐官网网页游戏网址| 波胆| 大发888娱乐客户端下载| 破解百家乐公式| 百家乐官网专业赌| 百家乐官网庄闲和游戏机| 云顶国际娱乐开户| 大发888登录| 威尼斯人娱乐城 196| 百家乐凯时娱乐场| 百家乐官网出千桌| 澳门百家乐官网怎么才能赢钱| 利来网站| 钱柜娱乐城现金网| 大发888casino下载| 百家乐园有限公司| 百家乐的奥秘| 百家乐桌手机套| 百家乐是如何骗人的| 大发888下载df888| 大发888官网www.dafa888.com| 钱隆百家乐的玩法技巧和规则| 现金百家乐赌法| 赌场百家乐投注公式| 赌百家乐官网庄闲能赢| 百家乐官网翻天主题曲| 百家乐官网下路教学| 大发888心得| 大发888娱乐85战神版| 大发888是真的吗|