谷歌瀏覽器分析post地址

• 方式一： 使用瀏覽器自帶開發者工具（ f12 快捷鍵 )，通過查詢form表單獲取

• 方式二： 直接點擊登錄按鈕，查看訪問的地址（需要注意下面請求時傳遞的參數，如果部分參數不知道如何得到，可能需要跟蹤js文件查看）

• 方式三： 部分網站的PC端請求時需要的參數較多，但是移動端會少些，所以可以切換到移動端看看請求地址與參數

requests小技巧

• requests.util.dict_from_cookiejar 把cookie對象轉化為字典
• 請求SSL證書驗證
  • r=requests.get(url,verify=False)
• 設置超時
  • r=requests.get(url,timeout=時間（單位是秒）)
• 使用斷言判斷狀態碼是否成功
  • assert respnose.status_code==200

爬蟲數據處理

數據分類

• 非結構化數據：html 等
  • 處理方法：使用 正則表達式、xpath 處理數據
• 結構化數據：json、xml等
  • 處理方法：轉化為python中的數據類型

數據處理之JSON

• JSON（JavaScript Object Notation) ，是一種輕量級的數據交換格式，它使得人們很容易進行閱讀和編寫。同時也方便了機器進行解析和生成。適用于進行數據交互的場景，比如網站的前后臺之間的數據交互。
• 爬取豆瓣電視劇列表示例

import json
import requests


class DouBanMovie:
    def __init__(self):
        self.url="https://m.douban.com/rexxar/api/v2/subject_collection/tv_domestic/items?os=android&for_mobile=1&start=0&count=18&loc_id=108288"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36",
            "Referer": "https://m.douban.com/tv/chinese"
        }


    def get_data(self):
        response = requests.get(self.url, headers=self.headers)
        if response.status_code==200:
            # 將json字符串轉化為python中的數據類型
            result=json.loads(response.content.decode())
            return result


    def write_file(self,fileName,data):
        '''寫入文件'''


        # json.dumps能夠把python中的類型數據轉化成json字符串
        data=json.dumps(data,ensure_ascii=False)
        with open(fileName,"w",encoding="utf-8") as f:
            f.write(data)


    def read_file(self,fileName):
        '''讀取文件數據'''


        with open(fileName, "r", encoding="utf-8") as f:
            # 加載json類型數據的文件
            result=json.load(f)
        return result




    def run(self):
        # 獲取數據
        result=self.get_data()
        # 將豆瓣數據寫入文件
        self.write_file("douban.txt",result)
        # 讀取文件內容
        readResult=self.read_file("douban.txt")


        print(readResult)




if __name__ == '__main__':
    douban=DouBanMovie()
    douban.run()

數據處理之正則表達式

• 正則表達式定義
  • 就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個” 規則字符串 “，這個”規則字符串“用來表達對字符串的一種過濾邏輯
• 常用正則表達式的方法
  • re.compile(編譯)
  • pattern.match(從頭開始匹配一個）
  • pattern.search(從任何位置開始匹配一個）
  • pattern.findall(匹配所有）
  • pattern.sub(替換）
• Python正則表達式中的re.S，re.M，re.I的作用
  • 正則表達式可以包含一些可選標志修飾符來控制匹配的模式。修飾符被指定為一個可選的標志。多個標志可以通過按位 OR(|) 它們來指定。如 re.I | re.M 被設置成 I 和 M 標志

• python中 r 的用法
  • 'r'是防止字符轉義的 如果路徑中出現'\\t'的話 不加r的話\\t就會被轉義 而加了'r'之后'\\t'就能保留原有的樣子

• 示例（提取成語故事）

import requests
import re


class ChengYu:
    def __init__(self):
        self.url="http://www.hydcd.com/cy/gushi/0259hs.htm"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36"
        }


    def get_data(self):
        response=requests.get(self.url,self.headers)
        result=None
        if response.status_code==200:
            result=response.content.decode("gb2312")
        return result


    def handle_data(self,html_str_list):
        if html_str_list==None or len(html_str_list)==0:
            return None


        html_str=html_str_list[0]
        result=re.sub(r"\\r|\\t|
","",html_str)
        return result


    def run(self):
        # 訪問網頁信息
        html_str=self.get_data()
        # 用正則表達式提取 成語故事
        html_str_list=re.findall(r"(.*?)",html_str,re.S)
        # 處理語句中的換行、制表等標識體符
        result=self.handle_data(html_str_list)


        print(result)


if __name__ == '__main__':
    chengYu=ChengYu()
    chengYu.run()

數據處理之xpath

• lxml 是一款高性能的python html/xml 解析器，我們可以利用xpath,來快速定位特定元素以及獲取節點信息
• xpath(xml path langueage)是一門在 html/xml 文檔中查找信息的語言，可以用來在html/xml 文檔中對元素和屬性進行遍歷
• 官網地址：https://www.w3school.com.cn/xpath/index.asp
• xpath 節點選擇語法
  • xpath 使用路徑表達式來選取xml，文檔中的節點或者節點集，這些路徑表達式和我們在常規的電腦文件系統中看到的表達式非常相似

• 常用節點的選擇工具
  • Chrome插件 XPath Helper
  • 開源的 XPath表達式編輯工具：XML Quire(xml 格式文件可用）
  • Firefox插件 XPath Checker
• lxml庫
  • 安裝lxml：pip install lxml
  • 使用方法：** from lxml import etree**
  • 利用 etree.HTML ，將字符串轉化為 Element對象
  • Element對象具有xpath的方法：html=etree.HTML(字符串)
• 示例

import requests
import re
from lxml import etree


class ChengYu:
    def __init__(self):
        self.url="http://www.hydcd.com/cy/gushi/0259hs.htm"
        self.headers={
            "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.111 Mobile Safari/537.36"
        }


    def get_data(self):
        response=requests.get(self.url,self.headers)
        result=None
        if response.status_code==200:
            result=response.content.decode("gb2312")
        return result


    def handle_data(self,html_str_list):
        if html_str_list==None or len(html_str_list)==0:
            return None


        html_str=html_str_list[0]+html_str_list[1]
        result=re.sub(r"\\r|\\t|
","",html_str)
        return result


    def run(self):
        # 訪問網頁信息
        html_str=self.get_data()
        # 用xpath提取元素
        html=etree.HTML(html_str)
        result=html.xpath("http://font[@color=\"#10102C\"]/text()")
        # 處理語句中的換行、制表等標識體符
        result=self.handle_data(result)


        print(result)


if __name__ == '__main__':
    chengYu=ChengYu()
    chengYu.run()