絡(luò)爬蟲入門到實(shí)戰(zhàn) 第02章：HTTP/HTTPS協(xié)議超通俗精講（GET/POST、請(qǐng)求頭、響應(yīng)碼、爬蟲核心基礎(chǔ)))
專欄Python網(wǎng)絡(luò)爬蟲入門到實(shí)戰(zhàn)零基礎(chǔ)連載全套 本章定位爬蟲核心底層原理課。90%爬蟲報(bào)錯(cuò)、反爬攔截、訪問(wèn)失敗根源都是不懂網(wǎng)絡(luò)協(xié)議。本章零基礎(chǔ)吃透HTTP/HTTPS核心規(guī)則不講廢話、只學(xué)爬蟲能用的知識(shí)點(diǎn)為后續(xù)requests實(shí)戰(zhàn)、反爬繞過(guò)、接口抓包筑牢基礎(chǔ)。? 學(xué)習(xí)目標(biāo)搞懂HTTP與HTTPS的區(qū)別、安全機(jī)制與爬蟲適配邏輯精通GET/POST兩大核心請(qǐng)求方式明確爬蟲使用場(chǎng)景掌握請(qǐng)求頭、請(qǐng)求體、參數(shù)、Cookie等核心請(qǐng)求要素熟記常見HTTP響應(yīng)狀態(tài)碼快速排查爬蟲報(bào)錯(cuò)理解網(wǎng)絡(luò)完整請(qǐng)求鏈路看懂爬蟲每一步數(shù)據(jù)流轉(zhuǎn)一、為什么爬蟲必須學(xué)HTTP協(xié)議在上一章我們知道爬蟲的核心就是模擬瀏覽器發(fā)送網(wǎng)絡(luò)請(qǐng)求、接收服務(wù)器響應(yīng)。而瀏覽器與服務(wù)器溝通的“通用語(yǔ)言”就是HTTP/HTTPS 協(xié)議。通俗總結(jié)不會(huì)協(xié)議 只會(huì)抄代碼報(bào)錯(cuò)一臉懵懂協(xié)議 能自主寫爬蟲、排查報(bào)錯(cuò)、繞過(guò)基礎(chǔ)反爬、看懂接口數(shù)據(jù)后續(xù)所有爬蟲代碼requests請(qǐng)求、登錄抓包、參數(shù)加密、代理爬取全部基于本章知識(shí)點(diǎn)展開。二、HTTP與HTTPS超通俗詳解2.1 什么是HTTP協(xié)議HTTP超文本傳輸協(xié)議是互聯(lián)網(wǎng)最基礎(chǔ)的通信規(guī)則用于規(guī)范客戶端瀏覽器/爬蟲和服務(wù)器之間的數(shù)據(jù)傳輸格式。核心特點(diǎn)無(wú)狀態(tài)服務(wù)器不記住上一次的訪問(wèn)記錄每次請(qǐng)求都是獨(dú)立的明文傳輸數(shù)據(jù)直接傳輸不加密容易被抓包、竊取速度快、開銷小適合公開靜態(tài)網(wǎng)頁(yè)傳輸2.2 什么是HTTPS協(xié)議HTTPS HTTP SSL/TLS 加密協(xié)議是HTTP的安全升級(jí)版。核心特點(diǎn)數(shù)據(jù)加密傳輸?shù)谌綗o(wú)法直接竊取、篡改數(shù)據(jù)需要CA證書認(rèn)證安全性極高目前主流網(wǎng)站全部使用HTTPS百度、電商、社交平臺(tái)2.3 爬蟲視角核心區(qū)別HTTP端口80無(wú)需證書請(qǐng)求簡(jiǎn)單無(wú)加密校驗(yàn)HTTPS端口443加密傳輸部分爬蟲需要關(guān)閉證書校驗(yàn)否則報(bào)錯(cuò)三、爬蟲必備完整網(wǎng)絡(luò)請(qǐng)求鏈路客戶端→服務(wù)器一次完整的爬蟲訪問(wèn)分為請(qǐng)求和響應(yīng)兩個(gè)核心部分缺一不可3.1 請(qǐng)求Request爬蟲/瀏覽器主動(dòng)發(fā)給服務(wù)器的數(shù)據(jù)包包含訪問(wèn)方式、網(wǎng)址、瀏覽器信息、參數(shù)、Cookie等。3.2 響應(yīng)Response服務(wù)器接收請(qǐng)求后返回給爬蟲的數(shù)據(jù)包包含狀態(tài)碼、網(wǎng)頁(yè)源碼、JSON數(shù)據(jù)、圖片資源等。核心公式爬蟲 構(gòu)造合法Request 解析有效Response四、兩大核心請(qǐng)求方式GET vs POST爬蟲重中之重所有爬蟲請(qǐng)求歸根結(jié)底只有兩種GET、POST必須徹底分清使用場(chǎng)景。4.1 GET 請(qǐng)求查數(shù)據(jù)作用向服務(wù)器獲取、查詢公開數(shù)據(jù)不會(huì)修改服務(wù)器內(nèi)容。爬蟲場(chǎng)景90%的基礎(chǔ)爬蟲都是GET請(qǐng)求比如爬取文章、圖片、榜單、新聞、首頁(yè)數(shù)據(jù)。核心特征參數(shù)直接拼接在URL鏈接后面公開可見參數(shù)長(zhǎng)度有限制數(shù)據(jù)量小可被緩存、收藏、歷史記錄保存無(wú)請(qǐng)求體參數(shù)透明URL參數(shù)示例https://www.baidu.com/s?wdPython爬蟲解析wdPython爬蟲就是GET請(qǐng)求參數(shù)代表搜索關(guān)鍵詞。4.2 POST 請(qǐng)求交數(shù)據(jù)作用向服務(wù)器提交、上傳數(shù)據(jù)用于登錄、注冊(cè)、提交表單、發(fā)布內(nèi)容。爬蟲場(chǎng)景模擬網(wǎng)站登錄、提交查詢條件、抓取分頁(yè)接口、 ajax動(dòng)態(tài)數(shù)據(jù)。核心特征參數(shù)放在請(qǐng)求體中不拼接在URL上相對(duì)隱蔽無(wú)長(zhǎng)度限制可傳輸大量數(shù)據(jù)、文件、圖片不會(huì)被緩存無(wú)法直接通過(guò)URL訪問(wèn)常用于隱私交互、數(shù)據(jù)提交場(chǎng)景4.3 極簡(jiǎn)區(qū)分口訣爬蟲專用只看不取、只查不交用GET登錄提交、傳參查詢、上傳數(shù)據(jù)用POST五、HTTP請(qǐng)求完整組成爬蟲反爬核心很多新手爬蟲直接被攔截、403拒絕訪問(wèn)核心原因就是請(qǐng)求格式不合法被網(wǎng)站識(shí)別為機(jī)器爬蟲。合法的請(qǐng)求必須包含三大模塊請(qǐng)求行、請(qǐng)求頭、請(qǐng)求體。5.1 請(qǐng)求行Request Line包含請(qǐng)求方式 請(qǐng)求URL 協(xié)議版本示例GET https://www.baidu.com HTTP/1.15.2 請(qǐng)求頭Request Headers—— 反爬核心請(qǐng)求頭是客戶端的“身份名片”告訴服務(wù)器我是誰(shuí)、用什么瀏覽器、來(lái)自哪里、攜帶什么緩存信息。爬蟲偽裝瀏覽器核心就是偽造請(qǐng)求頭重點(diǎn)掌握5個(gè)爬蟲高頻字段1. User-AgentUA—— 最重要標(biāo)識(shí)客戶端身份瀏覽器型號(hào)、系統(tǒng)版本無(wú)UA的請(qǐng)求99%會(huì)被攔截。裸爬蟲請(qǐng)求無(wú)UA 暴露機(jī)器身份直接403拒絕。2. Referer標(biāo)識(shí)跳轉(zhuǎn)來(lái)源告訴服務(wù)器當(dāng)前頁(yè)面從哪個(gè)頁(yè)面跳轉(zhuǎn)而來(lái)部分防盜鏈網(wǎng)站必須攜帶。3. Cookie用戶會(huì)話憑證保存登錄狀態(tài)、用戶信息模擬登錄爬蟲必備。4. Host目標(biāo)網(wǎng)站域名校驗(yàn)訪問(wèn)目標(biāo)合法性。5. Accept告訴服務(wù)器可接收的數(shù)據(jù)類型提升請(qǐng)求合法性。5.3 請(qǐng)求體Request Body僅POST請(qǐng)求擁有用于存放提交的表單數(shù)據(jù)、賬號(hào)密碼、接口參數(shù)。GET請(qǐng)求無(wú)請(qǐng)求體。六、HTTP響應(yīng)詳解爬蟲數(shù)據(jù)來(lái)源服務(wù)器返回的響應(yīng)數(shù)據(jù)是我們爬蟲最終需要解析的內(nèi)容包含三部分6.1 響應(yīng)狀態(tài)碼核心排查依據(jù)用數(shù)字標(biāo)識(shí)本次請(qǐng)求是否成功爬蟲排錯(cuò)必備熟記高頻狀態(tài)碼200請(qǐng)求成功正常獲取數(shù)據(jù)最理想狀態(tài)301/302永久/臨時(shí)重定向網(wǎng)址跳轉(zhuǎn)403禁止訪問(wèn)服務(wù)器識(shí)別為爬蟲、無(wú)權(quán)限404頁(yè)面不存在URL地址錯(cuò)誤405請(qǐng)求方式不允許GET/POST用錯(cuò)500服務(wù)器內(nèi)部錯(cuò)誤網(wǎng)站本身故障502/503服務(wù)器繁忙、宕機(jī)、維護(hù)中6.2 響應(yīng)頭Response Headers服務(wù)器返回的配置信息包含編碼格式、Cookie、緩存規(guī)則、服務(wù)器型號(hào)等可用于輔助爬蟲配置。6.3 響應(yīng)體Response Body爬蟲真正需要的數(shù)據(jù)包含HTML網(wǎng)頁(yè)源碼、JSON接口數(shù)據(jù)、圖片二進(jìn)制流、文本內(nèi)容等是我們解析、提取、保存的核心數(shù)據(jù)源。七、爬蟲新手高頻踩坑總結(jié)協(xié)議層面? 裸請(qǐng)求無(wú)UA直接403攔截最常見錯(cuò)誤? 需要POST提交數(shù)據(jù)誤用GET導(dǎo)致無(wú)數(shù)據(jù)返回? 忽略Cookie無(wú)法爬取登錄后可見的數(shù)據(jù)? 不懂狀態(tài)碼報(bào)錯(cuò)后不知道問(wèn)題出在哪? 忽略HTTPS證書校驗(yàn)導(dǎo)致程序報(bào)錯(cuò)崩潰八、本章總結(jié)HTTP明文傳輸、HTTPS加密傳輸主流網(wǎng)站均為HTTPS協(xié)議GET用于查詢獲取數(shù)據(jù)參數(shù)透明POST用于提交數(shù)據(jù)參數(shù)隱蔽請(qǐng)求頭UA是爬蟲偽裝核心無(wú)UA極易被反爬攔截狀態(tài)碼是爬蟲排錯(cuò)的第一依據(jù)200成功、403攔截、404地址錯(cuò)誤爬蟲本質(zhì)構(gòu)造合法請(qǐng)求解析有效響應(yīng)數(shù)據(jù)九、課后作業(yè)1. 用自己的話簡(jiǎn)述GET與POST的核心區(qū)別和爬蟲使用場(chǎng)景。2. 熟記常見狀態(tài)碼含義說(shuō)出200、403、404、500對(duì)應(yīng)的錯(cuò)誤場(chǎng)景。3. 打開瀏覽器開發(fā)者工具F12隨便打開一個(gè)網(wǎng)頁(yè)查看Headers中的User-Agent字段并復(fù)制保存。下一章預(yù)告第03章 爬蟲環(huán)境搭建requests庫(kù)安裝、入門請(qǐng)求實(shí)戰(zhàn)第一個(gè)爬蟲代碼點(diǎn)贊 收藏 關(guān)注從零學(xué)懂Python全套爬蟲實(shí)戰(zhàn)技術(shù) Python網(wǎng)絡(luò)爬蟲入門到實(shí)戰(zhàn) 第02章：HTTP/HTTPS協(xié)議超通俗精講（GET/POST、請(qǐng)求頭、響應(yīng)碼、爬蟲核心基礎(chǔ))
專欄Python網(wǎng)絡(luò)爬蟲入門到實(shí)戰(zhàn)零基礎(chǔ)連載全套 本章定位爬蟲核心底層原理課。90%爬蟲報(bào)錯(cuò)、反爬攔截、訪問(wèn)失敗根源都是不懂網(wǎng)絡(luò)協(xié)議。本章零基礎(chǔ)吃透HTTP/HTTPS核心規(guī)則不講廢話、只學(xué)爬蟲能用的知識(shí)點(diǎn)為后續(xù)requests實(shí)戰(zhàn)、反爬繞過(guò)、接口抓包筑牢基礎(chǔ)。? 學(xué)習(xí)目標(biāo)搞懂HTTP與HTTPS的區(qū)別、安全機(jī)制與爬蟲適配邏輯精通GET/POST兩大核心請(qǐng)求方式明確爬蟲使用場(chǎng)景掌握請(qǐng)求頭、請(qǐng)求體、參數(shù)、Cookie等核心請(qǐng)求要素熟記常見HTTP響應(yīng)狀態(tài)碼快速排查爬蟲報(bào)錯(cuò)理解網(wǎng)絡(luò)完整請(qǐng)求鏈路看懂爬蟲每一步數(shù)據(jù)流轉(zhuǎn)一、為什么爬蟲必須學(xué)HTTP協(xié)議在上一章我們知道爬蟲的核心就是模擬瀏覽器發(fā)送網(wǎng)絡(luò)請(qǐng)求、接收服務(wù)器響應(yīng)。而瀏覽器與服務(wù)器溝通的“通用語(yǔ)言”就是HTTP/HTTPS 協(xié)議。通俗總結(jié)不會(huì)協(xié)議 只會(huì)抄代碼報(bào)錯(cuò)一臉懵懂協(xié)議 能自主寫爬蟲、排查報(bào)錯(cuò)、繞過(guò)基礎(chǔ)反爬、看懂接口數(shù)據(jù)后續(xù)所有爬蟲代碼requests請(qǐng)求、登錄抓包、參數(shù)加密、代理爬取全部基于本章知識(shí)點(diǎn)展開。二、HTTP與HTTPS超通俗詳解2.1 什么是HTTP協(xié)議HTTP超文本傳輸協(xié)議是互聯(lián)網(wǎng)最基礎(chǔ)的通信規(guī)則用于規(guī)范客戶端瀏覽器/爬蟲和服務(wù)器之間的數(shù)據(jù)傳輸格式。核心特點(diǎn)無(wú)狀態(tài)服務(wù)器不記住上一次的訪問(wèn)記錄每次請(qǐng)求都是獨(dú)立的明文傳輸數(shù)據(jù)直接傳輸不加密容易被抓包、竊取速度快、開銷小適合公開靜態(tài)網(wǎng)頁(yè)傳輸2.2 什么是HTTPS協(xié)議HTTPS HTTP SSL/TLS 加密協(xié)議是HTTP的安全升級(jí)版。核心特點(diǎn)數(shù)據(jù)加密傳輸?shù)谌綗o(wú)法直接竊取、篡改數(shù)據(jù)需要CA證書認(rèn)證安全性極高目前主流網(wǎng)站全部使用HTTPS百度、電商、社交平臺(tái)2.3 爬蟲視角核心區(qū)別HTTP端口80無(wú)需證書請(qǐng)求簡(jiǎn)單無(wú)加密校驗(yàn)HTTPS端口443加密傳輸部分爬蟲需要關(guān)閉證書校驗(yàn)否則報(bào)錯(cuò)三、爬蟲必備完整網(wǎng)絡(luò)請(qǐng)求鏈路客戶端→服務(wù)器一次完整的爬蟲訪問(wèn)分為請(qǐng)求和響應(yīng)兩個(gè)核心部分缺一不可3.1 請(qǐng)求Request爬蟲/瀏覽器主動(dòng)發(fā)給服務(wù)器的數(shù)據(jù)包包含訪問(wèn)方式、網(wǎng)址、瀏覽器信息、參數(shù)、Cookie等。3.2 響應(yīng)Response服務(wù)器接收請(qǐng)求后返回給爬蟲的數(shù)據(jù)包包含狀態(tài)碼、網(wǎng)頁(yè)源碼、JSON數(shù)據(jù)、圖片資源等。核心公式爬蟲 構(gòu)造合法Request 解析有效Response四、兩大核心請(qǐng)求方式GET vs POST爬蟲重中之重所有爬蟲請(qǐng)求歸根結(jié)底只有兩種GET、POST必須徹底分清使用場(chǎng)景。4.1 GET 請(qǐng)求查數(shù)據(jù)作用向服務(wù)器獲取、查詢公開數(shù)據(jù)不會(huì)修改服務(wù)器內(nèi)容。爬蟲場(chǎng)景90%的基礎(chǔ)爬蟲都是GET請(qǐng)求比如爬取文章、圖片、榜單、新聞、首頁(yè)數(shù)據(jù)。核心特征參數(shù)直接拼接在URL鏈接后面公開可見參數(shù)長(zhǎng)度有限制數(shù)據(jù)量小可被緩存、收藏、歷史記錄保存無(wú)請(qǐng)求體參數(shù)透明URL參數(shù)示例https://www.baidu.com/s?wdPython爬蟲解析wdPython爬蟲就是GET請(qǐng)求參數(shù)代表搜索關(guān)鍵詞。4.2 POST 請(qǐng)求交數(shù)據(jù)作用向服務(wù)器提交、上傳數(shù)據(jù)用于登錄、注冊(cè)、提交表單、發(fā)布內(nèi)容。爬蟲場(chǎng)景模擬網(wǎng)站登錄、提交查詢條件、抓取分頁(yè)接口、 ajax動(dòng)態(tài)數(shù)據(jù)。核心特征參數(shù)放在請(qǐng)求體中不拼接在URL上相對(duì)隱蔽無(wú)長(zhǎng)度限制可傳輸大量數(shù)據(jù)、文件、圖片不會(huì)被緩存無(wú)法直接通過(guò)URL訪問(wèn)常用于隱私交互、數(shù)據(jù)提交場(chǎng)景4.3 極簡(jiǎn)區(qū)分口訣爬蟲專用只看不取、只查不交用GET登錄提交、傳參查詢、上傳數(shù)據(jù)用POST五、HTTP請(qǐng)求完整組成爬蟲反爬核心很多新手爬蟲直接被攔截、403拒絕訪問(wèn)核心原因就是請(qǐng)求格式不合法被網(wǎng)站識(shí)別為機(jī)器爬蟲。合法的請(qǐng)求必須包含三大模塊請(qǐng)求行、請(qǐng)求頭、請(qǐng)求體。5.1 請(qǐng)求行Request Line包含請(qǐng)求方式 請(qǐng)求URL 協(xié)議版本示例GET https://www.baidu.com HTTP/1.15.2 請(qǐng)求頭Request Headers—— 反爬核心請(qǐng)求頭是客戶端的“身份名片”告訴服務(wù)器我是誰(shuí)、用什么瀏覽器、來(lái)自哪里、攜帶什么緩存信息。爬蟲偽裝瀏覽器核心就是偽造請(qǐng)求頭重點(diǎn)掌握5個(gè)爬蟲高頻字段1. User-AgentUA—— 最重要標(biāo)識(shí)客戶端身份瀏覽器型號(hào)、系統(tǒng)版本無(wú)UA的請(qǐng)求99%會(huì)被攔截。裸爬蟲請(qǐng)求無(wú)UA 暴露機(jī)器身份直接403拒絕。2. Referer標(biāo)識(shí)跳轉(zhuǎn)來(lái)源告訴服務(wù)器當(dāng)前頁(yè)面從哪個(gè)頁(yè)面跳轉(zhuǎn)而來(lái)部分防盜鏈網(wǎng)站必須攜帶。3. Cookie用戶會(huì)話憑證保存登錄狀態(tài)、用戶信息模擬登錄爬蟲必備。4. Host目標(biāo)網(wǎng)站域名校驗(yàn)訪問(wèn)目標(biāo)合法性。5. Accept告訴服務(wù)器可接收的數(shù)據(jù)類型提升請(qǐng)求合法性。5.3 請(qǐng)求體Request Body僅POST請(qǐng)求擁有用于存放提交的表單數(shù)據(jù)、賬號(hào)密碼、接口參數(shù)。GET請(qǐng)求無(wú)請(qǐng)求體。六、HTTP響應(yīng)詳解爬蟲數(shù)據(jù)來(lái)源服務(wù)器返回的響應(yīng)數(shù)據(jù)是我們爬蟲最終需要解析的內(nèi)容包含三部分6.1 響應(yīng)狀態(tài)碼核心排查依據(jù)用數(shù)字標(biāo)識(shí)本次請(qǐng)求是否成功爬蟲排錯(cuò)必備熟記高頻狀態(tài)碼200請(qǐng)求成功正常獲取數(shù)據(jù)最理想狀態(tài)301/302永久/臨時(shí)重定向網(wǎng)址跳轉(zhuǎn)403禁止訪問(wèn)服務(wù)器識(shí)別為爬蟲、無(wú)權(quán)限404頁(yè)面不存在URL地址錯(cuò)誤405請(qǐng)求方式不允許GET/POST用錯(cuò)500服務(wù)器內(nèi)部錯(cuò)誤網(wǎng)站本身故障502/503服務(wù)器繁忙、宕機(jī)、維護(hù)中6.2 響應(yīng)頭Response Headers服務(wù)器返回的配置信息包含編碼格式、Cookie、緩存規(guī)則、服務(wù)器型號(hào)等可用于輔助爬蟲配置。6.3 響應(yīng)體Response Body爬蟲真正需要的數(shù)據(jù)包含HTML網(wǎng)頁(yè)源碼、JSON接口數(shù)據(jù)、圖片二進(jìn)制流、文本內(nèi)容等是我們解析、提取、保存的核心數(shù)據(jù)源。七、爬蟲新手高頻踩坑總結(jié)協(xié)議層面? 裸請(qǐng)求無(wú)UA直接403攔截最常見錯(cuò)誤? 需要POST提交數(shù)據(jù)誤用GET導(dǎo)致無(wú)數(shù)據(jù)返回? 忽略Cookie無(wú)法爬取登錄后可見的數(shù)據(jù)? 不懂狀態(tài)碼報(bào)錯(cuò)后不知道問(wèn)題出在哪? 忽略HTTPS證書校驗(yàn)導(dǎo)致程序報(bào)錯(cuò)崩潰八、本章總結(jié)HTTP明文傳輸、HTTPS加密傳輸主流網(wǎng)站均為HTTPS協(xié)議GET用于查詢獲取數(shù)據(jù)參數(shù)透明POST用于提交數(shù)據(jù)參數(shù)隱蔽請(qǐng)求頭UA是爬蟲偽裝核心無(wú)UA極易被反爬攔截狀態(tài)碼是爬蟲排錯(cuò)的第一依據(jù)200成功、403攔截、404地址錯(cuò)誤爬蟲本質(zhì)構(gòu)造合法請(qǐng)求解析有效響應(yīng)數(shù)據(jù)九、課后作業(yè)1. 用自己的話簡(jiǎn)述GET與POST的核心區(qū)別和爬蟲使用場(chǎng)景。2. 熟記常見狀態(tài)碼含義說(shuō)出200、403、404、500對(duì)應(yīng)的錯(cuò)誤場(chǎng)景。3. 打開瀏覽器開發(fā)者工具F12隨便打開一個(gè)網(wǎng)頁(yè)查看Headers中的User-Agent字段并復(fù)制保存。下一章預(yù)告第03章 爬蟲環(huán)境搭建requests庫(kù)安裝、入門請(qǐng)求實(shí)戰(zhàn)第一個(gè)爬蟲代碼點(diǎn)贊 收藏 關(guān)注從零學(xué)懂Python全套爬蟲實(shí)戰(zhàn)技術(shù)