戰(zhàn)：模擬App請(qǐng)求與反爬策略解析)
1. 項(xiàng)目概述從零解析抖音用戶視頻列表獲取最近在做一個(gè)內(nèi)容分析的小工具需要批量獲取某個(gè)特定抖音創(chuàng)作者的所有視頻信息比如標(biāo)題、發(fā)布時(shí)間、點(diǎn)贊數(shù)、評(píng)論數(shù)這些基礎(chǔ)數(shù)據(jù)。一開始覺得這應(yīng)該是個(gè)挺簡(jiǎn)單的活兒不就是調(diào)個(gè)接口嘛。但真上手才發(fā)現(xiàn)抖音這套防護(hù)機(jī)制做得相當(dāng)嚴(yán)密從網(wǎng)頁端到App端各種反爬策略層層疊疊直接請(qǐng)求官方接口幾乎寸步難行。網(wǎng)上能找到的很多所謂“教程”要么已經(jīng)失效要么語焉不詳踩了不少坑。今天就把我折騰了挺久才跑通的一套相對(duì)穩(wěn)定、可復(fù)現(xiàn)的方案整理出來核心思路是通過模擬App請(qǐng)求獲取用戶唯一的sec_uid然后調(diào)用其作品列表接口。整個(gè)過程會(huì)涉及到請(qǐng)求庫的使用、參數(shù)逆向、簽名機(jī)制以及如何優(yōu)雅地處理風(fēng)控。無論你是想做數(shù)據(jù)分析、內(nèi)容監(jiān)控還是其他自動(dòng)化工具這套方法都能給你提供一個(gè)扎實(shí)的起點(diǎn)。2. 核心思路與技術(shù)選型2.1 為什么不能直接爬取網(wǎng)頁首先得明確一點(diǎn)直接爬取抖音網(wǎng)頁版www.douyin.com來獲取用戶視頻列表在2023年之后已經(jīng)變得非常困難。抖音在前端做了大量的混淆和加密關(guān)鍵數(shù)據(jù)如用戶作品列表通常通過異步接口加載這些接口的URL參數(shù)尤其是簽名X-Bogus和_signature生成邏輯極其復(fù)雜且頻繁變動(dòng)。試圖在瀏覽器中逆向JavaScript來復(fù)現(xiàn)這套邏輯對(duì)于大多數(shù)開發(fā)者來說成本太高且維護(hù)性極差。2.2 移動(dòng)端API的優(yōu)勢(shì)與挑戰(zhàn)相比之下抖音App的API接口雖然也有簽名和風(fēng)控但其協(xié)議相對(duì)穩(wěn)定參數(shù)邏輯也更有跡可循。我們的核心目標(biāo)接口是獲取用戶作品列表的API其形態(tài)通常類似于https://www.iesdouyin.com/web/api/v2/aweme/post/這個(gè)接口需要幾個(gè)關(guān)鍵參數(shù)sec_uid: 用戶的唯一標(biāo)識(shí)這是整個(gè)流程的起點(diǎn)和關(guān)鍵。count: 每次請(qǐng)求期望返回的視頻數(shù)量通常最大為20。max_cursor: 分頁游標(biāo)用于獲取下一頁數(shù)據(jù)首次請(qǐng)求為0。最大的挑戰(zhàn)在于這個(gè)接口以及獲取sec_uid的接口都會(huì)校驗(yàn)請(qǐng)求頭Headers和簽名。簽名錯(cuò)誤或請(qǐng)求頭不完整會(huì)直接返回403或400錯(cuò)誤。因此我們的技術(shù)方案核心就變成了如何偽裝成一個(gè)合法的抖音App客戶端去發(fā)送請(qǐng)求。2.3 技術(shù)棧與工具選擇基于以上分析我選擇了以下技術(shù)棧這也是目前爬蟲領(lǐng)域處理這類問題的常見組合Python Requests: 作為主要的HTTP請(qǐng)求庫requests足夠簡(jiǎn)單和強(qiáng)大。需要配合session來維持Cookie和部分Header。抓包工具: 這是逆向分析的“眼睛”。我主要使用Charles / Fiddler: 用于在電腦上抓取模擬器或真機(jī)代理過來的流量適合靜態(tài)分析API調(diào)用鏈。Packet Capture / HttpCanary (安卓): 手機(jī)端直接抓包無需Root即可抓取抖音App的HTTPS流量需安裝證書對(duì)于動(dòng)態(tài)觀察請(qǐng)求生成過程非常方便。逆向分析工具: 主要靠瀏覽器開發(fā)者工具F12和抓包工具分析請(qǐng)求/響應(yīng)內(nèi)容、參數(shù)構(gòu)成。并不需要深入到Native層的SO庫逆向。關(guān)鍵思路我們并不需要完全逆向抖音的整個(gè)加密算法如X-Bogus因?yàn)閷?duì)于獲取公開視頻列表這個(gè)需求我們可以通過復(fù)用從真實(shí)App中捕獲的、有效的請(qǐng)求參數(shù)和Headers來達(dá)到目的。重點(diǎn)是理解哪些參數(shù)是固定的哪些是每次需要變化的以及如何構(gòu)造一個(gè)“像模像樣”的請(qǐng)求。注意任何自動(dòng)化訪問行為都應(yīng)遵守網(wǎng)站的robots.txt協(xié)議并嚴(yán)格控制請(qǐng)求頻率避免對(duì)目標(biāo)服務(wù)器造成壓力。本方案僅用于技術(shù)學(xué)習(xí)和個(gè)人合法的數(shù)據(jù)收集嚴(yán)禁用于商業(yè)爬取、騷擾或其他違反抖音用戶協(xié)議的行為。3. 實(shí)操第一步定位并獲取關(guān)鍵參數(shù) sec_uidsec_uid是抖音用戶體系中的一個(gè)核心加密ID不同于我們?cè)诜窒礞溄又锌吹降亩蘄D或數(shù)字ID它更長、更唯一是調(diào)用大多數(shù)用戶相關(guān)API的必需參數(shù)。獲取不到它后續(xù)所有工作都無法開展。3.1 尋找 sec_uid 的來源有多個(gè)入口可以獲取sec_uid這里介紹最穩(wěn)定和直接的兩種方法。方法一從用戶分享鏈接或主頁地址提取推薦這是最便捷的方式。讓目標(biāo)用戶在抖音App內(nèi)點(diǎn)擊“分享主頁”復(fù)制鏈接。鏈接格式通常如下https://v.douyin.com/ABC123Def/或https://www.douyin.com/user/MS4wLjABAAAAxxxxx你需要訪問這個(gè)短鏈接它會(huì)經(jīng)過一次或多次跳轉(zhuǎn)最終到達(dá)用戶的長鏈接主頁。我們的目標(biāo)是在跳轉(zhuǎn)后的最終主頁URL中或者頁面源代碼里找到sec_uid。操作步驟在瀏覽器建議無痕模式避免緩存干擾中打開分享的短鏈接。等待頁面完全加載即跳轉(zhuǎn)停止觀察地址欄。最終的URL可能形如https://www.douyin.com/user/MS4wLjABAAAAvWZf-xxxx-xxxx?modal_id...注意這里的MS4wLjABAAAAvWZf-xxxx-xxxx并不是sec_uid它是另一種用戶標(biāo)識(shí)。按下F12打開開發(fā)者工具切換到Network網(wǎng)絡(luò)選項(xiàng)卡刷新頁面。在網(wǎng)絡(luò)請(qǐng)求中尋找一個(gè)名稱包含/user/profile/或/aweme/v1/web/user/profile/的請(qǐng)求。點(diǎn)擊這個(gè)請(qǐng)求在Response響應(yīng)標(biāo)簽頁中你會(huì)看到一段JSON數(shù)據(jù)。在這段JSON中搜索sec_uid字段。它的值是一長串由字母、數(shù)字、下劃線和減號(hào)組成的字符串例如MS4wLjABAAAAvWZfxxxxxxxxxxxxxxxxxxxxxxxxxx。復(fù)制這個(gè)值這就是我們需要的sec_uid。方法二通過抓包App直接獲取API響應(yīng)如果你在手機(jī)上進(jìn)行抓包例如使用HttpCanary過程更直觀打開抓包App開始錄制。打開抖音App進(jìn)入目標(biāo)用戶的主頁。停止抓包在抓包記錄中搜索關(guān)鍵詞sec_uid。你通常會(huì)找到一個(gè)請(qǐng)求URL為https://*.douyin.com/aweme/v1/web/user/profile/other/的請(qǐng)求其響應(yīng)體JSON中就包含了sec_uid。3.2 編寫代碼提取 sec_uid手動(dòng)找一次可以但自動(dòng)化工具需要能自動(dòng)完成這個(gè)過程。思路是訪問短鏈接允許重定向從最終響應(yīng)的HTML內(nèi)容或重定向地址中解析出sec_uid。但經(jīng)過測(cè)試直接從HTML中解析sec_uid的難度在增大抖音將其隱藏得更深。一個(gè)更可靠的方法是模擬一次訪問主頁的請(qǐng)求并從其后續(xù)發(fā)出的API請(qǐng)求中攔截。但這對(duì)自動(dòng)化腳本要求較高。因此在實(shí)際項(xiàng)目中我往往采用一個(gè)折中方案將sec_uid作為工具的輸入?yún)?shù)。即用戶需要手動(dòng)通過上述方法一獲取一次sec_uid然后提供給程序。雖然多了一步手動(dòng)操作但極大地提高了程序的穩(wěn)定性和復(fù)雜度。如果非要實(shí)現(xiàn)全自動(dòng)可以嘗試在請(qǐng)求主頁后用正則表達(dá)式在頁面HTML或內(nèi)聯(lián)的JavaScript變量中搜索sec_uid但匹配規(guī)則需要經(jīng)常更新不穩(wěn)定。import re import requests def extract_sec_uid_from_share_url(share_url): 嘗試從分享鏈接中提取sec_uid此方法穩(wěn)定性有限僅供參考 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } session requests.Session() session.headers.update(headers) # 允許重定向獲取最終的響應(yīng) try: response session.get(share_url, allow_redirectsTrue, timeout10) final_url response.url html_content response.text # 方法1: 嘗試從最終URL的路徑中匹配適用于某些格式 # 例如https://www.douyin.com/user/MS4wLjABAAAAvWZf... # 注意這個(gè)MS4wLjAB... 是sec_uid的一種表現(xiàn)形式但通常需要直接使用 pattern_from_url r/user/(MS4wLjAB[^/?]) match re.search(pattern_from_url, final_url) if match: # 實(shí)際上從URL路徑中獲取的這個(gè)就是sec_uid return match.group(1) # 方法2: 嘗試從HTML的script標(biāo)簽或JSON數(shù)據(jù)中匹配復(fù)雜且易變 # 這里是一個(gè)簡(jiǎn)化的、可能很快失效的正則示例 pattern_in_html rsec_uid\s*:\s*([^]) match re.search(pattern_in_html, html_content) if match: return match.group(1) except Exception as e: print(f提取sec_uid失敗: {e}) return None # 使用示例 share_link https://v.douyin.com/ABC123Def/ sec_uid extract_sec_uid_from_share_url(share_link) if sec_uid: print(f提取到的 sec_uid: {sec_uid}) else: print(自動(dòng)提取失敗請(qǐng)手動(dòng)獲取。)實(shí)操心得在實(shí)際生產(chǎn)環(huán)境中我強(qiáng)烈建議將sec_uid的獲取作為獨(dú)立的手動(dòng)前置步驟。你可以寫一個(gè)簡(jiǎn)單的使用說明告訴用戶如何通過瀏覽器開發(fā)者工具獲取。這比維護(hù)一個(gè)脆弱不堪的全自動(dòng)提取函數(shù)要省心得多也穩(wěn)定得多。把精力集中在核心的列表獲取邏輯上。4. 構(gòu)建仿真的App請(qǐng)求環(huán)境拿到sec_uid后下一步就是模擬App去調(diào)用作品列表接口。直接用一個(gè)裸的requests.get()肯定會(huì)吃閉門羹。我們需要精心構(gòu)造請(qǐng)求頭Headers和查詢參數(shù)Query Parameters。4.1 分析并準(zhǔn)備關(guān)鍵請(qǐng)求頭通過抓包抖音App的請(qǐng)求你會(huì)發(fā)現(xiàn)其Headers包含了許多特征字段。以下是一些最關(guān)鍵且通常需要攜帶的Headersimport requests # 一個(gè)模擬抖音App請(qǐng)求的Headers示例部分值需要替換 headers { # 用戶代理模擬抖音App User-Agent: com.ss.android.ugc.aweme/2020102100 (Linux; U; Android 11; zh_CN; MI 9; Build/RKQ1.200826.002; Cronet/TTNetVersion:3c28619c 2020-05-19), # 宿主App Host: www.iesdouyin.com, # 連接方式 Connection: keep-alive, # 接受編碼 Accept-Encoding: gzip, deflate, br, # 接受語言 Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, # 這個(gè)Cookie至關(guān)重要通常包含了登錄態(tài)和設(shè)備標(biāo)識(shí) Cookie: 你的Cookie字符串從抓包中獲取, # 引用來源有時(shí)可留空有時(shí)需要是抖音域內(nèi)地址 Referer: https://www.douyin.com/, # 接受的內(nèi)容類型 Accept: application/json, text/plain, */*, # 內(nèi)容類型 Content-Type: application/x-www-form-urlencoded, }關(guān)鍵點(diǎn)解析User-Agent: 這是設(shè)備的“指紋”。上述示例是一個(gè)Android抖音客戶端的UA。保持一個(gè)真實(shí)有效的UA很重要。你可以從抓包數(shù)據(jù)中直接復(fù)制也可以在網(wǎng)上搜索最新的抖音UA。Cookie:這是身份認(rèn)證和風(fēng)控的核心Cookie里通常包含了sessionid、install_id、ttwid、odin_tt等關(guān)鍵字段。這些字段標(biāo)識(shí)了你的設(shè)備和模擬的登錄狀態(tài)。沒有有效的Cookie接口會(huì)返回403或要求登錄。如何獲取通過抓包工具在任意一個(gè)成功的抖音API請(qǐng)求的Headers里找到Cookie字段完整復(fù)制下來。這個(gè)Cookie有一定有效期。其他Headers: 如Host,Referer,Accept-*等盡量與抓包到的請(qǐng)求保持一致填滿總比空缺好。4.2 理解并處理簽名參數(shù)抖音的API特別是涉及數(shù)據(jù)獲取的幾乎都帶有簽名參數(shù)最常見的是X-Bogus和_signature。這些參數(shù)由客戶端根據(jù)請(qǐng)求URL、請(qǐng)求體、時(shí)間戳、設(shè)備信息等計(jì)算生成用于防止請(qǐng)求被偽造。對(duì)于我們這個(gè)“獲取公開視頻列表”的接口好消息是經(jīng)過測(cè)試在一定條件下這個(gè)接口可能對(duì)簽名校驗(yàn)不那么嚴(yán)格或者我們可以通過復(fù)用一套有效的參數(shù)來繞過。在抓包時(shí)你會(huì)看到類似這樣的請(qǐng)求URLhttps://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uidMS4wLjABAAAA...count20max_cursor0aid1128_signaturexxxxxx這里的_signature就是簽名。我們的策略是直接復(fù)用從抓包到的成功請(qǐng)求中復(fù)制整個(gè)URL包括上面的_signature。然后我們只修改max_cursor和count參數(shù)來翻頁而sec_uid和_signature保持不變。注意_signature很可能與sec_uid、max_cursor等參數(shù)綁定只修改max_cursor可能失效。需要測(cè)試。尋找無需簽名的接口抖音有一些內(nèi)部或舊的接口版本可能簽名校驗(yàn)不嚴(yán)。這需要持續(xù)抓包和測(cè)試。終極方案如果上述方法失效則意味著必須逆向簽名算法。這涉及到更復(fù)雜的JavaScript或Native代碼逆向超出了本文的范疇。通常需要分析X-Bogus的生成邏輯網(wǎng)上有部分開源項(xiàng)目如douyin-signature嘗試解決但需要自行維護(hù)更新。踩坑記錄我最初嘗試完全自己構(gòu)造參數(shù)總是返回403。后來發(fā)現(xiàn)直接使用抓包獲得的完整請(qǐng)求URL包含當(dāng)時(shí)生成的_signature去請(qǐng)求竟然可以成功。這說明對(duì)于這個(gè)列表接口簽名可能有一定的“會(huì)話”或“短期”有效性或者服務(wù)器端對(duì)來自同一設(shè)備標(biāo)識(shí)Cookie的請(qǐng)求做了寬松處理。所以優(yōu)先嘗試“復(fù)制粘貼”大法。5. 實(shí)現(xiàn)視頻列表的獲取與分頁假設(shè)我們已經(jīng)通過“復(fù)用”策略獲得了一個(gè)可以工作的請(qǐng)求模板。接下來就是編寫代碼循環(huán)請(qǐng)求直到獲取所有視頻。5.1 發(fā)起單次請(qǐng)求并解析數(shù)據(jù)我們首先實(shí)現(xiàn)獲取第一頁max_cursor0數(shù)據(jù)的函數(shù)。import requests import json import time def get_aweme_list_by_page(sec_uid, max_cursor0, count20): 獲取用戶指定頁的視頻列表 :param sec_uid: 用戶sec_uid :param max_cursor: 分頁游標(biāo)第一頁為0 :param count: 每頁數(shù)量最大似乎為20 :return: 返回本次請(qǐng)求的JSON數(shù)據(jù)以及下一次的max_cursor # 這是從抓包中復(fù)制的完整URL模板包含了當(dāng)時(shí)有效的_signature。 # !!! 注意你需要替換成自己抓包得到的、有效的URL !!! # 重點(diǎn)URL中的_signature參數(shù)是綁定的直接復(fù)用。我們只替換sec_uid, max_cursor, count。 url_template https://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uid{}count{}max_cursor{}aid1128_signature你的_signature值 url url_template.format(sec_uid, count, max_cursor) headers { User-Agent: 你的抖音App User-Agent, Cookie: 你的有效Cookie, Accept: application/json, text/plain, */*, Host: www.iesdouyin.com, Connection: keep-alive, # ... 其他必要的headers } try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 檢查HTTP錯(cuò)誤 data response.json() # 檢查接口返回狀態(tài) if data.get(status_code) 0: aweme_list data.get(aweme_list, []) has_more data.get(has_more, 0) 1 next_max_cursor data.get(max_cursor, 0) return aweme_list, next_max_cursor, has_more else: print(f接口返回錯(cuò)誤: {data}) return [], max_cursor, False except requests.exceptions.RequestException as e: print(f網(wǎng)絡(luò)請(qǐng)求失敗: {e}) return [], max_cursor, False except json.JSONDecodeError as e: print(fJSON解析失敗: {e}, 響應(yīng)內(nèi)容: {response.text[:200]}) return [], max_cursor, False # 使用示例 sec_uid MS4wLjABAAAAvWZfxxxxxxxxxxxxxxxxxxxxxxxxxx videos, next_cursor, has_more get_aweme_list_by_page(sec_uid, max_cursor0, count20) if videos: print(f本頁獲取到 {len(videos)} 個(gè)視頻) for video in videos: aweme_id video.get(aweme_id) desc video.get(desc) # 視頻標(biāo)題/描述 create_time video.get(create_time) statistics video.get(statistics, {}) digg_count statistics.get(digg_count, 0) # 點(diǎn)贊 comment_count statistics.get(comment_count, 0) # 評(píng)論 share_count statistics.get(share_count, 0) # 分享 print(f 視頻ID: {aweme_id}, 描述: {desc[:30]}..., 點(diǎn)贊: {digg_count}) else: print(未獲取到視頻數(shù)據(jù))5.2 實(shí)現(xiàn)自動(dòng)分頁抓取單次請(qǐng)求最多返回20條要獲取全部視頻需要根據(jù)has_more和max_cursor進(jìn)行循環(huán)。def get_all_aweme_list(sec_uid, max_count100): 獲取用戶所有視頻列表直到?jīng)]有更多或達(dá)到限制 :param sec_uid: 用戶sec_uid :param max_count: 最大獲取視頻數(shù)防止無限循環(huán) :return: 視頻列表 all_videos [] max_cursor 0 has_more True request_count 0 while has_more and len(all_videos) max_count: print(f正在請(qǐng)求第 {request_count 1} 頁游標(biāo): {max_cursor}) videos, next_max_cursor, has_more get_aweme_list_by_page(sec_uid, max_cursor, count20) if videos: all_videos.extend(videos) print(f 本頁獲取 {len(videos)} 個(gè)累計(jì) {len(all_videos)} 個(gè)) else: # 如果本次沒拿到數(shù)據(jù)可能出錯(cuò)了謹(jǐn)慎考慮是否跳出循環(huán) print( 本次請(qǐng)求未獲取到數(shù)據(jù)可能已觸達(dá)末尾或遇到風(fēng)控。) # 可以選擇 break 或重試邏輯 break max_cursor next_max_cursor request_count 1 # !!! 非常重要添加延遲避免請(qǐng)求過快觸發(fā)風(fēng)控 !!! time.sleep(2 random.random()) # 隨機(jī)延遲2-3秒 print(f抓取結(jié)束?？偣搏@取 {len(all_videos)} 個(gè)視頻。) return all_videos # 使用示例 import random all_videos get_all_aweme_list(sec_uid, max_count200)5.3 解析與存儲(chǔ)視頻信息獲取到的aweme_list中的每個(gè)視頻對(duì)象結(jié)構(gòu)非常豐富。除了上面示例中的基礎(chǔ)信息還包括視頻播放地址、封面圖、音樂信息、作者信息、地理位置等。我們可以選擇需要的字段進(jìn)行提取和存儲(chǔ)。import csv import os from datetime import datetime def save_videos_to_csv(video_list, filenamedouyin_videos.csv): 將視頻列表保存到CSV文件 if not video_list: print(視頻列表為空無需保存。) return # 定義要保存的字段 fieldnames [ aweme_id, desc, create_time, datetime, digg_count, comment_count, share_count, collect_count, video_url, cover_url, music_title, music_author, author_uid, author_nickname ] rows [] for video in video_list: # 處理可能不存在的字段 stats video.get(statistics, {}) author video.get(author, {}) music video.get(music, {}) video_info video.get(video, {}) # 轉(zhuǎn)換時(shí)間戳 create_ts video.get(create_time, 0) if create_ts: dt_str datetime.fromtimestamp(create_ts).strftime(%Y-%m-%d %H:%M:%S) else: dt_str row { aweme_id: video.get(aweme_id, ), desc: video.get(desc, ).replace(\n, ).replace(,, ), # 處理換行和逗號(hào) create_time: create_ts, datetime: dt_str, digg_count: stats.get(digg_count, 0), comment_count: stats.get(comment_count, 0), share_count: stats.get(share_count, 0), collect_count: stats.get(collect_count, 0), video_url: video_info.get(play_addr, {}).get(url_list, [])[0] if video_info else , cover_url: video_info.get(cover, {}).get(url_list, [])[0] if video_info else , music_title: music.get(title, ), music_author: music.get(author, ), author_uid: author.get(uid, ), author_nickname: author.get(nickname, ), } rows.append(row) # 寫入CSV with open(filename, w, newline, encodingutf-8-sig) as f: # utf-8-sig支持Excel直接打開顯示中文 writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(rows) print(f數(shù)據(jù)已保存至 {filename}共 {len(rows)} 條記錄。) # 使用示例 save_videos_to_csv(all_videos, fdouyin_videos_{sec_uid[:10]}.csv)6. 風(fēng)控應(yīng)對(duì)與穩(wěn)定性優(yōu)化直接運(yùn)行上面的代碼很可能在抓取幾十個(gè)視頻后就會(huì)收到429 Too Many Requests或者403 Forbidden的響應(yīng)。這是抖音反爬機(jī)制在起作用。我們必須讓我們的爬蟲行為更“像人”。6.1 請(qǐng)求頻率控制這是最基本也是最重要的措施。固定延遲在每次請(qǐng)求之間加入sleep如time.sleep(3)。隨機(jī)延遲更好的方法是使用隨機(jī)延遲模擬人的不規(guī)則操作。例如time.sleep(2 random.random() * 3)延遲在2到5秒之間。分批次抓取如果需要抓取大量用戶不要一個(gè)接一個(gè)不停。可以抓取一個(gè)用戶后休息更長時(shí)間如5-10分鐘。6.2 請(qǐng)求頭與Cookie的維護(hù)Cookie失效從抓包獲取的Cookie會(huì)過期。過期后需要重新抓包更新。可以編寫一個(gè)簡(jiǎn)單的檢測(cè)邏輯如果連續(xù)多次請(qǐng)求返回403或要求登錄的JSON則提示用戶更新Cookie。User-Agent池準(zhǔn)備多個(gè)不同的、有效的抖音App User-Agent輪流使用降低單一標(biāo)識(shí)被識(shí)別的風(fēng)險(xiǎn)。使用Session使用requests.Session()可以自動(dòng)管理Cookie保持會(huì)話狀態(tài)比單次請(qǐng)求更接近真實(shí)App行為。6.3 代理IP的使用如果請(qǐng)求頻率過高可能會(huì)被限制IP。對(duì)于大規(guī)模抓取使用代理IP池是必要的。高質(zhì)量代理選擇可靠的HTTP/HTTPS代理服務(wù)。集成到代碼中import requests proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, # 注意很多代理服務(wù)器http和https都用http協(xié)議 } # 在請(qǐng)求時(shí)加入proxies參數(shù) response session.get(url, headersheaders, proxiesproxies, timeout10)6.4 錯(cuò)誤重試與降級(jí)策略網(wǎng)絡(luò)請(qǐng)求總可能失敗需要健壯的錯(cuò)誤處理。重試機(jī)制對(duì)于網(wǎng)絡(luò)超時(shí)、連接錯(cuò)誤等臨時(shí)性問題可以設(shè)置重試?？梢允褂胻enacity庫或自己實(shí)現(xiàn)簡(jiǎn)單的重試循環(huán)。import requests from tenacity import retry, stop_after_attempt, wait_fixed retry(stopstop_after_attempt(3), waitwait_fixed(2)) def safe_request(url, headers): response requests.get(url, headersheaders, timeout15) response.raise_for_status() return response識(shí)別風(fēng)控響應(yīng)如果返回429說明請(qǐng)求過快應(yīng)該大幅延長等待時(shí)間如等待1分鐘后再試。如果返回403且內(nèi)容提示簽名錯(cuò)誤或需要登錄則可能Cookie失效或簽名策略已更新需要人工介入。保存進(jìn)度在抓取大量數(shù)據(jù)時(shí)務(wù)必定期將已獲取的數(shù)據(jù)保存到文件或數(shù)據(jù)庫。即使程序中途因錯(cuò)誤停止下次也可以從斷點(diǎn)max_cursor繼續(xù)避免前功盡棄。7. 常見問題與排查技巧實(shí)錄在實(shí)際操作中你肯定會(huì)遇到各種各樣的問題。下面是我踩過的一些坑和解決辦法。7.1 問題返回403 Forbidden或{status_code: 2146, status_msg: 請(qǐng)求異常請(qǐng)稍后重試}可能原因1Cookie失效或無效。排查檢查請(qǐng)求頭中的Cookie值是否完整、最新。最直接的方法是用這個(gè)Cookie在瀏覽器中訪問抖音網(wǎng)頁版看是否處于登錄狀態(tài)。解決重新通過抓包獲取有效的Cookie?？赡茉?簽名參數(shù)_signature無效或已過期。排查你復(fù)用的URL中的_signature可能是一次性的或者與sec_uid、max_cursor強(qiáng)綁定。嘗試只修改max_cursor后是否失效。解決重新抓包一次列表請(qǐng)求獲取全新的URL和_signature。如果頻繁失效說明此接口簽名校驗(yàn)嚴(yán)格需要考慮逆向簽名算法或?qū)ふ移渌娲涌凇？赡茉?請(qǐng)求頭不完整或格式不對(duì)。排查對(duì)比你的請(qǐng)求頭和抓包中的請(qǐng)求頭確保關(guān)鍵字段如User-Agent,Host,Accept等一致。特別注意Cookie的格式是分號(hào)分隔的鍵值對(duì)。解決盡量復(fù)制抓包中看到的所有Headers不要遺漏。7.2 問題返回429 Too Many Requests可能原因請(qǐng)求頻率過高觸發(fā)了服務(wù)器的速率限制。解決立即停止當(dāng)前循環(huán)等待一段時(shí)間比如5-10分鐘再繼續(xù)。增加請(qǐng)求間隔。將time.sleep的時(shí)間加長并加入更大的隨機(jī)因子例如time.sleep(5 random.random() * 10)。考慮使用代理IP分散請(qǐng)求來源。7.3 問題能獲取到數(shù)據(jù)但只有前幾頁has_more始終為 1但max_cursor不變化或循環(huán)可能原因max_cursor的處理邏輯有誤或者接口在無更多數(shù)據(jù)時(shí)仍然返回has_more1。排查打印出每次請(qǐng)求返回的max_cursor和has_more。如果max_cursor不再變化但has_more還是1可能意味著已經(jīng)到達(dá)末尾但接口設(shè)計(jì)如此。解決在循環(huán)中增加一個(gè)判斷如果連續(xù)2-3次請(qǐng)求返回的max_cursor相同且獲取到的視頻列表為空或重復(fù)則判定為已抓取完畢主動(dòng)跳出循環(huán)。7.4 問題如何獲取更早的歷史視頻抖音的/aweme/post/接口通常只返回最近發(fā)布的視頻具體數(shù)量可能有限比如最近1000條。要獲取更早的、被“折疊”的視頻通常需要登錄賬號(hào)后在App中觸發(fā)“查看更多”操作并抓取那個(gè)過程中調(diào)用的另一個(gè)API。這個(gè)接口的權(quán)限和風(fēng)控等級(jí)更高實(shí)現(xiàn)起來復(fù)雜得多。對(duì)于絕大多數(shù)分析需求最近幾百條視頻已經(jīng)足夠。7.5 問題視頻數(shù)據(jù)中的播放地址無法直接下載或提示“視頻不見了”視頻的play_addr播放地址返回的URL通常帶有鑒權(quán)參數(shù)有效期很短且可能檢查Referer等Header。直接用在瀏覽器中可能過一段時(shí)間就失效。解決如果需要下載視頻應(yīng)該使用返回的video_id或aweme_id結(jié)合其他專門的無水印下載接口這又是另一個(gè)話題通常也需要簽名。切勿在程序中高頻訪問視頻播放地址這極易導(dǎo)致IP被封。最后再次強(qiáng)調(diào)技術(shù)是把雙刃劍。這套方法能幫你高效地收集公開數(shù)據(jù)但務(wù)必尊重平臺(tái)規(guī)則和用戶隱私將數(shù)據(jù)用于合法、合規(guī)的用途。保持較低的請(qǐng)求頻率避免對(duì)抖音服務(wù)器造成不必要的負(fù)擔(dān)。在實(shí)際開發(fā)中最耗時(shí)的部分往往不是寫代碼而是與平臺(tái)風(fēng)控機(jī)制的“博弈”和參數(shù)的維護(hù)更新。保持耐心多測(cè)試多觀察抓包數(shù)據(jù)的變化是成功的關(guān)鍵。 抖音用戶視頻列表獲取實(shí)戰(zhàn)：模擬App請(qǐng)求與反爬策略解析
1. 項(xiàng)目概述從零解析抖音用戶視頻列表獲取最近在做一個(gè)內(nèi)容分析的小工具需要批量獲取某個(gè)特定抖音創(chuàng)作者的所有視頻信息比如標(biāo)題、發(fā)布時(shí)間、點(diǎn)贊數(shù)、評(píng)論數(shù)這些基礎(chǔ)數(shù)據(jù)。一開始覺得這應(yīng)該是個(gè)挺簡(jiǎn)單的活兒不就是調(diào)個(gè)接口嘛。但真上手才發(fā)現(xiàn)抖音這套防護(hù)機(jī)制做得相當(dāng)嚴(yán)密從網(wǎng)頁端到App端各種反爬策略層層疊疊直接請(qǐng)求官方接口幾乎寸步難行。網(wǎng)上能找到的很多所謂“教程”要么已經(jīng)失效要么語焉不詳踩了不少坑。今天就把我折騰了挺久才跑通的一套相對(duì)穩(wěn)定、可復(fù)現(xiàn)的方案整理出來核心思路是通過模擬App請(qǐng)求獲取用戶唯一的sec_uid然后調(diào)用其作品列表接口。整個(gè)過程會(huì)涉及到請(qǐng)求庫的使用、參數(shù)逆向、簽名機(jī)制以及如何優(yōu)雅地處理風(fēng)控。無論你是想做數(shù)據(jù)分析、內(nèi)容監(jiān)控還是其他自動(dòng)化工具這套方法都能給你提供一個(gè)扎實(shí)的起點(diǎn)。2. 核心思路與技術(shù)選型2.1 為什么不能直接爬取網(wǎng)頁首先得明確一點(diǎn)直接爬取抖音網(wǎng)頁版www.douyin.com來獲取用戶視頻列表在2023年之后已經(jīng)變得非常困難。抖音在前端做了大量的混淆和加密關(guān)鍵數(shù)據(jù)如用戶作品列表通常通過異步接口加載這些接口的URL參數(shù)尤其是簽名X-Bogus和_signature生成邏輯極其復(fù)雜且頻繁變動(dòng)。試圖在瀏覽器中逆向JavaScript來復(fù)現(xiàn)這套邏輯對(duì)于大多數(shù)開發(fā)者來說成本太高且維護(hù)性極差。2.2 移動(dòng)端API的優(yōu)勢(shì)與挑戰(zhàn)相比之下抖音App的API接口雖然也有簽名和風(fēng)控但其協(xié)議相對(duì)穩(wěn)定參數(shù)邏輯也更有跡可循。我們的核心目標(biāo)接口是獲取用戶作品列表的API其形態(tài)通常類似于https://www.iesdouyin.com/web/api/v2/aweme/post/這個(gè)接口需要幾個(gè)關(guān)鍵參數(shù)sec_uid: 用戶的唯一標(biāo)識(shí)這是整個(gè)流程的起點(diǎn)和關(guān)鍵。count: 每次請(qǐng)求期望返回的視頻數(shù)量通常最大為20。max_cursor: 分頁游標(biāo)用于獲取下一頁數(shù)據(jù)首次請(qǐng)求為0。最大的挑戰(zhàn)在于這個(gè)接口以及獲取sec_uid的接口都會(huì)校驗(yàn)請(qǐng)求頭Headers和簽名。簽名錯(cuò)誤或請(qǐng)求頭不完整會(huì)直接返回403或400錯(cuò)誤。因此我們的技術(shù)方案核心就變成了如何偽裝成一個(gè)合法的抖音App客戶端去發(fā)送請(qǐng)求。2.3 技術(shù)棧與工具選擇基于以上分析我選擇了以下技術(shù)棧這也是目前爬蟲領(lǐng)域處理這類問題的常見組合Python Requests: 作為主要的HTTP請(qǐng)求庫requests足夠簡(jiǎn)單和強(qiáng)大。需要配合session來維持Cookie和部分Header。抓包工具: 這是逆向分析的“眼睛”。我主要使用Charles / Fiddler: 用于在電腦上抓取模擬器或真機(jī)代理過來的流量適合靜態(tài)分析API調(diào)用鏈。Packet Capture / HttpCanary (安卓): 手機(jī)端直接抓包無需Root即可抓取抖音App的HTTPS流量需安裝證書對(duì)于動(dòng)態(tài)觀察請(qǐng)求生成過程非常方便。逆向分析工具: 主要靠瀏覽器開發(fā)者工具F12和抓包工具分析請(qǐng)求/響應(yīng)內(nèi)容、參數(shù)構(gòu)成。并不需要深入到Native層的SO庫逆向。關(guān)鍵思路我們并不需要完全逆向抖音的整個(gè)加密算法如X-Bogus因?yàn)閷?duì)于獲取公開視頻列表這個(gè)需求我們可以通過復(fù)用從真實(shí)App中捕獲的、有效的請(qǐng)求參數(shù)和Headers來達(dá)到目的。重點(diǎn)是理解哪些參數(shù)是固定的哪些是每次需要變化的以及如何構(gòu)造一個(gè)“像模像樣”的請(qǐng)求。注意任何自動(dòng)化訪問行為都應(yīng)遵守網(wǎng)站的robots.txt協(xié)議并嚴(yán)格控制請(qǐng)求頻率避免對(duì)目標(biāo)服務(wù)器造成壓力。本方案僅用于技術(shù)學(xué)習(xí)和個(gè)人合法的數(shù)據(jù)收集嚴(yán)禁用于商業(yè)爬取、騷擾或其他違反抖音用戶協(xié)議的行為。3. 實(shí)操第一步定位并獲取關(guān)鍵參數(shù) sec_uidsec_uid是抖音用戶體系中的一個(gè)核心加密ID不同于我們?cè)诜窒礞溄又锌吹降亩蘄D或數(shù)字ID它更長、更唯一是調(diào)用大多數(shù)用戶相關(guān)API的必需參數(shù)。獲取不到它后續(xù)所有工作都無法開展。3.1 尋找 sec_uid 的來源有多個(gè)入口可以獲取sec_uid這里介紹最穩(wěn)定和直接的兩種方法。方法一從用戶分享鏈接或主頁地址提取推薦這是最便捷的方式。讓目標(biāo)用戶在抖音App內(nèi)點(diǎn)擊“分享主頁”復(fù)制鏈接。鏈接格式通常如下https://v.douyin.com/ABC123Def/或https://www.douyin.com/user/MS4wLjABAAAAxxxxx你需要訪問這個(gè)短鏈接它會(huì)經(jīng)過一次或多次跳轉(zhuǎn)最終到達(dá)用戶的長鏈接主頁。我們的目標(biāo)是在跳轉(zhuǎn)后的最終主頁URL中或者頁面源代碼里找到sec_uid。操作步驟在瀏覽器建議無痕模式避免緩存干擾中打開分享的短鏈接。等待頁面完全加載即跳轉(zhuǎn)停止觀察地址欄。最終的URL可能形如https://www.douyin.com/user/MS4wLjABAAAAvWZf-xxxx-xxxx?modal_id...注意這里的MS4wLjABAAAAvWZf-xxxx-xxxx并不是sec_uid它是另一種用戶標(biāo)識(shí)。按下F12打開開發(fā)者工具切換到Network網(wǎng)絡(luò)選項(xiàng)卡刷新頁面。在網(wǎng)絡(luò)請(qǐng)求中尋找一個(gè)名稱包含/user/profile/或/aweme/v1/web/user/profile/的請(qǐng)求。點(diǎn)擊這個(gè)請(qǐng)求在Response響應(yīng)標(biāo)簽頁中你會(huì)看到一段JSON數(shù)據(jù)。在這段JSON中搜索sec_uid字段。它的值是一長串由字母、數(shù)字、下劃線和減號(hào)組成的字符串例如MS4wLjABAAAAvWZfxxxxxxxxxxxxxxxxxxxxxxxxxx。復(fù)制這個(gè)值這就是我們需要的sec_uid。方法二通過抓包App直接獲取API響應(yīng)如果你在手機(jī)上進(jìn)行抓包例如使用HttpCanary過程更直觀打開抓包App開始錄制。打開抖音App進(jìn)入目標(biāo)用戶的主頁。停止抓包在抓包記錄中搜索關(guān)鍵詞sec_uid。你通常會(huì)找到一個(gè)請(qǐng)求URL為https://*.douyin.com/aweme/v1/web/user/profile/other/的請(qǐng)求其響應(yīng)體JSON中就包含了sec_uid。3.2 編寫代碼提取 sec_uid手動(dòng)找一次可以但自動(dòng)化工具需要能自動(dòng)完成這個(gè)過程。思路是訪問短鏈接允許重定向從最終響應(yīng)的HTML內(nèi)容或重定向地址中解析出sec_uid。但經(jīng)過測(cè)試直接從HTML中解析sec_uid的難度在增大抖音將其隱藏得更深。一個(gè)更可靠的方法是模擬一次訪問主頁的請(qǐng)求并從其后續(xù)發(fā)出的API請(qǐng)求中攔截。但這對(duì)自動(dòng)化腳本要求較高。因此在實(shí)際項(xiàng)目中我往往采用一個(gè)折中方案將sec_uid作為工具的輸入?yún)?shù)。即用戶需要手動(dòng)通過上述方法一獲取一次sec_uid然后提供給程序。雖然多了一步手動(dòng)操作但極大地提高了程序的穩(wěn)定性和復(fù)雜度。如果非要實(shí)現(xiàn)全自動(dòng)可以嘗試在請(qǐng)求主頁后用正則表達(dá)式在頁面HTML或內(nèi)聯(lián)的JavaScript變量中搜索sec_uid但匹配規(guī)則需要經(jīng)常更新不穩(wěn)定。import re import requests def extract_sec_uid_from_share_url(share_url): 嘗試從分享鏈接中提取sec_uid此方法穩(wěn)定性有限僅供參考 headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36 } session requests.Session() session.headers.update(headers) # 允許重定向獲取最終的響應(yīng) try: response session.get(share_url, allow_redirectsTrue, timeout10) final_url response.url html_content response.text # 方法1: 嘗試從最終URL的路徑中匹配適用于某些格式 # 例如https://www.douyin.com/user/MS4wLjABAAAAvWZf... # 注意這個(gè)MS4wLjAB... 是sec_uid的一種表現(xiàn)形式但通常需要直接使用 pattern_from_url r/user/(MS4wLjAB[^/?]) match re.search(pattern_from_url, final_url) if match: # 實(shí)際上從URL路徑中獲取的這個(gè)就是sec_uid return match.group(1) # 方法2: 嘗試從HTML的script標(biāo)簽或JSON數(shù)據(jù)中匹配復(fù)雜且易變 # 這里是一個(gè)簡(jiǎn)化的、可能很快失效的正則示例 pattern_in_html rsec_uid\s*:\s*([^]) match re.search(pattern_in_html, html_content) if match: return match.group(1) except Exception as e: print(f提取sec_uid失敗: {e}) return None # 使用示例 share_link https://v.douyin.com/ABC123Def/ sec_uid extract_sec_uid_from_share_url(share_link) if sec_uid: print(f提取到的 sec_uid: {sec_uid}) else: print(自動(dòng)提取失敗請(qǐng)手動(dòng)獲取。)實(shí)操心得在實(shí)際生產(chǎn)環(huán)境中我強(qiáng)烈建議將sec_uid的獲取作為獨(dú)立的手動(dòng)前置步驟。你可以寫一個(gè)簡(jiǎn)單的使用說明告訴用戶如何通過瀏覽器開發(fā)者工具獲取。這比維護(hù)一個(gè)脆弱不堪的全自動(dòng)提取函數(shù)要省心得多也穩(wěn)定得多。把精力集中在核心的列表獲取邏輯上。4. 構(gòu)建仿真的App請(qǐng)求環(huán)境拿到sec_uid后下一步就是模擬App去調(diào)用作品列表接口。直接用一個(gè)裸的requests.get()肯定會(huì)吃閉門羹。我們需要精心構(gòu)造請(qǐng)求頭Headers和查詢參數(shù)Query Parameters。4.1 分析并準(zhǔn)備關(guān)鍵請(qǐng)求頭通過抓包抖音App的請(qǐng)求你會(huì)發(fā)現(xiàn)其Headers包含了許多特征字段。以下是一些最關(guān)鍵且通常需要攜帶的Headersimport requests # 一個(gè)模擬抖音App請(qǐng)求的Headers示例部分值需要替換 headers { # 用戶代理模擬抖音App User-Agent: com.ss.android.ugc.aweme/2020102100 (Linux; U; Android 11; zh_CN; MI 9; Build/RKQ1.200826.002; Cronet/TTNetVersion:3c28619c 2020-05-19), # 宿主App Host: www.iesdouyin.com, # 連接方式 Connection: keep-alive, # 接受編碼 Accept-Encoding: gzip, deflate, br, # 接受語言 Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, # 這個(gè)Cookie至關(guān)重要通常包含了登錄態(tài)和設(shè)備標(biāo)識(shí) Cookie: 你的Cookie字符串從抓包中獲取, # 引用來源有時(shí)可留空有時(shí)需要是抖音域內(nèi)地址 Referer: https://www.douyin.com/, # 接受的內(nèi)容類型 Accept: application/json, text/plain, */*, # 內(nèi)容類型 Content-Type: application/x-www-form-urlencoded, }關(guān)鍵點(diǎn)解析User-Agent: 這是設(shè)備的“指紋”。上述示例是一個(gè)Android抖音客戶端的UA。保持一個(gè)真實(shí)有效的UA很重要。你可以從抓包數(shù)據(jù)中直接復(fù)制也可以在網(wǎng)上搜索最新的抖音UA。Cookie:這是身份認(rèn)證和風(fēng)控的核心Cookie里通常包含了sessionid、install_id、ttwid、odin_tt等關(guān)鍵字段。這些字段標(biāo)識(shí)了你的設(shè)備和模擬的登錄狀態(tài)。沒有有效的Cookie接口會(huì)返回403或要求登錄。如何獲取通過抓包工具在任意一個(gè)成功的抖音API請(qǐng)求的Headers里找到Cookie字段完整復(fù)制下來。這個(gè)Cookie有一定有效期。其他Headers: 如Host,Referer,Accept-*等盡量與抓包到的請(qǐng)求保持一致填滿總比空缺好。4.2 理解并處理簽名參數(shù)抖音的API特別是涉及數(shù)據(jù)獲取的幾乎都帶有簽名參數(shù)最常見的是X-Bogus和_signature。這些參數(shù)由客戶端根據(jù)請(qǐng)求URL、請(qǐng)求體、時(shí)間戳、設(shè)備信息等計(jì)算生成用于防止請(qǐng)求被偽造。對(duì)于我們這個(gè)“獲取公開視頻列表”的接口好消息是經(jīng)過測(cè)試在一定條件下這個(gè)接口可能對(duì)簽名校驗(yàn)不那么嚴(yán)格或者我們可以通過復(fù)用一套有效的參數(shù)來繞過。在抓包時(shí)你會(huì)看到類似這樣的請(qǐng)求URLhttps://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uidMS4wLjABAAAA...count20max_cursor0aid1128_signaturexxxxxx這里的_signature就是簽名。我們的策略是直接復(fù)用從抓包到的成功請(qǐng)求中復(fù)制整個(gè)URL包括上面的_signature。然后我們只修改max_cursor和count參數(shù)來翻頁而sec_uid和_signature保持不變。注意_signature很可能與sec_uid、max_cursor等參數(shù)綁定只修改max_cursor可能失效。需要測(cè)試。尋找無需簽名的接口抖音有一些內(nèi)部或舊的接口版本可能簽名校驗(yàn)不嚴(yán)。這需要持續(xù)抓包和測(cè)試。終極方案如果上述方法失效則意味著必須逆向簽名算法。這涉及到更復(fù)雜的JavaScript或Native代碼逆向超出了本文的范疇。通常需要分析X-Bogus的生成邏輯網(wǎng)上有部分開源項(xiàng)目如douyin-signature嘗試解決但需要自行維護(hù)更新。踩坑記錄我最初嘗試完全自己構(gòu)造參數(shù)總是返回403。后來發(fā)現(xiàn)直接使用抓包獲得的完整請(qǐng)求URL包含當(dāng)時(shí)生成的_signature去請(qǐng)求竟然可以成功。這說明對(duì)于這個(gè)列表接口簽名可能有一定的“會(huì)話”或“短期”有效性或者服務(wù)器端對(duì)來自同一設(shè)備標(biāo)識(shí)Cookie的請(qǐng)求做了寬松處理。所以優(yōu)先嘗試“復(fù)制粘貼”大法。5. 實(shí)現(xiàn)視頻列表的獲取與分頁假設(shè)我們已經(jīng)通過“復(fù)用”策略獲得了一個(gè)可以工作的請(qǐng)求模板。接下來就是編寫代碼循環(huán)請(qǐng)求直到獲取所有視頻。5.1 發(fā)起單次請(qǐng)求并解析數(shù)據(jù)我們首先實(shí)現(xiàn)獲取第一頁max_cursor0數(shù)據(jù)的函數(shù)。import requests import json import time def get_aweme_list_by_page(sec_uid, max_cursor0, count20): 獲取用戶指定頁的視頻列表 :param sec_uid: 用戶sec_uid :param max_cursor: 分頁游標(biāo)第一頁為0 :param count: 每頁數(shù)量最大似乎為20 :return: 返回本次請(qǐng)求的JSON數(shù)據(jù)以及下一次的max_cursor # 這是從抓包中復(fù)制的完整URL模板包含了當(dāng)時(shí)有效的_signature。 # !!! 注意你需要替換成自己抓包得到的、有效的URL !!! # 重點(diǎn)URL中的_signature參數(shù)是綁定的直接復(fù)用。我們只替換sec_uid, max_cursor, count。 url_template https://www.iesdouyin.com/web/api/v2/aweme/post/?sec_uid{}count{}max_cursor{}aid1128_signature你的_signature值 url url_template.format(sec_uid, count, max_cursor) headers { User-Agent: 你的抖音App User-Agent, Cookie: 你的有效Cookie, Accept: application/json, text/plain, */*, Host: www.iesdouyin.com, Connection: keep-alive, # ... 其他必要的headers } try: response requests.get(url, headersheaders, timeout10) response.raise_for_status() # 檢查HTTP錯(cuò)誤 data response.json() # 檢查接口返回狀態(tài) if data.get(status_code) 0: aweme_list data.get(aweme_list, []) has_more data.get(has_more, 0) 1 next_max_cursor data.get(max_cursor, 0) return aweme_list, next_max_cursor, has_more else: print(f接口返回錯(cuò)誤: {data}) return [], max_cursor, False except requests.exceptions.RequestException as e: print(f網(wǎng)絡(luò)請(qǐng)求失敗: {e}) return [], max_cursor, False except json.JSONDecodeError as e: print(fJSON解析失敗: {e}, 響應(yīng)內(nèi)容: {response.text[:200]}) return [], max_cursor, False # 使用示例 sec_uid MS4wLjABAAAAvWZfxxxxxxxxxxxxxxxxxxxxxxxxxx videos, next_cursor, has_more get_aweme_list_by_page(sec_uid, max_cursor0, count20) if videos: print(f本頁獲取到 {len(videos)} 個(gè)視頻) for video in videos: aweme_id video.get(aweme_id) desc video.get(desc) # 視頻標(biāo)題/描述 create_time video.get(create_time) statistics video.get(statistics, {}) digg_count statistics.get(digg_count, 0) # 點(diǎn)贊 comment_count statistics.get(comment_count, 0) # 評(píng)論 share_count statistics.get(share_count, 0) # 分享 print(f 視頻ID: {aweme_id}, 描述: {desc[:30]}..., 點(diǎn)贊: {digg_count}) else: print(未獲取到視頻數(shù)據(jù))5.2 實(shí)現(xiàn)自動(dòng)分頁抓取單次請(qǐng)求最多返回20條要獲取全部視頻需要根據(jù)has_more和max_cursor進(jìn)行循環(huán)。def get_all_aweme_list(sec_uid, max_count100): 獲取用戶所有視頻列表直到?jīng)]有更多或達(dá)到限制 :param sec_uid: 用戶sec_uid :param max_count: 最大獲取視頻數(shù)防止無限循環(huán) :return: 視頻列表 all_videos [] max_cursor 0 has_more True request_count 0 while has_more and len(all_videos) max_count: print(f正在請(qǐng)求第 {request_count 1} 頁游標(biāo): {max_cursor}) videos, next_max_cursor, has_more get_aweme_list_by_page(sec_uid, max_cursor, count20) if videos: all_videos.extend(videos) print(f 本頁獲取 {len(videos)} 個(gè)累計(jì) {len(all_videos)} 個(gè)) else: # 如果本次沒拿到數(shù)據(jù)可能出錯(cuò)了謹(jǐn)慎考慮是否跳出循環(huán) print( 本次請(qǐng)求未獲取到數(shù)據(jù)可能已觸達(dá)末尾或遇到風(fēng)控。) # 可以選擇 break 或重試邏輯 break max_cursor next_max_cursor request_count 1 # !!! 非常重要添加延遲避免請(qǐng)求過快觸發(fā)風(fēng)控 !!! time.sleep(2 random.random()) # 隨機(jī)延遲2-3秒 print(f抓取結(jié)束?？偣搏@取 {len(all_videos)} 個(gè)視頻。) return all_videos # 使用示例 import random all_videos get_all_aweme_list(sec_uid, max_count200)5.3 解析與存儲(chǔ)視頻信息獲取到的aweme_list中的每個(gè)視頻對(duì)象結(jié)構(gòu)非常豐富。除了上面示例中的基礎(chǔ)信息還包括視頻播放地址、封面圖、音樂信息、作者信息、地理位置等。我們可以選擇需要的字段進(jìn)行提取和存儲(chǔ)。import csv import os from datetime import datetime def save_videos_to_csv(video_list, filenamedouyin_videos.csv): 將視頻列表保存到CSV文件 if not video_list: print(視頻列表為空無需保存。) return # 定義要保存的字段 fieldnames [ aweme_id, desc, create_time, datetime, digg_count, comment_count, share_count, collect_count, video_url, cover_url, music_title, music_author, author_uid, author_nickname ] rows [] for video in video_list: # 處理可能不存在的字段 stats video.get(statistics, {}) author video.get(author, {}) music video.get(music, {}) video_info video.get(video, {}) # 轉(zhuǎn)換時(shí)間戳 create_ts video.get(create_time, 0) if create_ts: dt_str datetime.fromtimestamp(create_ts).strftime(%Y-%m-%d %H:%M:%S) else: dt_str row { aweme_id: video.get(aweme_id, ), desc: video.get(desc, ).replace(\n, ).replace(,, ), # 處理換行和逗號(hào) create_time: create_ts, datetime: dt_str, digg_count: stats.get(digg_count, 0), comment_count: stats.get(comment_count, 0), share_count: stats.get(share_count, 0), collect_count: stats.get(collect_count, 0), video_url: video_info.get(play_addr, {}).get(url_list, [])[0] if video_info else , cover_url: video_info.get(cover, {}).get(url_list, [])[0] if video_info else , music_title: music.get(title, ), music_author: music.get(author, ), author_uid: author.get(uid, ), author_nickname: author.get(nickname, ), } rows.append(row) # 寫入CSV with open(filename, w, newline, encodingutf-8-sig) as f: # utf-8-sig支持Excel直接打開顯示中文 writer csv.DictWriter(f, fieldnamesfieldnames) writer.writeheader() writer.writerows(rows) print(f數(shù)據(jù)已保存至 {filename}共 {len(rows)} 條記錄。) # 使用示例 save_videos_to_csv(all_videos, fdouyin_videos_{sec_uid[:10]}.csv)6. 風(fēng)控應(yīng)對(duì)與穩(wěn)定性優(yōu)化直接運(yùn)行上面的代碼很可能在抓取幾十個(gè)視頻后就會(huì)收到429 Too Many Requests或者403 Forbidden的響應(yīng)。這是抖音反爬機(jī)制在起作用。我們必須讓我們的爬蟲行為更“像人”。6.1 請(qǐng)求頻率控制這是最基本也是最重要的措施。固定延遲在每次請(qǐng)求之間加入sleep如time.sleep(3)。隨機(jī)延遲更好的方法是使用隨機(jī)延遲模擬人的不規(guī)則操作。例如time.sleep(2 random.random() * 3)延遲在2到5秒之間。分批次抓取如果需要抓取大量用戶不要一個(gè)接一個(gè)不停。可以抓取一個(gè)用戶后休息更長時(shí)間如5-10分鐘。6.2 請(qǐng)求頭與Cookie的維護(hù)Cookie失效從抓包獲取的Cookie會(huì)過期。過期后需要重新抓包更新。可以編寫一個(gè)簡(jiǎn)單的檢測(cè)邏輯如果連續(xù)多次請(qǐng)求返回403或要求登錄的JSON則提示用戶更新Cookie。User-Agent池準(zhǔn)備多個(gè)不同的、有效的抖音App User-Agent輪流使用降低單一標(biāo)識(shí)被識(shí)別的風(fēng)險(xiǎn)。使用Session使用requests.Session()可以自動(dòng)管理Cookie保持會(huì)話狀態(tài)比單次請(qǐng)求更接近真實(shí)App行為。6.3 代理IP的使用如果請(qǐng)求頻率過高可能會(huì)被限制IP。對(duì)于大規(guī)模抓取使用代理IP池是必要的。高質(zhì)量代理選擇可靠的HTTP/HTTPS代理服務(wù)。集成到代碼中import requests proxies { http: http://your-proxy-ip:port, https: http://your-proxy-ip:port, # 注意很多代理服務(wù)器http和https都用http協(xié)議 } # 在請(qǐng)求時(shí)加入proxies參數(shù) response session.get(url, headersheaders, proxiesproxies, timeout10)6.4 錯(cuò)誤重試與降級(jí)策略網(wǎng)絡(luò)請(qǐng)求總可能失敗需要健壯的錯(cuò)誤處理。重試機(jī)制對(duì)于網(wǎng)絡(luò)超時(shí)、連接錯(cuò)誤等臨時(shí)性問題可以設(shè)置重試?？梢允褂胻enacity庫或自己實(shí)現(xiàn)簡(jiǎn)單的重試循環(huán)。import requests from tenacity import retry, stop_after_attempt, wait_fixed retry(stopstop_after_attempt(3), waitwait_fixed(2)) def safe_request(url, headers): response requests.get(url, headersheaders, timeout15) response.raise_for_status() return response識(shí)別風(fēng)控響應(yīng)如果返回429說明請(qǐng)求過快應(yīng)該大幅延長等待時(shí)間如等待1分鐘后再試。如果返回403且內(nèi)容提示簽名錯(cuò)誤或需要登錄則可能Cookie失效或簽名策略已更新需要人工介入。保存進(jìn)度在抓取大量數(shù)據(jù)時(shí)務(wù)必定期將已獲取的數(shù)據(jù)保存到文件或數(shù)據(jù)庫。即使程序中途因錯(cuò)誤停止下次也可以從斷點(diǎn)max_cursor繼續(xù)避免前功盡棄。7. 常見問題與排查技巧實(shí)錄在實(shí)際操作中你肯定會(huì)遇到各種各樣的問題。下面是我踩過的一些坑和解決辦法。7.1 問題返回403 Forbidden或{status_code: 2146, status_msg: 請(qǐng)求異常請(qǐng)稍后重試}可能原因1Cookie失效或無效。排查檢查請(qǐng)求頭中的Cookie值是否完整、最新。最直接的方法是用這個(gè)Cookie在瀏覽器中訪問抖音網(wǎng)頁版看是否處于登錄狀態(tài)。解決重新通過抓包獲取有效的Cookie?？赡茉?簽名參數(shù)_signature無效或已過期。排查你復(fù)用的URL中的_signature可能是一次性的或者與sec_uid、max_cursor強(qiáng)綁定。嘗試只修改max_cursor后是否失效。解決重新抓包一次列表請(qǐng)求獲取全新的URL和_signature。如果頻繁失效說明此接口簽名校驗(yàn)嚴(yán)格需要考慮逆向簽名算法或?qū)ふ移渌娲涌凇？赡茉?請(qǐng)求頭不完整或格式不對(duì)。排查對(duì)比你的請(qǐng)求頭和抓包中的請(qǐng)求頭確保關(guān)鍵字段如User-Agent,Host,Accept等一致。特別注意Cookie的格式是分號(hào)分隔的鍵值對(duì)。解決盡量復(fù)制抓包中看到的所有Headers不要遺漏。7.2 問題返回429 Too Many Requests可能原因請(qǐng)求頻率過高觸發(fā)了服務(wù)器的速率限制。解決立即停止當(dāng)前循環(huán)等待一段時(shí)間比如5-10分鐘再繼續(xù)。增加請(qǐng)求間隔。將time.sleep的時(shí)間加長并加入更大的隨機(jī)因子例如time.sleep(5 random.random() * 10)。考慮使用代理IP分散請(qǐng)求來源。7.3 問題能獲取到數(shù)據(jù)但只有前幾頁has_more始終為 1但max_cursor不變化或循環(huán)可能原因max_cursor的處理邏輯有誤或者接口在無更多數(shù)據(jù)時(shí)仍然返回has_more1。排查打印出每次請(qǐng)求返回的max_cursor和has_more。如果max_cursor不再變化但has_more還是1可能意味著已經(jīng)到達(dá)末尾但接口設(shè)計(jì)如此。解決在循環(huán)中增加一個(gè)判斷如果連續(xù)2-3次請(qǐng)求返回的max_cursor相同且獲取到的視頻列表為空或重復(fù)則判定為已抓取完畢主動(dòng)跳出循環(huán)。7.4 問題如何獲取更早的歷史視頻抖音的/aweme/post/接口通常只返回最近發(fā)布的視頻具體數(shù)量可能有限比如最近1000條。要獲取更早的、被“折疊”的視頻通常需要登錄賬號(hào)后在App中觸發(fā)“查看更多”操作并抓取那個(gè)過程中調(diào)用的另一個(gè)API。這個(gè)接口的權(quán)限和風(fēng)控等級(jí)更高實(shí)現(xiàn)起來復(fù)雜得多。對(duì)于絕大多數(shù)分析需求最近幾百條視頻已經(jīng)足夠。7.5 問題視頻數(shù)據(jù)中的播放地址無法直接下載或提示“視頻不見了”視頻的play_addr播放地址返回的URL通常帶有鑒權(quán)參數(shù)有效期很短且可能檢查Referer等Header。直接用在瀏覽器中可能過一段時(shí)間就失效。解決如果需要下載視頻應(yīng)該使用返回的video_id或aweme_id結(jié)合其他專門的無水印下載接口這又是另一個(gè)話題通常也需要簽名。切勿在程序中高頻訪問視頻播放地址這極易導(dǎo)致IP被封。最后再次強(qiáng)調(diào)技術(shù)是把雙刃劍。這套方法能幫你高效地收集公開數(shù)據(jù)但務(wù)必尊重平臺(tái)規(guī)則和用戶隱私將數(shù)據(jù)用于合法、合規(guī)的用途。保持較低的請(qǐng)求頻率避免對(duì)抖音服務(wù)器造成不必要的負(fù)擔(dān)。在實(shí)際開發(fā)中最耗時(shí)的部分往往不是寫代碼而是與平臺(tái)風(fēng)控機(jī)制的“博弈”和參數(shù)的維護(hù)更新。保持耐心多測(cè)試多觀察抓包數(shù)據(jù)的變化是成功的關(guān)鍵。