1. 抖音主頁視頻列表到底能抓到什么點贊收藏分享字段的公開數據采集思路抖音用戶主頁的視頻列表本質上是一個公開的展示頁。你打開某個博主的主頁往下滑動會不斷加載出新的視頻卡片每張卡片上都有播放量、點贊、收藏、分享、評論這些互動數字。這些數字對做內容分析、競品調研、選題復盤的人來說價值很高——它能告訴你哪類選題在這個賬號里跑得最好哪條視頻的收藏率異常高哪條視頻分享遠大于點贊。我這次要拆的是「用戶主頁視頻列表」這條鏈路不是單條視頻詳情也不是評論區(qū)。目標很明確給定一個博主的 sec_user_id把主頁上所有視頻的點贊、收藏、分享、評論、發(fā)布時間、標題、視頻 ID 這些字段完整拉下來并且能翻頁翻到底。適合誰看會一點 Python、能看懂 requests 請求、想自己搭一套采集腳本的人。如果你完全沒寫過代碼建議先補一下 requests 和 pandas 的基礎不然下面的參數你會看得比較吃力。核心難點有三個。第一主頁列表接口是 POST參數里 sec_user_id 是加密后的作者標識得從主頁 URL 里提取。第二分頁不是簡單的 page1、page2而是靠 max_cursor 游標每次響應里帶回下一個游標同時 has_more 告訴你還有沒有下一頁。第三鑒權信息Cookie 或統(tǒng)一 Key會過期批量跑的時候很容易中途 401。我試過直接拿瀏覽器 Cookie 硬跑跑十幾個博主就開始掉后來把鑒權統(tǒng)一收到一個 Key 配置里穩(wěn)定性好了很多。下面按「先講清楚接口長什么樣 → 再講怎么把鑒權統(tǒng)一 → 再給可復制的配置 → 再驗證 → 再排錯」的順序來。先明確一點這里采集的是公開可見的互動數字不涉及登錄態(tài)下的私密數據也不做高頻轟炸。請求之間留間隔單賬號視頻量通常幾百條分頁幾次就到底了。字段清單先列出來方便你對照后面代碼里的提取邏輯字段名含義來源aweme_id視頻唯一 ID列表項desc視頻標題/文案列表項create_time發(fā)布時間戳列表項digg_count點贊數statisticscollect_count收藏數statisticsshare_count分享數statisticscomment_count評論數statisticsplay_count播放數statisticsmax_cursor下一頁游標響應頂層has_more是否還有下一頁響應頂層這張表就是最終要落庫的結構。你會發(fā)現點贊、收藏、分享都在 statistics 對象里不在列表項頂層提取的時候別找錯層級。2. TaoToken 統(tǒng)一 Key 配置把接口鑒權從散落 Cookie 收攏到一處上一節(jié)說到 Cookie 容易過期這是采集腳本最煩的地方。你寫死一個 Cookie今天能跑明天可能就 401。更麻煩的是如果你同時跑多個數據源比如抖音 別的平臺每個源一套鑒權維護成本直接翻倍。我的做法是把所有對外請求的鑒權統(tǒng)一走 TaoToken 的 Key。TaoToken 是一個模型與接口調用的統(tǒng)一入口官網在 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 地址是 https://taotoken.net/api 。它的作用是讓你用一個 Key 去調用后端能力不用在每個腳本里散落不同的憑證。這里要區(qū)分清楚抖音主頁列表接口本身是抖音的公開接口TaoToken 不替代它。TaoToken 負責的是你腳本里「需要模型能力或統(tǒng)一鑒權」的那部分比如你在采集后想用模型做字段清洗、標題分類、異常值判斷或者你想把請求出口統(tǒng)一管理。把 Key 收到一處腳本里只讀環(huán)境變量換 Key 不用改代碼。具體操作路徑第一步打開 https://taotoken.net/api-keys 登錄后創(chuàng)建一個 API Key。這個 Key 就是后面所有請求要帶的憑證。創(chuàng)建時給它起個能認出來的名字比如 douyin-collector方便以后區(qū)分。第二步把 Key 寫進環(huán)境變量不要硬編碼在腳本里。Linux/macOS 下export TAOTOKEN_API_KEYsk-你的keyWindows PowerShell$env:TAOTOKEN_API_KEYsk-你的key第三步在腳本里讀取。Python 用 os.environimport os TAOTOKEN_API_KEY os.environ.get(TAOTOKEN_API_KEY) if not TAOTOKEN_API_KEY: raise RuntimeError(缺少 TAOTOKEN_API_KEY請先設置環(huán)境變量)這樣做的直接好處Cookie 過期你只需要重新登錄一次抖音側而 TaoToken 的 Key 是長期有效的不會因為平臺登錄態(tài)變化而失效。兩套鑒權解耦排錯的時候一眼能看出是平臺側問題還是 Key 側問題。如果你用的是 Claude Code 這類編碼工具想把 Key 配進去可以走 https://taotoken.net/claude-code-anthropic 這個入口里面有對應的接入說明。配置的時候三件套要寫全Base URL、Key、Model ID缺一個都會連不上。注意Key 只放在服務端或本地環(huán)境變量里不要提交到 Git也不要寫進前端代碼。一旦泄露去 console 里吊銷重建。3. 可復制的請求頭與分頁配置sec_user_id 提取 max_cursor 游標翻頁這一節(jié)是核心直接給能跑的配置。先解決 sec_user_id 怎么來。你打開一個博主主頁URL 長這樣https://www.douyin.com/user/MS4wLjABAAAAxxxxxxxxxxxxxxxxuser/ 后面那一串就是 sec_user_id。用正則從 URL 里摳出來import re def extract_sec_user_id(url: str) - str: m re.search(r/user/([A-Za-z0-9_\-]), url) if not m: raise ValueError(f無法從 URL 提取 sec_user_id: {url}) return m.group(1)拿到 sec_user_id 后構造主頁視頻列表請求。接口是 POST請求參數里只有 sec_user_id 是必須的count 控制每頁數量max_cursor 控制翻頁起點。請求頭配置關鍵是 Content-Type 和 User-AgentCookie 走你登錄后的會話import requests BASE_URL https://www.douyin.com/aweme/v1/web/aweme/post/ HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Content-Type: application/x-www-form-urlencoded; charsetUTF-8, Referer: https://www.douyin.com/, Accept: application/json, text/plain, */*, } def build_params(sec_user_id: str, max_cursor: int 0, count: int 20) - dict: return { sec_user_id: sec_user_id, count: count, max_cursor: max_cursor, device_platform: webapp, aid: 6383, channel: channel_pc_web, version_code: 170400, version_name: 17.4.0, }分頁邏輯是這套腳本的靈魂。響應 JSON 頂層有兩個字段max_cursor 和 has_more。第一次請求傳 max_cursor0響應里帶回新的 max_cursor下一次請求就用這個新值。has_more 為 1 表示還有下一頁為 0 表示到底了。def fetch_all_videos(session: requests.Session, sec_user_id: str, count: int 20): all_items [] max_cursor 0 page 0 while True: params build_params(sec_user_id, max_cursor, count) resp session.post(BASE_URL, headersHEADERS, paramsparams, timeout15) resp.raise_for_status() data resp.json() items data.get(aweme_list) or [] all_items.extend(items) page 1 print(f第 {page} 頁本頁 {len(items)} 條累計 {len(all_items)} 條) has_more data.get(has_more, 0) max_cursor data.get(max_cursor, 0) if not has_more or not items: break time.sleep(1.5) # 控制頻率別打太快 return all_items注意 count 這個參數。你把它設成 100響應不一定真給你 100 條平臺會按自己的策略返回。所以別依賴 count 做分頁判斷只依賴 has_more 和 max_cursor。字段提取點贊收藏分享都在 statistics 里def parse_item(item: dict) - dict: stats item.get(statistics) or {} return { aweme_id: item.get(aweme_id), desc: (item.get(desc) or ).strip(), create_time: item.get(create_time), digg_count: stats.get(digg_count, 0), collect_count: stats.get(collect_count, 0), share_count: stats.get(share_count, 0), comment_count: stats.get(comment_count, 0), play_count: stats.get(play_count, 0), }如果你要把這套腳本的鑒權統(tǒng)一到 TaoToken可以在 session 初始化時把 Key 注入到統(tǒng)一請求層。下面是一個 settings 片段路徑按你項目實際結構調整這里以項目根目錄的 config/settings.json 為例{ taotoken: { base_url: https://taotoken.net/api, api_key_env: TAOTOKEN_API_KEY, model_id: your-model-id }, douyin: { list_endpoint: https://www.douyin.com/aweme/v1/web/aweme/post/, page_size: 20, sleep_seconds: 1.5, max_pages: 50 } }讀取配置import json, os with open(config/settings.json, r, encodingutf-8) as f: cfg json.load(f) api_key os.environ[cfg[taotoken][api_key_env]] base_url cfg[taotoken][base_url] model_id cfg[taotoken][model_id]三件套 Base URL、Key、Model ID 都在這里了。Base URL 用 https://taotoken.net/api Key 從環(huán)境變量讀Model ID 按你實際用的填。這樣換模型或換 Key 只改配置不動業(yè)務代碼。4. 驗證一次完整抓取字段完整性與去重效果實測配置寫完了得跑一次看結果。驗證分兩步先看字段全不全再看有沒有重復。先跑抓取把結果轉成 DataFrameimport pandas as pd session requests.Session() # 這里 session 需要帶上你登錄后的 Cookie具體獲取方式見下一節(jié)排錯 sec_user_id extract_sec_user_id(https://www.douyin.com/user/MS4wLjABAAAAxxxxxxxx) raw_items fetch_all_videos(session, sec_user_id, count20) rows [parse_item(it) for it in raw_items] df pd.DataFrame(rows) print(總條數:, len(df)) print(字段:, list(df.columns)) print(df[[aweme_id, digg_count, collect_count, share_count]].head())預期輸出類似第 1 頁本頁 20 條累計 20 條 第 2 頁本頁 20 條累計 40 條 ... 總條數: 186 字段: [aweme_id, desc, create_time, digg_count, collect_count, share_count, comment_count, play_count]字段完整性檢查確認 digg_count、collect_count、share_count 三列沒有大面積空值。如果某列全是 0大概率是 statistics 層級取錯了回去看 parse_item。去重檢查主頁列表在翻頁邊界偶爾會重復返回同一條用 aweme_id 去重before len(df) df df.drop_duplicates(subset[aweme_id]).reset_index(dropTrue) after len(df) print(f去重前 {before} 條去重后 {after} 條去掉 {before - after} 條重復)實測下來一個 180 多條視頻的賬號翻頁 10 次左右到底去重通常能去掉 0 到 3 條邊界重復。如果重復數量很大說明 max_cursor 沒正確更新檢查你是不是把初始值 0 寫死了。導出 Exceldf.to_excel(douyin_homepage_videos.xlsx, indexFalse) print(已導出 douyin_homepage_videos.xlsx)打開 Excel 核對幾列點贊數應該和你在主頁看到的量級一致收藏數一般小于點贊數分享數通常最小。如果三個數字量級明顯不對比如收藏比點贊還大一個數量級那就是字段映射錯了。再補一個完整性斷言方便你自動化跑required [aweme_id, digg_count, collect_count, share_count] missing [c for c in required if c not in df.columns] assert not missing, f缺少字段: {missing} assert df[aweme_id].is_unique, aweme_id 存在重復去重未生效 print(字段與去重校驗通過)跑通這一步說明你的采集鏈路是通的。接下來就是處理鑒權過期和報錯。5. 本篇常見錯排查401、local proxy failed、reading choices、OAuth 報錯對照采集腳本跑不起來九成是下面這幾類錯。我按真實報錯信息對照著講。401 Unauthorized / 登錄態(tài)失效現象請求返回 401或者返回的 JSON 里 status_code 非 0。原因基本是 Cookie 過期。抖音的登錄態(tài)有時效批量跑久了就掉。處理重新登錄獲取 Cookie或者用自動化方式在需要時刷新登錄態(tài)。如果你把鑒權統(tǒng)一到了 TaoToken先確認 401 是來自抖音側還是 Key 側——看報錯 URL 域名。抖音域名報 401 就是平臺 Cookie 問題TaoToken 域名報 401 就是 Key 問題去 https://taotoken.net/api-keys 檢查 Key 是否有效、是否被吊銷。local proxy failed / 連接被拒現象requests 拋 ProxyError提示 local proxy failed 或 connection refused。原因是你本地配了代理但代理沒起來或者環(huán)境變量 HTTP_PROXY 指向了一個失效地址。處理檢查環(huán)境變量echo $HTTP_PROXY echo $HTTPS_PROXY如果不需要代理直接清掉unset HTTP_PROXY HTTPS_PROXY然后在 requests 里顯式禁用代理session.trust_env Falsereading choices / 響應結構對不上現象解析時報 KeyError 或 TypeError提示 reading choices 之類。這通常發(fā)生在你把模型返回結構和平臺返回結構搞混了。抖音列表接口返回的是 aweme_list不是 choices。choices 是模型對話接口的字段。處理打印原始響應前 500 字符確認結構print(resp.text[:500])看清楚頂層是 aweme_list 還是別的再改提取路徑。別拿模型接口的解析代碼套平臺接口。OAuth / token 校驗失敗現象報 OAuth 相關錯誤或者 token invalid。如果你在腳本里用了需要 OAuth 的模型調用檢查 token 是否過期、scope 是否對。走 TaoToken 的話確認 Base URL 填的是 https://taotoken.net/api Key 和 Model ID 三件套齊全。缺 Model ID 是最常見的很多人只填了 URL 和 Key結果調用時報模型不存在。has_more 一直為 1死循環(huán)現象翻頁停不下來或者翻到后面返回空列表但 has_more 還是 1。處理加雙重終止條件has_more 為 0 或者 items 為空都停再加一個 max_pages 上限兜底if page cfg[douyin][max_pages]: print(達到最大頁數上限停止) break字段全是 0現象抓到了條數但點贊收藏分享全是 0。原因statistics 層級取錯或者你抓的是精簡版響應。檢查 parse_item 里是不是從 item[statistics] 取的而不是 item 頂層。排錯的核心思路就一條先看報錯來自哪個域名分清是平臺側還是 Key 側再去對應的配置里找。別一上來就改代碼。6. 采集鏈路的下一步把 Key 配置沉淀成可復用模板跑通一次完整抓取之后你會發(fā)現真正花時間的不是寫請求而是維護鑒權和翻頁邊界。把這兩塊沉淀成模板后面換賬號、換平臺都能直接套。我的做法是建一個 collector 基類把 session 初始化、Key 讀取、重試、限速都放進去抖音只是其中一個子類。這樣下次你要抓另一個平臺的主頁列表只需要改 endpoint 和字段映射鑒權層完全不動。Key 配置這塊建議固定三件套的讀取順序先讀環(huán)境變量讀不到再讀本地配置文件都沒有就報錯退出。不要給默認值默認值會讓配置錯誤被掩蓋。如果你后面要做長期、批量的采集任務可以考慮把模型調用也接進來比如用模型對視頻標題做自動分類、對異常互動數據做標注。這類長期任務適合走 Coding Plan入口在 https://taotoken.net/coding-plan 把編碼和調用統(tǒng)一管理。只是想驗證某個模型對字段清洗的效果可以直接在 https://taotoken.net/models 里對話試一下確認輸出格式再寫進腳本。最后留一個實用習慣每次采集完把本次的 sec_user_id、抓取時間、條數、去重數記一行日志。下次數據對不上時翻日志比翻代碼快得多。采集腳本的穩(wěn)定性往往就藏在這些不起眼的記錄里。