簡介這份資源是斯坦福大學(xué)Stefan Wager于2024年9月更新的《Causal Inference: A Statistical Learning Approach》教科書草稿面向數(shù)據(jù)科學(xué)、統(tǒng)計(jì)學(xué)、經(jīng)濟(jì)學(xué)與公共政策領(lǐng)域的學(xué)習(xí)者和研究者幫助讀者用統(tǒng)計(jì)學(xué)習(xí)方法系統(tǒng)理解因果推斷的理論框架與實(shí)踐工具。壓縮包內(nèi)共1個PDF文件大小約1.66MB內(nèi)容為完整英文教材目錄結(jié)構(gòu)清晰便于按章節(jié)檢索學(xué)習(xí)。全書從隨機(jī)對照試驗(yàn)的差異均值估計(jì)與回歸調(diào)整講起依次覆蓋無混淆與傾向得分、雙重穩(wěn)健方法與雙重機(jī)器學(xué)習(xí)、異質(zhì)處理效應(yīng)估計(jì)、政策學(xué)習(xí)、自適應(yīng)實(shí)驗(yàn)、平衡估計(jì)器以及回歸斷點(diǎn)設(shè)計(jì)等核心主題并延伸至內(nèi)生處理、局部平均處理效應(yīng)、溢出與干擾等進(jìn)階內(nèi)容。目前已有1998人學(xué)習(xí)下載適合希望從基礎(chǔ)概念逐步深入到前沿方法的讀者也可作為課程教學(xué)與科研參考的案頭資料。1. 因果推斷為什么隨機(jī)化能讓你看見“平行世界”因果推斷最反直覺的地方在于它要回答的問題本質(zhì)上是一個永遠(yuǎn)無法直接觀測的“平行世界”問題。你吃了藥病好了——但如果沒吃藥呢那個“沒吃藥的你”現(xiàn)在是什么狀態(tài)沒人知道。這就是因果推斷領(lǐng)域公認(rèn)的“根本問題”每個個體在某一時刻只能接受一種處理我們永遠(yuǎn)只能觀測到潛在結(jié)果中的一個。斯坦福大學(xué)2024年的這本《Causal Inference: A Statistical Learning Approach》開篇就直面這個困境用Neyman-Rubin潛在結(jié)果框架把“因果效應(yīng)”定義為一個可計(jì)算的差值?? Y?(1) ? Y?(0)。這個差值本身不可觀測但隨機(jī)化實(shí)驗(yàn)讓我們可以估計(jì)它的某些整體性質(zhì)。換句話說因果推斷不是去“看見”平行世界而是通過隨機(jī)化讓兩個世界的可比群體在統(tǒng)計(jì)意義上等價從而讓差值可估計(jì)。這本書從隨機(jī)對照試驗(yàn)出發(fā)一路講到雙重穩(wěn)健估計(jì)、異質(zhì)處理效應(yīng)、政策學(xué)習(xí)、自適應(yīng)實(shí)驗(yàn)、回歸斷點(diǎn)設(shè)計(jì)覆蓋了因果推斷從基礎(chǔ)到前沿的完整鏈條。搞懂這套框架的底層邏輯比記住任何一個估計(jì)量的公式都重要。2. 隨機(jī)化為什么能“無中生有”從差分均值到回歸調(diào)整2.1 差分均值估計(jì)量的無偏性從何而來隨機(jī)對照試驗(yàn)中最樸素的估計(jì)量是差分均值把處理組的平均結(jié)果減去對照組的平均結(jié)果。這個估計(jì)量之所以能無偏地估計(jì)樣本平均處理效應(yīng)核心機(jī)制在于隨機(jī)化本身。當(dāng)處理分配W?與潛在結(jié)果{Y?(0), Y?(1)}獨(dú)立時處理組和對照組在期望意義上就是“同一批人”的兩個副本。書中給出的定理1.1證明了這個結(jié)論在SUTVA穩(wěn)定單位處理值假設(shè)和隨機(jī)分配條件下差分均值估計(jì)量是有限樣本無偏的。這個結(jié)論的強(qiáng)度在于它不依賴任何分布假設(shè)——你不需要假設(shè)結(jié)果服從正態(tài)分布也不需要假設(shè)潛在結(jié)果來自某個特定總體。隨機(jī)化本身就是識別策略。但無偏性只解決了“估計(jì)量的期望等于真值”這個問題它沒有告訴你估計(jì)誤差有多大。要構(gòu)造置信區(qū)間就需要引入總體抽樣假設(shè)假設(shè)研究參與者是從某個總體中獨(dú)立抽取的。在這個假設(shè)下中心極限定理給出差分均值估計(jì)量的漸近正態(tài)性其方差為VDM Var[Y?(0)]/(1?π) Var[Y?(1)]/π其中π是處理分配概率。這個方差公式揭示了一個設(shè)計(jì)層面的權(quán)衡當(dāng)π接近0或1時某一組的樣本量會非常小方差急劇膨脹。所以實(shí)踐中通常取π0.5讓兩組樣本量盡量均衡。書中還給出了方差的插件估計(jì)量用樣本方差替代總體方差并證明了其一致性。這些結(jié)果構(gòu)成了隨機(jī)對照試驗(yàn)統(tǒng)計(jì)分析的標(biāo)準(zhǔn)工具箱。2.2 回歸調(diào)整用協(xié)變量換方差縮減差分均值估計(jì)量雖然無偏但它沒有利用任何預(yù)處理協(xié)變量信息。如果你在實(shí)驗(yàn)前測量了受試者的年齡、性別、基線指標(biāo)等變量這些信息可以用來做什么書中第1.2節(jié)給出了答案回歸調(diào)整。具體做法是在差分均值的基礎(chǔ)上加入?yún)f(xié)變量與處理指示變量的交互項(xiàng)通過最小二乘回歸來估計(jì)處理效應(yīng)。這個估計(jì)量在隨機(jī)化條件下仍然是無偏的但方差通常比差分均值估計(jì)量更小。為什么回歸調(diào)整能縮減方差直覺是這樣的如果某個協(xié)變量X與結(jié)果Y高度相關(guān)那么X的變異會貢獻(xiàn)到Y(jié)的方差中。通過回歸把X的影響“扣除”掉殘差的方差就變小了處理效應(yīng)估計(jì)的精度自然提高。書中給出了一個關(guān)鍵結(jié)論當(dāng)協(xié)變量與結(jié)果的關(guān)聯(lián)越強(qiáng)方差縮減的效果越明顯。但這里有一個常見的坑回歸調(diào)整的方差縮減效果依賴于模型設(shè)定的正確性。如果你假設(shè)處理效應(yīng)是常數(shù)即沒有交互項(xiàng)但真實(shí)情況是處理效應(yīng)隨協(xié)變量變化那么回歸調(diào)整可能會引入偏差。所以書中建議在隨機(jī)試驗(yàn)中即使做了回歸調(diào)整也應(yīng)該報告差分均值的結(jié)果作為參照。2.3 從隨機(jī)試驗(yàn)到觀察性研究的橋梁隨機(jī)對照試驗(yàn)是因果推斷的“黃金標(biāo)準(zhǔn)”但很多現(xiàn)實(shí)問題無法做隨機(jī)實(shí)驗(yàn)——你不可能隨機(jī)分配一個人去吸煙。那么觀察性研究怎么做因果推斷書中第2章給出了核心答案無混淆性假設(shè)。這個假設(shè)說的是在控制了協(xié)變量X之后處理分配W與潛在結(jié)果{Y(0), Y(1)}獨(dú)立。換句話說所有同時影響處理選擇和結(jié)果的混雜因素都被觀測到了。在這個假設(shè)下觀察性研究就可以模仿隨機(jī)試驗(yàn)的分析框架。但無混淆性假設(shè)本身是不可檢驗(yàn)的——你永遠(yuǎn)不知道有沒有遺漏的混雜因素。這就是為什么書中花了大量篇幅討論傾向得分方法。傾向得分e(X) P(W1|X)把高維協(xié)變量壓縮成一個一維分?jǐn)?shù)在無混淆性假設(shè)下只要控制住傾向得分就能平衡所有協(xié)變量。這個性質(zhì)叫做“平衡性”是傾向得分方法的核心機(jī)制。書中第2.1節(jié)的分層估計(jì)和2.2節(jié)的逆傾向加權(quán)都是基于這個性質(zhì)。逆傾向加權(quán)的思想尤其巧妙它通過給每個樣本賦予權(quán)重1/e(X)或1/(1?e(X))構(gòu)造出一個“偽總體”在這個偽總體中處理組和對照組的協(xié)變量分布是相同的。這相當(dāng)于用加權(quán)的方式“模擬”了一個隨機(jī)試驗(yàn)。3. 雙重穩(wěn)健與雙重機(jī)器學(xué)習(xí)當(dāng)兩個模型都錯的時候還能剩下什么3.1 雙重穩(wěn)健估計(jì)的“雙保險”機(jī)制傾向得分方法有一個致命弱點(diǎn)如果傾向得分模型設(shè)定錯誤估計(jì)量就有偏。同樣如果結(jié)果回歸模型設(shè)定錯誤基于回歸的估計(jì)量也有偏。雙重穩(wěn)健估計(jì)的巧妙之處在于它同時使用傾向得分模型和結(jié)果回歸模型只要其中一個模型設(shè)定正確估計(jì)量就是一致的。這就像給估計(jì)量上了雙保險——你不需要知道哪個模型是對的只要不是兩個都錯就行。書中第3章給出了雙重穩(wěn)健估計(jì)的一般形式。以逆傾向加權(quán)和回歸調(diào)整的結(jié)合為例雙重穩(wěn)健估計(jì)量可以寫成τ_DR (1/n) Σ [ (W?Y?)/ê(X?) ? ((1?W?)Y?)/(1?ê(X?)) ] ? (1/n) Σ [ (W? ? ê(X?))/ê(X?) * m??(X?) ... ]這個公式看起來復(fù)雜但機(jī)制可以這樣理解第一項(xiàng)是逆傾向加權(quán)的估計(jì)量第二項(xiàng)是一個“校正項(xiàng)”用結(jié)果回歸模型來修正傾向得分模型的誤差。當(dāng)傾向得分模型正確時校正項(xiàng)的期望為零估計(jì)量退化為逆傾向加權(quán)當(dāng)結(jié)果回歸模型正確時校正項(xiàng)恰好抵消了逆傾向加權(quán)的偏差。這種“互相糾錯”的結(jié)構(gòu)就是雙重穩(wěn)健性的來源。3.2 雙重機(jī)器學(xué)習(xí)用交叉擬合打破過擬合的詛咒雙重穩(wěn)健估計(jì)有一個前提傾向得分和結(jié)果回歸模型必須滿足一定的收斂速度。如果模型過擬合估計(jì)量反而會有偏。這個問題在高維協(xié)變量場景下尤其嚴(yán)重——當(dāng)協(xié)變量維度很高時機(jī)器學(xué)習(xí)模型很容易過擬合導(dǎo)致傾向得分估計(jì)不準(zhǔn)。書中第3.1節(jié)介紹的雙重機(jī)器學(xué)習(xí)Double Machine Learning通過交叉擬合cross-fitting解決了這個問題。交叉擬合的做法是把數(shù)據(jù)分成K折對于每一折用其他K?1折的數(shù)據(jù)訓(xùn)練傾向得分模型和結(jié)果回歸模型然后用訓(xùn)練好的模型對當(dāng)前折的樣本進(jìn)行預(yù)測。這樣做的目的是打破模型訓(xùn)練誤差和估計(jì)誤差之間的相關(guān)性。如果沒有交叉擬合模型在訓(xùn)練集上的過擬合會導(dǎo)致傾向得分估計(jì)在訓(xùn)練樣本上過于極端接近0或1從而放大逆傾向加權(quán)的方差。交叉擬合確保了用于估計(jì)處理效應(yīng)的傾向得分是在“未見過的數(shù)據(jù)”上預(yù)測的從而避免了過擬合帶來的偏差。書中給出了雙重機(jī)器學(xué)習(xí)估計(jì)量的漸近正態(tài)性結(jié)果并證明了在一定的正則條件下即使使用復(fù)雜的機(jī)器學(xué)習(xí)模型如隨機(jī)森林、神經(jīng)網(wǎng)絡(luò)雙重機(jī)器學(xué)習(xí)估計(jì)量仍然可以達(dá)到參數(shù)收斂速度。這個結(jié)果的深刻之處在于它表明你不需要為了統(tǒng)計(jì)推斷而犧牲模型的靈活性。你可以用機(jī)器學(xué)習(xí)模型來捕捉復(fù)雜的非線性關(guān)系同時仍然獲得有效的置信區(qū)間。3.3 有效估計(jì)與半?yún)?shù)效率界雙重機(jī)器學(xué)習(xí)不僅是一致的它還是漸近有效的——也就是說在所有正則估計(jì)量中它的漸近方差達(dá)到了最小值。這個最小值由半?yún)?shù)效率界給出。書中第3.2節(jié)推導(dǎo)了無混淆性假設(shè)下的效率界并證明了雙重機(jī)器學(xué)習(xí)估計(jì)量達(dá)到了這個界。這個結(jié)果的實(shí)踐意義是如果你相信無混淆性假設(shè)成立那么雙重機(jī)器學(xué)習(xí)估計(jì)量就是你所能構(gòu)造的最優(yōu)估計(jì)量——沒有其他估計(jì)量能在漸近意義上比它更精確。但這里有一個重要的提醒效率界的達(dá)到依賴于傾向得分和結(jié)果回歸模型的收斂速度滿足一定條件。具體來說兩個模型的預(yù)測誤差乘積必須比n^{-1/2}衰減得更快。這個條件在低維協(xié)變量場景下通常滿足但在高維場景下需要模型具有稀疏性或其他結(jié)構(gòu)。如果這個條件不滿足雙重機(jī)器學(xué)習(xí)估計(jì)量可能達(dá)不到效率界甚至可能不一致。所以書中反復(fù)強(qiáng)調(diào)雙重穩(wěn)健性不是免費(fèi)的午餐它需要模型選擇的正則化條件來支撐。4. 異質(zhì)處理效應(yīng)為什么“平均”會掩蓋真相4.1 從平均效應(yīng)到條件平均效應(yīng)傳統(tǒng)的因果推斷關(guān)注平均處理效應(yīng)ATE但平均效應(yīng)可能掩蓋了處理效應(yīng)在不同人群中的巨大差異。比如一種藥對某些人有效、對另一些人無效甚至有害平均效應(yīng)可能接近零但這并不意味著藥物沒有效果。書中第4章轉(zhuǎn)向異質(zhì)處理效應(yīng)關(guān)注條件平均處理效應(yīng)CATEτ(x) E[Y(1) ? Y(0) | X x]。這個量刻畫了處理效應(yīng)如何隨協(xié)變量x變化。估計(jì)CATE的難點(diǎn)在于你需要在每個x處估計(jì)兩個潛在結(jié)果的期望但每個樣本只能觀測到一個潛在結(jié)果。直接的做法是對處理組和對照組分別建模然后做差。但這種做法在高維協(xié)變量場景下容易過擬合。書中第4.1節(jié)介紹了半?yún)?shù)建模方法通過假設(shè)CATE具有某種低維結(jié)構(gòu)如線性或稀疏線性來降低估計(jì)難度。第4.2節(jié)則介紹了一種更靈活的方法直接為處理異質(zhì)性設(shè)計(jì)一個損失函數(shù)通過最小化這個損失函數(shù)來估計(jì)CATE而不需要分別建模兩個潛在結(jié)果。4.2 異質(zhì)性估計(jì)的損失函數(shù)設(shè)計(jì)直接估計(jì)CATE的一個關(guān)鍵挑戰(zhàn)是你無法觀測到個體處理效應(yīng)??所以無法直接定義預(yù)測誤差。書中給出的解決方案是構(gòu)造一個“偽結(jié)果”使得這個偽結(jié)果的期望等于CATE。具體來說對于任何函數(shù)f(x)定義L(f) E[ (Y ? f(X))2 | W1 ] ? E[ (Y ? f(X))2 | W0 ]這個損失函數(shù)的巧妙之處在于它的最小值點(diǎn)就是CATE函數(shù)τ(x)。換句話說你不需要知道??只需要最小化這個可觀測的損失函數(shù)就能得到CATE的估計(jì)。這個損失函數(shù)被稱為“R-loss”或“異質(zhì)性損失”。它的推導(dǎo)利用了傾向得分在無混淆性假設(shè)下E[Y|X, W1] ? E[Y|X, W0] τ(X)。所以最小化處理組和對照組的預(yù)測誤差之差等價于最小化CATE的估計(jì)誤差。這個損失函數(shù)的實(shí)踐意義是它把CATE估計(jì)問題轉(zhuǎn)化為了一個標(biāo)準(zhǔn)的監(jiān)督學(xué)習(xí)問題。你可以用任何回歸方法線性回歸、隨機(jī)森林、梯度提升樹來最小化這個損失函數(shù)從而得到CATE的估計(jì)。書中還討論了如何用交叉驗(yàn)證來選擇超參數(shù)以及如何構(gòu)造CATE的置信區(qū)間。這些方法使得異質(zhì)處理效應(yīng)的估計(jì)變得像訓(xùn)練一個預(yù)測模型一樣簡單。4.3 異質(zhì)性估計(jì)的常見陷阱異質(zhì)性估計(jì)最容易踩的坑是“過擬合異質(zhì)性”。當(dāng)你用高維協(xié)變量和靈活模型來估計(jì)CATE時模型可能會捕捉到噪聲而不是真實(shí)的異質(zhì)性。這會導(dǎo)致你發(fā)現(xiàn)一些看似顯著的處理效應(yīng)差異但實(shí)際上這些差異只是隨機(jī)波動。書中建議的做法是先用一個獨(dú)立的驗(yàn)證集來評估CATE估計(jì)的穩(wěn)定性或者使用交叉擬合來避免過擬合。另一個坑是“忽略傾向得分”。如果處理分配概率e(X)隨X變化那么直接比較處理組和對照組的條件均值會引入偏差。正確的做法是在損失函數(shù)中加入傾向得分的逆權(quán)重或者使用雙重穩(wěn)健的CATE估計(jì)量。5. 政策學(xué)習(xí)與自適應(yīng)實(shí)驗(yàn)當(dāng)因果推斷遇上決策優(yōu)化5.1 政策學(xué)習(xí)從估計(jì)效應(yīng)到做決策估計(jì)處理效應(yīng)只是第一步真正的挑戰(zhàn)是基于估計(jì)的效應(yīng)你應(yīng)該做什么決策比如你估計(jì)出不同人群對某種干預(yù)的反應(yīng)不同那么你應(yīng)該把有限的資源分配給哪些人群這就是政策學(xué)習(xí)要解決的問題。書中第5章把政策學(xué)習(xí)形式化為一個經(jīng)驗(yàn)福利最大化問題你需要找到一個決策規(guī)則π(x)使得在所有樣本上應(yīng)用這個規(guī)則的平均福利最大化。政策學(xué)習(xí)的核心困難在于“反事實(shí)評估”你只能觀測到實(shí)際執(zhí)行的政策的結(jié)果無法觀測到如果執(zhí)行另一個政策會怎樣。書中第5.1節(jié)介紹了政策評估的方法通過逆傾向加權(quán)或雙重穩(wěn)健估計(jì)來評估一個候選政策的福利。第5.2節(jié)則介紹了經(jīng)驗(yàn)福利最大化的算法把政策學(xué)習(xí)轉(zhuǎn)化為一個分類問題通過最小化一個“政策遺憾”的代理損失函數(shù)來找到最優(yōu)政策。這個代理損失函數(shù)的構(gòu)造與CATE估計(jì)中的R-loss類似都是利用傾向得分來構(gòu)造一個可觀測的替代目標(biāo)。5.2 自適應(yīng)實(shí)驗(yàn)在收集數(shù)據(jù)的同時做決策傳統(tǒng)的隨機(jī)對照試驗(yàn)是“固定設(shè)計(jì)”的你先確定樣本量然后收集數(shù)據(jù)最后分析。但很多場景下你需要在實(shí)驗(yàn)過程中動態(tài)調(diào)整處理分配——比如多臂老虎機(jī)問題。書中第6章介紹了自適應(yīng)實(shí)驗(yàn)的設(shè)計(jì)和分析方法。自適應(yīng)實(shí)驗(yàn)的核心挑戰(zhàn)是數(shù)據(jù)收集過程本身依賴于之前收集的數(shù)據(jù)這破壞了傳統(tǒng)統(tǒng)計(jì)推斷的獨(dú)立性假設(shè)。如果你用標(biāo)準(zhǔn)的t檢驗(yàn)來分析自適應(yīng)實(shí)驗(yàn)的數(shù)據(jù)第一類錯誤率會失控。書中第6.1節(jié)介紹了低遺憾數(shù)據(jù)收集策略如Thompson采樣和UCB算法。這些策略在探索嘗試不同的處理以獲取信息和利用選擇當(dāng)前看起來最好的處理之間做權(quán)衡。第6.2節(jié)則介紹了自適應(yīng)數(shù)據(jù)收集后的推斷方法。關(guān)鍵思想是你需要構(gòu)造一個“始終有效”的置信序列而不是傳統(tǒng)的固定樣本量置信區(qū)間。置信序列在任意停止時間都保持有效性從而允許你在實(shí)驗(yàn)過程中隨時查看結(jié)果并決定是否停止。這個性質(zhì)對于自適應(yīng)實(shí)驗(yàn)至關(guān)重要因?yàn)樗试S你在不破壞統(tǒng)計(jì)有效性的前提下進(jìn)行序貫決策。5.3 自適應(yīng)實(shí)驗(yàn)的推斷陷阱自適應(yīng)實(shí)驗(yàn)最容易踩的坑是“偷看數(shù)據(jù)”。如果你在實(shí)驗(yàn)過程中反復(fù)查看p值并在p值小于0.05時停止實(shí)驗(yàn)?zāi)敲吹谝活愬e誤率會遠(yuǎn)高于5%。這是因?yàn)槟憬o了自己多次“碰運(yùn)氣”的機(jī)會。書中建議的做法是要么使用置信序列來構(gòu)造始終有效的推斷要么使用alpha-spending函數(shù)來分配第一類錯誤預(yù)算。另一個坑是“忽略自適應(yīng)分配對推斷的影響”。在自適應(yīng)實(shí)驗(yàn)中處理分配概率依賴于歷史數(shù)據(jù)這導(dǎo)致不同樣本之間不再獨(dú)立。標(biāo)準(zhǔn)的方差估計(jì)量在這種情況下是有偏的需要使用專門為自適應(yīng)實(shí)驗(yàn)設(shè)計(jì)的方差估計(jì)量。6. 避坑指南因果推斷實(shí)踐中的五個血淚教訓(xùn)6.1 混淆變量沒控制住一切白搭現(xiàn)象你做了一個觀察性研究發(fā)現(xiàn)處理組和對照組的結(jié)果差異顯著但審稿人指出你遺漏了一個關(guān)鍵混淆變量。原因無混淆性假設(shè)是觀察性因果推斷的基石。如果存在未觀測的混淆變量那么無論你用多復(fù)雜的估計(jì)量結(jié)果都是有偏的。這個假設(shè)本身不可檢驗(yàn)所以你必須用領(lǐng)域知識來論證它的合理性。解決在研究設(shè)計(jì)階段就盡可能多地收集協(xié)變量并在論文中明確討論未觀測混淆變量的可能影響。如果可能使用工具變量或斷點(diǎn)回歸等不需要無混淆性假設(shè)的方法。6.2 傾向得分模型設(shè)定錯誤逆傾向加權(quán)反而放大偏差現(xiàn)象你用邏輯回歸估計(jì)傾向得分然后做逆傾向加權(quán)結(jié)果估計(jì)量比差分均值還要離譜。原因逆傾向加權(quán)對傾向得分模型的設(shè)定非常敏感。如果傾向得分模型遺漏了重要的非線性項(xiàng)或交互項(xiàng)那么估計(jì)出的傾向得分就會有系統(tǒng)偏差。更糟糕的是逆傾向加權(quán)會給傾向得分接近0或1的樣本賦予極大的權(quán)重這些樣本的微小誤差會被放大。解決使用雙重穩(wěn)健估計(jì)量它在你傾向得分模型錯誤時仍然一致只要結(jié)果回歸模型正確。同時檢查傾向得分的分布如果有很多樣本的傾向得分接近0或1考慮使用修剪trimming或重疊權(quán)重overlap weights。6.3 交叉擬合沒做雙重機(jī)器學(xué)習(xí)變成了雙重過擬合現(xiàn)象你用隨機(jī)森林估計(jì)傾向得分和結(jié)果回歸然后直接代入雙重機(jī)器學(xué)習(xí)的公式結(jié)果估計(jì)量的偏差比預(yù)期大很多。原因如果沒有交叉擬合模型在訓(xùn)練集上的過擬合會導(dǎo)致傾向得分估計(jì)在訓(xùn)練樣本上過于極端結(jié)果回歸的殘差也會偏小。這破壞了雙重機(jī)器學(xué)習(xí)估計(jì)量的漸近性質(zhì)。解決始終使用交叉擬合。把數(shù)據(jù)分成至少5折用其他折的數(shù)據(jù)訓(xùn)練模型用當(dāng)前折的數(shù)據(jù)做預(yù)測。這樣得到的傾向得分和結(jié)果回歸預(yù)測是“樣本外”的避免了過擬合帶來的偏差。6.4 異質(zhì)性估計(jì)過擬合發(fā)現(xiàn)了不存在的“亞組效應(yīng)”現(xiàn)象你用因果森林估計(jì)CATE發(fā)現(xiàn)某個亞組的處理效應(yīng)特別大但用獨(dú)立數(shù)據(jù)驗(yàn)證時這個效應(yīng)消失了。原因CATE估計(jì)本質(zhì)上是一個高維回歸問題。如果你用靈活的模型和大量的協(xié)變量模型很容易捕捉到噪聲而不是真實(shí)的異質(zhì)性。特別是當(dāng)樣本量不夠大時過擬合幾乎不可避免。解決使用交叉驗(yàn)證來選擇模型的復(fù)雜度或者使用因果森林的“誠實(shí)估計(jì)”honest estimation方法把數(shù)據(jù)分成兩半一半用于確定樹的結(jié)構(gòu)另一半用于估計(jì)葉節(jié)點(diǎn)的CATE。另外對發(fā)現(xiàn)的亞組效應(yīng)進(jìn)行多重檢驗(yàn)校正。6.5 自適應(yīng)實(shí)驗(yàn)用固定樣本推斷第一類錯誤率失控現(xiàn)象你在自適應(yīng)實(shí)驗(yàn)中每隔一段時間查看一次結(jié)果當(dāng)p值小于0.05時停止實(shí)驗(yàn)并報告顯著。結(jié)果發(fā)現(xiàn)假陽性率遠(yuǎn)高于5%。原因固定樣本的推斷方法假設(shè)你只查看一次數(shù)據(jù)。如果你反復(fù)查看每次查看都是一次獨(dú)立的檢驗(yàn)多次檢驗(yàn)會累積第一類錯誤率。解決使用置信序列或alpha-spending方法。置信序列在任意停止時間都保持有效性允許你隨時查看數(shù)據(jù)。alpha-spending方法則預(yù)先分配第一類錯誤預(yù)算確保在整個實(shí)驗(yàn)過程中的總體第一類錯誤率不超過預(yù)設(shè)水平。7. 設(shè)計(jì)取舍因果推斷的“不可能三角”與你的選擇因果推斷的方法選擇本質(zhì)上是在三個維度之間做取舍偏差、方差和計(jì)算復(fù)雜度。差分均值估計(jì)量偏差最小在隨機(jī)化條件下無偏但方差可能很大回歸調(diào)整可以縮減方差但引入了模型設(shè)定偏差的風(fēng)險雙重穩(wěn)健估計(jì)量在模型正確時偏差和方差都較小但計(jì)算復(fù)雜度更高且需要交叉擬合來避免過擬合。這個“不可能三角”沒有 universally optimal 的解法選擇取決于你的具體場景和假設(shè)強(qiáng)度。我一般會這么理解如果你能做隨機(jī)實(shí)驗(yàn)優(yōu)先做隨機(jī)實(shí)驗(yàn)然后用回歸調(diào)整來縮減方差。如果你只能做觀察性研究先問自己無混淆性假設(shè)是否合理——如果不合理考慮工具變量或斷點(diǎn)回歸。如果無混淆性假設(shè)合理用雙重機(jī)器學(xué)習(xí)作為默認(rèn)方法因?yàn)樗瑫r具備一致性和漸近有效性。如果你關(guān)心異質(zhì)性處理效應(yīng)用因果森林或R-loss方法但一定要做交叉驗(yàn)證和誠實(shí)估計(jì)。如果你在做自適應(yīng)實(shí)驗(yàn)從一開始就設(shè)計(jì)好推斷策略不要等到實(shí)驗(yàn)結(jié)束才想怎么分析。驗(yàn)證方法上我習(xí)慣做三件事第一用模擬數(shù)據(jù)驗(yàn)證估計(jì)量的無偏性——生成已知處理效應(yīng)的合成數(shù)據(jù)看估計(jì)量是否圍繞真值波動第二用安慰劑檢驗(yàn)驗(yàn)證無混淆性——用一個理論上不應(yīng)該有處理效應(yīng)的結(jié)果變量做分析如果發(fā)現(xiàn)“顯著效應(yīng)”說明存在未控制的混淆第三用敏感性分析評估未觀測混淆變量的影響——計(jì)算如果存在一個未觀測混淆變量它需要多強(qiáng)才能推翻你的結(jié)論。這本書最值得深挖的地方在于它把統(tǒng)計(jì)學(xué)習(xí)方法和因果推斷框架做了系統(tǒng)性的融合。傳統(tǒng)的因果推斷教材往往停留在線性模型和參數(shù)方法而這本書從雙重機(jī)器學(xué)習(xí)到因果森林從政策學(xué)習(xí)到自適應(yīng)實(shí)驗(yàn)覆蓋了現(xiàn)代機(jī)器學(xué)習(xí)工具在因果推斷中的最新應(yīng)用。每一章都配有習(xí)題和文獻(xiàn)注記適合作為研究生教材或自學(xué)參考。如果你已經(jīng)會用Python或R做數(shù)據(jù)分析但想搞懂“為什么隨機(jī)化能識別因果效應(yīng)”“雙重穩(wěn)健為什么穩(wěn)健”“異質(zhì)性估計(jì)為什么容易過擬合”這些底層問題這本書的推導(dǎo)和例子能給你扎實(shí)的答案。從那以后我每次做因果推斷分析都強(qiáng)制走一遍“假設(shè)檢查→模型選擇→交叉擬合→敏感性分析”的流程不再跳過任何一個環(huán)節(jié)。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取