只要碰過分布偏移和偽相關(guān)就一定繞不開 IRM、EIIL、GroupDRO 這三個名字。它們都被歸類到不變學(xué)習(xí)Invariant Learning的旗幟下目標(biāo)是解決同一個本質(zhì)問題訓(xùn)練數(shù)據(jù)里的相關(guān)性哪些是真正跨環(huán)境穩(wěn)定的因果信號哪些只是某個環(huán)境碰巧帶來的偽相關(guān)。我在處理某跨平臺系統(tǒng)數(shù)據(jù)時一開始天真地把好幾個來源的數(shù)據(jù)拼在一起做端到端訓(xùn)練覺得數(shù)據(jù)量大了什么都有結(jié)果一到新的測試環(huán)境直接崩盤。后來才意識到這類問題必須在建模時就引入對環(huán)境結(jié)構(gòu)的理解而整個領(lǐng)域最核心的依賴就是環(huán)境標(biāo)簽——你得先知道每條樣本來自哪個分布才能定義“跨環(huán)境不變”這件事?，F(xiàn)實里環(huán)境標(biāo)簽往往拿不到、拿不全、甚至成本極高所以工程實踐上的演化路線非常清晰先是 IRM 硬性要求環(huán)境標(biāo)簽再到 EIIL 自動推斷環(huán)境再到 GroupDRO 用最差組風(fēng)險來兜底。這篇文章就以這三條路徑為主線把原理、實現(xiàn)、選型和踩坑一次講清楚。1. 不變學(xué)習(xí)到底在學(xué)什么環(huán)境標(biāo)簽的前世今生1.1 偽相關(guān)是怎么把模型帶偏的先看一個幾乎所有教程都會提的例子。想象你要做一個圖像分類模型判斷一張照片里是牛還是駱駝。訓(xùn)練數(shù)據(jù)里牛的照片幾乎都出現(xiàn)在草地上駱駝的照片幾乎都出現(xiàn)在沙漠里。這時候很多模型并不會去認(rèn)真學(xué)牛的輪廓、蹄子、駝峰這些真正的判別特征而是偷偷學(xué)了一個更省事的規(guī)則看到大面積的綠色就說是?？吹酱竺娣e的沙黃色就說是駱駝。這就是偽相關(guān)也叫捷徑特征。如果測試數(shù)據(jù)的分布和訓(xùn)練數(shù)據(jù)一模一樣這個偷懶模型的表現(xiàn)可以相當(dāng)好畢竟測試時牛大概率還在草地上?？梢坏┑搅苏鎸崍鼍芭Ｕ驹谏衬?、駱駝趴在草地上模型立刻原形畢露。這個現(xiàn)象在學(xué)術(shù)上有統(tǒng)一的名字叫分布偏移具體到這類情況又常被稱為偽相關(guān)泛化失敗。做實際項目的人對它的感受最直接訓(xùn)練集上漂亮的指標(biāo)一換環(huán)境就歸零。而且偽相關(guān)往往隱藏得很深你根本看不出模型學(xué)錯了什么直到線上反饋打臉。1.2 環(huán)境標(biāo)簽的含義與使用前提環(huán)境標(biāo)簽environment label指的是每條樣本來自哪一個數(shù)據(jù)子分布的標(biāo)記。它不一定是監(jiān)督用的類別標(biāo)簽而是對數(shù)據(jù)來源的分組信息。來源可以是拍攝地點、采集時間、設(shè)備類型、用戶群體、協(xié)議版本等等只要這個維度會造成分布差異它就可以作為環(huán)境維度來使用。注意環(huán)境標(biāo)簽描述的是“數(shù)據(jù)怎么來的”不是“數(shù)據(jù)是什么”這兩者經(jīng)常被混為一談。有了環(huán)境標(biāo)簽我們就可以給“不變性”下一個嚴(yán)格定義如果一個特征表示 Φ 是因果不變的那么在任意環(huán)境 e 中基于該表示訓(xùn)練出來的最優(yōu)預(yù)測器都應(yīng)該是同一個。換句話說特征里該留的留下該去掉的偽相關(guān)去掉之后剩下的部分對環(huán)境的切換不敏感。這正是 IRM 整篇工作的基石。這里說的“因果”并不需要你畫完整的結(jié)構(gòu)方程只需要你能找到那個跨環(huán)境穩(wěn)定的預(yù)測規(guī)律——在實踐中這比做完整的因果發(fā)現(xiàn)要便宜得多也正是不變學(xué)習(xí)能在工程里落地的原因。1.3 為什么不建議直接對特征做無監(jiān)督聚類沒有環(huán)境標(biāo)簽時很多人第一反應(yīng)是先跑一個聚類把樣本分成幾組再拿這些組當(dāng)成環(huán)境標(biāo)簽。這個思路看起來順理成章但坑非常大。無監(jiān)督聚類是在原始特征空間里找緊湊的簇而模型在訓(xùn)練早期學(xué)到的特征往往已經(jīng)被偽相關(guān)主導(dǎo)了。你用這些特征聚類分出來的組大概率是在按顏色、背景、風(fēng)格等捷徑特征劃分而不是按真正能暴露分布差異的維度劃分。更重要的是聚類出來的分組對下游的任務(wù)目標(biāo)毫無感知。環(huán)境劃分的目標(biāo)應(yīng)該是“讓不變學(xué)習(xí)算法能夠識別出哪些相關(guān)性在不同環(huán)境下會變化”這本質(zhì)上是一個與任務(wù)相關(guān)的對抗性劃分問題。盲目聚類等于把一個需要優(yōu)化的變量降級成了啟發(fā)式預(yù)處理結(jié)果往往比隨機分組好不了多少。這也是 EIIL 跟樸素聚類最根本的區(qū)別——它把環(huán)境劃分本身放進了優(yōu)化目標(biāo)里而聚類只是拿一個與任務(wù)無關(guān)的幾何度量硬切數(shù)據(jù)。2. IRM第一個把“跨環(huán)境不變”寫成約束的方案2.1 IRM 的目標(biāo)函數(shù)與因果直覺IRM全稱 Invariant Risk Minimization是這個方向最早被大規(guī)模討論的方案之一。它假設(shè)數(shù)據(jù)來自多個環(huán)境 e∈E每個環(huán)境下輸入 x 和標(biāo)簽 y 的聯(lián)合分布不同但存在一個表示函數(shù) Φ使得在所有環(huán)境下基于 Φ 的最優(yōu)線性分類器 w 都是同一個。換句話說不管數(shù)據(jù)從哪個環(huán)境來只要經(jīng)過 Φ 變換剩下的預(yù)測規(guī)律就完全一致。形式化地說IRM 要優(yōu)化的目標(biāo)是min_Φ Σ_e R_e(w ° Φ) s.t. w ∈ argmin_{w} R_e(w ° Φ)對任意環(huán)境 e 成立這個約束條件的含義很直白不管你從哪個環(huán)境里取數(shù)據(jù)同一個分類頭 w 都應(yīng)該是最優(yōu)的。如果某個特征只在部分環(huán)境下有用把它扔進表示里就會讓不同環(huán)境下最優(yōu)分類頭互相打架約束條件隨之被破壞。于是優(yōu)化過程就會被逼著把這類特征從表示里剔除出去?？梢园阉斫獬梢粋€內(nèi)部審查機制每個環(huán)境都在檢查同一個分類頭合不合身誰想偷塞私貨都會被揪出來。為什么這個約束能對應(yīng)到因果直覺因為因果特征有一個很重要的性質(zhì)它在任何干預(yù)環(huán)境下對標(biāo)簽的預(yù)測能力都保持穩(wěn)定。而純統(tǒng)計相關(guān)的特征一旦環(huán)境變了預(yù)測關(guān)系就可能翻轉(zhuǎn)或消失。IRM 通過在多個環(huán)境之間強制分類頭一致性恰好篩選出了那種“改動環(huán)境也改不動規(guī)律”的特征。這就是不變學(xué)習(xí)的核心方法論用跨環(huán)境的穩(wěn)定性來逼近因果性而不去直接建模因果圖。2.2 IRMv1 的梯度懲罰到底在懲罰什么原始 IRM 的目標(biāo)函數(shù)包含一個嵌套優(yōu)化分類頭要在每個環(huán)境內(nèi)部分別最優(yōu)直接求解非常麻煩。所以論文給出了一個實用版本也就是大家熟知的 IRMv1把約束條件松弛成懲罰項IRMv1 Σ_e R_e(w·Φ) λ · Σ_e ‖?_w R_e(w·Φ)‖2注意這里的 w 被固定成一個標(biāo)量通常是 1.0梯度是對這個標(biāo)量分類器求的。為什么要這樣做可以這么理解如果把表示 Φ 固定住只看分類頭 w那么每個環(huán)境都有一個對應(yīng)的最優(yōu) w_e。如果所有環(huán)境共享同一個最優(yōu) w那么把 w 取成任意公共值比如 1.0時每個環(huán)境的風(fēng)險函數(shù)對 w 的梯度都應(yīng)該為零。反過來如果某個環(huán)境下的最優(yōu) w_e 明顯偏離公共值在該公共取值處的梯度就比較大。所以梯度范數(shù)的大小可以直接度量“跨環(huán)境最優(yōu)分類頭不一致”的程度它天然就是一個不變性違反程度的評分器。這里有一個實現(xiàn)細(xì)節(jié)很容易被忽視懲罰項里求梯度的對象是 w·Φ 這個整體輸出對 w 的梯度不是整個 loss 對模型參數(shù)的梯度。在代碼里通常需要讓 Φ 的輸出不參與對 w 的梯度傳播單獨對 w 求梯度再把這個梯度的 L2 范數(shù)平方作為懲罰加進總 loss。有些初學(xué)者直接把 loss.backward() 之后的全體參數(shù)梯度拿去算范數(shù)方向完全不對做出來的東西既不是 IRM 也不是普通的正則化。2.3 一個可復(fù)現(xiàn)的 IRM 訓(xùn)練框架下面給出一段我在模擬項目里驗證過的 PyTorch 風(fēng)格偽代碼結(jié)構(gòu)上可以直接套用到自己的模型里關(guān)鍵在于把環(huán)境維度用 batch 拆開。def irm_loss(phi, w, env_batches, lambda_val): # phi: 特征提取器, w: 標(biāo)量分類頭 total_loss 0.0 penalty 0.0 for x_e, y_e in env_batches: feats phi(x_e) # [B, D] logits w * feats # 標(biāo)量分類頭乘特征 loss_e binary_cross_entropy(logits, y_e) # 關(guān)鍵計算 loss 對 w 的梯度注意與模型參數(shù)的梯度解耦 grad_w torch.autograd.grad(loss_e, w, create_graphTrue)[0] penalty grad_w.pow(2).mean() total_loss loss_e return total_loss lambda_val * penalty用這個框架時有三個要點。第一環(huán)境必須以 batch 為粒度切分絕不能把多個環(huán)境的數(shù)據(jù)混進同一個 batch否則梯度懲罰會算成混合環(huán)境的平均值環(huán)境間的差異就被抹平了。第二λ 的取值要配合驗證集調(diào)整我第一次跑的時候把 λ 設(shè)得太大模型直接放棄了所有特征不僅偽相關(guān)沒去掉連因果特征都學(xué)不到了。第三如果特征提取器很強、表示維度很高梯度懲罰會被稀釋必要時可以在表示層做降維或加正則讓懲罰項更容易傳導(dǎo)到特征層。這是一組我在多份數(shù)據(jù)上反復(fù)驗證過的配置思路不保證所有場景通用但作為起點比盲調(diào)要靠譜得多。2.4 IRM 的硬門檻沒有環(huán)境標(biāo)簽就走不動IRM 的一切優(yōu)勢都建立在環(huán)境劃分已知的前提上。在學(xué)術(shù)基準(zhǔn)里環(huán)境標(biāo)簽是數(shù)據(jù)集自帶的研究者只需要按標(biāo)簽切 batch但在真實項目里這個前提經(jīng)常不成立。我遇到的情況就非常典型手里的數(shù)據(jù)來自多個歷史版本但運營記錄早就把版本字段弄丟了我只能看到一堆混在一起的樣本。這時候 IRM 連第一步都邁不出去因為根本沒有合法的方式來切環(huán)境 batch。有人會說那我用時間戳切、用用戶 ID 切、用設(shè)備類型切總有一個能用吧問題在于環(huán)境劃分不是一個可以隨意拍的維度。切錯了環(huán)境不變性約束就會被錯誤地施加在不相干的維度上輕則懲罰項毫無信號重則把有價值的信息誤當(dāng)成偽相關(guān)過濾掉。正是這種“標(biāo)簽缺失 劃分未知”的現(xiàn)實困境催生了 EIIL 這條研究路線。可以說IRM 把最難的問題留給了使用者不是怎么優(yōu)化而是怎么把環(huán)境標(biāo)簽搞到手。3. EIIL把環(huán)境劃分本身當(dāng)成優(yōu)化變量3.1 兩步走的整體架構(gòu)先推環(huán)境再學(xué)不變特征EIILEnvironment Inference for Invariant Learning的核心思想一句話就能概括既然環(huán)境標(biāo)簽不知道那就把它當(dāng)成一個待優(yōu)化的變量推斷出一個“對不變學(xué)習(xí)最不利”的環(huán)境劃分然后用這個劃分去訓(xùn)練不變模型。整體架構(gòu)分為兩步。第一步構(gòu)造一個環(huán)境推斷器 g(x, y)它對每條樣本輸出一個環(huán)境歸屬的概率分布等價于把訓(xùn)練集劃分成若干個虛擬環(huán)境。第二步在第一步給出的環(huán)境下運行 IRM 風(fēng)格的訓(xùn)練。注意這兩個步驟并不是簡單的前后串聯(lián)第一步的推斷目標(biāo)非常特殊它要找到那個能讓第二步的 IRM 懲罰項最大化也就是讓不變性違反最嚴(yán)重的環(huán)境劃分。為什么要找最不利的劃分邏輯是如果某個特征真的是因果不變的那么不管環(huán)境怎么切分跨環(huán)境的最優(yōu)分類頭都保持一致懲罰項不會因為劃分方式而劇烈變化。但如果是偽相關(guān)特征存在一種“惡意的”劃分方式能把這種偽相關(guān)偽裝成跨環(huán)境穩(wěn)定特征或者正相反能最大限度暴露特征在不同環(huán)境下的不穩(wěn)定。EIIL 用最大化懲罰的方式搜索這種劃分本質(zhì)上就是在主動做壓力測試在所有可能的虛擬環(huán)境里找那個最有可能讓模型學(xué)到偽相關(guān)的劃分然后提前把這種風(fēng)險暴露出來。3.2 為什么偏偏要最大化 IRM 懲罰這里有一個反直覺的點值得展開。IRM 本身是做最小化EIIL 卻在選擇環(huán)境劃分時做最大化一前一后形成一個 min-max 對抗結(jié)構(gòu)。你可以把它理解成一個零和博弈一方是入侵者負(fù)責(zé)設(shè)計最刁鉆的環(huán)境劃分另一方是防御者負(fù)責(zé)在這種劃分下仍然學(xué)到不變特征。最終達到的平衡點就是模型對一切可能環(huán)境劃分都具有魯棒性的狀態(tài)。從算法實現(xiàn)角度看最大化 IRM 懲罰還有一個實際好處它給環(huán)境推斷提供了明確的梯度信號。如果換成一個普通的聚類目標(biāo)比如最大化組間距離那分組結(jié)果和下游不變學(xué)習(xí)是否有效之間沒有直接聯(lián)系推斷器得不到任何關(guān)于“這樣分會讓模型變好還是變壞”的反饋。而 EIIL 把環(huán)境推斷和不變學(xué)習(xí)的目標(biāo)直接綁定推斷器每調(diào)整一次劃分都能看到對 IRM 懲罰的影響這讓整個系統(tǒng)端到端可優(yōu)化。需要提醒的是EIIL 本身也繼承了 IRM 的前提假設(shè)數(shù)據(jù)里必須存在可恢復(fù)的環(huán)境結(jié)構(gòu)。如果數(shù)據(jù)來源真的只有一個分布沒有任何偽相關(guān)EIIL 推斷出的“最壞劃分”就會退化到隨機劃分懲罰項也基本沒有信號。所以用 EIIL 之前最好先做一個快速診斷看看不同子集上模型性能是否有顯著差異連差異都沒有的話任何不變學(xué)習(xí)方法都無從談起。3.3 EIIL 的實操流程與參數(shù)選擇我在自己的模擬項目 X 上實現(xiàn) EIIL 時把流程拆成了四個階段每個階段都有需要盯住的參數(shù)。第一階段預(yù)訓(xùn)練一個參考模型。這個模型用普通 ERM 在全部數(shù)據(jù)上訓(xùn)練它的作用是為環(huán)境推斷提供初始的預(yù)測分布。第二階段設(shè)計環(huán)境推斷器。推斷器的輸入是參考模型的輸出特征和標(biāo)簽輸出是樣本到 K 個虛擬環(huán)境的軟分配。我用了一個兩層的 MLP輸出經(jīng)過 softmax 得到每個樣本的環(huán)境歸屬概率。第三階段把軟分配當(dāng)作樣本權(quán)重把數(shù)據(jù)集重新組織成 K 個虛擬環(huán)境然后計算 IRM 的梯度懲罰并以最大化懲罰為目標(biāo)更新推斷器參數(shù)。第四階段固定推斷器用推斷出的環(huán)境劃分去訓(xùn)練最終的不變模型這時訓(xùn)練目標(biāo)又切回最小化 IRM loss。關(guān)鍵參數(shù)有三個虛擬環(huán)境數(shù)量 K、推斷器學(xué)習(xí)率、以及 IRM 懲罰系數(shù) λ。K 的選擇不能拍腦袋我測試下來K 太小比如 2時劃分過于粗糙多個不同的偽相關(guān)模式會擠在同一組里互相抵消K 太大時每組樣本量不足梯度懲罰的方差劇增。從 3 到 5 起步是比較穩(wěn)的區(qū)間。推斷器的學(xué)習(xí)率一般要比主模型小一到兩個數(shù)量級否則環(huán)境歸屬在訓(xùn)練早期劇烈震蕩體系會陷入不穩(wěn)定。λ 的調(diào)整策略和 IRM 一致但要注意 EIIL 的懲罰絕對值本身就受劃分影響最好是記錄每個階段的懲罰量級再據(jù)此縮放 λ而不是用固定值硬套。3.4 EIIL 的代價與脆弱點EIIL 不是免費的午餐它的代價主要體現(xiàn)在三個方面。第一是計算量因為要交替優(yōu)化主模型和環(huán)境推斷器訓(xùn)練時間大約是普通 IRM 的兩到三倍。第二是對參考模型的依賴如果參考模型本身已經(jīng)嚴(yán)重被偽相關(guān)污染推斷器拿到的特征也可能帶著同樣的偏差推斷出的環(huán)境劃分質(zhì)量會受影響。第三是搜索空間問題環(huán)境劃分是一個組合優(yōu)化問題EIIL 用軟分配和梯度下降來近似求解很容易陷入局部最優(yōu)不同的隨機初始化可能給出差別很大的最終劃分。針對這些脆弱點我的做法是參考模型不要只用一個可以同時訓(xùn)練兩到三個不同隨機種子或不同結(jié)構(gòu)的模型把它們的預(yù)測分布做集成后再喂給推斷器能明顯減少單一模型的偏差。另外每次訓(xùn)練結(jié)束后要檢查推斷出的環(huán)境劃分是否符合業(yè)務(wù)常識比如看看每個虛擬環(huán)境下樣本的分布字段是否有可解釋的規(guī)律。曾經(jīng)有幾次EIIL 推斷出的環(huán)境分組完全隨機沒有任何語義對應(yīng)這種時候我就會回到數(shù)據(jù)層面排查通常是因為原始數(shù)據(jù)根本沒有可學(xué)習(xí)的分布結(jié)構(gòu)而不是算法本身出了問題。4. GroupDRO不學(xué)特征直接對抗最差組4.1 最小組風(fēng)險的優(yōu)化視角GroupDROGroup Distributionally Robust Optimization走了另一條路。它不太關(guān)心你能不能找到一個跨環(huán)境不變的特征表示而是直接問一個問題在所有已知的樣本分組里模型表現(xiàn)最差的那個組我要優(yōu)先把它做好。目標(biāo)函數(shù)從 ERM 的平均風(fēng)險變成了最差組風(fēng)險min_Φ max_{g∈G} R_g(Φ)這里的 G 就是預(yù)先定義好的組集合每一組代表數(shù)據(jù)的一個子分布。GroupDRO 的直覺非常樸素平均性能再高如果某一個容易被忽視的子群體被系統(tǒng)性地犧牲掉模型整體仍然是不可靠的。這種視角在真實業(yè)務(wù)里格外有價值比如某個用戶群體數(shù)量少但行為模式獨特把它們當(dāng)成一組模型對它們預(yù)測不準(zhǔn)的問題就會被平攤掉而 GroupDRO 會強行兜住這條底線。值得注意的是GroupDRO 和 IRM 并不沖突它們在數(shù)學(xué)上處理的是風(fēng)險的不同側(cè)面。IRM 優(yōu)化的是表示空間的跨環(huán)境一致性GroupDRO 優(yōu)化的是最差組的損失值。你可以把 GroupDRO 看作一個更“結(jié)果導(dǎo)向”的魯棒性目標(biāo)不管中間特征長什么樣只要最終每個組的表現(xiàn)都能接受就行。這使它實現(xiàn)起來更簡單對模型結(jié)構(gòu)幾乎沒有額外要求只需要在訓(xùn)練循環(huán)里多維護一份組級別的統(tǒng)計量。4.2 組權(quán)重的指數(shù)加權(quán)更新到底怎么算GroupDRO 的核心算法并不神秘它維護一個組權(quán)重向量 q初始時各組均勻然后在每一輪迭代里按各組風(fēng)險動態(tài)調(diào)權(quán)本質(zhì)上是一種基于指數(shù)傾斜的在線學(xué)習(xí)。具體的更新步驟是這樣的。第一步對每個組分別計算當(dāng)前 batch 上的平均損失 R_g。第二步用一個滑動平均來更新每個組的長期風(fēng)險估計 R?_g因為單次 batch 的損失噪聲太大直接用原始值調(diào)權(quán)會讓權(quán)重劇烈跳動。第三步按照 R?_g 的指數(shù)函數(shù)更新權(quán)重 q典型形式是 q_g ← q_g · exp(η · R?_g)然后對所有組做歸一化讓權(quán)重和保持為 1。第四步用加權(quán)后的組風(fēng)險之和作為最終訓(xùn)練損失回傳更新模型參數(shù)。這里的 η 是整個算法最敏感的超參數(shù)。η 越大最差組的權(quán)重上升越快模型會非常激進地?fù)湎虍?dāng)前最差的組但代價是權(quán)重震蕩甚至可能在幾輪之內(nèi)把之前表現(xiàn)好的組又拖下去。η 越小調(diào)權(quán)越平滑但收斂速度變慢如果訓(xùn)練輪次不夠最差組的改善會不明顯。我的經(jīng)驗是讓 η 保持在一個讓權(quán)重每若干輪變化不超過 10% 的量級同時配合早停觀察驗證集上最差組的指標(biāo)而不是平均指標(biāo)來決定是否停止。另外組權(quán)重的更新必須凍結(jié)在訓(xùn)練循環(huán)的外層不能讓組權(quán)重參與模型參數(shù)的梯度計算否則整個框架就失去了對抗性調(diào)權(quán)的意義。很多人第一次實現(xiàn)時會順手把 q 寫進 loss 的計算圖里結(jié)果 q 也被梯度更新了行為變得完全不可預(yù)測。4.3 GroupDRO 與 IRM、EIIL 的本質(zhì)差異把三種方法擺在一起它們的最大分野在于對“不變性”的建模方式不同。IRM 試圖學(xué)習(xí)一個表示讓不同環(huán)境下的最優(yōu)分類器一致這是一種顯式的特征空間約束。EIIL 延續(xù)了同樣的目標(biāo)只是把環(huán)境這個變量從已知變成了推斷。而 GroupDRO 根本不對表示提不變性要求它只對最終的風(fēng)險分布提魯棒性要求相當(dāng)于把問題從“換一種特征”簡化成“多盯一盯弱者”。這個差異帶來一個有意思的推論在沒有環(huán)境標(biāo)簽也沒有可推斷分組的情況下GroupDRO 反而可能是最務(wù)實的選擇前提是你至少能找到一組有意義的業(yè)務(wù)分組。反過來如果偽相關(guān)非常嚴(yán)重僅靠給最差組加大權(quán)重模型可能只是硬記住最差組里的特例并沒有真正學(xué)到泛化特征這時候 GroupDRO 的表現(xiàn)就不如 IRM 和 EIIL。所以三種方法不是簡單的升級關(guān)系而是面對不同數(shù)據(jù)條件時的互補方案。我把三者的關(guān)系總結(jié)成一個口訣IRM 靠環(huán)境標(biāo)簽教你學(xué)不變特征EIIL 替你找出環(huán)境標(biāo)簽GroupDRO 干脆繞開特征不變性直接守住最差組。實戰(zhàn)中經(jīng)常有人把 IRM 和 GroupDRO 疊加使用先用 IRM 學(xué)表示再用 GroupDRO 做最后的魯棒微調(diào)這個組合我在多個數(shù)據(jù)集上都觀察到了正向收益。4.4 組標(biāo)簽缺失時 GroupDRO 的補救做法GroupDRO 的原始形式同樣要求組標(biāo)簽每個樣本必須知道自己屬于哪一組。當(dāng)組標(biāo)簽缺失時有一種工程上很常見的補救做法把 EIIL 或簡單聚類推斷出來的分組直接當(dāng)作 GroupDRO 的組標(biāo)簽使用。也就是說先用推斷器給樣本打上虛擬組標(biāo)簽再運行 GroupDRO。這種兩段式組合在實踐中比直接跑 EIIL 更穩(wěn)健因為 GroupDRO 對分組質(zhì)量的敏感度低于 IRM它不需要分組精確地對應(yīng)到某種潛在環(huán)境只要分組能大致區(qū)分出表現(xiàn)差異調(diào)權(quán)機制就能起作用。還有一個更輕量的變體也是我偶爾會用的不顯式分組而是每次迭代后統(tǒng)計每個樣本的損失把損失最大的那部分樣本動態(tài)組成一個“偽最差組”然后把它們的損失權(quán)重提高。這種做法的理論保證比 GroupDRO 弱但勝在完全不需要任何組標(biāo)簽在項目早期做基線對比時非常有用。它的缺點是沒有長期記憶組的概念隨時在變落在不同輪次之間的優(yōu)化目標(biāo)不一致所以只建議用來快速判斷“這個數(shù)據(jù)集有沒有值得做魯棒優(yōu)化的余地”不建議作為正式方案長期使用。5. 三種方案怎么選一份基于實際場景的選型清單5.1 核心維度對比表先把三種方法的關(guān)鍵差異壓縮成一張表方便對照。對比維度IRMEIILGroupDRO環(huán)境/組標(biāo)簽需求必須已知無需已知自動推斷必須已知對特征表示的約束跨環(huán)境分類器一致跨環(huán)境分類器一致無顯式表示約束優(yōu)化目標(biāo)平均風(fēng)險 不變懲罰兩階段 min-max最差組風(fēng)險典型收益學(xué)到真正的因果特征標(biāo)簽缺失時仍可學(xué)不變特征守住最差組性能下限主要代價環(huán)境劃分質(zhì)量敏感訓(xùn)練時間長、易局部最優(yōu)組劃分質(zhì)量敏感、可能過擬合最差組適用場景有明確多來源數(shù)據(jù)來源未知但有分布差異有業(yè)務(wù)分組、關(guān)注公平性這張表是我在實際選型時的主要依據(jù)但表格只能反映理想情形真實數(shù)據(jù)往往比這復(fù)雜。比如環(huán)境標(biāo)簽在訓(xùn)練集里有、測試集里沒有的情況或者組標(biāo)簽存在但嚴(yán)重不均衡的情況都需要在表格基礎(chǔ)上再結(jié)合數(shù)據(jù)特征做二次判斷。5.2 不同約束條件下的選型建議我把常見的工程約束歸納成五類情況每一類都給出我認(rèn)為最合理的起手方案。如果環(huán)境標(biāo)簽完整且數(shù)據(jù)量充足直接上 IRM同時保留一個 ERM 基線做對照。這個場景最理想IRM 的表示學(xué)習(xí)能力能得到充分發(fā)揮λ 可以在驗證集上按最差環(huán)境指標(biāo)來調(diào)。如果環(huán)境標(biāo)簽缺失但你知道數(shù)據(jù)存在明顯分布差異優(yōu)先試 EIIL。先用參考模型做診斷確認(rèn)不同子集預(yù)測分布有差異再推斷環(huán)境最后訓(xùn)練不變模型。整個過程要比想象中消耗計算資源建議預(yù)留至少兩倍于普通訓(xùn)練的預(yù)算。如果沒有任何環(huán)境或組標(biāo)簽但業(yè)務(wù)側(cè)能給出一些候選分組維度比如地區(qū)、設(shè)備、使用時段把它們作為 GroupDRO 的組直接用。業(yè)務(wù)先驗往往比算法推斷出來的樣本分組更穩(wěn)定也更容易向團隊解釋。如果組標(biāo)簽缺失且候選分組維度也不可靠那就先跑一個動態(tài)偽最差組的快速實驗判斷數(shù)據(jù)里是否存在值得處理的性能差異。如果沒有差異說明這個項目暫時不需要魯棒優(yōu)化如果有差異再考慮投入資源讓 EIIL 上線。如果項目對可解釋性要求極高優(yōu)先考慮 GroupDRO 搭配業(yè)務(wù)分組因為它不改變特征語義只是調(diào)整損失權(quán)重模型產(chǎn)出的特征解釋起來和普通模型幾乎一樣而 IRM 和 EIIL 學(xué)到的表示是被不變性約束塑造過的內(nèi)部結(jié)構(gòu)可能和業(yè)務(wù)直覺對不上。5.3 一個模擬實驗的完整流程與結(jié)果解讀為了把選型邏輯落到實處我描述一個我在模擬項目 X 里做過的完整對比實驗。數(shù)據(jù)集自己構(gòu)造包含三個子分布每個子分布里都有一個不同的偽相關(guān)模式子分布 A 里標(biāo)簽和背景色強相關(guān)子分布 B 里標(biāo)簽和紋理強相關(guān)子分布 C 里標(biāo)簽和物體位置強相關(guān)。測試集則是另外兩個未見過的子分布用于檢驗真正的泛化能力。我先用 ERM 訓(xùn)練基線測試集準(zhǔn)確率只有 50% 左右明顯不如訓(xùn)練集里的 85%說明偽相關(guān)確實傷害了泛化。接著用 IRM由于構(gòu)造數(shù)據(jù)時保留了完整的環(huán)境標(biāo)簽測試準(zhǔn)確率提升到 72%證明顯式環(huán)境劃分有效。然后故意把環(huán)境標(biāo)簽?zāi)ǖ襞?EIIL測試準(zhǔn)確率大約在 68%比 IRM 低一些但顯著高于 ERM說明推斷出來的環(huán)境劃分足以恢復(fù)大部分不變性信號。最后用業(yè)務(wù)上已知的粗粒度分組跑 GroupDRO測試準(zhǔn)確率在 65% 左右因為它的分組粒度不如真實環(huán)境精細(xì)只能守住最差組而不能完全剔除偽相關(guān)。這個實驗的結(jié)論很有代表性有真環(huán)境標(biāo)簽時 IRM 是上限標(biāo)簽缺失時 EIIL 是下位替代中最接近上限的GroupDRO 則在分組語義準(zhǔn)確時表現(xiàn)穩(wěn)定但天花板有限。值得注意的是所有方法在測試集上都沒有追平訓(xùn)練集性能這說明偽相關(guān)的傷害并不會因為換了魯棒算法就完全消失只能壓低。接受這一點對設(shè)定項目預(yù)期非常重要。更難得的是這個模擬實驗還暴露了它們各自的失敗模式。IRM 在環(huán)境劃分不夠細(xì)時只是把幾個偽相關(guān)混在一起效果直線下滑。EIIL 在子分布之間的差異不夠明顯時推斷環(huán)境會退化到隨機劃分。GroupDRO 則在最差組本身包含多種混雜模式時按住了一個又冒出來一個。這些失敗模式引導(dǎo)我在真實項目中做了大量針對性的防御設(shè)計也就是下一節(jié)要講的踩坑記錄。6. 實戰(zhàn)避坑記錄我在項目里踩過的六個坑6.1 環(huán)境劃分粒度錯誤環(huán)境劃分的粒度直接決定 IRM 的成敗。我一開始按采集時間把數(shù)據(jù)切成 24 個小時段結(jié)果相鄰小時段的分布幾乎一樣每個環(huán)境之間根本沒有差異IRM 的懲罰項在訓(xùn)練初期就趨近于零學(xué)到的表示和普通 ERM 沒區(qū)別。后來又切得太粗只分成兩個環(huán)境結(jié)果兩個環(huán)境內(nèi)部的偽相關(guān)模式完全混在一起梯度懲罰變成了不同模式的平均值反而把真正的差異抹掉了。正確的做法是先做分布診斷用參考模型在候選環(huán)境上的風(fēng)險方差來判斷劃分粒度。如果風(fēng)險方差接近零說明切太細(xì)了需要合并如果風(fēng)險方差很大但分組內(nèi)部仍然高度異質(zhì)說明切太粗了需要再細(xì)分。這個診斷步驟花不了多少時間卻能避免整個 IRM 訓(xùn)練白跑。6.2 參考模型泄漏偽相關(guān)EIIL 的兩階段結(jié)構(gòu)有一個隱蔽的泄漏路徑。參考模型如果只在一個數(shù)據(jù)子集上表現(xiàn)特別好它的預(yù)測分布會帶著強烈的偽相關(guān)印記環(huán)境推斷器學(xué)著學(xué)著就會把這種印記當(dāng)成環(huán)境信號推斷出的虛擬環(huán)境其實是在復(fù)現(xiàn)參考模型的偏見。我在一次實驗里發(fā)現(xiàn)EIIL 推斷出的分組幾乎就是把訓(xùn)練集按參考模型的置信度排序后切了幾刀沒有任何業(yè)務(wù)意義。解決方案是給參考模型做去偏處理。最輕量的做法是用多個隨機種子訓(xùn)練多個參考模型取預(yù)測分布的均值更徹底的做法是在參考模型訓(xùn)練時就加入簡單的魯棒約束比如先跑一個 GroupDRO 再拿它的特征去做 EIIL 推斷。盡管這樣會增加訓(xùn)練時間但每一步的偏差一旦在早期被放大后面想糾正成本更高。6.3 最差組過擬合GroupDRO 有著非常經(jīng)典的過擬合風(fēng)險訓(xùn)練時間一長模型會開始死記硬背最差組里那些邊緣樣本驗證集上最差組指標(biāo)先升后降形成明顯的山峰曲線。我看過不止一次這樣的訓(xùn)練曲線最差組準(zhǔn)確率從 60% 爬到 75%然后又跌回 65%而平均指標(biāo)全程緩慢上漲整體看起來一切正常。對策有兩個。第一早停的監(jiān)控指標(biāo)必須用一組留出的驗證數(shù)據(jù)上最差組的指標(biāo)不能用平均指標(biāo)否則你會一直等到過擬合發(fā)生。第二組權(quán)重的更新頻率要克制讓最差組的權(quán)重上升平緩一些給模型時間真正學(xué)習(xí)泛化模式而不是記住樣本特例。如果計算資源允許可以在每輪訓(xùn)練結(jié)束時把模型權(quán)重做指數(shù)滑動平均這在 GroupDRO 里能顯著穩(wěn)定最差組的最終表現(xiàn)。6.4 懲罰系數(shù)與學(xué)習(xí)率的關(guān)系IRM 系列方法的懲罰系數(shù) λ 和學(xué)習(xí)率不是兩個獨立的超參數(shù)。我在實驗里發(fā)現(xiàn)當(dāng)學(xué)習(xí)率偏大時梯度懲罰項的尺度也會被放大同樣的 λ 表現(xiàn)出來的約束強度完全不同。很多人照搬論文里的 λ 跑自己的任務(wù)發(fā)現(xiàn)要么懲罰沒起作用要么模型塌掉原因往往就出在沒考慮學(xué)習(xí)率帶來的尺度變化。比較穩(wěn)的做法是把 λ 設(shè)置成一個動態(tài)值按照懲罰項梯度的歷史量級做歸一化。具體來說每若干輪計算一次懲罰梯度的 RMS把 λ 乘以一個反向系數(shù)讓懲罰項的梯度尺度保持在主損失梯度的同一量級。這個技巧雖然沒有寫進論文但我在多個模擬實驗里用它穩(wěn)定地收斂到了有效解。6.5 數(shù)據(jù)不平衡下的組權(quán)重GroupDRO 的權(quán)重更新完全是數(shù)據(jù)驅(qū)動的但它對組內(nèi)的樣本量非常敏感。如果一個組只有幾十條樣本而另一個組有上萬條單次 batch 里小樣本組的風(fēng)險估計噪聲會非常大即使滑動平均也壓不住。我遇到過極端情況小樣本組的權(quán)重被噪聲推到了接近 1模型直接忽略了其他所有組。為了處理這種不平衡我給每個組的最小樣本量設(shè)了硬門檻組內(nèi)樣本量低于閾值時就對該組的權(quán)重做額外的平滑和封頂同時在小樣本組上使用更長的滑動平均窗口。另一條經(jīng)驗是在構(gòu)造 batch 時做組級別采樣每個 batch 里強制包含每個組一個固定數(shù)量的樣本這樣風(fēng)險估計的方差會大幅下降。這點改動后小樣本組的穩(wěn)定性和整體收斂速度都好了很多。6.6 評估協(xié)議失真最后這個坑最容易忽略也最傷。很多項目在評估魯棒算法時用的還是統(tǒng)一的測試集平均準(zhǔn)確率。但 IRM、EIIL、GroupDRO 優(yōu)化的是跨環(huán)境泛化或最差組表現(xiàn)平均準(zhǔn)確率根本反映不出它們的真實收益。我在一次項目中把測試集按來源分組后分別報告指標(biāo)才發(fā)現(xiàn)一個在某子集上準(zhǔn)確率高出基線 10 個點的模型平均指標(biāo)只比基線高了 1 個點差點就被當(dāng)成沒效果而否掉。所以只要用了任何不變學(xué)習(xí)或魯棒優(yōu)化方法評估協(xié)議就必須按測試環(huán)境分組報告至少包括最差組準(zhǔn)確率、組間方差和平均準(zhǔn)確率三個數(shù)字。最理想的做法是設(shè)置一個完全不可見的測試環(huán)境在訓(xùn)練過程中完全不接觸它最后一錘定音。沒有這套協(xié)議前面所有算法層面的努力都可能被一個粗糙的平均指標(biāo)掩蓋掉。寫了這么多最后聊一點我自己的體會。這三條路線我都能倒背如流但在真實項目里最管用的反而不是某個特定算法而是一種樸素的工程習(xí)慣先把數(shù)據(jù)的分布結(jié)構(gòu)摸清楚再決定要不要用不變學(xué)習(xí)、用哪一種。很多團隊在數(shù)據(jù)還沒診斷清楚時就急著上 IRM結(jié)果環(huán)境標(biāo)簽切得亂七八糟懲罰項毫無信號最后得出“不變學(xué)習(xí)沒用”的結(jié)論其實只是沒踩對入口。我個人在實際操作中的體會是把 IRM、EIIL、GroupDRO 當(dāng)成一套完整的工具箱而不是互相替代的競品。先用快速實驗判斷數(shù)據(jù)里有沒有偽相關(guān)再用業(yè)務(wù)先驗搭一個分組基線環(huán)境標(biāo)簽夠就上 IRM不夠就試 EIIL最后永遠(yuǎn)留一個 GroupDRO 風(fēng)格的兜底方案。這套組合拳幫我在好幾個數(shù)據(jù)分布復(fù)雜的項目里穩(wěn)住了跨環(huán)境指標(biāo)希望對遇到類似問題的你也能有用。