
論文總結(jié)與翻譯:《Unlearning at Scale: Implementing the Right to be Forgotten in Large Language Models》一、文章主要內(nèi)容總結(jié)本文聚焦歐盟《通用數(shù)據(jù)保護(hù)條例》(GDPR)第17條規(guī)定的“被遺忘權(quán)”,針對大型語言模型(LLMs)的合規(guī)性難題,提出將模型“遺忘”(Unlearning)轉(zhuǎn)化為可復(fù)現(xiàn)的系統(tǒng)級問題。核心思路是把LLM訓(xùn)練視為確定性程序,通過記錄最小化的微批次日志(含有序樣本ID哈希、隨機數(shù)種子、學(xué)習(xí)率、優(yōu)化器步數(shù)等),在滿足確定性條件時,過濾“待遺忘數(shù)據(jù)”并回放訓(xùn)練過程,可得到與僅用“保留數(shù)據(jù)”訓(xùn)練完全一致的模型參數(shù)(訓(xùn)練數(shù)據(jù)類型下的位級一致)。為平衡延遲與可用性需求,文章設(shè)計了三條互補執(zhí)行路徑:近期步驟精確回滾:通過微檢查點或每步密集增量,實現(xiàn)近期訓(xùn)練步驟的即時精確撤銷;** cohort 范圍適配器刪除**:當(dāng)基礎(chǔ)模型凍結(jié)時,直接刪除特定 cohort 訓(xùn)練的低秩適配器(LoRA),消除該 cohort 數(shù)據(jù)的影響;曲率引導(dǎo)反更新:緊急場景下,先基于曲率(如對角Fisher信息)計算反更新調(diào)整模型,再用保留數(shù)據(jù)微調(diào),若審計不通過則升級為精確回放。此外,文章還構(gòu)建了可審計的工作流(含簽名遺忘清單記錄所有操作與產(chǎn)物)、明確的