# Verify Before You Distill: Prompt?Level Teacher Gating for On?Policy Distillation 論文總結(jié)與翻譯 論文arXiv鏈接：https://arxiv.org/abs/2609.02998## 一、論文主要內(nèi)容該論文針對(duì)**同策略蒸餾（On?Policy Distillation, OPD）**存在的缺陷，提出 **TGOPD（Teacher?Gated On?Policy Distillation，教師門控同策略蒸餾）**算法。傳統(tǒng)Vanilla OPD利用凍結(jié)的大教師模型，對(duì)學(xué)生模型自己生成的序列提供稠密token級(jí)監(jiān)督，加速模型后訓(xùn)練。但它會(huì)不加區(qū)分地對(duì)所有提示詞使用教師監(jiān)督信號(hào)：由于反向KL散度具備模式搜尋特性，如果教師對(duì)某個(gè)提示**自信但答案錯(cuò)誤**，會(huì)給學(xué)生帶來誤導(dǎo)性梯度更新；而熵、師生似然度這類分布代理指標(biāo)，只能衡量不確定性、師生一致性，**無法直接判斷輸出結(jié)果是否正確**。另外異步OPD訓(xùn)練范式中，教師節(jié)點(diǎn)大部分時(shí)間處于空閑狀態(tài)，GPU利用率極低（僅9.8%），算力大量浪費(fèi)。TGOPD核心思路：**在應(yīng)用稠密蒸餾監(jiān)督前，先在提示詞粒度校驗(yàn)教師模型的可靠性**：1. 教師針對(duì)當(dāng)前提示生成少量探測(cè)樣本，交由驗(yàn)證器打分，根據(jù)探測(cè)樣本通過率估計(jì)該提示下教師的可靠性；2. 設(shè)置閾值做門控：可靠性達(dá)標(biāo)，則使用原始稠密OPD監(jiān)督；不達(dá)標(biāo)，則放棄教師信號(hào)，切換為基于驗(yàn)證器的GRPO強(qiáng)化學(xué)習(xí)更新；兩個(gè)分支互斥，不會(huì)混合插值；3. 探測(cè)計(jì)算復(fù)用教師原本空閑的算力，顯著提升GPU利用率。實(shí)驗(yàn)在4B、35B兩個(gè)學(xué)生模型規(guī)模，數(shù)學(xué)、代碼、指令跟隨三類任務(wù)上驗(yàn)證：