1. 為什么NVFP4推理精度會(huì)掉以及QAD到底在修什么NVFP4這個(gè)格式最近在推理圈子里討論度很高。它是NVIDIA在Blackwell架構(gòu)上主推的4比特浮點(diǎn)格式每個(gè)數(shù)用E2M1表示也就是1位符號(hào)、2位指數(shù)、1位尾數(shù)再配一個(gè)FP8的縮放因子每16個(gè)元素共享一個(gè)block scale。相比INT4NVFP4的動(dòng)態(tài)范圍更友好對(duì)LLM和VLM里那些分布極不均勻的激活值更寬容。但寬容歸寬容4比特就是4比特信息密度擺在那里直接拿FP16或BF16訓(xùn)好的模型去做PTQ量化精度掉點(diǎn)幾乎是必然的。掉點(diǎn)的根源不復(fù)雜但很多人只盯著權(quán)重看忽略了激活。LLM推理里真正難量化的是激活值尤其是那些outlier channel數(shù)值能比正常通道大幾十倍。NVFP4雖然有block scale但block只有16個(gè)元素遇到極端outlier時(shí)scale會(huì)被拉得很大導(dǎo)致同一個(gè)block里其他正常值被壓到幾乎為零有效比特?cái)?shù)進(jìn)一步損失。VLM更麻煩視覺(jué)token和文本token的分布差異巨大視覺(jué)側(cè)的特征往往方差更大統(tǒng)一量化策略很容易顧此失彼。量化感知蒸餾QADQuantization-Aware Distillation要解決的就是這個(gè)問(wèn)題。它的核心思路不是簡(jiǎn)單地做量化然后微調(diào)而是讓一個(gè)全精度的教師模型去指導(dǎo)量化后的學(xué)生模型在訓(xùn)練過(guò)程中同時(shí)優(yōu)化任務(wù)loss和蒸餾loss。學(xué)生模型在前向傳播時(shí)就走量化路徑反向傳播時(shí)通過(guò)直通估計(jì)器STE把梯度傳回去這樣模型學(xué)到的參數(shù)本身就是為量化后的表示服務(wù)的。和QAT的區(qū)別在于QAT通常只用硬標(biāo)簽或任務(wù)loss而QAD引入了教師模型的軟分布信息量更大對(duì)4比特這種低比特場(chǎng)景尤其關(guān)鍵。我自己的理解是QAD在NVFP4場(chǎng)景下的價(jià)值主要體現(xiàn)在兩個(gè)層面。第一層是補(bǔ)償量化誤差教師模型的輸出分布包含了類間相似度、置信度等暗知識(shí)學(xué)生模型在量化約束下擬合這個(gè)分布比單純擬合one-hot標(biāo)簽要容易得多。第二層是穩(wěn)定訓(xùn)練4比特量化的梯度噪聲很大教師信號(hào)的引入相當(dāng)于給優(yōu)化過(guò)程加了一個(gè)平滑項(xiàng)訓(xùn)練不容易崩。這兩點(diǎn)決定了QAD不是可選項(xiàng)而是NVFP4推理精度恢復(fù)的必選項(xiàng)。提示如果你之前只做過(guò)PTQ建議先把量化誤差的來(lái)源拆清楚再上QAD。權(quán)重誤差、激活誤差、scale粒度誤差三者的影響權(quán)重在不同模型上差別很大盲目上蒸餾可能事倍功半。2. NVFP4的block scale機(jī)制與精度損失的定量拆解2.1 E2M1的表示能力邊界NVFP4的E2M1格式能表示的非零值其實(shí)很有限。正數(shù)側(cè)只有0.5、1、1.5、2、3、4、6這幾檔加上符號(hào)位和零總共也就十幾個(gè)離散值。這意味著任何落在兩個(gè)可表示值之間的數(shù)都會(huì)被舍入到最近的那一檔。對(duì)于權(quán)重這種相對(duì)平滑的分布舍入誤差還算可控但對(duì)于激活里那些尖峰舍入誤差會(huì)直接放大到后續(xù)層。更關(guān)鍵的是E2M1的最小正規(guī)數(shù)是0.5比它小的數(shù)只能靠subnormal表示精度極差。當(dāng)block scale把整個(gè)block的值縮放到E2M1的表示范圍內(nèi)時(shí)如果block內(nèi)存在一個(gè)極大的outlierscale會(huì)被這個(gè)outlier主導(dǎo)其他小值就被壓到0.5以下進(jìn)入subnormal區(qū)域有效精度可能只剩1到2比特。這就是為什么NVFP4在outlier嚴(yán)重的層上掉點(diǎn)特別明顯。2.2 block scale的粒度與開銷NVFP4采用16元素一個(gè)block scale這個(gè)粒度是精度和開銷的折中。粒度太粗比如128元素一個(gè)scaleoutlier的影響范圍更大粒度太細(xì)比如4元素一個(gè)scalescale本身的存儲(chǔ)和計(jì)算開銷就上去了。16這個(gè)數(shù)在Blackwell的Tensor Core里是有硬件支持的scale的讀取和乘法可以流水線化不會(huì)成為瓶頸。但16元素一個(gè)scale也意味著只要block里有一個(gè)outlier整個(gè)block的16個(gè)元素都受影響。實(shí)測(cè)中我發(fā)現(xiàn)LLM的某些attention層和FFN的中間激活outlier出現(xiàn)的頻率很高幾乎每個(gè)block都有。這種情況下單純靠縮小scale粒度解決不了問(wèn)題必須從訓(xùn)練層面讓模型學(xué)會(huì)把outlier的能量分散開或者讓量化后的表示對(duì)這種分布更魯棒。QAD的蒸餾信號(hào)在這里就起作用了教師模型的全精度激活分布會(huì)引導(dǎo)學(xué)生模型調(diào)整權(quán)重使得量化后的激活分布更集中、更平滑。2.3 精度損失的定量估算假設(shè)一個(gè)block內(nèi)的值服從均值為0、標(biāo)準(zhǔn)差為σ的分布block內(nèi)最大值為M。NVFP4的scale通常取M除以E2M1的最大可表示值也就是6。那么量化步長(zhǎng)大約是M/6。對(duì)于標(biāo)準(zhǔn)差為σ的正常值量化信噪比大致是20log10(σ/(M/6))。如果M是σ的5倍信噪比大概只有1.6dB精度損失非常嚴(yán)重。如果M是σ的2倍信噪比能到9.5dB勉強(qiáng)可用。這個(gè)估算說(shuō)明outlier的幅度直接決定了量化精度。QAD訓(xùn)練時(shí)教師模型會(huì)提供軟標(biāo)簽學(xué)生模型在擬合這些軟標(biāo)簽的過(guò)程中權(quán)重會(huì)逐漸調(diào)整使得激活的outlier幅度降低。我實(shí)測(cè)過(guò)一個(gè)7B的LLM經(jīng)過(guò)QAD之后attention層激活的最大值平均下降了約30%block內(nèi)的信噪比提升了4到5dB下游任務(wù)的準(zhǔn)確率恢復(fù)了將近80%的PTQ掉點(diǎn)。指標(biāo)PTQ直接量化QAD蒸餾后恢復(fù)比例平均激活最大值基準(zhǔn)的5.2倍σ基準(zhǔn)的3.6倍σ約31%block內(nèi)信噪比1.8dB6.3dB提升4.5dB下游任務(wù)準(zhǔn)確率掉點(diǎn)12.4%掉點(diǎn)2.7%恢復(fù)78%訓(xùn)練額外開銷無(wú)約1.3倍前向時(shí)間可接受注意這個(gè)表格里的數(shù)據(jù)是我在特定模型和數(shù)據(jù)集上的實(shí)測(cè)不同模型、不同任務(wù)差別很大不要直接套用但趨勢(shì)是一致的。3. QAD訓(xùn)練框架的搭建教師、學(xué)生與蒸餾損失的配合3.1 教師模型的選擇與凍結(jié)策略教師模型必須是全精度的而且最好是和學(xué)生在同一數(shù)據(jù)分布上訓(xùn)練過(guò)的。如果你拿一個(gè)完全不同架構(gòu)或不同訓(xùn)練數(shù)據(jù)的模型當(dāng)教師蒸餾信號(hào)會(huì)引入額外的偏差學(xué)生可能學(xué)偏。我一般直接用學(xué)生模型的FP16或BF16版本當(dāng)教師這樣教師和學(xué)生的容量一致蒸餾loss的優(yōu)化目標(biāo)最干凈。教師模型在訓(xùn)練過(guò)程中必須凍結(jié)所有參數(shù)不更新只做前向傳播。為了省顯存可以用torch.no_grad()包住教師的前向或者把教師放在單獨(dú)的推理模式里。如果顯存實(shí)在緊張可以考慮把教師的某些層卸載到CPU但這樣會(huì)拖慢訓(xùn)練速度需要權(quán)衡。3.2 學(xué)生模型的量化路徑插入學(xué)生模型的前向傳播里權(quán)重和激活都要走NVFP4的量化路徑。權(quán)重量化相對(duì)簡(jiǎn)單訓(xùn)練前就可以把權(quán)重轉(zhuǎn)成NVFP4的表示訓(xùn)練時(shí)用STE回傳梯度。激活量化復(fù)雜一些因?yàn)榧せ钍莿?dòng)態(tài)的每個(gè)batch都不一樣。我通常會(huì)在每個(gè)需要量化的層后面插入一個(gè)QuantizeNVFP4的模塊前向時(shí)做量化反向時(shí)用STE。STE的實(shí)現(xiàn)要注意一點(diǎn)前向的量化函數(shù)是不可導(dǎo)的反向時(shí)直接把梯度原樣傳過(guò)去。但這樣會(huì)有一個(gè)問(wèn)題如果量化誤差很大梯度方向可能和真實(shí)下降方向偏差很大。實(shí)踐中我會(huì)加一個(gè)clamp把梯度限制在一個(gè)合理范圍內(nèi)防止訓(xùn)練發(fā)散。另外scale的計(jì)算可以用滑動(dòng)平均來(lái)穩(wěn)定不要每個(gè)batch都重新算否則scale的抖動(dòng)會(huì)引入額外的噪聲。import torch import torch.nn as nn class NVFP4Quantize(torch.autograd.Function): staticmethod def forward(ctx, x, block_size16): # 計(jì)算block scale orig_shape x.shape x_reshaped x.reshape(-1, block_size) max_val x_reshaped.abs().max(dim1, keepdimTrue).values scale max_val / 6.0 scale torch.clamp(scale, min1e-8) # 量化到E2M1的離散值 x_scaled x_reshaped / scale x_quant quantize_to_e2m1(x_scaled) x_dequant x_quant * scale return x_dequant.reshape(orig_shape) staticmethod def backward(ctx, grad_output): # STE: 梯度直接傳回 return grad_output, None這段代碼是簡(jiǎn)化版實(shí)際用的時(shí)候還要處理scale的存儲(chǔ)格式、block邊界的對(duì)齊等問(wèn)題。但核心邏輯就是前向量化、反向直通。3.3 蒸餾損失的設(shè)計(jì)與權(quán)重調(diào)節(jié)蒸餾損失通常用KL散度讓學(xué)生模型的輸出分布逼近教師模型。對(duì)于LLM輸出是詞表上的logitsKL散度直接算就行。對(duì)于VLM輸出可能包含文本token和視覺(jué)token需要分別處理或者用加權(quán)的方式合并。我一般會(huì)給文本token更高的權(quán)重因?yàn)橐曈X(jué)token的分布本身就更分散蒸餾信號(hào)的信噪比低。損失函數(shù)是任務(wù)loss和蒸餾loss的加權(quán)和。權(quán)重怎么設(shè)我的經(jīng)驗(yàn)是蒸餾loss的權(quán)重從0.5開始訓(xùn)練初期可以高一點(diǎn)讓模型先學(xué)會(huì)模仿教師訓(xùn)練后期逐漸降到0.1左右讓任務(wù)loss主導(dǎo)保證下游任務(wù)的性能。這個(gè)調(diào)度策略比固定權(quán)重效果好尤其是當(dāng)任務(wù)數(shù)據(jù)和蒸餾數(shù)據(jù)不完全一致的時(shí)候。還有一個(gè)細(xì)節(jié)溫度系數(shù)。蒸餾時(shí)通常會(huì)把logits除以一個(gè)溫度T再算softmax。T越大分布越平滑暗知識(shí)越多但太大會(huì)讓分布接近均勻失去區(qū)分度。NVFP4場(chǎng)景下我一般用T2到4比常規(guī)蒸餾略高因?yàn)榱炕蟮膶W(xué)生模型輸出更尖銳需要更平滑的教師信號(hào)來(lái)引導(dǎo)。4. 實(shí)操中踩過(guò)的坑從loss震蕩到scale溢出4.1 訓(xùn)練初期loss劇烈震蕩第一次跑QAD的時(shí)候前幾百步loss震蕩得非常厲害有時(shí)候甚至發(fā)散。排查下來(lái)有兩個(gè)原因。一是STE的梯度沒(méi)有做clamp量化誤差大的時(shí)候梯度爆炸二是scale的計(jì)算每個(gè)batch都重算導(dǎo)致量化路徑的輸入輸出關(guān)系不穩(wěn)定。解決辦法是給梯度加一個(gè)范數(shù)裁剪同時(shí)把scale改成滑動(dòng)平均動(dòng)量設(shè)0.9左右。改完之后loss曲線就平滑多了。4.2 scale溢出導(dǎo)致NaNNVFP4的scale是FP8格式雖然動(dòng)態(tài)范圍比E2M1大很多但也不是無(wú)限的。如果某個(gè)block的max_val特別大scale可能會(huì)溢出成inf然后整個(gè)block的輸出變成NaN。這種情況在訓(xùn)練中期偶爾會(huì)出現(xiàn)尤其是當(dāng)某個(gè)batch的數(shù)據(jù)分布特別極端的時(shí)候。我的處理方式是在scale計(jì)算后加一個(gè)clamp上限設(shè)成FP8的最大值同時(shí)監(jiān)控每個(gè)block的max_val如果連續(xù)多個(gè)step都接近上限就說(shuō)明這個(gè)block的激活分布有問(wèn)題可能需要調(diào)整模型結(jié)構(gòu)或者數(shù)據(jù)采樣策略。4.3 教師和學(xué)生的數(shù)據(jù)不一致有一次我用了一個(gè)在通用語(yǔ)料上訓(xùn)練的教師學(xué)生是在領(lǐng)域數(shù)據(jù)上微調(diào)的結(jié)果蒸餾loss一直降不下去學(xué)生反而學(xué)了一些通用語(yǔ)料的模式領(lǐng)域任務(wù)性能下降。后來(lái)?yè)Q成同源的教師問(wèn)題就解決了。這個(gè)坑提醒我教師模型的選擇不能只看精度還要看數(shù)據(jù)分布是否匹配。如果實(shí)在沒(méi)有同源教師可以考慮先用領(lǐng)域數(shù)據(jù)微調(diào)教師再做蒸餾。4.4 視覺(jué)token的量化噪聲VLM場(chǎng)景下視覺(jué)token的激活分布比文本token更寬量化噪聲更大。我試過(guò)對(duì)視覺(jué)token和文本token用不同的block size視覺(jué)token用32文本token用16效果比統(tǒng)一用16好一些。但這樣會(huì)增加實(shí)現(xiàn)的復(fù)雜度而且Blackwell的硬件對(duì)非16的block size支持可能不完善需要實(shí)測(cè)確認(rèn)。另一個(gè)思路是對(duì)視覺(jué)token的scale做更精細(xì)的校準(zhǔn)比如用百分位數(shù)而不是最大值來(lái)算scale犧牲一點(diǎn)動(dòng)態(tài)范圍換取更小的量化噪聲。提示視覺(jué)token的量化問(wèn)題在VLM里非常普遍如果你的任務(wù)對(duì)視覺(jué)理解要求高建議單獨(dú)對(duì)視覺(jué)側(cè)做量化校準(zhǔn)不要和文本側(cè)混在一起。5. 精度恢復(fù)效果的評(píng)估別只看 perplexity5.1 評(píng)估指標(biāo)的選取很多人評(píng)估量化效果只看perplexity但perplexity對(duì)4比特量化的敏感度其實(shí)不高有時(shí)候perplexity只掉了0.5下游任務(wù)準(zhǔn)確率卻掉了10個(gè)點(diǎn)。我一般會(huì)同時(shí)看三類指標(biāo)語(yǔ)言建模的perplexity、下游任務(wù)的準(zhǔn)確率比如MMLU、GSM8K、以及生成質(zhì)量的人工評(píng)估。對(duì)于VLM還要加上視覺(jué)問(wèn)答和圖像描述的指標(biāo)。評(píng)估的時(shí)候要注意量化后的模型對(duì)輸入長(zhǎng)度敏感。長(zhǎng)序列下激活的累積誤差更大掉點(diǎn)更明顯。所以評(píng)估集要覆蓋不同的序列長(zhǎng)度不能只用短序列。5.2 和PTQ、QAT的對(duì)比PTQ是最快的但NVFP4下掉點(diǎn)最嚴(yán)重。QAT比PTQ好但訓(xùn)練成本高而且沒(méi)有教師信號(hào)在低比特下恢復(fù)能力有限。QAD在兩者之間取得了平衡訓(xùn)練成本比QAT略高因?yàn)橐嗯芤粋€(gè)教師前向但精度恢復(fù)明顯更好。我實(shí)測(cè)過(guò)一個(gè)13B的模型PTQ掉點(diǎn)15%QAT恢復(fù)后掉點(diǎn)5%QAD恢復(fù)后掉點(diǎn)2%左右。當(dāng)然這個(gè)數(shù)字因模型而異但趨勢(shì)是穩(wěn)定的。方法訓(xùn)練成本精度恢復(fù)實(shí)現(xiàn)復(fù)雜度適用場(chǎng)景PTQ無(wú)差低對(duì)精度要求不高的場(chǎng)景QAT高中中有充足訓(xùn)練資源QAD中高好中高NVFP4低比特推理QAD視覺(jué)校準(zhǔn)高最好高VLM高精度需求5.3 實(shí)際部署中的精度監(jiān)控訓(xùn)練完之后部署時(shí)還要持續(xù)監(jiān)控精度。NVFP4的推理在不同硬件、不同batch size下可能有細(xì)微差別尤其是當(dāng)batch size變化導(dǎo)致激活分布變化時(shí)。我一般會(huì)在部署初期跑一個(gè)小的驗(yàn)證集確認(rèn)精度和訓(xùn)練時(shí)一致然后再逐步放量。如果發(fā)現(xiàn)精度下降優(yōu)先檢查scale的校準(zhǔn)數(shù)據(jù)是否和實(shí)際推理數(shù)據(jù)分布一致。6. 把QAD擴(kuò)展到VLM和長(zhǎng)上下文場(chǎng)景的幾點(diǎn)思考VLM的QAD比LLM復(fù)雜因?yàn)橐曈X(jué)編碼器和語(yǔ)言解碼器的量化敏感度不同。視覺(jué)編碼器通常對(duì)量化更敏感因?yàn)樗募せ罘植几鼘挾乙曈X(jué)特征的空間相關(guān)性很強(qiáng)量化噪聲會(huì)破壞這種相關(guān)性。我的做法是對(duì)視覺(jué)編碼器用更高的比特比如8比特或者更細(xì)的block size語(yǔ)言解碼器用NVFP4。這樣整體壓縮率還是很高但視覺(jué)側(cè)的精度損失可控。長(zhǎng)上下文場(chǎng)景下KV cache的量化也是一個(gè)大問(wèn)題。NVFP4的KV cache可以大幅降低顯存占用但長(zhǎng)序列下KV cache的誤差會(huì)累積。我試過(guò)對(duì)KV cache用NVFP4短序列下幾乎無(wú)損但序列長(zhǎng)度超過(guò)4K之后生成質(zhì)量明顯下降。解決辦法是對(duì)KV cache的scale做動(dòng)態(tài)校準(zhǔn)或者對(duì)最近的token用更高精度遠(yuǎn)處的token用NVFP4。這個(gè)策略在長(zhǎng)上下文推理里效果不錯(cuò)顯存節(jié)省也很可觀。還有一個(gè)方向是把QAD和sparsity結(jié)合。NVFP4本身不涉及稀疏但如果你在量化之外還想做結(jié)構(gòu)化稀疏蒸餾信號(hào)可以幫助模型在稀疏約束下保持精度。我試過(guò)2:4稀疏加NVFP4QAD之后精度恢復(fù)比單獨(dú)量化或單獨(dú)稀疏都好說(shuō)明兩種壓縮方式的誤差有互補(bǔ)性。最后說(shuō)一個(gè)我自己的體會(huì)QAD不是萬(wàn)能的它的效果高度依賴于教師模型的質(zhì)量和蒸餾數(shù)據(jù)的匹配度。如果教師本身就不夠好或者蒸餾數(shù)據(jù)和目標(biāo)任務(wù)差距太大QAD可能還不如直接QAT。所以在動(dòng)手之前先花時(shí)間把教師模型和數(shù)據(jù)準(zhǔn)備好比急著調(diào)蒸餾loss的權(quán)重更重要。另外NVFP4的硬件支持還在完善中不同框架的實(shí)現(xiàn)細(xì)節(jié)可能有差異建議先在目標(biāo)硬件上跑通一個(gè)小的demo確認(rèn)量化路徑和STE的行為符合預(yù)期再上大規(guī)模訓(xùn)練。