練原理揭秘：RLCD如何用嚴格評分規(guī)則逼出誠實概率？REINFORCE與 TD(λ) 更新完整詳解)
Laya訓(xùn)練原理揭秘RLCD如何用嚴格評分規(guī)則逼出誠實概率REINFORCE與 TD(λ) 更新完整詳解【免費下載鏈接】laya項目地址: https://ai.gitcode.com/hf_mirrors/convaiinnovations/layaLaya 是一個多語言、非自回歸的 System 1 決策模型給它一段文本郵件、工單、JSON和若干帶類型的問題它在單次前向傳播約 33ms內(nèi)返回帶數(shù)學(xué)上校準(zhǔn)的概率的答案。它的訓(xùn)練方法叫RLCDReinforcement Learning for Calibrated Decisions面向校準(zhǔn)決策的強化學(xué)習(xí)——獎勵函數(shù)采用嚴格 proper 評分規(guī)則模型想多拿分唯一的辦法就是報告自己真實的信念。本文詳解 RLCD 的評分規(guī)則、REINFORCE 更新與 TD(λ) 更新是怎么工作的并附上 Laya 概率校準(zhǔn)的實測證據(jù)。1. Laya 是什么只輸出概率的決策模型傳統(tǒng) LLM 做分類要生成文字再解析Laya 完全不走這條路每個選項各占一個[MASK]標(biāo)記模型在每個標(biāo)記位置給該選項打分再對這道題的所有選項做 softmax直接得到一份概率分布答案空間在請求時定義——新增一套業(yè)務(wù) schema 無需重訓(xùn)一次前向傳播同時回答所有問題10 問批量只需 72.3 msT4 GPU。結(jié)構(gòu)上它是預(yù)訓(xùn)練雙向編碼器ModernBERT-large395M 從零訓(xùn)練的 2 層決策頭總共 421M 參數(shù)。這套架構(gòu)定義在 rl_common.py 的DecisionModel中。關(guān)鍵點Laya 不說出答案而是報出概率。整個訓(xùn)練系統(tǒng)的設(shè)計目標(biāo)就是讓這份概率報告盡可能誠實。2. 為什么需要誠實概率校準(zhǔn)問題模型報 80% 不代表它真的對了 8 成 10。一個常見故障是模型明明在亂猜卻報出 95% 的置信度——README 里就記錄了 Laya 的英文檢查點在 Khmer 文字上0.000 準(zhǔn)確率卻配 0.952 置信度的現(xiàn)象此時靠置信度門控根本救不了你。Laya 訓(xùn)練完的實測結(jié)果見 eval/results.md14 個任務(wù)族整體 ECE期望校準(zhǔn)誤差越低越好僅0.030意圖路由任務(wù) ECE 低至 0.009。上圖左半部分是可靠性曲線藍點幾乎貼著灰色完美校準(zhǔn)對角線說明模型報 0.6就大約對 0.6右半部分是風(fēng)險-覆蓋曲線AURC 0.083按置信度從高到低取答案錯誤率上升非常緩慢——概率真的可以用在路由和分流上。那么問題來了怎么讓模型學(xué)會不撒謊答案在獎勵函數(shù)里。3. RLCD 核心一嚴格 proper 評分規(guī)則什么是嚴格 proper嚴格 proper 評分規(guī)則有一個數(shù)學(xué)保證給定你對世界的真實信念唯一能最大化期望得分的報法就是照實報告這份信念。報虛高、報保守、報安全的中庸值期望分數(shù)都會更低。評分規(guī)則一旦 strict proper誠實就從道德要求變成了最優(yōu)策略。Laya 的獎勵由三部分構(gòu)成實現(xiàn)見 rl_common.py 的proper_reward函數(shù)評分規(guī)則適用問題類型作用直覺Log score對數(shù)得分全部choice / score / noul重罰把正確答案概率壓到接近 0——log(0.01) ≈ -4.6一次嚴重誤判痛不欲生Spherical score球面得分全部權(quán)重 0.5懲罰概率分布整體與真實分布方向偏離鼓勵分布形狀貼合RPS排名概率得分僅有序 score 題權(quán)重 1.0基于 CDF 比較專治等級題上概率錯位比如把 3 分的題報成 1 分以 noul是非題為例若真的真實概率是 70%報 70% 期望得分最高報 90% 或 50% 都會掉分。模型沒有任何演技空間訓(xùn)練出來的概率分布只能越來越貼近真實。探索給 logits 加噪聲RL 訓(xùn)練需要探索。Laya 的做法很克制在 logits 上疊加零均值高斯噪聲再采樣概率讓模型嘗試不同的報告但平均意義上不偏不倚——探索不會污染誠實的方向。4. RLCD 核心二REINFORCE 組基線GRPO 風(fēng)格更新拿到獎勵后權(quán)重怎么更新Laya 用的是經(jīng)典REINFORCE策略梯度并加了一個關(guān)鍵改進——組均值基線GRPO 風(fēng)格一組采樣同一條數(shù)據(jù)同一狀態(tài) 同一組問題采樣一組概率報告組內(nèi)算獎勵每條報告各自按上節(jié)的 proper 評分規(guī)則打分減組均值策略梯度方向 (該條獎勵 ? 這組獎勵的均值) × log 概率梯度。減掉組均值這個基線作用是把這道題整體容易/難的公共部分從梯度中剔除只保留這條報告比同組別的報告更好/更差的相對信號。好處是梯度方差小、不需要額外訓(xùn)一個價值網(wǎng)絡(luò)這也是 GRPO 系方法的核心思想。另外訓(xùn)練里還藏了兩個實用細節(jié)選項隨機洗牌choice 題訓(xùn)練時每步打亂選項順序防止模型記住第 2 個選項這種位置偏見act/escalate 決策頭模型還輸出自己處理 / 升級人工的動作概率答錯成本在 rl_agent_config.json 里設(shè)為 3.0升級成本 0.5——訓(xùn)練會學(xué)會沒把握就升級這本身就是概率誠實的一種體現(xiàn)。5. RLCD 核心三TD(λ) 更新處理多輪對話單條記錄是 REINFORCE 用最終獎勵回傳即可但多輪對話是個序列決策同一個問題在對話第 1 輪、第 3 輪、第 5 輪看到不同長度的前綴各自要報一份概率。獎勵怎么分攤到每個前綴Laya 用TD(λ)λ1.0把一段對話切成多個前綴切片配置 rl_agent_config.json 中max_prefixes 6從最后一個前綴結(jié)果已知目標(biāo)就是真實結(jié)局往前遞推G_t (1?λ)·V_{t1} λ·G_{t1}其中V_{t1}是模型對下一前綴自己報的概率λ1.0 時退化為蒙特卡洛回傳每個前綴的軟目標(biāo)都被最終結(jié)果拉齊但遞推路徑保證了信息從后向前平滑傳播。完整實現(xiàn)只有十幾行在 rl_common.py 的td_lambda_targets函數(shù)里。它輸出的軟目標(biāo)而非 0/1 標(biāo)簽會直接作為 proper 評分規(guī)則里的真值分布——每個前綴學(xué)的是在該信息量下誠實的概率應(yīng)該長什么樣。6. 訓(xùn)練成果零樣本泛化與溫度標(biāo)定訓(xùn)練完成后的檢查點存于倉庫根目錄model.safetensorsrl_agent_config.json 記錄訓(xùn)練了 7313 步、約 2 小時、單卡。兩個值得新手知道的點零樣本也基本誠實完全沒訓(xùn)過的任務(wù)族上 ECE 0.204可靠性曲線整體仍貼近對角線見下圖說明誠實是 RLCD 塑造出來的通用行為而非任務(wù)內(nèi)過擬合出廠略偏自信溫度標(biāo)定一下就好配置里按(題型, 選項數(shù))分桶擬合了溫度參數(shù)如choice:2桶 1.906、noul:2桶 1.983見 rl_agent_config.json把 ECE 從 0.466 壓到 0.081。在自己的數(shù)據(jù)上復(fù)做一次溫度擬合再信任它的概率。7. 總結(jié)三條設(shè)計一個誠實的決策器組件技術(shù)解決什么獎勵函數(shù)Log Spherical RPS 嚴格 proper 評分讓報真成為唯一最優(yōu)策略策略更新REINFORCE 組均值基線GRPO 風(fēng)格低方差地學(xué)會把分布對準(zhǔn)真值序列任務(wù)TD(λ1.0) 前綴切片回傳多輪對話中每輪前綴各自學(xué)會誠實推理輸出每選項[MASK]打分 分桶溫度縮放毫秒級拿到可直接用于路由的概率對新手來說Laya 最值得借鑒的思路只有一句話如果你要模型輸出概率就別指望它自覺把獎勵函數(shù)設(shè)計成只獎勵誠實剩下的交給 REINFORCE。想深入閱讀實現(xiàn)建議按 rl_common.py獎勵與 TD 目標(biāo)→ rl_agent_api.py推理與溫度標(biāo)定→ eval/results.md評測明細的順序走一遍?！久赓M下載鏈接】laya項目地址: https://ai.gitcode.com/hf_mirrors/convaiinnovations/laya創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Laya訓(xùn)練原理揭秘：RLCD如何用嚴格評分規(guī)則逼出誠實概率？REINFORCE與 TD(λ) 更新完整詳解
Laya訓(xùn)練原理揭秘RLCD如何用嚴格評分規(guī)則逼出誠實概率REINFORCE與 TD(λ) 更新完整詳解【免費下載鏈接】laya項目地址: https://ai.gitcode.com/hf_mirrors/convaiinnovations/layaLaya 是一個多語言、非自回歸的 System 1 決策模型給它一段文本郵件、工單、JSON和若干帶類型的問題它在單次前向傳播約 33ms內(nèi)返回帶數(shù)學(xué)上校準(zhǔn)的概率的答案。它的訓(xùn)練方法叫RLCDReinforcement Learning for Calibrated Decisions面向校準(zhǔn)決策的強化學(xué)習(xí)——獎勵函數(shù)采用嚴格 proper 評分規(guī)則模型想多拿分唯一的辦法就是報告自己真實的信念。本文詳解 RLCD 的評分規(guī)則、REINFORCE 更新與 TD(λ) 更新是怎么工作的并附上 Laya 概率校準(zhǔn)的實測證據(jù)。1. Laya 是什么只輸出概率的決策模型傳統(tǒng) LLM 做分類要生成文字再解析Laya 完全不走這條路每個選項各占一個[MASK]標(biāo)記模型在每個標(biāo)記位置給該選項打分再對這道題的所有選項做 softmax直接得到一份概率分布答案空間在請求時定義——新增一套業(yè)務(wù) schema 無需重訓(xùn)一次前向傳播同時回答所有問題10 問批量只需 72.3 msT4 GPU。結(jié)構(gòu)上它是預(yù)訓(xùn)練雙向編碼器ModernBERT-large395M 從零訓(xùn)練的 2 層決策頭總共 421M 參數(shù)。這套架構(gòu)定義在 rl_common.py 的DecisionModel中。關(guān)鍵點Laya 不說出答案而是報出概率。整個訓(xùn)練系統(tǒng)的設(shè)計目標(biāo)就是讓這份概率報告盡可能誠實。2. 為什么需要誠實概率校準(zhǔn)問題模型報 80% 不代表它真的對了 8 成 10。一個常見故障是模型明明在亂猜卻報出 95% 的置信度——README 里就記錄了 Laya 的英文檢查點在 Khmer 文字上0.000 準(zhǔn)確率卻配 0.952 置信度的現(xiàn)象此時靠置信度門控根本救不了你。Laya 訓(xùn)練完的實測結(jié)果見 eval/results.md14 個任務(wù)族整體 ECE期望校準(zhǔn)誤差越低越好僅0.030意圖路由任務(wù) ECE 低至 0.009。上圖左半部分是可靠性曲線藍點幾乎貼著灰色完美校準(zhǔn)對角線說明模型報 0.6就大約對 0.6右半部分是風(fēng)險-覆蓋曲線AURC 0.083按置信度從高到低取答案錯誤率上升非常緩慢——概率真的可以用在路由和分流上。那么問題來了怎么讓模型學(xué)會不撒謊答案在獎勵函數(shù)里。3. RLCD 核心一嚴格 proper 評分規(guī)則什么是嚴格 proper嚴格 proper 評分規(guī)則有一個數(shù)學(xué)保證給定你對世界的真實信念唯一能最大化期望得分的報法就是照實報告這份信念。報虛高、報保守、報安全的中庸值期望分數(shù)都會更低。評分規(guī)則一旦 strict proper誠實就從道德要求變成了最優(yōu)策略。Laya 的獎勵由三部分構(gòu)成實現(xiàn)見 rl_common.py 的proper_reward函數(shù)評分規(guī)則適用問題類型作用直覺Log score對數(shù)得分全部choice / score / noul重罰把正確答案概率壓到接近 0——log(0.01) ≈ -4.6一次嚴重誤判痛不欲生Spherical score球面得分全部權(quán)重 0.5懲罰概率分布整體與真實分布方向偏離鼓勵分布形狀貼合RPS排名概率得分僅有序 score 題權(quán)重 1.0基于 CDF 比較專治等級題上概率錯位比如把 3 分的題報成 1 分以 noul是非題為例若真的真實概率是 70%報 70% 期望得分最高報 90% 或 50% 都會掉分。模型沒有任何演技空間訓(xùn)練出來的概率分布只能越來越貼近真實。探索給 logits 加噪聲RL 訓(xùn)練需要探索。Laya 的做法很克制在 logits 上疊加零均值高斯噪聲再采樣概率讓模型嘗試不同的報告但平均意義上不偏不倚——探索不會污染誠實的方向。4. RLCD 核心二REINFORCE 組基線GRPO 風(fēng)格更新拿到獎勵后權(quán)重怎么更新Laya 用的是經(jīng)典REINFORCE策略梯度并加了一個關(guān)鍵改進——組均值基線GRPO 風(fēng)格一組采樣同一條數(shù)據(jù)同一狀態(tài) 同一組問題采樣一組概率報告組內(nèi)算獎勵每條報告各自按上節(jié)的 proper 評分規(guī)則打分減組均值策略梯度方向 (該條獎勵 ? 這組獎勵的均值) × log 概率梯度。減掉組均值這個基線作用是把這道題整體容易/難的公共部分從梯度中剔除只保留這條報告比同組別的報告更好/更差的相對信號。好處是梯度方差小、不需要額外訓(xùn)一個價值網(wǎng)絡(luò)這也是 GRPO 系方法的核心思想。另外訓(xùn)練里還藏了兩個實用細節(jié)選項隨機洗牌choice 題訓(xùn)練時每步打亂選項順序防止模型記住第 2 個選項這種位置偏見act/escalate 決策頭模型還輸出自己處理 / 升級人工的動作概率答錯成本在 rl_agent_config.json 里設(shè)為 3.0升級成本 0.5——訓(xùn)練會學(xué)會沒把握就升級這本身就是概率誠實的一種體現(xiàn)。5. RLCD 核心三TD(λ) 更新處理多輪對話單條記錄是 REINFORCE 用最終獎勵回傳即可但多輪對話是個序列決策同一個問題在對話第 1 輪、第 3 輪、第 5 輪看到不同長度的前綴各自要報一份概率。獎勵怎么分攤到每個前綴Laya 用TD(λ)λ1.0把一段對話切成多個前綴切片配置 rl_agent_config.json 中max_prefixes 6從最后一個前綴結(jié)果已知目標(biāo)就是真實結(jié)局往前遞推G_t (1?λ)·V_{t1} λ·G_{t1}其中V_{t1}是模型對下一前綴自己報的概率λ1.0 時退化為蒙特卡洛回傳每個前綴的軟目標(biāo)都被最終結(jié)果拉齊但遞推路徑保證了信息從后向前平滑傳播。完整實現(xiàn)只有十幾行在 rl_common.py 的td_lambda_targets函數(shù)里。它輸出的軟目標(biāo)而非 0/1 標(biāo)簽會直接作為 proper 評分規(guī)則里的真值分布——每個前綴學(xué)的是在該信息量下誠實的概率應(yīng)該長什么樣。6. 訓(xùn)練成果零樣本泛化與溫度標(biāo)定訓(xùn)練完成后的檢查點存于倉庫根目錄model.safetensorsrl_agent_config.json 記錄訓(xùn)練了 7313 步、約 2 小時、單卡。兩個值得新手知道的點零樣本也基本誠實完全沒訓(xùn)過的任務(wù)族上 ECE 0.204可靠性曲線整體仍貼近對角線見下圖說明誠實是 RLCD 塑造出來的通用行為而非任務(wù)內(nèi)過擬合出廠略偏自信溫度標(biāo)定一下就好配置里按(題型, 選項數(shù))分桶擬合了溫度參數(shù)如choice:2桶 1.906、noul:2桶 1.983見 rl_agent_config.json把 ECE 從 0.466 壓到 0.081。在自己的數(shù)據(jù)上復(fù)做一次溫度擬合再信任它的概率。7. 總結(jié)三條設(shè)計一個誠實的決策器組件技術(shù)解決什么獎勵函數(shù)Log Spherical RPS 嚴格 proper 評分讓報真成為唯一最優(yōu)策略策略更新REINFORCE 組均值基線GRPO 風(fēng)格低方差地學(xué)會把分布對準(zhǔn)真值序列任務(wù)TD(λ1.0) 前綴切片回傳多輪對話中每輪前綴各自學(xué)會誠實推理輸出每選項[MASK]打分 分桶溫度縮放毫秒級拿到可直接用于路由的概率對新手來說Laya 最值得借鑒的思路只有一句話如果你要模型輸出概率就別指望它自覺把獎勵函數(shù)設(shè)計成只獎勵誠實剩下的交給 REINFORCE。想深入閱讀實現(xiàn)建議按 rl_common.py獎勵與 TD 目標(biāo)→ rl_agent_api.py推理與溫度標(biāo)定→ eval/results.md評測明細的順序走一遍?！久赓M下載鏈接】laya項目地址: https://ai.gitcode.com/hf_mirrors/convaiinnovations/laya創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考