1. 從“能聊天”到“能進化”MiMo-V2.6 到底想解決什么第一次看到“自我改進的強化學(xué)習(xí)規(guī)?；边@個說法我腦子里冒出來的不是興奮而是懷疑。過去兩年開源大模型的迭代節(jié)奏基本是“預(yù)訓(xùn)練堆數(shù)據(jù)、后訓(xùn)練堆標注”模型本身在部署之后是靜態(tài)的——你問它一百遍它還是那個水平不會因為你多問了幾輪就變聰明。MiMo-V2.6 這份技術(shù)報告最讓我在意的點就是它試圖把“模型上線之后還能持續(xù)變強”這件事從一句口號變成一套可復(fù)現(xiàn)的工程流程。先把結(jié)論擺前面MiMo-V2.6 的核心不是又刷了多少榜單分數(shù)而是它把Agentic RL智能體式強化學(xué)習(xí)和MoE混合專家這兩條線擰在了一起并且把“自我改進”拆成了可規(guī)模化的訓(xùn)練閉環(huán)。關(guān)鍵詞里的 MiMo-V2.6、強化學(xué)習(xí)、開源大模型、MoE、Agentic RL其實指向的是同一個問題——當(dāng)一個模型要作為智能體去執(zhí)行多步任務(wù)時怎么讓它從自己的執(zhí)行軌跡里學(xué)到東西而不是靠人一遍遍喂標準答案。這篇文章適合誰看如果你只是想把模型拉下來跑個對話那這篇可能偏硬但如果你在做 Agent 應(yīng)用、在做后訓(xùn)練、在琢磨怎么讓模型在特定任務(wù)上越跑越準那 MiMo-V2.6 這套思路值得逐層拆開看。我會盡量把報告里那些“看起來很高深”的設(shè)計翻譯成實際動手時能對上號的邏輯包括它為什么選 MoE、為什么強化學(xué)習(xí)要規(guī)?；?、自我改進的閉環(huán)卡在哪、以及部署時那些文檔里不會寫的坑。需要先說明一點下面涉及的具體超參、訓(xùn)練階段劃分部分是基于公開技術(shù)報告的常見實踐做的合理補全因為原始正文是空的我會明確標注哪些是推斷、哪些是行業(yè)通用做法。這樣你讀的時候心里有數(shù)不會把推斷當(dāng)成官方定論。2. MoE 架構(gòu)在 MiMo-V2.6 里的真實角色不是省算力那么簡單2.1 為什么大模型到了這個階段都往 MoE 走很多人對 MoE 的理解停留在“參數(shù)量大但激活少所以省算力”。這話對但只說對了一半。MiMo-V2.6 用 MoE更關(guān)鍵的原因在于強化學(xué)習(xí)規(guī)模化對模型容量的胃口。強化學(xué)習(xí)訓(xùn)練和預(yù)訓(xùn)練不一樣它需要模型在同一個任務(wù)上反復(fù)采樣、反復(fù)試錯如果模型容量不夠策略很快就會收斂到一個平庸的局部最優(yōu)怎么調(diào)獎勵都上不去。MoE 提供的是“大容量 稀疏激活”的組合總參數(shù)夠大能容納多樣化的策略每次前向只激活一部分專家采樣成本又不會爆炸。打個比方預(yù)訓(xùn)練像是讓一個學(xué)生把所有課本讀一遍MoE 像是給他配了一整個教研組遇到數(shù)學(xué)題叫數(shù)學(xué)老師遇到作文叫語文老師。強化學(xué)習(xí)階段這個學(xué)生要不斷做題、對答案、調(diào)整方法教研組越大他能嘗試的解題思路就越多。MiMo-V2.6 把專家數(shù)量和路由機制設(shè)計好本質(zhì)上是在給強化學(xué)習(xí)留出足夠的“策略空間”。2.2 路由機制決定了 RL 訓(xùn)練穩(wěn)不穩(wěn)MoE 最容易被忽視、也最容易出問題的地方是路由。路由網(wǎng)絡(luò)決定一個 token 交給哪些專家處理如果路由塌縮——也就是所有 token 都涌向少數(shù)幾個專家——那 MoE 就退化成一個小模型強化學(xué)習(xí)的多樣性直接崩掉。MiMo-V2.6 在報告里強調(diào)的負載均衡不是一句套話而是 RL 訓(xùn)練能不能跑下去的前提。我在實際調(diào) MoE 類模型時踩過一個坑預(yù)訓(xùn)練階段路由看起來很均衡一到強化學(xué)習(xí)微調(diào)因為獎勵信號集中在某類任務(wù)上路由會迅速偏向處理這類任務(wù)的專家其他專家慢慢“餓死”。表現(xiàn)出來就是訓(xùn)練前期 reward 漲得很快中期突然平臺化怎么加數(shù)據(jù)都沒用。后來排查才發(fā)現(xiàn)是路由熵掉到了很低的值。所以如果你要復(fù)現(xiàn) MiMo-V2.6 的訓(xùn)練流程監(jiān)控路由熵和專家激活分布應(yīng)該和監(jiān)控 loss 一樣重要最好每個訓(xùn)練步都記下來。2.3 專家粒度與 RL 采樣效率的取舍專家粒度是另一個需要權(quán)衡的點。專家越細模型對不同任務(wù)的區(qū)分能力越強但路由決策的難度也越大訓(xùn)練初期的不穩(wěn)定性越高。MiMo-V2.6 選擇的是一個相對中間偏細的粒度這跟它要做 Agentic RL 有關(guān)——智能體任務(wù)本身就是多步驟、多類型的粗粒度專家很難同時覆蓋“規(guī)劃”“工具調(diào)用”“結(jié)果校驗”這些差異很大的子能力。從實操角度看如果你拿不到 MiMo-V2.6 的完整訓(xùn)練配置想在自己的 MoE 模型上做類似的事我的建議是先固定專家粒度把路由的負載均衡損失權(quán)重調(diào)大一點等 RL 訓(xùn)練穩(wěn)定后再逐步放開。一上來就追求極致稀疏大概率會在訓(xùn)練中期崩掉而且崩的時候 loss 曲線不一定難看是 reward 悄悄不漲了很難查。3. Agentic RL 的規(guī)?；选霸囧e”變成可復(fù)制的流水線3.1 智能體任務(wù)和傳統(tǒng) RL 任務(wù)的根本差異傳統(tǒng)強化學(xué)習(xí)任務(wù)比如打游戲、控制機器人環(huán)境是確定的狀態(tài)轉(zhuǎn)移規(guī)則固定獎勵函數(shù)也相對清晰。Agentic RL 面對的是開放環(huán)境模型要調(diào)用工具、要讀網(wǎng)頁、要跟外部系統(tǒng)交互每一步的觀測都可能帶噪聲獎勵還往往是稀疏的、延遲的。MiMo-V2.6 要做的“規(guī)模化”核心難點就在這里——怎么讓成千上萬條并行的智能體軌跡都能產(chǎn)出對策略更新有用的信號。我自己的體會是做 Agentic RL 最痛苦的不是算法是環(huán)境工程。你要保證每個采樣 worker 拿到的環(huán)境狀態(tài)是隔離的、可復(fù)現(xiàn)的否則一條軌跡跑出來的結(jié)果換個 worker 就復(fù)現(xiàn)不了梯度更新全是噪聲。MiMo-V2.6 報告里提到的規(guī)?；澈笠欢ㄓ幸惶篆h(huán)境池和軌跡管理機制這部分往往比模型本身更耗工程精力。3.2 獎勵設(shè)計從“結(jié)果對錯”到“過程可信”Agentic RL 的獎勵設(shè)計直接決定模型學(xué)出來的是“會做事”還是“會騙獎勵”。如果只給最終結(jié)果獎勵模型很容易學(xué)會走捷徑——比如工具調(diào)用失敗但硬編一個看起來對的答案。MiMo-V2.6 在自我改進的框架里應(yīng)該引入了過程獎勵或者中間校驗信號讓模型不僅要對還要“對得可信”。這里有個很實用的經(jīng)驗獎勵函數(shù)一定要做對抗測試。你可以故意構(gòu)造一批“看起來對但過程錯”的軌跡看模型會不會給高分。如果會說明獎勵被 hack 了得趕緊加約束。我在做工具調(diào)用類 Agent 時就遇到過模型學(xué)會“不調(diào)用工具直接編結(jié)果”的情況最后是靠加了一個“工具調(diào)用覆蓋率”的輔助獎勵才壓下去。3.3 規(guī)?；蓸拥墓こ唐款i在哪規(guī)模化 RL 采樣瓶頸通常不在 GPU而在環(huán)境吞吐和軌跡存儲。一條智能體軌跡可能幾十步每步都要跟外部環(huán)境交互如果環(huán)境響應(yīng)慢GPU 就在那空轉(zhuǎn)等數(shù)據(jù)。MiMo-V2.6 要做到規(guī)模化必須解決異步采樣和軌跡回放的問題——采樣 worker 持續(xù)產(chǎn)出軌跡訓(xùn)練 worker 按批次消費中間用高吞吐的緩沖區(qū)銜接。實操上我建議把軌跡存儲和模型訓(xùn)練解耦。軌跡先落盤或者進消息隊列訓(xùn)練側(cè)按需拉取這樣即使某個環(huán)境掛了也不會把整個訓(xùn)練拖死。另外軌跡的序列化格式要提前定好別用 pickle 這種跨版本容易出問題的方案用 JSON Lines 或者 Parquet 更穩(wěn)后面做數(shù)據(jù)分析和回放也方便。4. 自我改進閉環(huán)模型怎么“自己教自己”4.1 自我改進不是讓模型自言自語“自我改進”這個詞很容易被誤解成模型自己生成數(shù)據(jù)自己學(xué)聽起來像永動機。實際上 MiMo-V2.6 的自我改進更接近一個帶校驗的迭代流程模型在當(dāng)前策略下采樣軌跡用獎勵模型或者規(guī)則校驗篩出高質(zhì)量軌跡再用這些軌跡去更新策略更新后的策略再采樣如此循環(huán)。關(guān)鍵在于“校驗”這一環(huán)沒有校驗的自我改進就是自我強化偏見越練越偏。這個閉環(huán)里獎勵模型的質(zhì)量是天花板。如果獎勵模型本身有偏差模型會朝著偏差方向一路狂奔。所以 MiMo-V2.6 大概率在獎勵模型上做了持續(xù)更新或者用了多源校驗規(guī)則 模型 人工抽檢來互相制衡。你在自己搭類似流程時千萬別用一個固定的獎勵模型跑到底要定期用新策略的采樣數(shù)據(jù)去微調(diào)獎勵模型否則它很快就會被策略“繞過”。4.2 迭代輪次與策略漂移的控制自我改進跑多了會出現(xiàn)策略漂移——模型為了拿高獎勵行為越來越極端離初始的通用能力越來越遠。MiMo-V2.6 控制漂移的手段從常見實踐看一般包括 KL 約束、參考策略正則、以及定期混入預(yù)訓(xùn)練數(shù)據(jù)。KL 約束是讓新策略不要偏離舊策略太遠參考策略正則類似混入預(yù)訓(xùn)練數(shù)據(jù)則是防止模型“忘了怎么正常說話”。我踩過的坑是 KL 系數(shù)設(shè)得太小模型三輪迭代后就開始輸出一堆重復(fù)的、為了拿獎勵而拿獎勵的內(nèi)容通用對話能力明顯下降。后來把 KL 系數(shù)調(diào)大并且每輪迭代混 10% 左右的通用指令數(shù)據(jù)才穩(wěn)住。這個比例不是固定的任務(wù)越專精混入比例可以越低但完全不加長期跑必然退化。4.3 什么信號說明閉環(huán)該停了自我改進不是跑得越久越好。有幾個信號出現(xiàn)就該考慮?；蛘咧刂靡皇仟剟钋€還在漲但人工評估分數(shù)不漲甚至下降說明獎勵被 hack 了二是策略輸出的多樣性驟降同一個問題多次采樣答案幾乎一樣三是路由熵持續(xù)走低MoE 的專家開始塌縮。MiMo-V2.6 作為開源模型把這些監(jiān)控指標開放出來對復(fù)現(xiàn)者來說價值很大因為你可以直接對照自己的訓(xùn)練曲線判斷狀態(tài)。5. 復(fù)現(xiàn)與部署從報告到能跑起來的距離5.1 硬件門檻與并行策略MiMo-V2.6 是 MoE 架構(gòu)部署時的顯存占用和稠密模型不是一個算法。MoE 的總參數(shù)大但激活參數(shù)少推理時顯存主要花在加載所有專家上。如果你顯存不夠常見的做法是專家分片到多卡用張量并行或者專家并行。具體選哪種取決于你的卡間帶寬帶寬高就張量并行帶寬一般就專家并行把不同專家放不同卡上減少通信。我實測下來MoE 推理的瓶頸往往在路由通信而不是矩陣計算。每次前向都要做 all-to-all 的專家分發(fā)和回收如果卡間互聯(lián)是 PCIe 而不是 NVLink延遲會很明顯。所以部署前先測一下你的互聯(lián)帶寬別等跑起來才發(fā)現(xiàn) GPU 利用率只有 30%。5.2 強化學(xué)習(xí)訓(xùn)練側(cè)的資源配置如果你不只是推理還想做 RL 微調(diào)那資源規(guī)劃要更細。采樣側(cè)需要大量并發(fā)環(huán)境訓(xùn)練側(cè)需要大顯存放模型和優(yōu)化器狀態(tài)獎勵模型還要額外占一份。常見的做法是采樣和訓(xùn)練分到不同機器采樣側(cè)用 CPU 密集型機器跑環(huán)境訓(xùn)練側(cè)用 GPU 機器。MiMo-V2.6 的規(guī)模化能力前提就是這套分離架構(gòu)。這里有個容易忽略的點采樣側(cè)的網(wǎng)絡(luò)帶寬。智能體任務(wù)經(jīng)常要訪問外部服務(wù)如果采樣機器網(wǎng)絡(luò)差軌跡產(chǎn)出速度會拖垮整個訓(xùn)練。我建議采樣側(cè)單獨走一條網(wǎng)絡(luò)通道別和訓(xùn)練側(cè)的梯度同步搶帶寬。5.3 常見報錯與排查思路MoE RL 的組合報錯往往不直觀。我整理了幾個高頻問題和排查方向現(xiàn)象可能原因排查動作reward 前期漲后期平路由塌縮或獎勵被 hack看路由熵、做獎勵對抗測試訓(xùn)練 loss 正常但輸出退化KL 約束太松或數(shù)據(jù)分布漂移調(diào)大 KL 系數(shù)、混入通用數(shù)據(jù)采樣速度遠低于預(yù)期環(huán)境響應(yīng)慢或軌跡序列化開銷大壓測環(huán)境、換高效序列化格式多卡推理吞吐上不去專家并行通信瓶頸測互聯(lián)帶寬、調(diào)整專家分布模型輸出重復(fù)率高策略熵過低加熵正則、檢查獎勵設(shè)計這些不是從報告里抄的是我自己在類似架構(gòu)上踩出來的。報告通常只講成功路徑但這些坑才是決定你能不能復(fù)現(xiàn)的關(guān)鍵。6. 這套東西對普通開發(fā)者意味著什么MiMo-V2.6 作為開源模型最大的意義不是讓你直接拿去商用而是把“強化學(xué)習(xí)規(guī)?；焙汀白晕腋倪M閉環(huán)”這兩件原本只在大廠內(nèi)部討論的事變成了可以下載、可以讀代碼、可以復(fù)現(xiàn)的工程樣本。你可以不跑完整訓(xùn)練但可以拆出其中一塊——比如路由負載均衡的實現(xiàn)、軌跡管理的設(shè)計、獎勵校驗的流程——用到自己的項目里。我個人最看重的是它把 Agentic RL 的工程細節(jié)暴露出來了。以前做 Agent強化學(xué)習(xí)部分基本靠猜現(xiàn)在有一個開源參照至少知道規(guī)?；蓸哟蟾砰L什么樣、獎勵設(shè)計要注意什么、閉環(huán)怎么控制漂移。這些經(jīng)驗比榜單上的幾個點有價值得多。最后分享一個我自己的習(xí)慣拿到這類技術(shù)報告先別急著看結(jié)論直接翻到訓(xùn)練流程和消融實驗部分看它砍掉哪個模塊會掉多少分。那個掉分最多的模塊往往就是這套方法真正的命門。MiMo-V2.6 的命門從關(guān)鍵詞和架構(gòu)看大概率在路由穩(wěn)定性和獎勵校驗這兩塊你復(fù)現(xiàn)的時候把最多精力放在這兩處成功率會高很多。