：破解遞歸自我改進(jìn)的元探索困境——讀馬里蘭大學(xué)鄭童NICE學(xué)術(shù)前沿分享)
NICE學(xué)術(shù) · 前沿對(duì)話 | 演講人鄭童馬里蘭大學(xué)帕克分校博士生、Dream-RSI 第一作者 | 議題Dream-RSI讓智能體通過“做夢(mèng)”實(shí)現(xiàn)遞歸自我改進(jìn)核心洞察長(zhǎng)程自主智能體實(shí)現(xiàn)遞歸自我改進(jìn)RSI的最大死穴從來不是底座模型“寫不出代碼”而是元搜索層面的“探索策略優(yōu)化極度昂貴”。傳統(tǒng)方法在線調(diào)整搜索策略需等待數(shù)千次昂貴的生成與代碼真實(shí)執(zhí)行而 Dream-RSI 的第一性原理顛覆在于將已走過的探索歷史樹升格為確定性“回放模擬器”Replay World。智能體在離線世界中反思做夢(mèng)重新調(diào)度分支剪枝與并行策略無需重新調(diào)用大模型與編譯器即可獲得即時(shí)離線反饋以 0 增量推演成本驅(qū)動(dòng)策略迭代最終在算法工程、GPU 內(nèi)核發(fā)現(xiàn)與智能體運(yùn)行框架Harness優(yōu)化中實(shí)現(xiàn)超百倍算力節(jié)約與大幅性能躍遷。01 遞歸自我改進(jìn)RSI的核心瓶頸固定策略失效與在線元探索的高昂代價(jià)在自主科學(xué)發(fā)現(xiàn)與復(fù)雜工程代碼生成任務(wù)中遞歸自我改進(jìn)Recursive Self-Improvement, RSI被普遍視作通往高階通用人工智能的關(guān)鍵路徑。然而當(dāng)前無論是 AlphaEvolve、CodeEvolve 還是 SimpleTES在面對(duì)數(shù)千步長(zhǎng)周期的超大搜索空間時(shí)均陷入了深刻的“元探索悖論”靜態(tài)探索策略的收益遞減固定的啟發(fā)式規(guī)則如固定分支寬度、簡(jiǎn)單退火、均勻輪詢無法從歷史經(jīng)驗(yàn)中進(jìn)化導(dǎo)致智能體反復(fù)在無效死胡同中揮霍算力隨著探索輪次增加邊際產(chǎn)出急劇衰減。元層級(jí)反饋嚴(yán)重延遲與昂貴評(píng)估一個(gè)候選解僅需單次編譯測(cè)試但評(píng)估一種“探索策略”必須等待該策略完整展開數(shù)十輪、消耗數(shù)千次大模型調(diào)用后的整體表現(xiàn)在線試錯(cuò)成本極其驚人。提示詞方向引導(dǎo)的虛妄幻覺簡(jiǎn)單在 Prompt 中硬編碼方向性經(jīng)驗(yàn)如“避開分支A、多嘗試算法B”往往造成早熟收斂束縛模型的多樣性發(fā)散甚至劣于無引導(dǎo)的純隨機(jī)擴(kuò)展。鄭童團(tuán)隊(duì)明確指出必須將“探索策略的編排機(jī)制”與“底座智能體的權(quán)重”解耦保持底座執(zhí)行模型與編譯器環(huán)境不變將探索策略顯式化為可執(zhí)行的 Python 編排代碼使閉環(huán)自進(jìn)化的焦點(diǎn)集中于控制層。02 探索歷史即世界模型Dream-RSI“做夢(mèng)”機(jī)制與離線回放模擬器架構(gòu)Dream-RSI 最具革命性的直覺在于借鑒了強(qiáng)化學(xué)習(xí)中的世界模型World Models / Dreamer一個(gè)已經(jīng)完成的探索過程其本身就記錄了完整的決策拓?fù)渑c真實(shí)執(zhí)行結(jié)果樹。這段歷史不應(yīng)被當(dāng)作靜態(tài)的文本日志而是一個(gè)天然的可執(zhí)行模擬環(huán)境。探索樹的數(shù)學(xué)抽象探索空間被建模為一棵以初始工作區(qū)狀態(tài)為根節(jié)點(diǎn)rrr的樹T\mathcal{T}T。每個(gè)子節(jié)點(diǎn)vvv封裝了該步的代碼變體、編譯日志與客觀標(biāo)量得分svs_vsv??？蓴U(kuò)展動(dòng)作空間為當(dāng)前所有可見葉子節(jié)點(diǎn)集合A(T)A(\mathcal{T})A(T)。共享的決策控制接口策略代碼在每輪決策中從可見候選節(jié)點(diǎn)中選出并發(fā)批次C?A(T)C \subseteq A(\mathcal{T})C?A(T)∣C∣≤W|C| \le W∣C∣≤W其中WWW為最大并行工人數(shù)。批次大小直接決定了計(jì)算資源的并行分配與調(diào)度節(jié)奏。離線確定性回放Dreaming當(dāng)新策略πtm\pi_{t}^{m}πtm?在歷史樹中“做夢(mèng)”時(shí)它重新做出分支選擇、分配并行度或提前終止。若選擇某一歷史節(jié)點(diǎn)環(huán)境直接讀取此前已保存的執(zhí)行結(jié)果無需重新調(diào)用大模型生成代碼也無需重新運(yùn)行 GPU 編譯測(cè)試。閉環(huán)演化飛輪在線探索生成新歷史→\to→歷史沉淀擴(kuò)充模擬器池→\to→離線做夢(mèng)演化出更高勝率的策略代碼→\to→部署新策略開啟下一輪在線探索。這一機(jī)制徹底抹平了元探索試錯(cuò)的經(jīng)濟(jì)門檻在歷史回放的世界里幾毫秒內(nèi)即可完成數(shù)千步?jīng)Q策推演智能體得以低成本探索數(shù)千種策略分支的優(yōu)劣。03 質(zhì)量、成本與并行度的帕累托權(quán)衡基于超體積HV與延遲懲罰的代碼策略演化在離線模擬環(huán)境中如何客觀量化一個(gè)探索策略代碼的優(yōu)劣Dream-RSI 構(gòu)建了一套兼顧最終解質(zhì)量、計(jì)算調(diào)用成本與時(shí)延并行度的多目標(biāo)評(píng)價(jià)體系核心評(píng)估指標(biāo)數(shù)學(xué)表征與計(jì)算邏輯工程意義與設(shè)計(jì)初衷質(zhì)量-成本超體積 (HV)HV∑j(aj?aj?1)(1?njB)HV \sum_j (a_j - a_{j-1})\left(1 - \frac{n_j}{B}\right)HV∑j?(aj??aj?1?)(1?Bnj??)積分覆蓋多預(yù)算偏好下的非支配前沿面衡量策略在不同計(jì)算預(yù)算下的自適應(yīng)性嚴(yán)厲懲罰“高成本換取微小提升”的低效策略獎(jiǎng)勵(lì)在預(yù)算初期即收斂?jī)?yōu)質(zhì)解的行為。并行度時(shí)延懲罰 §$P \frac{1}{P綜合策略選擇評(píng)分 (V)VHV?λ?PV HV - \lambda \cdot PVHV?λ?Pλ\lambdaλ控制并行效率與探索深度的權(quán)衡因子策略演化智能體LLM Policy-Development Agent依據(jù)多輪做夢(mèng)軌跡日志對(duì) Python 策略代碼進(jìn)行代碼重構(gòu)挑選VVV最高者上線。更關(guān)鍵的是消融實(shí)驗(yàn)證實(shí)若僅將歷史總結(jié)為文本建議注入 Context后續(xù)探索極易偏執(zhí)而通過重寫調(diào)度算法代碼如引入動(dòng)態(tài)自適應(yīng)門限、基于方差的主動(dòng)早停策略能夠優(yōu)雅地在“發(fā)現(xiàn)瓶頸期加大并發(fā)發(fā)散”與“收斂平穩(wěn)期收緊資源消耗”之間自由切換。04 跨四大領(lǐng)域嚴(yán)苛實(shí)證從內(nèi)核發(fā)現(xiàn)到Harness優(yōu)化百倍算力節(jié)約與自主進(jìn)化范式在涵蓋算法工程、數(shù)學(xué)優(yōu)化、GPU 高性能算子及智能體 Harness 優(yōu)化的 4 大領(lǐng)域、9 種任務(wù)上Dream-RSI 均展現(xiàn)出了碾壓式的收斂速度與質(zhì)量飛躍算法工程Lasso 正則化求解器在 6 個(gè)跨領(lǐng)域真實(shí)測(cè)試集上平均運(yùn)行耗時(shí)由 3587.1ms 降至 2931.0ms僅消耗 317 次調(diào)用較 SimpleTES 算力節(jié)省高達(dá) 162 倍且泛化性能超越標(biāo)準(zhǔn)庫(kù) sklearn 與 glmnet。GPU 算子KernelBench 實(shí)戰(zhàn)在 VGG16 與 LayerNorm 算子上分別減少 2.43× 與 1.79× 的調(diào)用量即可達(dá)到同等性能在 ConvDiv 與 ConvMax 算子上在同等預(yù)算下性能分別躍升 2.09× 與 1.44×。數(shù)學(xué)前沿組合與函數(shù)優(yōu)化在 Sum-Difference 問題上斬獲 1.145427 創(chuàng)下新高Circle Packing 達(dá)到頂尖的 2.635983以不到 1000 次生成匹敵了 SimpleTES 51200 次生成的求解表現(xiàn)。Harness 自演化終端能力躍遷在 Terminal-Bench 2.1 智能體基準(zhǔn)上通過演化智能體運(yùn)行框架Harness評(píng)分從 72.47% 躍升至 80.90%凈增 8.43 個(gè)百分點(diǎn)實(shí)現(xiàn)框架級(jí)自舉進(jìn)化。Dream-RSI 為智能體領(lǐng)域帶來了深刻的范式轉(zhuǎn)移真正的遞歸自我改進(jìn)并不局限于盲目微調(diào)底座模型而在于將探索經(jīng)驗(yàn)轉(zhuǎn)化為確定性模擬資產(chǎn)。當(dāng)“歷史回放”成為智能體免費(fèi)做夢(mèng)反思的演武場(chǎng)AI 正在從單次線性的求解機(jī)器蛻變成為具備自省調(diào)優(yōu)、自我演化的長(zhǎng)程探索者。技術(shù)解讀NICE學(xué)術(shù)前沿學(xué)術(shù)報(bào)告 · 讀馬里蘭大學(xué)鄭童團(tuán)隊(duì)工作《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》全景解析 讓智能體在“歷史回放”中做夢(mèng)：破解遞歸自我改進(jìn)的元探索困境——讀馬里蘭大學(xué)鄭童NICE學(xué)術(shù)前沿分享
NICE學(xué)術(shù) · 前沿對(duì)話 | 演講人鄭童馬里蘭大學(xué)帕克分校博士生、Dream-RSI 第一作者 | 議題Dream-RSI讓智能體通過“做夢(mèng)”實(shí)現(xiàn)遞歸自我改進(jìn)核心洞察長(zhǎng)程自主智能體實(shí)現(xiàn)遞歸自我改進(jìn)RSI的最大死穴從來不是底座模型“寫不出代碼”而是元搜索層面的“探索策略優(yōu)化極度昂貴”。傳統(tǒng)方法在線調(diào)整搜索策略需等待數(shù)千次昂貴的生成與代碼真實(shí)執(zhí)行而 Dream-RSI 的第一性原理顛覆在于將已走過的探索歷史樹升格為確定性“回放模擬器”Replay World。智能體在離線世界中反思做夢(mèng)重新調(diào)度分支剪枝與并行策略無需重新調(diào)用大模型與編譯器即可獲得即時(shí)離線反饋以 0 增量推演成本驅(qū)動(dòng)策略迭代最終在算法工程、GPU 內(nèi)核發(fā)現(xiàn)與智能體運(yùn)行框架Harness優(yōu)化中實(shí)現(xiàn)超百倍算力節(jié)約與大幅性能躍遷。01 遞歸自我改進(jìn)RSI的核心瓶頸固定策略失效與在線元探索的高昂代價(jià)在自主科學(xué)發(fā)現(xiàn)與復(fù)雜工程代碼生成任務(wù)中遞歸自我改進(jìn)Recursive Self-Improvement, RSI被普遍視作通往高階通用人工智能的關(guān)鍵路徑。然而當(dāng)前無論是 AlphaEvolve、CodeEvolve 還是 SimpleTES在面對(duì)數(shù)千步長(zhǎng)周期的超大搜索空間時(shí)均陷入了深刻的“元探索悖論”靜態(tài)探索策略的收益遞減固定的啟發(fā)式規(guī)則如固定分支寬度、簡(jiǎn)單退火、均勻輪詢無法從歷史經(jīng)驗(yàn)中進(jìn)化導(dǎo)致智能體反復(fù)在無效死胡同中揮霍算力隨著探索輪次增加邊際產(chǎn)出急劇衰減。元層級(jí)反饋嚴(yán)重延遲與昂貴評(píng)估一個(gè)候選解僅需單次編譯測(cè)試但評(píng)估一種“探索策略”必須等待該策略完整展開數(shù)十輪、消耗數(shù)千次大模型調(diào)用后的整體表現(xiàn)在線試錯(cuò)成本極其驚人。提示詞方向引導(dǎo)的虛妄幻覺簡(jiǎn)單在 Prompt 中硬編碼方向性經(jīng)驗(yàn)如“避開分支A、多嘗試算法B”往往造成早熟收斂束縛模型的多樣性發(fā)散甚至劣于無引導(dǎo)的純隨機(jī)擴(kuò)展。鄭童團(tuán)隊(duì)明確指出必須將“探索策略的編排機(jī)制”與“底座智能體的權(quán)重”解耦保持底座執(zhí)行模型與編譯器環(huán)境不變將探索策略顯式化為可執(zhí)行的 Python 編排代碼使閉環(huán)自進(jìn)化的焦點(diǎn)集中于控制層。02 探索歷史即世界模型Dream-RSI“做夢(mèng)”機(jī)制與離線回放模擬器架構(gòu)Dream-RSI 最具革命性的直覺在于借鑒了強(qiáng)化學(xué)習(xí)中的世界模型World Models / Dreamer一個(gè)已經(jīng)完成的探索過程其本身就記錄了完整的決策拓?fù)渑c真實(shí)執(zhí)行結(jié)果樹。這段歷史不應(yīng)被當(dāng)作靜態(tài)的文本日志而是一個(gè)天然的可執(zhí)行模擬環(huán)境。探索樹的數(shù)學(xué)抽象探索空間被建模為一棵以初始工作區(qū)狀態(tài)為根節(jié)點(diǎn)rrr的樹T\mathcal{T}T。每個(gè)子節(jié)點(diǎn)vvv封裝了該步的代碼變體、編譯日志與客觀標(biāo)量得分svs_vsv??？蓴U(kuò)展動(dòng)作空間為當(dāng)前所有可見葉子節(jié)點(diǎn)集合A(T)A(\mathcal{T})A(T)。共享的決策控制接口策略代碼在每輪決策中從可見候選節(jié)點(diǎn)中選出并發(fā)批次C?A(T)C \subseteq A(\mathcal{T})C?A(T)∣C∣≤W|C| \le W∣C∣≤W其中WWW為最大并行工人數(shù)。批次大小直接決定了計(jì)算資源的并行分配與調(diào)度節(jié)奏。離線確定性回放Dreaming當(dāng)新策略πtm\pi_{t}^{m}πtm?在歷史樹中“做夢(mèng)”時(shí)它重新做出分支選擇、分配并行度或提前終止。若選擇某一歷史節(jié)點(diǎn)環(huán)境直接讀取此前已保存的執(zhí)行結(jié)果無需重新調(diào)用大模型生成代碼也無需重新運(yùn)行 GPU 編譯測(cè)試。閉環(huán)演化飛輪在線探索生成新歷史→\to→歷史沉淀擴(kuò)充模擬器池→\to→離線做夢(mèng)演化出更高勝率的策略代碼→\to→部署新策略開啟下一輪在線探索。這一機(jī)制徹底抹平了元探索試錯(cuò)的經(jīng)濟(jì)門檻在歷史回放的世界里幾毫秒內(nèi)即可完成數(shù)千步?jīng)Q策推演智能體得以低成本探索數(shù)千種策略分支的優(yōu)劣。03 質(zhì)量、成本與并行度的帕累托權(quán)衡基于超體積HV與延遲懲罰的代碼策略演化在離線模擬環(huán)境中如何客觀量化一個(gè)探索策略代碼的優(yōu)劣Dream-RSI 構(gòu)建了一套兼顧最終解質(zhì)量、計(jì)算調(diào)用成本與時(shí)延并行度的多目標(biāo)評(píng)價(jià)體系核心評(píng)估指標(biāo)數(shù)學(xué)表征與計(jì)算邏輯工程意義與設(shè)計(jì)初衷質(zhì)量-成本超體積 (HV)HV∑j(aj?aj?1)(1?njB)HV \sum_j (a_j - a_{j-1})\left(1 - \frac{n_j}{B}\right)HV∑j?(aj??aj?1?)(1?Bnj??)積分覆蓋多預(yù)算偏好下的非支配前沿面衡量策略在不同計(jì)算預(yù)算下的自適應(yīng)性嚴(yán)厲懲罰“高成本換取微小提升”的低效策略獎(jiǎng)勵(lì)在預(yù)算初期即收斂?jī)?yōu)質(zhì)解的行為。并行度時(shí)延懲罰 §$P \frac{1}{P綜合策略選擇評(píng)分 (V)VHV?λ?PV HV - \lambda \cdot PVHV?λ?Pλ\lambdaλ控制并行效率與探索深度的權(quán)衡因子策略演化智能體LLM Policy-Development Agent依據(jù)多輪做夢(mèng)軌跡日志對(duì) Python 策略代碼進(jìn)行代碼重構(gòu)挑選VVV最高者上線。更關(guān)鍵的是消融實(shí)驗(yàn)證實(shí)若僅將歷史總結(jié)為文本建議注入 Context后續(xù)探索極易偏執(zhí)而通過重寫調(diào)度算法代碼如引入動(dòng)態(tài)自適應(yīng)門限、基于方差的主動(dòng)早停策略能夠優(yōu)雅地在“發(fā)現(xiàn)瓶頸期加大并發(fā)發(fā)散”與“收斂平穩(wěn)期收緊資源消耗”之間自由切換。04 跨四大領(lǐng)域嚴(yán)苛實(shí)證從內(nèi)核發(fā)現(xiàn)到Harness優(yōu)化百倍算力節(jié)約與自主進(jìn)化范式在涵蓋算法工程、數(shù)學(xué)優(yōu)化、GPU 高性能算子及智能體 Harness 優(yōu)化的 4 大領(lǐng)域、9 種任務(wù)上Dream-RSI 均展現(xiàn)出了碾壓式的收斂速度與質(zhì)量飛躍算法工程Lasso 正則化求解器在 6 個(gè)跨領(lǐng)域真實(shí)測(cè)試集上平均運(yùn)行耗時(shí)由 3587.1ms 降至 2931.0ms僅消耗 317 次調(diào)用較 SimpleTES 算力節(jié)省高達(dá) 162 倍且泛化性能超越標(biāo)準(zhǔn)庫(kù) sklearn 與 glmnet。GPU 算子KernelBench 實(shí)戰(zhàn)在 VGG16 與 LayerNorm 算子上分別減少 2.43× 與 1.79× 的調(diào)用量即可達(dá)到同等性能在 ConvDiv 與 ConvMax 算子上在同等預(yù)算下性能分別躍升 2.09× 與 1.44×。數(shù)學(xué)前沿組合與函數(shù)優(yōu)化在 Sum-Difference 問題上斬獲 1.145427 創(chuàng)下新高Circle Packing 達(dá)到頂尖的 2.635983以不到 1000 次生成匹敵了 SimpleTES 51200 次生成的求解表現(xiàn)。Harness 自演化終端能力躍遷在 Terminal-Bench 2.1 智能體基準(zhǔn)上通過演化智能體運(yùn)行框架Harness評(píng)分從 72.47% 躍升至 80.90%凈增 8.43 個(gè)百分點(diǎn)實(shí)現(xiàn)框架級(jí)自舉進(jìn)化。Dream-RSI 為智能體領(lǐng)域帶來了深刻的范式轉(zhuǎn)移真正的遞歸自我改進(jìn)并不局限于盲目微調(diào)底座模型而在于將探索經(jīng)驗(yàn)轉(zhuǎn)化為確定性模擬資產(chǎn)。當(dāng)“歷史回放”成為智能體免費(fèi)做夢(mèng)反思的演武場(chǎng)AI 正在從單次線性的求解機(jī)器蛻變成為具備自省調(diào)優(yōu)、自我演化的長(zhǎng)程探索者。技術(shù)解讀NICE學(xué)術(shù)前沿學(xué)術(shù)報(bào)告 · 讀馬里蘭大學(xué)鄭童團(tuán)隊(duì)工作《Dream-RSI: Recursive Self-Improvement through Evolving Worlds》全景解析