演示：用 Autoresearch 雙環(huán)架構(gòu)給 RL 對齊算法做“大腦掃描“)
AI 技能人工智能大模型深度學(xué)習(xí)【免費(fèi)下載鏈接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.項目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs點擊查看免費(fèi)下載本篇技術(shù)指南圍繞 demos/autoresearch-rl-brain-scan/README.md 展開完整還原一個由 AI Agent 全自主執(zhí)行的端到端研究項目在同一個 GPT-2 Small 基座模型上分別用 RLOO、GRPO、DPO 三種對齊算法做 sentiment 與 toxicity 任務(wù)訓(xùn)練再借助 SVD 權(quán)重分解與 SAELens 稀疏自編碼器分析對齊算法到底對模型內(nèi)部做了什么。讀完本文你將掌握 autoresearch 雙環(huán)inner loop / outer loop架構(gòu)的實際運(yùn)轉(zhuǎn)方式、跨領(lǐng)域技能路由post-training → mechanistic interpretability → paper writing的編排思路以及DPO 是 rank-1 擾動、在線 RL 保持結(jié)構(gòu)、DPO 存在集中擾動級聯(lián)三大機(jī)制性發(fā)現(xiàn)的完整證據(jù)鏈。該 demo 產(chǎn)出的論文見 rl_algorithm_brain_scan.pdf。一、Demo 背景一個此前無人系統(tǒng)回答的問題RL 對齊算法RLOO、GRPO、DPO在行為層面已經(jīng)被大量比較——誰的 reward 更高、誰更穩(wěn)、誰更省顯存。但在權(quán)重與特征層面這些算法對同一個基座模型的內(nèi)部結(jié)構(gòu)分別做了什么此前沒有工作做過系統(tǒng)性對比。這正是本 demo 的研究缺口research gap。Agent 帶著這個缺口進(jìn)入 Autoresearch 技能定義的研究生命周期從文獻(xiàn)調(diào)研出發(fā)識別 gap形成可檢驗的假設(shè)再通過兩環(huán)架構(gòu)自主推進(jìn)。Autoresearch 的核心定位在技能文檔中寫得很清楚You are a research project manager, not a domain expert. You orchestrate; the domain skills execute.你是研究項目經(jīng)理而非領(lǐng)域?qū)＜邑?fù)責(zé)編排領(lǐng)域技能負(fù)責(zé)執(zhí)行。本 demo 正是這句話的完整實踐——Agent 自己不寫訓(xùn)練循環(huán)而是把任務(wù)路由給領(lǐng)域技能研究活動路由到的技能倉庫位置RL 模型訓(xùn)練GRPO/RLOO/DPOTRL、GRPO RL Training06-post-training/trl-fine-tuning/、06-post-training/grpo-rl-training/內(nèi)部結(jié)構(gòu)分析SAE 特征、激活緩存SAELens、TransformerLens04-mechanistic-interpretability/saelens/、04-mechanistic-interpretability/transformer-lens/論文產(chǎn)出ICML 格式ML Paper Writing20-ml-paper-writing/ml-paper-writing/二、雙環(huán)架構(gòu)如何驅(qū)動這項研究本 demo 完整跑通了 Autoresearch 中定義的BOOTSTRAP → INNER LOOP → OUTER LOOP → FINALIZE生命周期BOOTSTRAP 檢索 RLOO / GRPO / DPO 文獻(xiàn) → 確認(rèn)權(quán)重與特征層面的系統(tǒng)對比是空白的 INNER LOOP快、自主、重復(fù) 假設(shè) → 實驗 → 測量 → 記錄 → 學(xué)習(xí) → 下一個 本輪用三種算法訓(xùn)練 GPT-2 SmallSVD 分析權(quán)重增量SAELens 分析特征變化 OUTER LOOP周期性、反思性 回顧結(jié)果 → 發(fā)現(xiàn)模式 → 更新 findings.md → 形成新理解 → 決定方向 本輪把三個獨立實驗的證據(jù)鏈合成出機(jī)制性結(jié)論 FINALIZE 調(diào)用 ml-paper-writing 以 ICML 格式成文關(guān)鍵點在于兩環(huán)分工inner loop 負(fù)責(zé)跑實驗constrained experiments with clear measurable outcomesouter loop 負(fù)責(zé)找故事synthesize understanding, find the story — this is where novelty comes from。DPO 是 rank-1 擾動這類結(jié)論不是某個指標(biāo)跑出來的而是 outer loop 對指標(biāo)進(jìn)行綜合后的概念性洞察這正是技能文檔強(qiáng)調(diào)的 novelty 來源。demo 還體現(xiàn)了 Autoresearch 中的研究非線性原則——實驗中隨時可以回到文獻(xiàn)、隨時可以產(chǎn)生新假設(shè)節(jié)奏由 Agent 判斷通常每 5-10 個實驗做一次 outer loop 反思。三、Inner Loop 實驗設(shè)計訓(xùn)練、SVD、SAE 特征分析3.1 訓(xùn)練側(cè)RLOO / GRPO / DPO 三路對照Agent 在GPT-2 Small上分別用 RLOO、GRPO、DPO 三種算法執(zhí)行 sentiment 與 toxicity 兩個任務(wù)保證同一個基座模型、同一批任務(wù)這一對照前提。這與倉庫中 GRPO RL Training 技能文檔描述的實現(xiàn)路徑一致GRPO 對每個 prompt 生成一組通常 4-16 條completion在組內(nèi)用 reward 函數(shù)比較優(yōu)劣并更新策略無需獨立 reward model。技能文檔給出的可落地配置骨架如下from trl import GRPOConfig training_args GRPOConfig( output_diroutputs/grpo-model, learning_rate5e-6, # 更低更穩(wěn) num_generations8, # 組大小8-16 推薦 max_prompt_length256, max_completion_length512, per_device_train_batch_size1, gradient_accumulation_steps4, # 有效 batch 4 bf16True, # A100/H100 上更快 logging_steps1, )對 sentiment / toxicity 這類任務(wù)reward 函數(shù)設(shè)計遵循技能文檔的黃金法則正確性類 reward 權(quán)重最高約 2.0格式類 0.5-1.0長度類 0.1-0.5風(fēng)格類在 -0.5 到 0.5 之間且必須組合多個 reward 函數(shù)并逐個獨立調(diào)試。DPO 側(cè)則走 TRL 的 preference alignment 路徑DPOTrainerchosen/rejected偏好對beta控制 KL 懲罰強(qiáng)度。需要說明的是RLOO 在倉庫中作為在線 RL 家族PPO/GRPO/RLOO/OnlineDPO的一員與 GRPO 同屬無獨立 critic、組內(nèi)比較的方法詳見 trl-fine-tuning 的 online-rl 參考。3.2 分析側(cè)權(quán)重增量 SVD SAE 特征對比訓(xùn)練完成后Agent 對每個權(quán)重矩陣的**權(quán)重增量weight delta**做 SVD 分解考察擾動的低秩結(jié)構(gòu)同時用 SAELens 把模型激活分解成稀疏、可解釋的特征feature比較對齊前后基座模型 SAE 特征結(jié)構(gòu)的保持程度。SAELens 的核心邏輯在技能文檔中有完整描述SAE 通過稀疏瓶頸重構(gòu)激活L0平均每 token 激活的特征數(shù)、CE Loss Score重建后交叉熵恢復(fù)比例、Dead Features比例等是標(biāo)準(zhǔn)評估指標(biāo)。本 demo 用到的關(guān)鍵能力是sae.encode(activations)得到稀疏特征向量再跨模型基座 vs 對齊后比較哪些特征被激活、哪些被破壞。TransformerLens 則負(fù)責(zé)run_with_cache緩存各層激活為 SAE 提供輸入。技能文檔中將 SAE 特征激活投影回 logit 空間做特征歸因的范式正是本 demo 分析特征被擾動級聯(lián)影響的直接工具。四、Outer Loop 合成出的三大關(guān)鍵發(fā)現(xiàn)以下數(shù)據(jù)全部來自 demos/autoresearch-rl-brain-scan/README.md 與對應(yīng)論文發(fā)現(xiàn)一DPO 是 rank-1 對齊對 DPO 訓(xùn)練后的每個權(quán)重矩陣單個 SVD 方向top-1 direction就能恢復(fù) 95.6% 的行為效果而 GRPO 需要 50 個方向才能達(dá)到同等恢復(fù)水平。這說明 DPO 的權(quán)重擾動高度集中在極低秩的子空間里——從機(jī)制上解釋了為什么 DPO 是一種小而集中的修改。發(fā)現(xiàn)二在線 RL 保持模型結(jié)構(gòu)RLOO 與 GRPO 的權(quán)重增量保持了更高的有效秩effective rank 200 vs DPO 的 119并且更好地保留了基座模型的 SAE 特征結(jié)構(gòu)Jaccard 相似度 0.83 vs 0.69。也就是說在線 RL 傾向于把修改攤薄到更多方向上、破壞更少原有特征而 DPO 的修改雖然秩低對原有特征的擾動面卻更大。發(fā)現(xiàn)三DPO 的集中擾動級聯(lián)盡管 DPO 的改動秩更低它卻在更深的層里破壞了 2 倍以上的 SAE 特征深層被擾動的特征數(shù) 1619 vs 在線 RL 的 527-870。低秩擾動通過網(wǎng)絡(luò)逐層放大amplifying perturbations through the network形成集中擾動級聯(lián)——這是本 demo 最反直覺、也最有機(jī)制深度的結(jié)論改動越集中反而越容易被深層放大。統(tǒng)計嚴(yán)謹(jǐn)性三項結(jié)論在 sentiment 與 toxicity 兩個任務(wù)上都成立且?guī)Ыy(tǒng)計顯著性n3 個隨機(jī)種子置信區(qū)間不重疊non-overlapping CIs。這與 ML Paper Writing 技能文檔對實驗章節(jié)的要求一致——必須有誤差棒、說明標(biāo)準(zhǔn)差還是標(biāo)準(zhǔn)誤、給出 seed 設(shè)置方法。五、從相關(guān)性到因果性SVD 消融驗證演示 README 特別強(qiáng)調(diào)這些結(jié)論經(jīng)過了因果驗證而不僅是相關(guān)性分析not just correlation but causal evidence。Agent 的做法是 SVD 消融實驗SVD ablation取出對齊后模型的權(quán)重增量沿 top-1 SVD 方向做消融移除該方向觀察行為效果sentiment/toxicity 指標(biāo)的回落幅度若移除單一方向?qū)е滦袨樾Ч蠓芈鋭t證明該方向確實是行為效果的因果載體——對應(yīng) DPO 95.6% 的恢復(fù)率。這與 TransformerLens 技能文檔中 activation patching 的因果范式一脈相承把 clean 激活 patch 進(jìn) corrupted 運(yùn)行觀察因果熱點只是把干預(yù)對象從激活換成了權(quán)重子空間。這種先測秩結(jié)構(gòu)、再沿主方向消融、最后對照行為指標(biāo)的流水線是 outer loop 把三類實驗證據(jù)擰成一條因果鏈的關(guān)鍵。六、收尾用 ml-paper-writing 產(chǎn)出 ICML 論文研究結(jié)論后進(jìn)入 FINALIZE 階段Agent 調(diào)用 ML Paper Writing 技能以ICML 格式產(chǎn)出論文即倉庫中的 rl_algorithm_brain_scan.pdf。技能文檔為 ICML 提供了templates/icml2026/完整模板目錄example_paper.tex、icml2026.sty、algorithm.sty等并規(guī)定了必須整目錄拷貝、先驗證模板可編譯、按 section 逐個替換的工作流ICML 2026 的硬性要求是 8 頁正文 1 頁 camera-ready、必須包含 Broader Impact Statement。更關(guān)鍵的是該技能的引用紀(jì)律AI 生成的引用有約 40% 的錯誤率因此強(qiáng)制要求絕不憑記憶寫 BibTeX一律通過 Semantic Scholar / arXiv / CrossRef 編程式獲取并雙重驗證無法驗證的引用必須標(biāo)記為占位符。論文中的每個引用都遵循這一流程從源頭杜絕幻覺引用。寫作層面則貫徹 Neel Nanda 的narrative 原則——如果無法用一句話說出你的貢獻(xiàn)你還沒有一篇論文——本 demo 的一句話貢獻(xiàn)就是DPO 以 rank-1 擾動完成對齊在線 RL 以結(jié)構(gòu)保持的方式完成對齊二者在深層特征破壞上呈現(xiàn)出截然相反的級聯(lián)模式。七、為什么這個 Demo 重要多技能編排的完整范本這個 demo 的價值不在于單個實驗結(jié)果而在于它展示了 autoresearch如何把多個領(lǐng)域技能編排成一條完整的自主研究流水線Post-training 技能TRL、GRPO負(fù)責(zé)把三種對齊算法真正訓(xùn)練出來提供可分析的權(quán)重增量可解釋性技能SAELens、TransformerLens負(fù)責(zé)回答改變了什么——SAE 特征對比給出結(jié)構(gòu)層面的證據(jù)SVD 消融給出因果層面的證據(jù)論文寫作技能ML Paper Writing負(fù)責(zé)把實驗證據(jù)組織成符合 ICML 規(guī)范的投稿稿。對照 Autoresearch 的質(zhì)量標(biāo)準(zhǔn)本 demo 屬于好的 agent 行為的教科書案例假設(shè)帶有機(jī)制性推理DPO 低秩 → 深層放大而非試試看、findings 形成了連貫敘事而非實驗日志堆砌、因果消融補(bǔ)齊了驗證閉環(huán)、最終產(chǎn)物是可以直接進(jìn)入投稿流程的論文。它同時回答了雙環(huán)架構(gòu)為何必要inner loop 提供三個實驗的硬指標(biāo)outer loop 才把它們合成為rank-1 擾動 結(jié)構(gòu)保持 擾動級聯(lián)這樣超越單一指標(biāo)的概念性理解——這正是 Autoresearch 所定義的 novelty 所在也是這套技能庫讓任意 AI 模型擁有完整馬力的 AI 研究 Agent這一目標(biāo)的直接證據(jù)。八、你可以如何復(fù)現(xiàn)或延伸倉庫是只讀的但你可以按以下方式在本地復(fù)現(xiàn)同類工作流搭建研究骨架按 Autoresearch 初始化research-state.yaml、research-log.md、findings.md并設(shè)置 agent continuityClaude Code 用/loop 20mOpenClaw 用 20 分鐘 cron訓(xùn)練側(cè)參照 GRPO RL Training 與 TRL 的代碼骨架在 GPT-2 Small 上分別完成 RLOO/GRPO/DPO 訓(xùn)練記錄權(quán)重增量分析側(cè)參照 SAELens 的預(yù)訓(xùn)練 SAE 加載流程如SAE.from_pretrained(gpt2-small-res-jb, ...)與 TransformerLens 的激活緩存/干預(yù)流程計算有效秩、SAE 特征 Jaccard、逐層被擾動特征數(shù)因果驗證對 top-1 SVD 方向做消融并復(fù)測行為指標(biāo)成文按 ML Paper Writing 的 ICML 模板與引用驗證流程產(chǎn)出論文。延伸方向同樣開放把對照擴(kuò)展到 PPO/OnlineDPO、把基座模型換成更大規(guī)模、或把擾動級聯(lián)假說推廣到其他偏好優(yōu)化變體——這正是 autoresearch 的 DEEPEN/BROADEN 方向決策機(jī)制所鼓勵的后續(xù)研究路徑。贊分享AI 技能人工智能大模型深度學(xué)習(xí)【免費(fèi)下載鏈接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.項目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs點擊查看免費(fèi)下載相關(guān)推薦AI-Research-SKILLs 的 Autoresearch 技能用雙循環(huán)架構(gòu)驅(qū)動全自主 AI 科研編排AI Research SKILLs 的 Autoresearch 技能用雙循環(huán)架構(gòu)驅(qū)動全自主 AI 科研編排 本篇技術(shù)指南圍繞 AI Research SKAI 技能人工智能大模型深度學(xué)習(xí)自主實驗循環(huán)autoresearch 模式實戰(zhàn)用固定時間預(yù)算驅(qū)動 AI Research Skills 中的快速 ML 迭代自主實驗循環(huán)autoresearch 模式實戰(zhàn)用固定時間預(yù)算驅(qū)動 AI Research Skills 中的快速 ML 迭代 本指南圍繞 AI ReseaAI 技能人工智能大模型深度學(xué)習(xí)用 /market-scan 一次跑完四大戰(zhàn)略框架pm-skills 宏觀環(huán)境掃描命令實戰(zhàn)指南用 /market scan 一次跑完四大戰(zhàn)略框架pm skills 宏觀環(huán)境掃描命令實戰(zhàn)指南 導(dǎo)讀 /market scan 是 pm skills 項目AI 技能AI 插件創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 AI Research Skills 實戰(zhàn)演示：用 Autoresearch 雙環(huán)架構(gòu)給 RL 對齊算法做“大腦掃描“
AI 技能人工智能大模型深度學(xué)習(xí)【免費(fèi)下載鏈接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.項目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs點擊查看免費(fèi)下載本篇技術(shù)指南圍繞 demos/autoresearch-rl-brain-scan/README.md 展開完整還原一個由 AI Agent 全自主執(zhí)行的端到端研究項目在同一個 GPT-2 Small 基座模型上分別用 RLOO、GRPO、DPO 三種對齊算法做 sentiment 與 toxicity 任務(wù)訓(xùn)練再借助 SVD 權(quán)重分解與 SAELens 稀疏自編碼器分析對齊算法到底對模型內(nèi)部做了什么。讀完本文你將掌握 autoresearch 雙環(huán)inner loop / outer loop架構(gòu)的實際運(yùn)轉(zhuǎn)方式、跨領(lǐng)域技能路由post-training → mechanistic interpretability → paper writing的編排思路以及DPO 是 rank-1 擾動、在線 RL 保持結(jié)構(gòu)、DPO 存在集中擾動級聯(lián)三大機(jī)制性發(fā)現(xiàn)的完整證據(jù)鏈。該 demo 產(chǎn)出的論文見 rl_algorithm_brain_scan.pdf。一、Demo 背景一個此前無人系統(tǒng)回答的問題RL 對齊算法RLOO、GRPO、DPO在行為層面已經(jīng)被大量比較——誰的 reward 更高、誰更穩(wěn)、誰更省顯存。但在權(quán)重與特征層面這些算法對同一個基座模型的內(nèi)部結(jié)構(gòu)分別做了什么此前沒有工作做過系統(tǒng)性對比。這正是本 demo 的研究缺口research gap。Agent 帶著這個缺口進(jìn)入 Autoresearch 技能定義的研究生命周期從文獻(xiàn)調(diào)研出發(fā)識別 gap形成可檢驗的假設(shè)再通過兩環(huán)架構(gòu)自主推進(jìn)。Autoresearch 的核心定位在技能文檔中寫得很清楚You are a research project manager, not a domain expert. You orchestrate; the domain skills execute.你是研究項目經(jīng)理而非領(lǐng)域?qū)＜邑?fù)責(zé)編排領(lǐng)域技能負(fù)責(zé)執(zhí)行。本 demo 正是這句話的完整實踐——Agent 自己不寫訓(xùn)練循環(huán)而是把任務(wù)路由給領(lǐng)域技能研究活動路由到的技能倉庫位置RL 模型訓(xùn)練GRPO/RLOO/DPOTRL、GRPO RL Training06-post-training/trl-fine-tuning/、06-post-training/grpo-rl-training/內(nèi)部結(jié)構(gòu)分析SAE 特征、激活緩存SAELens、TransformerLens04-mechanistic-interpretability/saelens/、04-mechanistic-interpretability/transformer-lens/論文產(chǎn)出ICML 格式ML Paper Writing20-ml-paper-writing/ml-paper-writing/二、雙環(huán)架構(gòu)如何驅(qū)動這項研究本 demo 完整跑通了 Autoresearch 中定義的BOOTSTRAP → INNER LOOP → OUTER LOOP → FINALIZE生命周期BOOTSTRAP 檢索 RLOO / GRPO / DPO 文獻(xiàn) → 確認(rèn)權(quán)重與特征層面的系統(tǒng)對比是空白的 INNER LOOP快、自主、重復(fù) 假設(shè) → 實驗 → 測量 → 記錄 → 學(xué)習(xí) → 下一個 本輪用三種算法訓(xùn)練 GPT-2 SmallSVD 分析權(quán)重增量SAELens 分析特征變化 OUTER LOOP周期性、反思性 回顧結(jié)果 → 發(fā)現(xiàn)模式 → 更新 findings.md → 形成新理解 → 決定方向 本輪把三個獨立實驗的證據(jù)鏈合成出機(jī)制性結(jié)論 FINALIZE 調(diào)用 ml-paper-writing 以 ICML 格式成文關(guān)鍵點在于兩環(huán)分工inner loop 負(fù)責(zé)跑實驗constrained experiments with clear measurable outcomesouter loop 負(fù)責(zé)找故事synthesize understanding, find the story — this is where novelty comes from。DPO 是 rank-1 擾動這類結(jié)論不是某個指標(biāo)跑出來的而是 outer loop 對指標(biāo)進(jìn)行綜合后的概念性洞察這正是技能文檔強(qiáng)調(diào)的 novelty 來源。demo 還體現(xiàn)了 Autoresearch 中的研究非線性原則——實驗中隨時可以回到文獻(xiàn)、隨時可以產(chǎn)生新假設(shè)節(jié)奏由 Agent 判斷通常每 5-10 個實驗做一次 outer loop 反思。三、Inner Loop 實驗設(shè)計訓(xùn)練、SVD、SAE 特征分析3.1 訓(xùn)練側(cè)RLOO / GRPO / DPO 三路對照Agent 在GPT-2 Small上分別用 RLOO、GRPO、DPO 三種算法執(zhí)行 sentiment 與 toxicity 兩個任務(wù)保證同一個基座模型、同一批任務(wù)這一對照前提。這與倉庫中 GRPO RL Training 技能文檔描述的實現(xiàn)路徑一致GRPO 對每個 prompt 生成一組通常 4-16 條completion在組內(nèi)用 reward 函數(shù)比較優(yōu)劣并更新策略無需獨立 reward model。技能文檔給出的可落地配置骨架如下from trl import GRPOConfig training_args GRPOConfig( output_diroutputs/grpo-model, learning_rate5e-6, # 更低更穩(wěn) num_generations8, # 組大小8-16 推薦 max_prompt_length256, max_completion_length512, per_device_train_batch_size1, gradient_accumulation_steps4, # 有效 batch 4 bf16True, # A100/H100 上更快 logging_steps1, )對 sentiment / toxicity 這類任務(wù)reward 函數(shù)設(shè)計遵循技能文檔的黃金法則正確性類 reward 權(quán)重最高約 2.0格式類 0.5-1.0長度類 0.1-0.5風(fēng)格類在 -0.5 到 0.5 之間且必須組合多個 reward 函數(shù)并逐個獨立調(diào)試。DPO 側(cè)則走 TRL 的 preference alignment 路徑DPOTrainerchosen/rejected偏好對beta控制 KL 懲罰強(qiáng)度。需要說明的是RLOO 在倉庫中作為在線 RL 家族PPO/GRPO/RLOO/OnlineDPO的一員與 GRPO 同屬無獨立 critic、組內(nèi)比較的方法詳見 trl-fine-tuning 的 online-rl 參考。3.2 分析側(cè)權(quán)重增量 SVD SAE 特征對比訓(xùn)練完成后Agent 對每個權(quán)重矩陣的**權(quán)重增量weight delta**做 SVD 分解考察擾動的低秩結(jié)構(gòu)同時用 SAELens 把模型激活分解成稀疏、可解釋的特征feature比較對齊前后基座模型 SAE 特征結(jié)構(gòu)的保持程度。SAELens 的核心邏輯在技能文檔中有完整描述SAE 通過稀疏瓶頸重構(gòu)激活L0平均每 token 激活的特征數(shù)、CE Loss Score重建后交叉熵恢復(fù)比例、Dead Features比例等是標(biāo)準(zhǔn)評估指標(biāo)。本 demo 用到的關(guān)鍵能力是sae.encode(activations)得到稀疏特征向量再跨模型基座 vs 對齊后比較哪些特征被激活、哪些被破壞。TransformerLens 則負(fù)責(zé)run_with_cache緩存各層激活為 SAE 提供輸入。技能文檔中將 SAE 特征激活投影回 logit 空間做特征歸因的范式正是本 demo 分析特征被擾動級聯(lián)影響的直接工具。四、Outer Loop 合成出的三大關(guān)鍵發(fā)現(xiàn)以下數(shù)據(jù)全部來自 demos/autoresearch-rl-brain-scan/README.md 與對應(yīng)論文發(fā)現(xiàn)一DPO 是 rank-1 對齊對 DPO 訓(xùn)練后的每個權(quán)重矩陣單個 SVD 方向top-1 direction就能恢復(fù) 95.6% 的行為效果而 GRPO 需要 50 個方向才能達(dá)到同等恢復(fù)水平。這說明 DPO 的權(quán)重擾動高度集中在極低秩的子空間里——從機(jī)制上解釋了為什么 DPO 是一種小而集中的修改。發(fā)現(xiàn)二在線 RL 保持模型結(jié)構(gòu)RLOO 與 GRPO 的權(quán)重增量保持了更高的有效秩effective rank 200 vs DPO 的 119并且更好地保留了基座模型的 SAE 特征結(jié)構(gòu)Jaccard 相似度 0.83 vs 0.69。也就是說在線 RL 傾向于把修改攤薄到更多方向上、破壞更少原有特征而 DPO 的修改雖然秩低對原有特征的擾動面卻更大。發(fā)現(xiàn)三DPO 的集中擾動級聯(lián)盡管 DPO 的改動秩更低它卻在更深的層里破壞了 2 倍以上的 SAE 特征深層被擾動的特征數(shù) 1619 vs 在線 RL 的 527-870。低秩擾動通過網(wǎng)絡(luò)逐層放大amplifying perturbations through the network形成集中擾動級聯(lián)——這是本 demo 最反直覺、也最有機(jī)制深度的結(jié)論改動越集中反而越容易被深層放大。統(tǒng)計嚴(yán)謹(jǐn)性三項結(jié)論在 sentiment 與 toxicity 兩個任務(wù)上都成立且?guī)Ыy(tǒng)計顯著性n3 個隨機(jī)種子置信區(qū)間不重疊non-overlapping CIs。這與 ML Paper Writing 技能文檔對實驗章節(jié)的要求一致——必須有誤差棒、說明標(biāo)準(zhǔn)差還是標(biāo)準(zhǔn)誤、給出 seed 設(shè)置方法。五、從相關(guān)性到因果性SVD 消融驗證演示 README 特別強(qiáng)調(diào)這些結(jié)論經(jīng)過了因果驗證而不僅是相關(guān)性分析not just correlation but causal evidence。Agent 的做法是 SVD 消融實驗SVD ablation取出對齊后模型的權(quán)重增量沿 top-1 SVD 方向做消融移除該方向觀察行為效果sentiment/toxicity 指標(biāo)的回落幅度若移除單一方向?qū)е滦袨樾Ч蠓芈鋭t證明該方向確實是行為效果的因果載體——對應(yīng) DPO 95.6% 的恢復(fù)率。這與 TransformerLens 技能文檔中 activation patching 的因果范式一脈相承把 clean 激活 patch 進(jìn) corrupted 運(yùn)行觀察因果熱點只是把干預(yù)對象從激活換成了權(quán)重子空間。這種先測秩結(jié)構(gòu)、再沿主方向消融、最后對照行為指標(biāo)的流水線是 outer loop 把三類實驗證據(jù)擰成一條因果鏈的關(guān)鍵。六、收尾用 ml-paper-writing 產(chǎn)出 ICML 論文研究結(jié)論后進(jìn)入 FINALIZE 階段Agent 調(diào)用 ML Paper Writing 技能以ICML 格式產(chǎn)出論文即倉庫中的 rl_algorithm_brain_scan.pdf。技能文檔為 ICML 提供了templates/icml2026/完整模板目錄example_paper.tex、icml2026.sty、algorithm.sty等并規(guī)定了必須整目錄拷貝、先驗證模板可編譯、按 section 逐個替換的工作流ICML 2026 的硬性要求是 8 頁正文 1 頁 camera-ready、必須包含 Broader Impact Statement。更關(guān)鍵的是該技能的引用紀(jì)律AI 生成的引用有約 40% 的錯誤率因此強(qiáng)制要求絕不憑記憶寫 BibTeX一律通過 Semantic Scholar / arXiv / CrossRef 編程式獲取并雙重驗證無法驗證的引用必須標(biāo)記為占位符。論文中的每個引用都遵循這一流程從源頭杜絕幻覺引用。寫作層面則貫徹 Neel Nanda 的narrative 原則——如果無法用一句話說出你的貢獻(xiàn)你還沒有一篇論文——本 demo 的一句話貢獻(xiàn)就是DPO 以 rank-1 擾動完成對齊在線 RL 以結(jié)構(gòu)保持的方式完成對齊二者在深層特征破壞上呈現(xiàn)出截然相反的級聯(lián)模式。七、為什么這個 Demo 重要多技能編排的完整范本這個 demo 的價值不在于單個實驗結(jié)果而在于它展示了 autoresearch如何把多個領(lǐng)域技能編排成一條完整的自主研究流水線Post-training 技能TRL、GRPO負(fù)責(zé)把三種對齊算法真正訓(xùn)練出來提供可分析的權(quán)重增量可解釋性技能SAELens、TransformerLens負(fù)責(zé)回答改變了什么——SAE 特征對比給出結(jié)構(gòu)層面的證據(jù)SVD 消融給出因果層面的證據(jù)論文寫作技能ML Paper Writing負(fù)責(zé)把實驗證據(jù)組織成符合 ICML 規(guī)范的投稿稿。對照 Autoresearch 的質(zhì)量標(biāo)準(zhǔn)本 demo 屬于好的 agent 行為的教科書案例假設(shè)帶有機(jī)制性推理DPO 低秩 → 深層放大而非試試看、findings 形成了連貫敘事而非實驗日志堆砌、因果消融補(bǔ)齊了驗證閉環(huán)、最終產(chǎn)物是可以直接進(jìn)入投稿流程的論文。它同時回答了雙環(huán)架構(gòu)為何必要inner loop 提供三個實驗的硬指標(biāo)outer loop 才把它們合成為rank-1 擾動 結(jié)構(gòu)保持 擾動級聯(lián)這樣超越單一指標(biāo)的概念性理解——這正是 Autoresearch 所定義的 novelty 所在也是這套技能庫讓任意 AI 模型擁有完整馬力的 AI 研究 Agent這一目標(biāo)的直接證據(jù)。八、你可以如何復(fù)現(xiàn)或延伸倉庫是只讀的但你可以按以下方式在本地復(fù)現(xiàn)同類工作流搭建研究骨架按 Autoresearch 初始化research-state.yaml、research-log.md、findings.md并設(shè)置 agent continuityClaude Code 用/loop 20mOpenClaw 用 20 分鐘 cron訓(xùn)練側(cè)參照 GRPO RL Training 與 TRL 的代碼骨架在 GPT-2 Small 上分別完成 RLOO/GRPO/DPO 訓(xùn)練記錄權(quán)重增量分析側(cè)參照 SAELens 的預(yù)訓(xùn)練 SAE 加載流程如SAE.from_pretrained(gpt2-small-res-jb, ...)與 TransformerLens 的激活緩存/干預(yù)流程計算有效秩、SAE 特征 Jaccard、逐層被擾動特征數(shù)因果驗證對 top-1 SVD 方向做消融并復(fù)測行為指標(biāo)成文按 ML Paper Writing 的 ICML 模板與引用驗證流程產(chǎn)出論文。延伸方向同樣開放把對照擴(kuò)展到 PPO/OnlineDPO、把基座模型換成更大規(guī)模、或把擾動級聯(lián)假說推廣到其他偏好優(yōu)化變體——這正是 autoresearch 的 DEEPEN/BROADEN 方向決策機(jī)制所鼓勵的后續(xù)研究路徑。贊分享AI 技能人工智能大模型深度學(xué)習(xí)【免費(fèi)下載鏈接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.項目地址https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs點擊查看免費(fèi)下載相關(guān)推薦AI-Research-SKILLs 的 Autoresearch 技能用雙循環(huán)架構(gòu)驅(qū)動全自主 AI 科研編排AI Research SKILLs 的 Autoresearch 技能用雙循環(huán)架構(gòu)驅(qū)動全自主 AI 科研編排 本篇技術(shù)指南圍繞 AI Research SKAI 技能人工智能大模型深度學(xué)習(xí)自主實驗循環(huán)autoresearch 模式實戰(zhàn)用固定時間預(yù)算驅(qū)動 AI Research Skills 中的快速 ML 迭代自主實驗循環(huán)autoresearch 模式實戰(zhàn)用固定時間預(yù)算驅(qū)動 AI Research Skills 中的快速 ML 迭代 本指南圍繞 AI ReseaAI 技能人工智能大模型深度學(xué)習(xí)用 /market-scan 一次跑完四大戰(zhàn)略框架pm-skills 宏觀環(huán)境掃描命令實戰(zhàn)指南用 /market scan 一次跑完四大戰(zhàn)略框架pm skills 宏觀環(huán)境掃描命令實戰(zhàn)指南 導(dǎo)讀 /market scan 是 pm skills 項目AI 技能AI 插件創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考