這周的論文速遞我拖到周四才寫。每年到11月底Robotics、Embodied AI、LLM這幾個標(biāo)簽下都會冒出一批趕在年底前掛出來的工作2025年第48周11月23日至29日尤其明顯。我按關(guān)鍵詞掃了三天的更新篩掉純刷榜的、只改prompt的剩下22篇值得細(xì)看。這些論文大多不是顛覆式突破但有幾個共同點大家開始把大模型放下神壇認(rèn)真處理真機部署中的臟活累活仿真數(shù)據(jù)和真實數(shù)據(jù)的關(guān)系也被重新討論評估重心明顯從“能不能完成任務(wù)”轉(zhuǎn)向“能不能穩(wěn)定、低成本地完成長程任務(wù)”。如果你正在做機器人畢設(shè)、找具身智能方向的研究切入點或者在公司里做機器人落地方案選型這期內(nèi)容應(yīng)該能幫你省下不少掃arXiv的時間。1. 本周論文全景Robotics/Embodied AI/LLM到底在熱什么1.1 選題分布大家不約而同在做同一件事我把這一周值得看的22篇論文粗分了一下分布大概是這樣方向數(shù)量我比較關(guān)注的點靈巧操作與抓取6從端到端學(xué)習(xí)回到“先驗引導(dǎo)閉環(huán)微調(diào)”仿真到現(xiàn)實遷移Sim2Real5動態(tài)隨機化、基礎(chǔ)模型輔助域適應(yīng)世界模型與規(guī)劃3不再預(yù)測像素改預(yù)測隱狀態(tài)視覺-語言-動作模型VLA4動作分塊、推理開銷、實時性LLM做任務(wù)規(guī)劃與錯誤恢復(fù)4記憶模塊、反饋閉環(huán)、工具調(diào)用整體看下來純端到端“圖像進、動作出”的論文少了更多工作開始把系統(tǒng)拆成幾段感知用開放詞匯模型規(guī)劃用LLM底層控制用擴散策略或者強化學(xué)習(xí)策略再用一個輕量級的閉環(huán)模塊兜底。這個轉(zhuǎn)變背后其實是工程邏輯端到端模型在實驗室里好看但一旦換相機、換光照、換桌面紋理性能掉得讓人懷疑人生。分段式架構(gòu)雖然不酷但每個模塊都更容易單獨調(diào)試、單獨部署、單獨更換出問題時也能快速定位。還有一個明顯信號是評估基準(zhǔn)的變化。以前大家喜歡在單一任務(wù)上刷成功率這周好幾篇工作直接上長程任務(wù)打開抽屜、拿起螺絲刀、擰螺絲、再把工具放回工具箱中間還要處理工具掉落、目標(biāo)被遮擋這類意外。長程任務(wù)一上原來很多“偽魯棒”的方案立刻現(xiàn)原形。1.2 三個不能忽視的行業(yè)信號信號一大模型開始進控制環(huán)而不是只當(dāng)調(diào)度器。前兩年常見的做法是LLM根據(jù)指令生成一組子任務(wù)然后調(diào)底層寫死的技能庫技能執(zhí)行完再把結(jié)果返回給LLM。這周好幾篇工作把這個結(jié)構(gòu)往前推了一步LLM或VLM不再滿足于“指揮”而是直接輸出可供底層執(zhí)行的動作參數(shù)比如末端目標(biāo)位置、夾爪張開寬度、力控閾值。這意味著對模型輸出格式的要求從“一段自然語言”變成“嚴(yán)格結(jié)構(gòu)化的動作參數(shù)”反而逼著大家去規(guī)范數(shù)據(jù)接口和推理格式。我的感覺是這一步比模型參數(shù)變大更能推動落地。信號二合成數(shù)據(jù)從輔助變成主角。以前仿真數(shù)據(jù)只是預(yù)訓(xùn)練用真機數(shù)據(jù)才是“黃金”。但這周有幾個工作直接用純合成數(shù)據(jù)訓(xùn)練抓取策略再靠一個基礎(chǔ)模型做域適應(yīng)真實環(huán)境成功率能做到和真機數(shù)據(jù)訓(xùn)練差不多。原因是現(xiàn)在域隨機化做得越來越精細(xì)紋理、光照、相機內(nèi)外參、物體物理屬性全部隨機策略被迫學(xué)到更本質(zhì)的幾何線索而不是顏色和紋理這類表面特征。合成數(shù)據(jù)的成本比真機采數(shù)據(jù)低一個數(shù)量級這對學(xué)校實驗室和小團隊來說是個好消息。信號三長程任務(wù)評估開始考察“錯誤恢復(fù)能力”。單純的成功率指標(biāo)已經(jīng)不夠看了。這周多篇論文引入“干預(yù)次數(shù)”“人類糾正反饋后的再學(xué)習(xí)能力”“失敗后重試是否還保有已完成子任務(wù)進度”等指標(biāo)。這個變化非常實在真實機器人不可能一次成功能不能從失敗中恢復(fù)往往決定了項目能不能從demo走向產(chǎn)品。2. 具身智能與機器人操作幾個值得細(xì)讀的工作2.1 靈巧操作中的“先驗微調(diào)”玩法抓取不再靠純學(xué)習(xí)這周在靈巧操作方向讓我眼前一亮的是一個“先驗引導(dǎo)抓取”的工作。它不直接讓神經(jīng)網(wǎng)絡(luò)從原始點云回歸一個抓取姿態(tài)而是先用一個輕量級先驗網(wǎng)絡(luò)從點云里提出幾十個候選抓取位姿再由一個閉環(huán)策略根據(jù)當(dāng)前深度圖和力覺信號從中挑選并微調(diào)。結(jié)構(gòu)和很多物體檢測里的“區(qū)域提議精修”很像好處是抓取成功率的方差明顯變小。為什么做端到端抓取的人現(xiàn)在開始回頭用“先驗微調(diào)”因為純端到端的網(wǎng)絡(luò)在仿真里可以做到95%以上成功率但拿到真實環(huán)境里經(jīng)常會出現(xiàn)一種詭異現(xiàn)象訓(xùn)練時見過的物體形狀能抓稍微換個角度、換個背景抓取姿態(tài)就開始亂飄。先驗網(wǎng)絡(luò)等于給策略劃了一個“操作空間”策略只在一個相對靠譜的局部區(qū)域里做微調(diào)泛化邊界清晰很多。真機部署時光這一點就能省掉大量調(diào)試時間。我印象比較深的是他們實驗里的一個細(xì)節(jié)在先驗網(wǎng)絡(luò)給出的候選位姿中哪怕排名第30的位姿經(jīng)過閉環(huán)微調(diào)后也能達(dá)到不錯成功率。這說明靈巧操作的瓶頸未必是“生成位姿”本身而是“驗證與修正”這一步不夠穩(wěn)。這給做抓取的同學(xué)一個很實際的啟發(fā)別再死磕端到端一個大模型你不如把“提議-評估-微調(diào)”拆成三個小模型各自調(diào)穩(wěn)整體效果會好很多。2.2 仿真到現(xiàn)實遷移動態(tài)隨機化為什么會成為剛需Sim2Real方向這周沒有讓人眼一亮的“劃時代工作”但有幾篇工程做得非常扎實。它們不約而同用了同一個套路在GPU仿真器里做大規(guī)模域隨機化再用視覺基礎(chǔ)模型提取語義特征最后讓策略在“語義特征空間”里學(xué)習(xí)。這個套路值得展開說一下。傳統(tǒng)域隨機化是把顏色、光照、紋理全部隨機期望策略學(xué)到跟顏色無關(guān)的幾何特征。但純幾何特征對語義理解不夠比如“打開一個有把手的抽屜”模型需要先知道哪個區(qū)域是把手。如果直接用原始RGB訓(xùn)練換一個沒見過的柜子就廢。把視覺基礎(chǔ)模型比如開放詞匯分割模型拿到仿真圖片上做離線標(biāo)注相當(dāng)于給仿真數(shù)據(jù)自動加了一層“語義標(biāo)簽”策略學(xué)習(xí)的是“把手位置、抽屜滑動方向、末端接近角度”這些抽象信息真機上自然更穩(wěn)。我實測過類似方案最大的坑是標(biāo)注速度。開放詞匯分割模型在單張圖上的推理時間是毫秒級但一整個仿真數(shù)據(jù)集幾十萬張圖累計起來非常可觀。好在這幾篇工作都把標(biāo)注過程做成離線流水線先把訓(xùn)練數(shù)據(jù)全部預(yù)處理完再進策略訓(xùn)練。這也提醒我們做好仿真資產(chǎn)庫的標(biāo)準(zhǔn)化比臨時抱佛腳寫腳本重要得多。2.3 世界模型預(yù)測隱狀態(tài)而不是預(yù)測下一幀圖像世界模型不是新概念但過去兩年“預(yù)測下一幀圖像”的路線很流行確實酷訓(xùn)練和推理成本也高得嚇人。這周看到的幾篇世界模型工作幾乎都轉(zhuǎn)向了“預(yù)測隱狀態(tài)”讓模型在低維特征空間里預(yù)測下一時刻的關(guān)鍵狀態(tài)比如末端位置、物體相對位姿、接觸力是否變化而不是重建整張圖像。這個轉(zhuǎn)向本質(zhì)上是把“想象”壓縮到?jīng)Q策需要的最小信息量。我舉個類比你開車時不需要記住路邊每一棵樹的樣子只需要關(guān)心前車距離、車道線位置、自己車速。世界模型如果預(yù)測完整畫面相當(dāng)于把每一棵樹都記住浪費算力不說還容易學(xué)出和決策無關(guān)的虛假相關(guān)性。但這幾篇工作也有一個共同問題隱狀態(tài)的定義依賴大量人工設(shè)定。你讓模型預(yù)測什么模型才能學(xué)什么。如果漏掉某個關(guān)鍵物理量比如“物體是否處于滑動狀態(tài)”后面規(guī)劃就會瞎。所以世界模型離真正通用還差很遠(yuǎn)但作為“仿真器里的低成本規(guī)劃器”已經(jīng)是值得跟進的趨勢。3. LLM與機器人結(jié)合的典型工程架構(gòu)3.1 任務(wù)分解、技能調(diào)用、閉環(huán)執(zhí)行的三層結(jié)構(gòu)這周LLM做機器人規(guī)劃的論文絕大多數(shù)還是三層架構(gòu)LLM負(fù)責(zé)任務(wù)分解技能庫負(fù)責(zé)具體動作閉環(huán)模塊負(fù)責(zé)確認(rèn)每一步是否完成。我用偽代碼描述一下最常見的實現(xiàn)方式def run_task(instruction): plan llm_planner.decompose(instruction) for step in plan: if check_done(step, current_obs): continue skill skill_lib.retrieve(step) success skill.execute(current_obs) if not success: feedback analyze_failure(step, current_obs) plan llm_planner.replan(feedback)這里最關(guān)鍵的其實是兩個細(xì)節(jié)。第一個是“check_done”不能只靠LLM嘴硬判斷必須有一個基于規(guī)則的低層驗證模塊比如檢測夾爪里是否真有物體。第二個是“analyze_failure”的輸出必須對LLM友好最好給它喂“當(dāng)前子任務(wù)是什么、期望狀態(tài)是什么、實際狀態(tài)是什么、可能原因是什么”的結(jié)構(gòu)化描述而不是丟一張模糊的圖片讓它猜。這周看到的一個反例特別典型某個系統(tǒng)讓LLM負(fù)責(zé)判斷“是否完成”結(jié)果物體沒抓起來但夾爪開合狀態(tài)恰好符合“抓取姿勢”LLM就誤判成功。后來他們把驗證模塊換成物體檢測網(wǎng)絡(luò)再用VLM做二次確認(rèn)成功率才上去。這說明在工程系統(tǒng)里L(fēng)LM的“泛化”不能替代確定性判斷該用規(guī)則的時候別偷懶。3.2 記憶模塊與錯誤恢復(fù)真正決定系統(tǒng)好不好用長程任務(wù)里L(fēng)LM最大的問題不是“第一步規(guī)劃不對”而是“做完第三步忘了第一步出錯之后不知道回退到哪”。本周好幾篇工作都在搞記憶模塊做法大同小異不存原始日志而是讓VLM把關(guān)鍵歷史步驟壓縮成自然語言摘要存入向量庫每次規(guī)劃時檢索當(dāng)前相關(guān)經(jīng)歷。這里有個細(xì)節(jié)非常影響效果摘要的質(zhì)量。比如“把螺絲刀拿起”和“移動機械臂到桌面右側(cè)約20厘米處夾爪閉合成功拿起螺絲刀”對后續(xù)錯誤恢復(fù)的幫助完全不同。前一種是任務(wù)級描述后一種是物理級描述帶著空間位置和狀態(tài)變化。好的摘要系統(tǒng)會用VLM把每次動作的“前置狀態(tài)-動作-后置狀態(tài)-結(jié)果”完整記錄下來這比讓模型憑記憶復(fù)盤靠譜得多。錯誤恢復(fù)的另一個實用技巧是“降級重試”。很多系統(tǒng)在失敗后直接讓LLM重新規(guī)劃整個任務(wù)成本高且容易丟掉進度。這周有篇論文做得比較聰明失敗后先檢查當(dāng)前技能庫有沒有替代技能沒有的話再做局部重規(guī)劃只改失敗子任務(wù)及其后續(xù)步驟不碰已完成的前序任務(wù)。實驗里這種局部重規(guī)劃能把任務(wù)完成時間縮短接近一半。這個思路放到工程里就是“控制回路分級”越底層的兜底越重要LLM只是最上層的大腦不該干所有臟活。3.3 端側(cè)VLM選型不是越大約好這周有幾篇論文在討論VLA模型的部署問題核心矛盾是7B級以上的視覺語言模型推理延遲太高真機控制頻率根本跟不上。其實目前很多落地場景根本用不著復(fù)雜推理需要的是“看到螺絲刀在哪里”“抽屜是否打開”“夾爪有沒有抓穩(wěn)”這類細(xì)粒度感知任務(wù)。參數(shù)量級內(nèi)存占用適用場景主要問題1B以下小于2GB簡單分類、目標(biāo)檢測、狀態(tài)判斷對復(fù)雜指代理解差3B-4B4GB左右指代分割、物料識別、失敗原因粗判復(fù)雜指令跟隨一般7B-9B8GB-12GB視覺問答、長程任務(wù)復(fù)盤、錯誤恢復(fù)單幀推理延遲偏高需要工程優(yōu)化13B以上16GB以上復(fù)雜空間推理、精細(xì)規(guī)劃真機實時性很難保證我這一周看到最有意思的部署方案是“大小模型協(xié)同”真機上跑一個3B級別的小VLM做實時狀態(tài)判斷每到一個關(guān)鍵節(jié)點才把當(dāng)前幀和記憶摘要發(fā)給云端9B模型做一次深度校驗。這樣既保證了控制頻率又保留了復(fù)雜推理能力。別看邏輯簡單真正把通信中斷、結(jié)果超時、模型返回格式錯誤都處理好并不容易。4. 復(fù)現(xiàn)實驗記錄從環(huán)境配置到真機落地的坑4.1 依賴沖突與仿真版本花掉我兩天時間為了復(fù)現(xiàn)其中一篇操作策略我專門建了一個干凈環(huán)境結(jié)果還是被依賴問題卡了兩天。問題最初出現(xiàn)在torch、CUDA和仿真器版本三者不匹配上。更煩人的是某個仿真器必須用特定版本編譯器編譯換一個Python版本都會在物理引擎初始化時報“段錯誤”。后來我學(xué)乖了第一步先查項目的requirements和鎖文件不要直接pip install最新版。第二步用conda創(chuàng)建獨立環(huán)境時把Python版本、CUDA版本、torch版本全部鎖死。第三步仿真器帶自定義算子的直接在Docker里構(gòu)建避免污染宿主機環(huán)境。這些經(jīng)驗看起來基礎(chǔ)但真能省下大把時間。如果再遇到類似問題我建議先把環(huán)境變量打開調(diào)試模式看崩潰發(fā)生在哪個共享庫調(diào)用上。很多時候是pybind版本和新的編譯器不兼容換回老版本gcc就好。論文代碼里如果寫了“tested on xxx”盡量分毫不差地復(fù)現(xiàn)那個組合別自作聰明升級。4.2 數(shù)據(jù)集與真機之間的“最后一米”仿真訓(xùn)練效果好、真機上線就拉胯的案例我這周復(fù)現(xiàn)了一個典型的“最后一米”問題。同樣的策略仿真成功率90%以上真機第一次跑就瘋狂抖。查到最后發(fā)現(xiàn)是相機標(biāo)定問題仿真里相機內(nèi)參和外參都是理想值真機鏡頭畸變導(dǎo)致深度圖邊緣誤差超過2厘米機械臂在靠近物體時控制指令來回震蕩。這個坑的核心是“仿真里的完美觀測”到“真機里的有噪觀測”之間的gap。解決辦法是前向標(biāo)定、視覺伺服、觀測濾波三步一起做。先對每臺相機做內(nèi)參標(biāo)定再用標(biāo)定板確認(rèn)機械臂基座到相機的坐標(biāo)變換最后在深度圖上做時間維濾波。真機落地時這三個步驟一個都不能少否則策略再強也是空中樓閣。4.3 避坑清單速查坑表現(xiàn)解決辦法訓(xùn)練Loss突然變成NaN反饋網(wǎng)絡(luò)梯度爆炸降低學(xué)習(xí)率、增加梯度裁剪、檢查動作歸一化范圍仿真器物理穿透夾爪穿過物體提高接觸求解迭代次數(shù)、減小仿真步長真機動作抖動到達(dá)目標(biāo)點附近來回震蕩調(diào)低末端速度增益、增加阻尼、檢查是否發(fā)生位姿奇異LLM輸出格式不穩(wěn)定返回多余文字導(dǎo)致解析失敗用few-shot約束輸出JSON并加規(guī)則解析兜底相機與機械臂坐標(biāo)對不上明明看到物體但抓偏重新標(biāo)定外參驗證標(biāo)定板精度真機復(fù)現(xiàn)成功率低第一次能跑第二三次掉一半記錄每次真機運行日志排查隨機初始位姿差異我個人覺得記錄真機日志是一件極其重要但很容易被忽略的事。復(fù)現(xiàn)論文時大家總把注意力放在模型結(jié)構(gòu)上卻忘了每一次真機運行都是一次隨機實驗物體位姿、光照、機械臂零點漂移都會影響結(jié)果。沒有完整日志你連“這次失敗是我改出來的還是環(huán)境隨機性本來就有的”都分不清。5. 下周值得繼續(xù)關(guān)注的方向5.1 多機協(xié)作和跨場景泛化會成為新熱點這周已經(jīng)有幾篇工作在做“同一技能遷移到多個機器人平臺”的實驗思路是先學(xué)習(xí)一個與機械臂型號無關(guān)的動作表示再在具體平臺映射到關(guān)節(jié)空間。下周我預(yù)測會有更多類似工作出現(xiàn)因為大家漸漸發(fā)現(xiàn)與其在每個平臺上各訓(xùn)一套策略不如先做一個“平臺無關(guān)層”。這個方向的門檻不低但一旦跑通價值會非常大。5.2 機器人數(shù)據(jù)標(biāo)準(zhǔn)化值得早入場最后想聊一個不一定像“論文”但同樣重要的話題機器人數(shù)據(jù)標(biāo)準(zhǔn)化。這周多篇論文的實驗規(guī)模很大但數(shù)據(jù)集之間格式差異極大導(dǎo)致對比和復(fù)現(xiàn)異常痛苦。有人在自研統(tǒng)一數(shù)據(jù)格式把動作、觀測、語言指令、獎勵信號都塞進同一個容器再用統(tǒng)一API讀取。我判斷未來半年會有越來越多工作選擇直接使用這種標(biāo)準(zhǔn)化數(shù)據(jù)格式提前把這塊基礎(chǔ)設(shè)施鋪好后面做實驗會順手很多。我在實際跑完這周的工作后最深的體會是機器人這個方向論文里最值錢的往往不是那個“新模型”而是那些“讓模型在真實世界里轉(zhuǎn)起來”的細(xì)節(jié)。老師們常說看論文要看方法但我現(xiàn)在覺得看實驗設(shè)置、看失敗分析、看評價指標(biāo)同樣重要。哪怕你手里沒有真機只要能把仿真環(huán)境搭好把這些細(xì)節(jié)跑通就已經(jīng)比很多只在PPT上做機器人的人強了。