世界模型快速入門(mén)指南Awesome World Models 幫你一次看懂核心原理與落地路徑【免費(fèi)下載鏈接】Awesome-World-ModelsA Curated List of Awesome Works in World Modeling, Aiming to Serve as a One-stop Resource for Researchers, Practitioners, and Enthusiasts Interested in World Modeling.項(xiàng)目地址: https://gitcode.com/gh_mirrors/awes/Awesome-World-Models世界模型正在成為 AI 領(lǐng)域熱度最高的關(guān)鍵詞之一從自動(dòng)駕駛到機(jī)器人操控處處都有它的身影。面對(duì)海量論文初學(xué)者最大的困惑往往不是它很強(qiáng)而是它到底是什么、怎么學(xué)。Awesome World Models 正是為解答這類問(wèn)題而生的開(kāi)源資源倉(cāng)庫(kù)——它把零散的世界模型研究按領(lǐng)域和主題系統(tǒng)整理堪稱一張隨時(shí)可查的領(lǐng)域地圖。這篇文章會(huì)從三個(gè)樸素的問(wèn)題出發(fā)帶你把預(yù)測(cè)未來(lái)背后的數(shù)學(xué)拆開(kāi)揉碎并告訴你如何借助這份清單快速建立自己的知識(shí)框架。為什么人人都想擁有一個(gè)心里住著世界的模型先設(shè)想一個(gè)場(chǎng)景你在暴雨里開(kāi)車前車突然亮起剎車燈。經(jīng)驗(yàn)告訴你它接下來(lái)大概率要減速于是你提前松了油門(mén)。這套預(yù)判能力靠的并不是背下每一幀畫(huà)面而是腦子里存著一張關(guān)于車輛、路面和慣性的動(dòng)態(tài)模型。世界模型想做的正是把這種人類與生俱來(lái)的能力教給機(jī)器。倉(cāng)庫(kù)在Definition of World Models一節(jié)中交代了兩個(gè)公認(rèn)的源頭一篇是經(jīng)典的《World Models》論文另一篇是 Yann LeCun 關(guān)于自主機(jī)器智能的著名演講。這兩份材料幾乎定義了后來(lái)人們談?wù)撌澜缒Ｐ蜁r(shí)的默認(rèn)含義——讓 AI 對(duì)環(huán)境的動(dòng)態(tài)規(guī)律建模而不是簡(jiǎn)單地復(fù)讀數(shù)據(jù)。你可能會(huì)追問(wèn)這和視頻生成有什么兩樣表面上兩者都在產(chǎn)出下一幀但目標(biāo)完全不同。視頻生成在乎畫(huà)面夠不夠像世界模型在乎如果我做出某個(gè)動(dòng)作世界會(huì)如何響應(yīng)。一個(gè)偏重表象一個(gè)偏重因果與動(dòng)力學(xué)。有意思的是正因?yàn)檫@個(gè)概念聽(tīng)起來(lái)足夠酷、邊界又足夠?qū)挋C(jī)器人、自動(dòng)駕駛、語(yǔ)言模型、游戲引擎等各路研究者都覺(jué)得自己深耕的是同一個(gè)領(lǐng)域。倉(cāng)庫(kù)里那張廣為流傳的蜘蛛俠互指梗圖就把這種場(chǎng)景畫(huà)得淋漓盡致圖倉(cāng)庫(kù)中的一張幽默示意圖調(diào)侃世界模型研究中各路門(mén)派你指我、我指你的熱鬧景象把預(yù)判未來(lái)翻譯成數(shù)學(xué)其實(shí)只要三步 很多初學(xué)者一看到論文公式就頭皮發(fā)麻其實(shí)世界模型的數(shù)學(xué)骨架相當(dāng)樸素拆開(kāi)來(lái)看只有三個(gè)小問(wèn)題。第一步定義一個(gè)狀態(tài)。狀態(tài)就是世界在某一時(shí)刻的完整快照好比臺(tái)球桌上所有球的位置和速度。因?yàn)檎鎸?shí)世界信息太多模型通常會(huì)在一個(gè)抽象出來(lái)的低維空間里工作也就是常說(shuō)的潛狀態(tài)。第二步寫(xiě)清楚下一步會(huì)變成什么。假設(shè)環(huán)境滿足馬爾可夫性——未來(lái)的變化只取決于當(dāng)前狀態(tài)和你采取的動(dòng)作與更早的歷史無(wú)關(guān)。那么一次狀態(tài)轉(zhuǎn)移可以寫(xiě)成s_{t1} f(s_t, a_t, ε_(tái)t)其中 s 是狀態(tài)a 是動(dòng)作ε 是隨機(jī)噪聲。這句話翻譯過(guò)來(lái)就是未來(lái) 當(dāng)前 動(dòng)作 一點(diǎn)點(diǎn)不可控的運(yùn)氣。第三步承認(rèn)我們看不到全部。機(jī)器拿到的永遠(yuǎn)是傳感器投影而不是狀態(tài)本身。觀測(cè)方程o_t g(s_t, δ_t)表達(dá)的正是觀測(cè) 狀態(tài) 觀測(cè)噪聲。把三步串起來(lái)訓(xùn)練目標(biāo)就呼之欲出學(xué)出一個(gè)轉(zhuǎn)移函數(shù) f讓它在給定狀態(tài)和動(dòng)作時(shí)能盡可能準(zhǔn)確地給出下一步。Dreamer 系列就是這條路線上的代表作——先用變分自編碼器把高維像素壓成低維連續(xù)向量再用循環(huán)神經(jīng)網(wǎng)絡(luò)去擬合狀態(tài)的演變把看圖和推演兩件事徹底解耦。倉(cāng)庫(kù)首頁(yè)那張架構(gòu)圖可以讓你一眼看懂這條鏈路多樣的數(shù)據(jù)源匯入感知模塊經(jīng)過(guò)認(rèn)知架構(gòu)交給世界模型做推演最后由執(zhí)行模塊把決策送回現(xiàn)實(shí)世界。圖倉(cāng)庫(kù)主圖展示的世界模型工作流——從多源數(shù)據(jù)輸入到?jīng)Q策輸出的完整鏈路三種主流做法壓縮、腦補(bǔ)、一筆筆補(bǔ)全 ??世界模型發(fā)展至今技術(shù)路線大致可以分成三派。理解它們之間的分歧比記住幾十個(gè)模型的名字更有價(jià)值。第一派把世界壓縮進(jìn)一個(gè)小空間VAE 一族。像素世界太大直接在原圖上推演既慢又脆。變分自編碼器的思路是先教一個(gè)編碼器把一幀畫(huà)面濃縮成一個(gè)低維向量再用解碼器把它還原回去。訓(xùn)練時(shí)同時(shí)優(yōu)化兩項(xiàng)——還原得夠不夠像以及編碼后的分布是否貼近先驗(yàn)L E[log p(x|z)] - KL(q(z|x) || p(z))前者是重構(gòu)損失后者是 KL 散度正則項(xiàng)。倉(cāng)庫(kù)收錄的 WorldDreamer 等模型都在這套框架上繼續(xù)做文章。第二派不重建畫(huà)面只預(yù)測(cè)特征JEPA 一族。這一派的思路更激進(jìn)為什么一定要把像素完整還原出來(lái)真正有價(jià)值的可能是畫(huà)面背后的語(yǔ)義線索。JEPA 的做法是讓編碼器把當(dāng)前幀和未來(lái)幀都映射到同一個(gè)特征空間再訓(xùn)練一個(gè)預(yù)測(cè)器讓預(yù)測(cè)出的未來(lái)特征和真實(shí)的未來(lái)特征盡量貼近L E[|| Enc(x_{tk}) - Pred(Enc(x_t)) ||2]V-JEPA 2 等項(xiàng)目把這一思想推向極致讓模型在不依賴顯式物理方程的前提下從海量視頻里自然習(xí)得隱式的動(dòng)態(tài)規(guī)律。第三派像畫(huà)家一樣從噪聲里長(zhǎng)出未來(lái)擴(kuò)散模型一族。擴(kuò)散模型先給數(shù)據(jù)逐步加噪再訓(xùn)練網(wǎng)絡(luò)學(xué)會(huì)逆向去噪。用在世界建模上就是從一張帶噪聲的未來(lái)草圖出發(fā)逐步收斂出清晰的下一幀L E[|| ε - ε_(tái)θ(x_t, t) ||2]DIAMOND、GameNGen 等代表作已經(jīng)證明擴(kuò)散式世界模型甚至能在 Atari 游戲里充當(dāng)實(shí)時(shí)游戲引擎。別忘了共同的底座自回歸 Transformer。無(wú)論哪一派都繞不開(kāi)對(duì)序列的建模。把一整段未來(lái)寫(xiě)成條件概率的連乘p(s_1:T) Π_{t1}^T p(s_t | s_{1:t-1}, a_{1:t-1})注意力機(jī)制負(fù)責(zé)捕捉長(zhǎng)程時(shí)空依賴倉(cāng)庫(kù)收錄的 Spartan 這類稀疏 Transformer則專門(mén)回答序列里到底什么才值得被關(guān)注。世界模型 強(qiáng)化學(xué)習(xí)在想象中反復(fù)練習(xí) 如果說(shuō)上面講的是如何預(yù)測(cè)那這一節(jié)講的是預(yù)測(cè)完之后有什么用。答案是拿來(lái)做決策。強(qiáng)化學(xué)習(xí)與 世界模型 結(jié)合的套路可以濃縮成一句話——在腦子里搭一個(gè)模擬器然后在里面反復(fù)試錯(cuò)。DreamerV3 正是這樣工作的它先學(xué)一個(gè)世界模型這個(gè)模型不僅能預(yù)測(cè)下一幀還能預(yù)測(cè)未來(lái)的獎(jiǎng)勵(lì)。有了這個(gè)可以隨時(shí)回滾的想象環(huán)境策略就能盡情優(yōu)化而不用每次都在真實(shí)世界里碰壁π* argmax_π E[Σ γ^t r(s_t) | s_0, π]這個(gè)式子想說(shuō)的是找到一種行動(dòng)方式讓從當(dāng)前狀態(tài)出發(fā)的長(zhǎng)期累計(jì)獎(jiǎng)勵(lì)盡量大。因?yàn)橥蒲莅l(fā)生在潛空間里成本遠(yuǎn)低于真實(shí)交互樣本效率被大幅拉高——這也是它在 Atari 等基準(zhǔn)上接近人類水平的重要原因。你大可以把它想象成飛行員在模擬艙里攢飛行小時(shí)真實(shí)經(jīng)驗(yàn)是真金白銀想象則近乎免費(fèi)。訓(xùn)練路上最容易踩的四個(gè)坑以及倉(cāng)庫(kù)給出的解藥 模型能跑通只是第一步真正讓研究者頭疼的往往是下面四件事?？右活A(yù)測(cè)著預(yù)測(cè)著就飄了。單步誤差很小但迭代幾十步后誤差不斷累積畫(huà)面徹底走樣。解藥包括從短序列練起的課程學(xué)習(xí)以及 SparseWorld 那類用稀疏查詢做多粒度建模的做法?？佣?huà)面像了物理卻不對(duì)。球穿桌、車穿墻生成器自己渾然不覺(jué)。倉(cāng)庫(kù)里一批工作專門(mén)做物理一致性約束例如 DWM并配套 PhyWorld 這類基準(zhǔn)量化模型到底懂不懂物理規(guī)律。坑三評(píng)估只看像不像。均方誤差MSE和結(jié)構(gòu)相似性SSIM只能說(shuō)明像素層面的還原度說(shuō)明不了決策層面的價(jià)值。成熟的評(píng)估方案會(huì)三管齊下像素誤差、物理合理性以及 WorldGym 這類環(huán)境里的任務(wù)完成度?？铀臄?shù)據(jù)太單一。想讓世界模型真正泛化多模態(tài)數(shù)據(jù)幾乎必不可少UniSim 的多模態(tài)數(shù)據(jù)管線就是一份現(xiàn)成的參考模板。新手路線圖把 Awesome World Models 當(dāng)成一張藏寶圖 ?信息過(guò)載是這個(gè)領(lǐng)域最大的隱性成本。好在倉(cāng)庫(kù)本身就是為降低這種成本而設(shè)計(jì)的你可以按下面的順序?qū)毾肟焖賱?dòng)手直奔 Tutorials Starter ResourcesNano World Models 和 minWM 都是為入門(mén)者準(zhǔn)備的輕量實(shí)現(xiàn)想建立全局觀翻一翻 Surveys 分類倉(cāng)庫(kù)按視頻生成、3D 生成、具身智能、自動(dòng)駕駛等維度整理了多篇高質(zhì)量綜述想追蹤前沿General Approaches 一節(jié)按從 2D 先驗(yàn)構(gòu)建從語(yǔ)言先驗(yàn)構(gòu)建潛空間建模等角度分類比按時(shí)間線翻論文高效得多想深挖理論Theory World Models Explainability 一節(jié)收錄了大量關(guān)于神經(jīng)網(wǎng)絡(luò)何時(shí)才算真正學(xué)到了世界模型的討論。把倉(cāng)庫(kù)克隆到本地慢慢逛是最推薦的開(kāi)始方式git clone https://gitcode.com/gh_mirrors/awes/Awesome-World-Models如果你也想為這個(gè)社區(qū)出一份力README 中說(shuō)明了通過(guò)提交 PR 或聯(lián)系維護(hù)者的參與方式CONTRIBUTING.md 里也寫(xiě)清了貢獻(xiàn)規(guī)范。寫(xiě)在最后模型會(huì)變地圖不會(huì)過(guò)時(shí) 世界模型的邊界仍在快速擴(kuò)張有人嘗試把符號(hào)邏輯與神經(jīng)網(wǎng)絡(luò)揉進(jìn)同一個(gè)框架有人把視覺(jué)、語(yǔ)言和動(dòng)作整合進(jìn)一套系統(tǒng)VLA 系列也有人堅(jiān)持把物理方程顯式焊進(jìn)模型里。技術(shù)路線會(huì)不斷洗牌但手里有一份可靠地圖再上路這個(gè)需求是永恒的。希望這篇文章幫你省下從零開(kāi)始摸黑探索的時(shí)間——接下來(lái)就交給倉(cāng)庫(kù)里那幾百篇精選工作去填滿你的好奇心吧。【免費(fèi)下載鏈接】Awesome-World-ModelsA Curated List of Awesome Works in World Modeling, Aiming to Serve as a One-stop Resource for Researchers, Practitioners, and Enthusiasts Interested in World Modeling.項(xiàng)目地址: https://gitcode.com/gh_mirrors/awes/Awesome-World-Models創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考