1. 這筆交易到底在買什么先把結(jié)論擺在前面82 億美元這個(gè)數(shù)字放在 AMD 的歷史收購(gòu)清單里僅次于當(dāng)年 490 億美元拿下 Xilinx 那一筆。很多人第一反應(yīng)是AMD 要去做世界模型了但如果你只盯著世界模型這四個(gè)字就把這筆交易的戰(zhàn)略意圖看窄了。我個(gè)人的判斷是AMD 買的是一整套從芯片到模型再到開(kāi)發(fā)者入口的垂直能力世界模型只是這套能力里最顯眼、最容易上頭條的那一塊招牌。要理解這件事得先搞清楚 World Labs 是干什么的。這家公司主攻的方向是空間智能核心產(chǎn)品圍繞從單張圖片或視頻生成可交互的三維場(chǎng)景展開(kāi)。說(shuō)白了它做的事情是讓 AI 不只是看懂二維畫面而是能理解三維空間里的物體位置、遮擋關(guān)系、物理規(guī)律并且能把這些理解變成一個(gè)可以走進(jìn)去、可以交互的虛擬世界。這跟傳統(tǒng)的大語(yǔ)言模型有本質(zhì)區(qū)別——語(yǔ)言模型處理的是 token 序列而世界模型處理的是空間和時(shí)間的連續(xù)性。那 AMD 為什么要花這么多錢買它答案藏在 AMD 這幾年的處境里。AMD 在 CPU 領(lǐng)域靠 Zen 架構(gòu)打得風(fēng)生水起在 GPU 領(lǐng)域靠 Instinct 系列在數(shù)據(jù)中心搶下了一塊地盤但它在軟件生態(tài)和AI 應(yīng)用層這兩塊始終是短板。英偉達(dá)的護(hù)城河從來(lái)不只是硬件而是 CUDA 加上一整套圍繞它的開(kāi)發(fā)者工具鏈和模型生態(tài)。AMD 的 ROCm 雖然一直在追但開(kāi)發(fā)者遷移成本高、模型適配慢這是圈內(nèi)公認(rèn)的事實(shí)。收購(gòu) World Labs本質(zhì)上是想用應(yīng)用和模型來(lái)反向拉動(dòng)硬件和平臺(tái)的需求——你有世界模型要跑就得有對(duì)應(yīng)的算力而 AMD 希望這個(gè)算力是自己的。這里有個(gè)容易被忽略的點(diǎn)世界模型對(duì)算力的需求結(jié)構(gòu)和傳統(tǒng)大語(yǔ)言模型不一樣。語(yǔ)言模型主要是矩陣乘法密集對(duì)顯存帶寬和算力要求高但相對(duì)規(guī)整而世界模型涉及三維重建、神經(jīng)渲染、物理仿真它的計(jì)算模式更雜對(duì)顯存容量、顯存帶寬、以及特定算子比如光線求交、體素查詢的優(yōu)化要求更苛刻。AMD 如果能把 World Labs 的模型和自家 Instinct GPU 的架構(gòu)特性深度綁定就能在空間智能這個(gè)細(xì)分賽道上打出一個(gè)英偉達(dá)暫時(shí)沒(méi)有專門優(yōu)化的差異化場(chǎng)景。這才是這筆交易真正的技術(shù)算盤。從行業(yè)影響看這筆收購(gòu)釋放的信號(hào)很明確AI 的競(jìng)爭(zhēng)正在從語(yǔ)言往空間遷移。過(guò)去兩年大家卷的是文本生成、代碼生成接下來(lái)卷的是三維內(nèi)容生成、機(jī)器人仿真、自動(dòng)駕駛場(chǎng)景構(gòu)建、數(shù)字孿生。誰(shuí)掌握了世界模型誰(shuí)就掌握了下一代內(nèi)容生產(chǎn)和機(jī)器人訓(xùn)練的基礎(chǔ)設(shè)施。AMD 這一步是在為下一個(gè)五年的算力需求提前卡位。2. 世界模型的技術(shù)底座拆解2.1 從二維到三維空間智能到底難在哪要理解 World Labs 的價(jià)值得先明白讓 AI 理解三維空間這件事有多難。人類看一張照片大腦會(huì)自動(dòng)補(bǔ)全被遮擋的部分、判斷物體的遠(yuǎn)近、預(yù)測(cè)拿起杯子時(shí)手該怎么動(dòng)。這套能力我們習(xí)以為常但對(duì)機(jī)器來(lái)說(shuō)每一步都是硬骨頭。第一層難點(diǎn)是三維表示。二維圖像就是一個(gè)像素矩陣好處理但三維場(chǎng)景怎么表示用點(diǎn)云用體素網(wǎng)格用神經(jīng)輻射場(chǎng)還是用三維高斯?jié)姙R每種表示都有自己的取舍。點(diǎn)云稀疏但缺乏表面連續(xù)性體素規(guī)整但顯存爆炸神經(jīng)輻射場(chǎng)渲染質(zhì)量高但訓(xùn)練和推理都慢三維高斯?jié)姙R速度快但內(nèi)存占用大。World Labs 的核心競(jìng)爭(zhēng)力之一就是在這幾種表示之間找到了工程上可落地的平衡點(diǎn)。第二層難點(diǎn)是幾何一致性。你從不同角度看同一個(gè)場(chǎng)景物體不能變形、不能穿模、光照要合理。這要求模型不僅要有生成能力還要有物理和幾何的約束。純生成模型容易看起來(lái)像但經(jīng)不起推敲而世界模型必須經(jīng)得起你繞著它走一圈。第三層難點(diǎn)是交互與仿真。一個(gè)真正的世界模型不只是生成一個(gè)靜態(tài)的三維場(chǎng)景還要能模擬物體運(yùn)動(dòng)、碰撞、重力。這就把問(wèn)題從渲染升級(jí)到了物理仿真計(jì)算復(fù)雜度直接上一個(gè)臺(tái)階。機(jī)器人訓(xùn)練、自動(dòng)駕駛仿真靠的都是這一層能力。2.2 算力需求結(jié)構(gòu)為什么這對(duì) AMD 是機(jī)會(huì)我前面提到世界模型的算力需求和語(yǔ)言模型不同這里展開(kāi)說(shuō)。語(yǔ)言模型訓(xùn)練主要是大規(guī)模矩陣乘硬件優(yōu)化方向明確——堆 Tensor Core、堆顯存帶寬。但世界模型的訓(xùn)練管線里除了神經(jīng)網(wǎng)絡(luò)本身還有大量非神經(jīng)的計(jì)算三維重建里的光束法平差、神經(jīng)渲染里的光線采樣、物理仿真里的碰撞檢測(cè)。這些計(jì)算的并行模式和矩陣乘完全不同。這對(duì) AMD 意味著什么意味著如果 AMD 能針對(duì)這些非典型算子做架構(gòu)級(jí)優(yōu)化就有機(jī)會(huì)在特定 workload 上反超。英偉達(dá)的 GPU 通用性強(qiáng)但通用性有時(shí)候也意味著在特定場(chǎng)景下不是最優(yōu)。AMD 如果能和 World Labs 一起把模型和硬件協(xié)同設(shè)計(jì)做出跑世界模型特別快的賣點(diǎn)就能撬動(dòng)一批做三維內(nèi)容、機(jī)器人、數(shù)字孿生的客戶。這是典型的用應(yīng)用定義硬件的打法蘋果做 M 系列芯片就是這么干的。2.3 軟件棧才是真正的戰(zhàn)場(chǎng)硬件之外軟件棧是這筆交易里更隱蔽但更關(guān)鍵的部分。World Labs 手里有一套完整的模型訓(xùn)練和推理框架這套框架如果被移植到 ROCm 上并深度優(yōu)化就成了 AMD 吸引開(kāi)發(fā)者的抓手。開(kāi)發(fā)者想用世界模型最省事的路徑就是買 AMD 的卡、用 AMD 優(yōu)化好的框架。這比單純喊我們的卡便宜要有說(shuō)服力得多。提示評(píng)估這類收購(gòu)時(shí)別只看模型本身要看模型背后的工具鏈、數(shù)據(jù)管線、以及它綁定了多少開(kāi)發(fā)者。工具鏈的粘性往往比模型權(quán)重更值錢。3. 對(duì)普通用戶和開(kāi)發(fā)者的實(shí)際影響3.1 顯卡用戶能感知到什么變化很多朋友看到這種新聞第一反應(yīng)是跟我買顯卡有關(guān)系嗎。短期看關(guān)系不大中期看關(guān)系不小。如果 AMD 真的把世界模型的能力下放到消費(fèi)級(jí)顯卡最直接的應(yīng)用場(chǎng)景是三維內(nèi)容創(chuàng)作。現(xiàn)在做三維建模、游戲場(chǎng)景、虛擬拍攝要么用傳統(tǒng) DCC 軟件手工搭要么用云端算力跑生成模型。如果本地顯卡能跑輕量級(jí)的世界模型從一張概念圖直接生成可編輯的三維場(chǎng)景工作流會(huì)被大幅壓縮。這對(duì) AMD 顯卡用戶是個(gè)潛在利好。AMD 在消費(fèi)級(jí)顯卡上的 AI 生態(tài)一直是弱項(xiàng)很多 AI 應(yīng)用優(yōu)先適配英偉達(dá)。如果 AMD 自己有了獨(dú)占的世界模型應(yīng)用就相當(dāng)于給自家顯卡造了一個(gè)非買不可的理由。當(dāng)然這需要時(shí)間模型輕量化、驅(qū)動(dòng)適配、應(yīng)用落地每一步都不輕松。3.2 開(kāi)發(fā)者該關(guān)注哪些技術(shù)棧如果你是開(kāi)發(fā)者這筆交易值得你關(guān)注的技術(shù)點(diǎn)有幾個(gè)。第一是三維表示格式World Labs 用的表示方法很可能會(huì)隨著收購(gòu)逐步開(kāi)放或標(biāo)準(zhǔn)化提前了解三維高斯?jié)姙R、神經(jīng)輻射場(chǎng)這些技術(shù)能讓你在下一波三維內(nèi)容浪潮里占先機(jī)。第二是推理框架如果 AMD 推出針對(duì)世界模型優(yōu)化的推理引擎學(xué)會(huì)用它就是一項(xiàng)新技能。第三是仿真接口世界模型和機(jī)器人、自動(dòng)駕駛的結(jié)合點(diǎn)在于仿真熟悉 Isaac Sim 這類工具的人未來(lái)可能要面對(duì) AMD 系的替代方案。我個(gè)人的建議是別急著 all in 某一個(gè)廠商的生態(tài)先把三維重建、神經(jīng)渲染、物理仿真這些底層原理吃透。工具會(huì)變?cè)聿粫?huì)。你理解了空間智能的本質(zhì)換哪個(gè)平臺(tái)都能快速上手。3.3 行業(yè)格局的連鎖反應(yīng)這筆收購(gòu)還會(huì)引發(fā)連鎖反應(yīng)。英偉達(dá)大概率會(huì)加速自己在世界模型方向的布局可能通過(guò)投資、收購(gòu)或者自研來(lái)應(yīng)對(duì)。做三維內(nèi)容的公司會(huì)重新評(píng)估自己的技術(shù)路線是自研還是用 AMD 的方案。云廠商會(huì)考慮在自己的算力池里增加對(duì)世界模型的支持。整個(gè)空間智能賽道的熱度會(huì)被推高人才和資本會(huì)加速涌入。對(duì)國(guó)內(nèi)做三維生成、數(shù)字孿生、機(jī)器人仿真的團(tuán)隊(duì)來(lái)說(shuō)這也是個(gè)信號(hào)這個(gè)方向的技術(shù)價(jià)值正在被巨頭用真金白銀確認(rèn)。如果你在這個(gè)領(lǐng)域接下來(lái)融資和招人會(huì)相對(duì)容易如果你在觀望要不要進(jìn)入現(xiàn)在是個(gè)不錯(cuò)的窗口期。4. 實(shí)操視角如何跟進(jìn)這個(gè)技術(shù)方向4.1 從零搭建一個(gè)世界模型實(shí)驗(yàn)環(huán)境假設(shè)你想親手試試世界模型是怎么回事我分享一套可落地的入門路徑。這套路徑不依賴任何特定廠商的硬件你在自己的機(jī)器上就能跑起來(lái)。第一步是環(huán)境準(zhǔn)備。你需要一塊支持 CUDA 或 ROCm 的顯卡顯存建議 12GB 以上因?yàn)槿S重建和神經(jīng)渲染對(duì)顯存很敏感。Python 環(huán)境用 conda 管理創(chuàng)建一個(gè)獨(dú)立環(huán)境避免依賴沖突。conda create -n worldmodel python3.10 conda activate worldmodel pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118第二步是數(shù)據(jù)準(zhǔn)備。世界模型訓(xùn)練需要多視角圖像或者視頻。最簡(jiǎn)單的入門數(shù)據(jù)是自己用手機(jī)繞著一個(gè)物體拍一圈拍 30 到 50 張保證相鄰照片有足夠重疊。用 COLMAP 做稀疏重建得到相機(jī)位姿。colmap automatic_reconstructor \ --workspace_path ./data \ --image_path ./data/images \ --camera_model SIMPLE_RADIAL第三步是訓(xùn)練一個(gè)神經(jīng)輻射場(chǎng)。用 nerfstudio 這個(gè)框架最省事它把數(shù)據(jù)解析、訓(xùn)練、可視化都封裝好了。pip install nerfstudio ns-train nerfacto --data ./data訓(xùn)練完成后用ns-viewer就能在瀏覽器里查看生成的三維場(chǎng)景。這個(gè)過(guò)程能讓你直觀理解從二維圖像重建三維是怎么回事。4.2 三維高斯?jié)姙R當(dāng)前最值得上手的技術(shù)如果你只學(xué)一個(gè)技術(shù)我推薦三維高斯?jié)姙R。它比神經(jīng)輻射場(chǎng)訓(xùn)練快、渲染快而且效果已經(jīng)足夠好是目前三維重建領(lǐng)域最實(shí)用的方案。核心思想是用一堆三維高斯橢球來(lái)表示場(chǎng)景每個(gè)高斯有自己的位置、協(xié)方差、顏色和不透明度渲染時(shí)把這些高斯投影到屏幕上做混合。上手同樣用 nerfstudio 的splatfactons-train splatfacto --data ./data訓(xùn)練時(shí)間通常比 nerfacto 短很多消費(fèi)級(jí)顯卡幾十分鐘就能出結(jié)果。訓(xùn)練完可以導(dǎo)出成.ply文件用各種三維查看器打開(kāi)。注意三維高斯?jié)姙R的顯存占用和場(chǎng)景復(fù)雜度強(qiáng)相關(guān)場(chǎng)景大了容易爆顯存。實(shí)操時(shí)先把圖像分辨率降下來(lái)跑通流程再逐步提高。4.3 參數(shù)選擇與踩坑記錄我在實(shí)際跑這些模型時(shí)踩過(guò)不少坑挑幾個(gè)典型的說(shuō)。學(xué)習(xí)率設(shè)置。神經(jīng)輻射場(chǎng)對(duì)學(xué)習(xí)率很敏感太大容易發(fā)散太小收斂慢。nerfacto 的默認(rèn)配置一般夠用但如果你用自己的數(shù)據(jù)建議先用默認(rèn)參數(shù)跑一遍看 loss 曲線是否平穩(wěn)再微調(diào)。相機(jī)位姿質(zhì)量。這是最容易被忽視的環(huán)節(jié)。如果 COLMAP 重建的位姿不準(zhǔn)后面模型怎么調(diào)都白搭。判斷位姿質(zhì)量的方法是看重建出的點(diǎn)云是否和原圖對(duì)得上對(duì)不上就重新拍數(shù)據(jù)保證重疊度。顯存管理。訓(xùn)練時(shí)如果爆顯存優(yōu)先降分辨率、減 batch size而不是急著換卡。很多時(shí)候是配置問(wèn)題不是硬件問(wèn)題。數(shù)據(jù)采集。拍照片時(shí)避免運(yùn)動(dòng)模糊光線要均勻別有大面積反光或純色區(qū)域這些都會(huì)讓重建失敗。我試過(guò)在純白墻面前拍結(jié)果重建出來(lái)的場(chǎng)景全是噪聲。5. 常見(jiàn)問(wèn)題與排查速查5.1 訓(xùn)練不收斂怎么辦這是新手最常遇到的問(wèn)題。排查順序建議這樣走先看數(shù)據(jù)確認(rèn)圖像沒(méi)有模糊、曝光正常、重疊足夠再看位姿用可視化工具檢查相機(jī)軌跡是否合理然后看配置學(xué)習(xí)率、迭代次數(shù)、網(wǎng)絡(luò)結(jié)構(gòu)是否匹配你的數(shù)據(jù)規(guī)模最后看硬件顯存是否夠、是否有 NaN 出現(xiàn)。大部分不收斂問(wèn)題出在前兩步而不是模型本身。5.2 渲染結(jié)果有鬼影或漂浮物這通常是位姿不準(zhǔn)或者場(chǎng)景里有動(dòng)態(tài)物體導(dǎo)致的。世界模型假設(shè)場(chǎng)景是靜態(tài)的如果你拍攝時(shí)有行人走動(dòng)、樹葉晃動(dòng)重建結(jié)果就會(huì)出現(xiàn)鬼影。解決辦法是拍攝時(shí)保證場(chǎng)景靜止或者用分割工具把動(dòng)態(tài)物體遮掉再重建。5.3 顯存不夠用的幾種解法問(wèn)題現(xiàn)象可能原因解決方向訓(xùn)練開(kāi)始就 OOM分辨率過(guò)高降分辨率到 1/2 或 1/4訓(xùn)練中途 OOMbatch 過(guò)大減小 batch size渲染時(shí) OOM高斯數(shù)量過(guò)多提高致密化閾值減少高斯數(shù)導(dǎo)出時(shí) OOM一次性加載全部數(shù)據(jù)分塊導(dǎo)出5.4 跨平臺(tái)遷移的注意事項(xiàng)如果你從英偉達(dá)平臺(tái)往 AMD 平臺(tái)遷移最大的坑是算子兼容性。有些自定義 CUDA 算子沒(méi)有 ROCm 版本需要自己移植或者找替代實(shí)現(xiàn)。建議先在 ROCm 官方支持的模型列表里挑別一上來(lái)就啃硬骨頭。另外ROCm 的版本和 PyTorch 版本對(duì)應(yīng)關(guān)系比較嚴(yán)格裝之前一定查官方兼容性矩陣別憑感覺(jué)裝。6. 我對(duì)這個(gè)方向的一些個(gè)人判斷聊了這么多技術(shù)細(xì)節(jié)最后說(shuō)點(diǎn)我自己的觀察。這筆收購(gòu)最值得玩味的地方是它標(biāo)志著 AI 競(jìng)爭(zhēng)進(jìn)入了一個(gè)新階段——從模型能力的競(jìng)爭(zhēng)轉(zhuǎn)向模型加硬件加場(chǎng)景的垂直整合競(jìng)爭(zhēng)。單純做一個(gè)大模型然后賣 API 的模式正在被我有模型、我有芯片、我有應(yīng)用場(chǎng)景的閉環(huán)模式擠壓。對(duì)從業(yè)者來(lái)說(shuō)這意味著兩件事。一是純算法崗位的護(hù)城河在變淺因?yàn)槟Ｐ驮絹?lái)越同質(zhì)化二是懂硬件、懂場(chǎng)景、能把模型落地到具體業(yè)務(wù)里的人會(huì)越來(lái)越值錢。世界模型這個(gè)方向尤其如此它天然就和機(jī)器人、自動(dòng)駕駛、數(shù)字孿生這些實(shí)體場(chǎng)景綁在一起光會(huì)調(diào)模型不夠還得懂物理、懂工程、懂業(yè)務(wù)。我個(gè)人的建議是如果你在做三維內(nèi)容或者機(jī)器人相關(guān)的工作現(xiàn)在就該把世界模型的技術(shù)棧納入學(xué)習(xí)計(jì)劃。不用等 AMD 的產(chǎn)品出來(lái)先用開(kāi)源方案把原理跑通等生態(tài)成熟了你就是第一批能上手的人。技術(shù)浪潮來(lái)的時(shí)候提前站在浪頭上的人永遠(yuǎn)比追著浪跑的人輕松。