解讀**2)
975B 的模型跑不動現(xiàn)在有個 276B 總參、12B 激活的 MoE8 張 B200 就能跑出 648 tok/s還在多項(xiàng)基準(zhǔn)上反超了自家大哥 —— 這不是標(biāo)題黨是 Thinking Machines 剛開源的 Inkling?Small。一句話背景由前 OpenAI 核心成員組建的 Thinking Machines Lab在發(fā)布旗艦?zāi)Ｐ?Inkling975B不到兩周后迅速推出第二款作品 ——Inkling?Small。體量大幅收縮多項(xiàng)能力卻反超大版本。規(guī)格速覽架構(gòu)MoE 混合專家解碼器總參數(shù)276B激活參數(shù)12B模態(tài)原生多模態(tài)支持文本、圖像、音頻輸入上下文窗口256K / 1M tokens對比初代 Inkling975B 總參 / 41B 激活I(lǐng)nkling?Small 總參僅為前者的 1/4激活參數(shù)壓縮至 1/3。基準(zhǔn)實(shí)測推理、編程全面反超來自第三方評測機(jī)構(gòu) Artificial Analysis 的獨(dú)立測試結(jié)果Artificial Analysis 智能指數(shù)上二者幾乎持平Inkling?Small 拿到 40原版 Inkling 為 41。在 Humanity’s Last Exam、GPQA Diamond、SciCode、SWE?Bench Verified、Terminal Bench 2.1 多項(xiàng)評測中Inkling?Small 全部實(shí)現(xiàn)反超。尤其在智能體工具調(diào)用、代碼修復(fù)、硬核推理這類任務(wù)上小版本表現(xiàn)全面超越體量更大的原版模型。短板事實(shí)知識依然是硬門檻知識能力上二者差距明顯AA?Omniscience 知識指數(shù) Inkling?Small 為 -9原版 Inkling 達(dá)到 2事實(shí)類任務(wù)準(zhǔn)確率 31% 對比 40%。核心結(jié)論推理能力可以依靠蒸餾 RL “練出來”但海量背景知識仍然需要足夠參數(shù)量來承載。效率優(yōu)勢更少 Token更低成本Artificial Analysis 智能指數(shù)評測統(tǒng)計(jì)了各模型完成單任務(wù)的平均輸出 tokenInkling?Small 約 24K原版 Inkling 約 25KDeepSeek V4 Flash 約 45KGPT?5.4 mini (xhigh) 達(dá)到 78KInkling?Small 輸出更加精簡落到生產(chǎn)環(huán)境直接帶來更低延遲與推理成本。技術(shù)解密三步煉成 “小鋼炮”優(yōu)化預(yù)訓(xùn)練配方利用晚于大版本啟動的時間差調(diào)整預(yù)訓(xùn)練數(shù)據(jù)配比和訓(xùn)練超參打下底座能力。On?policy 在線策略蒸餾以 Inkling 作為教師模型執(zhí)行在線策略蒸餾產(chǎn)出預(yù)覽版檢查點(diǎn)完成能力復(fù)刻。兩周智能體強(qiáng)化學(xué)習(xí)基于蒸餾后的預(yù)覽檢查點(diǎn)專門針對智能體編碼任務(wù)持續(xù)跑滿兩周 RL。蒸餾只是打底RL 才是實(shí)現(xiàn)能力反超的關(guān)鍵。部署門檻8 卡 B200 即可運(yùn)行硬件推薦 8×B200采用 NVFP4 量化推理框架選用 SGLang。開啟 DSpark 解碼速度可達(dá) 648 tok/s關(guān)閉 DSpark 為 288 tok/s。LMSYS 給出評價276B 總參 / 12B 激活是 MoE 做強(qiáng)化學(xué)習(xí)的 “甜點(diǎn)位”LoRA 微調(diào)與全參數(shù)微調(diào)都具備現(xiàn)實(shí)可行性。誰該關(guān)注這款模型做 AI Agent 的開發(fā)者SWE?Bench 分?jǐn)?shù)達(dá)到 80.2%工具調(diào)用能力接近 GPT?5.4 mini輸出 token 更少。做垂直領(lǐng)域微調(diào)的團(tuán)隊(duì)12B 激活參數(shù)LoRA 微調(diào)可跑在單卡 A100/H100不需要龐大集群。跑高頻推理業(yè)務(wù)的業(yè)務(wù)方每 FLOP 產(chǎn)出優(yōu)于原版 Inkling長期可以降低 API 調(diào)用成本。??不適合場景強(qiáng)依賴海量靜態(tài)事實(shí)知識、要求高事實(shí)準(zhǔn)確率的知識庫問答場景。如果你對 Inkling?Small 的私有化部署或者 LoRA 微調(diào)感興趣可以關(guān)注 openstarry我們會持續(xù)輸出 MoE 模型落地的最佳實(shí)踐。下一步你可以做什么如果團(tuán)隊(duì)有 8 卡 B200 或者等效算力可以直接拉官方鏡像做推理測試計(jì)劃做 LoRA 微調(diào)官方文檔已經(jīng)提供示例腳本歡迎在評論區(qū)分享你的實(shí)測結(jié)果一起驗(yàn)證這一款 “小鋼炮”關(guān)注 openstarry后續(xù)持續(xù)輸出 MoE 系列模型的微調(diào)實(shí)戰(zhàn)與部署踩坑記錄官方頁面https://thinkingmachines.ai/news/inkling-small/ 276B 總參 / 12B 激活，8 卡 B200 跑 648 tok/s：Inkling?Small 技術(shù)解讀**2
975B 的模型跑不動現(xiàn)在有個 276B 總參、12B 激活的 MoE8 張 B200 就能跑出 648 tok/s還在多項(xiàng)基準(zhǔn)上反超了自家大哥 —— 這不是標(biāo)題黨是 Thinking Machines 剛開源的 Inkling?Small。一句話背景由前 OpenAI 核心成員組建的 Thinking Machines Lab在發(fā)布旗艦?zāi)Ｐ?Inkling975B不到兩周后迅速推出第二款作品 ——Inkling?Small。體量大幅收縮多項(xiàng)能力卻反超大版本。規(guī)格速覽架構(gòu)MoE 混合專家解碼器總參數(shù)276B激活參數(shù)12B模態(tài)原生多模態(tài)支持文本、圖像、音頻輸入上下文窗口256K / 1M tokens對比初代 Inkling975B 總參 / 41B 激活I(lǐng)nkling?Small 總參僅為前者的 1/4激活參數(shù)壓縮至 1/3。基準(zhǔn)實(shí)測推理、編程全面反超來自第三方評測機(jī)構(gòu) Artificial Analysis 的獨(dú)立測試結(jié)果Artificial Analysis 智能指數(shù)上二者幾乎持平Inkling?Small 拿到 40原版 Inkling 為 41。在 Humanity’s Last Exam、GPQA Diamond、SciCode、SWE?Bench Verified、Terminal Bench 2.1 多項(xiàng)評測中Inkling?Small 全部實(shí)現(xiàn)反超。尤其在智能體工具調(diào)用、代碼修復(fù)、硬核推理這類任務(wù)上小版本表現(xiàn)全面超越體量更大的原版模型。短板事實(shí)知識依然是硬門檻知識能力上二者差距明顯AA?Omniscience 知識指數(shù) Inkling?Small 為 -9原版 Inkling 達(dá)到 2事實(shí)類任務(wù)準(zhǔn)確率 31% 對比 40%。核心結(jié)論推理能力可以依靠蒸餾 RL “練出來”但海量背景知識仍然需要足夠參數(shù)量來承載。效率優(yōu)勢更少 Token更低成本Artificial Analysis 智能指數(shù)評測統(tǒng)計(jì)了各模型完成單任務(wù)的平均輸出 tokenInkling?Small 約 24K原版 Inkling 約 25KDeepSeek V4 Flash 約 45KGPT?5.4 mini (xhigh) 達(dá)到 78KInkling?Small 輸出更加精簡落到生產(chǎn)環(huán)境直接帶來更低延遲與推理成本。技術(shù)解密三步煉成 “小鋼炮”優(yōu)化預(yù)訓(xùn)練配方利用晚于大版本啟動的時間差調(diào)整預(yù)訓(xùn)練數(shù)據(jù)配比和訓(xùn)練超參打下底座能力。On?policy 在線策略蒸餾以 Inkling 作為教師模型執(zhí)行在線策略蒸餾產(chǎn)出預(yù)覽版檢查點(diǎn)完成能力復(fù)刻。兩周智能體強(qiáng)化學(xué)習(xí)基于蒸餾后的預(yù)覽檢查點(diǎn)專門針對智能體編碼任務(wù)持續(xù)跑滿兩周 RL。蒸餾只是打底RL 才是實(shí)現(xiàn)能力反超的關(guān)鍵。部署門檻8 卡 B200 即可運(yùn)行硬件推薦 8×B200采用 NVFP4 量化推理框架選用 SGLang。開啟 DSpark 解碼速度可達(dá) 648 tok/s關(guān)閉 DSpark 為 288 tok/s。LMSYS 給出評價276B 總參 / 12B 激活是 MoE 做強(qiáng)化學(xué)習(xí)的 “甜點(diǎn)位”LoRA 微調(diào)與全參數(shù)微調(diào)都具備現(xiàn)實(shí)可行性。誰該關(guān)注這款模型做 AI Agent 的開發(fā)者SWE?Bench 分?jǐn)?shù)達(dá)到 80.2%工具調(diào)用能力接近 GPT?5.4 mini輸出 token 更少。做垂直領(lǐng)域微調(diào)的團(tuán)隊(duì)12B 激活參數(shù)LoRA 微調(diào)可跑在單卡 A100/H100不需要龐大集群。跑高頻推理業(yè)務(wù)的業(yè)務(wù)方每 FLOP 產(chǎn)出優(yōu)于原版 Inkling長期可以降低 API 調(diào)用成本。??不適合場景強(qiáng)依賴海量靜態(tài)事實(shí)知識、要求高事實(shí)準(zhǔn)確率的知識庫問答場景。如果你對 Inkling?Small 的私有化部署或者 LoRA 微調(diào)感興趣可以關(guān)注 openstarry我們會持續(xù)輸出 MoE 模型落地的最佳實(shí)踐。下一步你可以做什么如果團(tuán)隊(duì)有 8 卡 B200 或者等效算力可以直接拉官方鏡像做推理測試計(jì)劃做 LoRA 微調(diào)官方文檔已經(jīng)提供示例腳本歡迎在評論區(qū)分享你的實(shí)測結(jié)果一起驗(yàn)證這一款 “小鋼炮”關(guān)注 openstarry后續(xù)持續(xù)輸出 MoE 系列模型的微調(diào)實(shí)戰(zhàn)與部署踩坑記錄官方頁面https://thinkingmachines.ai/news/inkling-small/