WorkBuddy 免費接本地 Nex-N2.5-ProOllama 保姆級配置積分消耗直接打骨折【免費下載鏈接】Nex-N2.5-Pro項目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-ProAI 智能體工具用起來順手但順手的代價往往是賬單。以 WorkBuddy 為代表的一批編排類 AI 工作臺把任務(wù)規(guī)劃、工具調(diào)用、多輪交互全部交給云端大模型一次深度任務(wù)動輒消耗數(shù)萬 token積分余額肉眼可見地見底。社區(qū)里最近流傳開來的玩法是把 WorkBuddy 的推理層從云端摘下來掛到本地 Ollama 上——編排能力保持不變token 積分幾乎歸零。這套方案的可行性依據(jù)來自 Nex-N2.5-Pro 這類開源智能體模型的開放生態(tài)模型權(quán)重 Apache 2.0 開放、推理服務(wù)提供 OpenAI 兼容接口、工具調(diào)用協(xié)議標準化。本文結(jié)合 Nex-N2.5-Pro 倉庫源碼給出從原理到落地的完整配置路徑。為什么免費成立編排層與推理層分離先拆解 WorkBuddy 這類智能體工作臺的成本結(jié)構(gòu)。它本質(zhì)上是一個**編排層Orchestration 推理層Inference**的雙層系統(tǒng)編排層負責理解用戶意圖、拆解任務(wù)、調(diào)度工具推理層負責真正生成文本與調(diào)用決策。默認配置下兩層都在云端因此每一次思考、每一次工具調(diào)用的確認都要按 token 計費。本地接入的思路很直接——把推理層的 API 地址從云端服務(wù)商換成localhost。Ollama 從 0.1.27 起內(nèi)置 OpenAI 兼容端點/v1WorkBuddy 這類客戶端只需修改 base_url 與模型名即可完成切換編排層代碼一行不用動。對大量任務(wù)拆解 工具調(diào)用確認的固定模式請求而言本地推理不消耗任何云端積分這就是打骨折的機制來源。Nex-N2.5-Pro 之所以適合做這套方案的模型底座從倉庫 config.json 可以找到硬證據(jù)architectures為Qwen3_5MoeForConditionalGenerationmodel_type為qwen3_5_moe屬于標準的 transformers 生態(tài)模型同時quantization_config顯示權(quán)重已按compressed-tensors的 FP8_BLOCK 方案量化128×128 塊、8 bit、group 粒度這意味著模型文件對顯存和帶寬的要求比 BF16 原版顯著更低是本地可承載的前提之一。認識 Nex-N2.5-Pro它是為干活訓(xùn)練的在動手配置之前值得先明確接入的模型能帶來什么。Nex-N2.5-Pro 是 Nex-N2.5 家族mini / Pro / Max中的多模態(tài)智能體檔位倉庫 README.md 的定義是 built for long-horizon tasks in real-world environments——面向真實環(huán)境中的長時程任務(wù)。它不只是會聊天而是把視覺變成了智能體感知與驗證環(huán)境的接口操作電腦、瀏覽網(wǎng)頁、執(zhí)行并測試程序、通過視覺反饋自我糾錯。從 config.json 可以看到它的體量與設(shè)計取向MoE 稀疏激活512 個專家、每個 token 激活 10 個配合共享專家shared_expert_intermediate_size在保持大容量知識的同時壓低單 token 計算量60 層混合注意力layer_types中線性注意力linear_attention與全注意力full_attention按 3:1 交替線性注意力層顯著降低長序列下的 KV 緩存開銷256K 上下文max_position_embeddings: 262144長文檔、長任務(wù)日志、多輪工具調(diào)用都能裝進一次會話真多模態(tài)vision_config定義了 27 層視覺編碼器patch 16、時間 patch 2processor_config.json中同時配置了圖像處理器與視頻處理器支持 2fps 采樣、最長 768 幀即圖像與視頻都可作為智能體輸入。性能方面README 給出了與當前頭部模型的對照數(shù)據(jù)。只看 Pro 檔的關(guān)鍵項Terminal-Bench 2.1 得分 82.7、SWE-Bench Pro 61.2、Toolathlon Verified 68.5、BrowseComp 89.7多模態(tài)與計算機操作維度OSWorld-Verified 82.2、OSWorld-G 87.4、WebArena-Verified 67.6、OmniDoc 92.2。這些數(shù)字說明它的強項正是邊看邊操作的智能體場景——和 WorkBuddy 的定位高度重合。值得強調(diào)的是它的工程化設(shè)計采樣參數(shù)推薦temperature 0.7 / top_p 0.95 / top_k 40README 明確給出支持reasoning_effort三檔思考模式none直答、medium自適應(yīng)思考、high強制思考工具調(diào)用格式在 chat_template.jinja 中固化為tool_callfunction...parameter...的 XML 結(jié)構(gòu)并支持多步工具調(diào)用multi-step tool。這些特性決定了它接入 WorkBuddy 后既能想、又能調(diào)工具。保姆級配置Ollama 部署與 OpenAI 兼容端點第一步環(huán)境準備Ollama 的部署目標可以是社區(qū)教程中常見的 ARM NPU 低功耗一體設(shè)備也可以是任何一臺有 8GB 以上內(nèi)存的 x86 機器。先完成基礎(chǔ)安裝# macOS / Linux 一鍵安裝 curl -fsSL https://ollama.com/install.sh | sh # Windows 用戶直接下載安裝包或使用 WSL2 ollama serve # 確認服務(wù)默認監(jiān)聽 11434 端口第二步拉取模型對 WorkBuddy 的日常編排任務(wù)任務(wù)拆解、摘要、格式化、工具調(diào)用確認社區(qū)教程驗證過的qwen2.5:7b與qwen2.5:3b是性價比很高的起點如果機器配置充裕、希望獲得更強的智能體能力可進一步嘗試 Nex-N2.5 系列的 GGUF 量化版mini 檔或直接看下文第四節(jié)的 SGLang 方案ollama pull qwen2.5:7b ollama list # 確認模型已就緒第三步驗證 OpenAI 兼容接口Ollama 啟動后即暴露/v1兼容端點WorkBuddy 不需要任何 Ollama 私有協(xié)議適配curl http://localhost:11434/v1/models curl http://localhost:11434/v1/chat/completions \ -H Content-Type: application/json \ -d {model:qwen2.5:7b,messages:[{role:user,content:ping}]}返回正常的 JSON 結(jié)構(gòu)即表示本地推理鏈路已通。若希望局域網(wǎng)內(nèi)的其他機器如另一臺跑 WorkBuddy 的筆記本也能訪問可將 Ollama 服務(wù)綁定到0.0.0.0并放行 11434 端口——但注意這只是內(nèi)網(wǎng)玩具級配置公網(wǎng)暴露必須加反向代理鑒權(quán)。第四步WorkBuddy 切換后端在 WorkBuddy 的模型設(shè)置中新建一個自定義/本地供應(yīng)商API Base URLhttp://localhost:11434/v1遠程場景填http://內(nèi)網(wǎng)IP:11434/v1API Key任意占位字符串Ollama 默認不做鑒權(quán)但客戶端一般要求非空模型名qwen2.5:7b與ollama list中的名稱完全一致切換后發(fā)起一個任務(wù)WorkBuddy 的編排層依舊運行但每一次推理都發(fā)生在本地云端積分不再隨任務(wù)推進被扣減。升級路徑真跑 Nex-N2.5-Pro 的 SGLang 方案如果對能力有更高要求倉庫官方給出的 Nex-N2.5-Pro 部署方案是基于定制版 SGLang 的 Docker 鏡像nexagi/sglang:v0.5.18-nex-patch單機 8×H100docker run --gpus all --shm-size 32g --ipchost \ -p 30000:30000 \ -v /path/to/your/model:/model \ nexagi/sglang:v0.5.18-nex-patch \ python3 -m sglang.launch_server \ --model-path /model \ --tp 8 \ --host 0.0.0.0 --port 30000 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --chat-template /path/to/nex-N2.5-Pro/chat_template.jinja \ --mamba-scheduler-strategy extra_buffer注意兩個關(guān)鍵參數(shù)--tool-call-parser qwen3_coder開啟函數(shù)調(diào)用解析對應(yīng) chat_template.jinja 中的tool_call輸出協(xié)議--reasoning-parser qwen3將模型輸出的think推理軌跡與最終回答分離WorkBuddy 拿到的是干凈的最終結(jié)果。啟動后同樣暴露 OpenAI 兼容的/v1/chat/completions端口 30000在 WorkBuddy 中把 base_url 指過來即可接入邏輯與 Ollama 完全一致。對于算力有限的個人開發(fā)者mini 檔只需 2×H100命令見 README.md是更現(xiàn)實的過渡選擇。備用云端模型兜底而不破防本地推理并非萬能極復(fù)雜的推理任務(wù)、多模態(tài)長視頻分析或本地服務(wù)宕機時純本地方案會露怯。合理的架構(gòu)是本地優(yōu)先、云端兜底WorkBuddy 主模型設(shè)為本地端點默認零積分在 WorkBuddy 的備用/降級配置中保留云端模型如云端 Nex-N2.5-Pro或你原本的付費模型日常任務(wù)全部走本地當任務(wù)超時、上下文超限或本地進程異常時WorkBuddy 自動降級到云端模型完成本輪任務(wù)。這樣既能把 90% 以上的固定模式請求留在本地積分消耗大幅下降又在關(guān)鍵任務(wù)上保留云端大模型的完整能力。社區(qū)教程中同樣建議保留這一層屬于降本不降可靠性的標準姿勢。MCP 擴展掛載與工具調(diào)用對齊WorkBuddy 的一大賣點是 MCP 工具生態(tài)——文件系統(tǒng)、瀏覽器、代碼執(zhí)行器等工具通過 MCP 協(xié)議掛載。要讓本地模型真正會用這些工具關(guān)鍵不在 WorkBuddy 側(cè)而在模型側(cè)的協(xié)議對齊。Nex-N2.5 系列在這一點上做了原生適配chat_template.jinja 在 system 段注入完整工具清單tools塊并把工具調(diào)用約束為tool_callfunction名稱parameter參數(shù)名值/parameter/function/tool_call的嚴格格式且要求先自然語言說明再調(diào)用禁止調(diào)用后追加說明——這套規(guī)范與 MCP 工具的確定性調(diào)用需求完全匹配模板支持多輪 tool_response 回傳tool_response包裹這正是 MCP 工具鏈中模型調(diào)用工具 → 工具返回結(jié)果 → 模型繼續(xù)推理的循環(huán)骨架tokenizer_config.json 中chat_template內(nèi)嵌了同一套邏輯保證 transformers 與 SGLang 兩條推理路徑行為一致。實操層面把 MCP 服務(wù)器如filesystem、playwright掛到 WorkBuddy 后在本地模型的采樣參數(shù)中建議顯式設(shè)置 README 推薦的temperature0.7, top_p0.95, top_k40避免高溫度導(dǎo)致的工具調(diào)用格式漂移。若發(fā)現(xiàn)模型偶爾輸出非結(jié)構(gòu)化文本而不是tool_call優(yōu)先檢查本地服務(wù)的--tool-call-parser是否開啟而不是懷疑模型能力。常見問題與避坑清單連不上本地端點確認ollama serve存活、端口未被占用遠程訪問場景確認防火墻與OLLAMA_HOST環(huán)境變量。上下文超限本地小模型3b/7b的上下文窗口遠小于 Nex-N2.5 的 256K。長文檔任務(wù)建議先做切片或摘要把完整文件喂給本地 7b 模型容易直接報錯。工具調(diào)用格式錯亂優(yōu)先檢查--tool-call-parser qwen3_coder與--reasoning-parser qwen3是否在啟動命令中Ollama 路徑下確認模型本身支持工具調(diào)用qwen2.5系支持原生 function calling。首次加載慢FP8 量化模型的冷啟動需要把權(quán)重讀入顯存8×H100 部署 Nex-N2.5-Pro 時預(yù)留充足--shm-size個人設(shè)備第一次拉取 GGUF 也要耐心等待下載完成。免費的邊界本地推理省的是云端 token 積分電費與硬件折舊是實際成本7b 檔模型適合高頻簡單任務(wù)真正復(fù)雜的智能體任務(wù)仍建議按任務(wù)價值決定是否走云端備用模型。把 WorkBuddy 接到本地本質(zhì)上是把按 token 付費的推理換成了一次性的硬件投入——對于每天高頻使用智能體工具的用戶這個置換幾乎總是劃算的。而 Nex-N2.5-Pro 這類 Apache 2.0 開源模型的存在讓這條路徑從妥協(xié)方案變成了能力增強方案256K 上下文、稀疏 MoE、視覺感知與原生工具調(diào)用協(xié)議恰好覆蓋了編排型工作臺對底座模型的全部核心要求。配置鏈路短、協(xié)議標準、源碼可查剩下的就交給你的硬件了?！久赓M下載鏈接】Nex-N2.5-Pro項目地址: https://ai.gitcode.com/hf_mirrors/nex-agi/Nex-N2.5-Pro創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考