蒸餾預(yù)算表若只有數(shù)據(jù)條數(shù)、GPU小時和模型調(diào)用費項目做到中途通常還會追加工作。工程團隊需要維護樣本狀態(tài)、訓(xùn)練版本、評測腳本和部署配置失敗重跑與線上回退也會消耗資源。預(yù)算表應(yīng)該和項目狀態(tài)一起變化讓每項支出都能對應(yīng)一個交付物。下文采用教師API生成候選答案、再訓(xùn)練學(xué)生的黑盒蒸餾流程。需要教師內(nèi)部概率或隱藏層信號時應(yīng)增加模型訪問、訓(xùn)練框架和適配成本不能沿用同一張表。第一張表記錄數(shù)據(jù)生產(chǎn)數(shù)據(jù)表至少要區(qū)分原始樣本、待生成、已生成、檢查通過、人工通過和拒絕。每個狀態(tài)會產(chǎn)生不同工作。原始樣本需要授權(quán)和脫敏生成階段需要教師調(diào)用檢查階段需要腳本和規(guī)則人工通過才代表樣本可以進入當(dāng)前訓(xùn)練版本。預(yù)算項可以記錄樣本數(shù)量、平均輸入輸出、生成次數(shù)、重試量、合格率和人工處理時間。合格率只是項目觀察值不能預(yù)先寫成行業(yè)標(biāo)準(zhǔn)。第一批小樣本完成后再更新估算后續(xù)批次才有更可靠的依據(jù)。數(shù)據(jù)工程還包括去重、格式轉(zhuǎn)換、存儲和版本管理。若團隊計劃從線上日志持續(xù)補充樣本還要增加采集、脫敏和審批流程。一次性導(dǎo)出文件與長期數(shù)據(jù)管線的成本差別很大方案必須說明項目需要哪一種。數(shù)據(jù)表還應(yīng)記錄無法直接用金額表示的限制。某類樣本只能在內(nèi)網(wǎng)處理意味著教師調(diào)用方式和審核環(huán)境需要調(diào)整。部分數(shù)據(jù)需要領(lǐng)域?qū)＜抑饤l判斷普通標(biāo)注人員無法替代。某些歷史日志缺少任務(wù)標(biāo)簽團隊還要先恢復(fù)上下文。限制越晚被發(fā)現(xiàn)數(shù)據(jù)預(yù)算越容易失真。第二張表管理訓(xùn)練試驗訓(xùn)練費用要和實驗編號綁定。每次實驗記錄基礎(chǔ)模型、數(shù)據(jù)版本、配置、硬件、運行時長和結(jié)果。運行失敗也要保留因為它已經(jīng)消耗算力和工程時間還會影響后續(xù)配置選擇。項目初期可以設(shè)定探索預(yù)算限制同時比較的學(xué)生模型和配置。團隊先驗證模型能否學(xué)會關(guān)鍵任務(wù)再決定是否擴大數(shù)據(jù)。若一開始就跑完整數(shù)據(jù)任務(wù)或標(biāo)簽存在問題時昂貴訓(xùn)練只會更快地產(chǎn)生一個無法上線的結(jié)果。工程人力也應(yīng)列入訓(xùn)練表。環(huán)境搭建、依賴沖突、斷點恢復(fù)、模型保存和結(jié)果整理都需要時間。托管訓(xùn)練可以減少部分運維工作仍然需要有人檢查數(shù)據(jù)、配置和輸出。不能把平臺操作簡化當(dāng)成人力歸零。算力估算要分開訓(xùn)練資源和等待資源。團隊申請了一臺高規(guī)格機器數(shù)據(jù)還沒有準(zhǔn)備好空置時間同樣造成成本。多名工程師排隊使用同一環(huán)境也會拉長周期。預(yù)算表可以記錄資源預(yù)約時間、實際運行時間和失敗占用幫助下一階段選擇固定資源還是按需資源。第三張表覆蓋評測與驗收評測成本來自樣本、腳本和人的判斷。分類或抽取任務(wù)可以使用明確指標(biāo)開放生成任務(wù)常常還需要業(yè)務(wù)人員復(fù)核。嚴重錯誤要單獨統(tǒng)計不能被大量簡單樣本的平均分蓋住。預(yù)算表應(yīng)區(qū)分開發(fā)集和最終測試集。開發(fā)集可以用于調(diào)整方案最終測試集要減少反復(fù)查看造成的過擬合。若業(yè)務(wù)規(guī)則變化評測集也要維護。每次學(xué)生模型更新后基線、大模型兜底和新版本都需要重新比較。驗收還要覆蓋目標(biāo)硬件。離線分數(shù)達到要求模型可能因為內(nèi)存、上下文或推理框架無法部署。測試環(huán)境、壓測腳本和運維人員都屬于項目投入。把它們放到最后才申請預(yù)算會讓訓(xùn)練結(jié)果在等待部署時失去價值。評測數(shù)據(jù)本身也需要版本。業(yè)務(wù)團隊調(diào)整嚴重錯誤定義以后舊評測結(jié)果不能直接與新結(jié)果比較。企業(yè)應(yīng)保存題目、參考答案、評審規(guī)則和運行配置。若評測依賴大模型評分還要記錄評審模型與提示詞并安排人工校準(zhǔn)避免評審器變化制造虛假提升。第四張表記錄上線后的費用學(xué)生模型上線后會持續(xù)消耗推理資源。企業(yè)還要維護監(jiān)控、日志、版本和報警處理輸入分布變化。高風(fēng)險或超出任務(wù)邊界的請求需要轉(zhuǎn)給大模型或人工這部分流量不會消失。模型更新頻率與業(yè)務(wù)變化有關(guān)。標(biāo)簽、輸出字段或流程發(fā)生改變可能需要補數(shù)據(jù)、重新訓(xùn)練和回歸測試。知識內(nèi)容更新若由檢索系統(tǒng)承擔(dān)未必需要重訓(xùn)。預(yù)算應(yīng)把兩種變化區(qū)分開避免所有維護都被歸入模型訓(xùn)練。147AI可按項目條件提供從蒸餾數(shù)據(jù)準(zhǔn)備、教師調(diào)用、訓(xùn)練評測到部署落地的完整服務(wù)。企業(yè)評估外部方案時仍要要求報價對應(yīng)數(shù)據(jù)版本、訓(xùn)練實驗、評測材料和部署交付不能只寫一個總價。預(yù)算表最終要支持決策每項支出后面最好帶上驗收方式。教師調(diào)用對應(yīng)多少合格數(shù)據(jù)訓(xùn)練實驗留下哪些模型與記錄評測覆蓋哪些嚴重錯誤部署測試在哪種環(huán)境完成。支出無法對應(yīng)結(jié)果時管理層很難判斷項目是否值得繼續(xù)。預(yù)算表還可以增加計劃值、實際值和偏差原因。教師輸出過長、人工分歧增加、訓(xùn)練失敗或部署適配延后分別由不同負責(zé)人解釋。管理層看到偏差來源后才能決定追加資源、縮小范圍或終止當(dāng)前路線而不是簡單要求團隊壓縮所有費用。預(yù)算還應(yīng)設(shè)置階段上限和停止條件。樣本長期無法通過驗收學(xué)生在關(guān)鍵任務(wù)上沒有改善目標(biāo)環(huán)境無法運行候選模型都可以暫停下一階段。已整理的數(shù)據(jù)、評測集和失敗記錄仍可以用于后續(xù)方案。一張能持續(xù)更新的預(yù)算表比一個精確但缺少范圍的總數(shù)更有用。它讓業(yè)務(wù)、算法和運維看到自己的工作也讓老板知道追加預(yù)算究竟在解決哪個問題。