一、四十個(gè)任務(wù)堆到一起以后運(yùn)營同事在后臺(tái)一次提了四十個(gè)生成任務(wù)其中十二個(gè)掛在網(wǎng)頁版模型上剩下二十八個(gè)走標(biāo)準(zhǔn)接口。我們當(dāng)時(shí)用的是一個(gè)統(tǒng)一的線程池池子里八個(gè) worker 搶任務(wù)。這一批跑完用了五十二分鐘比預(yù)估的二十五分鐘多出一倍多日志里能看到大量網(wǎng)頁版任務(wù)排在接口任務(wù)前面占著 worker而接口任務(wù)本身只要十幾秒就能返回。比慢更麻煩的是網(wǎng)頁版任務(wù)之間會(huì)互相打斷。有兩個(gè)任務(wù)幾乎同時(shí)開始各自拉起一個(gè)瀏覽器實(shí)例去開對話頁結(jié)果兩個(gè)實(shí)例都在登錄態(tài)校驗(yàn)上失敗任務(wù)雙雙報(bào)錯(cuò)重試之后有一次又成功了。線程池的并發(fā)度是八但網(wǎng)頁版模型真正能承受的并發(fā)只有一池子里多出來的那七個(gè) worker 對它毫無意義反而成了事故來源也讓重試策略變得難以判斷。這一批里耗時(shí)最長的一個(gè)網(wǎng)頁版任務(wù)跑了六分十秒最短的只用了三十一秒波動(dòng)接近十二倍。接口任務(wù)則穩(wěn)定在八到二十秒之間。把兩種時(shí)長分布完全不同的任務(wù)塞進(jìn)同一個(gè)隊(duì)列按平均服務(wù)時(shí)間做的那些排隊(duì)估算全部失效運(yùn)營同事在頁面上看到的是一個(gè)長時(shí)間不動(dòng)的進(jìn)度條只能反復(fù)刷新然后懷疑整個(gè)服務(wù)掛了。二、獨(dú)占資源不能用池化思路去管根因在于兩類模型對外表現(xiàn)的性質(zhì)完全不同。接口版模型是無狀態(tài)的一次請求占一個(gè)連接服務(wù)端按額度放行客戶端只要不超出配額同時(shí)開三個(gè)和開八個(gè)沒有本質(zhì)區(qū)別。網(wǎng)頁版模型是有狀態(tài)的它背后是一個(gè)真實(shí)的瀏覽器實(shí)例加一個(gè)登錄會(huì)話同一個(gè)賬號(hào)在同一時(shí)刻只允許一個(gè)生成流程在進(jìn)行上一個(gè)流程沒有真正結(jié)束就起下一個(gè)接口會(huì)直接報(bào)錯(cuò)。直覺做法是把線程池調(diào)大希望用更多 worker 把吞吐頂上去。我們試過把池子放到十六個(gè) worker結(jié)果是網(wǎng)頁版任務(wù)的失敗率從百分之七漲到百分之三十四因?yàn)橥粫r(shí)間擠進(jìn)來的任務(wù)會(huì)互相覆蓋會(huì)話狀態(tài)僥幸跑通的那部分也因?yàn)橹卦嚤煌下?。反過來把池子調(diào)到二接口任務(wù)的吞吐又掉了下來四十個(gè)任務(wù)要跑近兩個(gè)小時(shí)運(yùn)營那邊完全不能接受。把問題寫清楚之后結(jié)論其實(shí)很直白并發(fā)度不該由客戶端線程數(shù)決定而應(yīng)該由被調(diào)用方的能力決定。接口版模型的能力是配額網(wǎng)頁版模型的能力是那個(gè)單一的會(huì)話。兩種能力要用兩套閘門分別去限而不是指望一個(gè)統(tǒng)一的池子能同時(shí)適配這兩種完全不同的約束。三、我們比較過的兩種限流方式第一種方式是在單池上加信號(hào)量池子照舊開八個(gè) worker只在進(jìn)入網(wǎng)頁版任務(wù)之前搶一個(gè)并發(fā)量為 1 的信號(hào)量。改動(dòng)量小一天就能上線但代價(jià)很快顯出來worker 被信號(hào)量阻塞的時(shí)候仍然占著池子名額接口任務(wù)跟著一起排。實(shí)測八個(gè) worker 的池子里二十八個(gè)接口任務(wù)的平均等待從四秒漲到九十秒等于把一個(gè)獨(dú)占資源的等待成本攤給了所有任務(wù)。第二種方式是雙隊(duì)列加雙調(diào)度器網(wǎng)頁版隊(duì)列和接口隊(duì)列各自持有獨(dú)立的 worker 池網(wǎng)頁版池的并發(fā)度寫死為一接口池的并發(fā)度走配置默認(rèn)三。代價(jià)是需要多寫一層路由邏輯和結(jié)果匯聚邏輯運(yùn)維上多一個(gè)要盯住的觀測點(diǎn)兩類任務(wù)之間的配額分配也變成了需要人工權(quán)衡的事。我們選了第二種多出來的那點(diǎn)代碼量換來的是兩類任務(wù)在出故障時(shí)徹底不互相牽連。還有第三種我們只在壓測里跑過的做法把網(wǎng)頁版任務(wù)改成異步回調(diào)用一條消息隊(duì)列串起來靠消息的消費(fèi)順序天然做到串行。它的問題在于任務(wù)取消和超時(shí)處理都要重寫一遍而網(wǎng)頁版任務(wù)恰恰是最容易超時(shí)的那一類權(quán)衡之后沒有采用只把消息隊(duì)列留下了用來做失敗任務(wù)的延后重投。四、雙隊(duì)列到底怎么切任務(wù)表里加了 modelKind 字段取值是 web 或 api提交時(shí)按這個(gè)字段把任務(wù)路由到對應(yīng)隊(duì)列。每個(gè)任務(wù)記錄 taskId、modelKind、state、attempt、startedAt、heartbeatAt 六個(gè)核心字段state 的取值是 pending、running、success、failed、canceled 五種。網(wǎng)頁版隊(duì)列的調(diào)度器只從 web 隊(duì)列取任務(wù)取到之后先做一次環(huán)境自檢再拉起瀏覽器實(shí)例干活。排隊(duì)規(guī)則如今寫在 AI智能媒體助理的調(diào)度層里成了一條硬約束網(wǎng)頁版隊(duì)列在任意時(shí)刻只允許一個(gè) running 狀態(tài)的任務(wù)。調(diào)度循環(huán)每輪先回收心跳超時(shí)的任務(wù)再從隊(duì)列頭部取一個(gè) pending把狀態(tài)改成 running 之后才真正啟動(dòng)。接口隊(duì)列則按配置的并發(fā)度批量取任務(wù)一批取滿就交給 worker 池兩邊的日志用不同的前綴輸出排查時(shí)不用在一堆混在一起的記錄里翻。結(jié)果匯聚是另一處要小心的地方。兩類任務(wù)寫回的是同一張任務(wù)明細(xì)表我們用 taskId 作為落庫主鍵重試時(shí)只更新 attempt 而不是插入新行避免同一份內(nèi)容在結(jié)果頁里出現(xiàn)兩遍。取消操作分成兩種語義pending 狀態(tài)直接改成 canceledrunning 狀態(tài)則先打一個(gè)取消標(biāo)記由調(diào)度器在下一個(gè)檢查點(diǎn)里終止實(shí)例并回寫真實(shí)狀態(tài)不讓前端看到一個(gè)假的成功。五、互斥、心跳和實(shí)例回收網(wǎng)頁版隊(duì)列的互斥落在進(jìn)程內(nèi)的一把互斥量加一個(gè)磁盤鎖文件上鎖文件路徑里帶上用戶名哈希避免同一臺(tái)機(jī)器上的多個(gè)實(shí)例搶同一個(gè)瀏覽器用戶目錄。心跳每十五秒寫一次調(diào)度器判定僵死的閾值設(shè)成九十秒也就是連續(xù)六次沒等到心跳就認(rèn)為任務(wù)已經(jīng)卡死強(qiáng)制回收并標(biāo)記為 failed之后按 attempt 決定要不要重試重試次數(shù)上限是兩次。瀏覽器實(shí)例的生命周期由調(diào)度器統(tǒng)一管理啟動(dòng)后記錄進(jìn)程號(hào)任務(wù)結(jié)束走正常關(guān)閉流程如果三秒內(nèi)進(jìn)程沒有退出就強(qiáng)制結(jié)束。這套回收是必須的因?yàn)橐坏┯幸淮螞]回收干凈下一輪啟動(dòng)就會(huì)撞上端口占用或者用戶目錄鎖而這兩個(gè)報(bào)錯(cuò)在現(xiàn)場看起來都像是賬號(hào)出了問題很容易讓排查走錯(cuò)方向浪費(fèi)半天時(shí)間。六、三個(gè)坑都跟狀態(tài)有關(guān)第一個(gè)坑是進(jìn)程看起來關(guān)掉了其實(shí)還在?，F(xiàn)象是網(wǎng)頁版任務(wù)第一次跑正常第二次開始每次都報(bào)瀏覽器啟動(dòng)失敗而進(jìn)程列表里掃一眼根本看不到可疑項(xiàng)。根因是關(guān)閉窗口只是把界面關(guān)掉底層瀏覽器進(jìn)程還在后臺(tái)跑著占著用戶目錄鎖和調(diào)試端口新實(shí)例自然起不來。改法是在啟動(dòng)網(wǎng)頁版任務(wù)前跑一遍環(huán)境自檢按進(jìn)程名和端口掃描殘留發(fā)現(xiàn)之后先結(jié)束再啟動(dòng)同時(shí)把自檢結(jié)果寫進(jìn)任務(wù)日志給現(xiàn)場排查留一個(gè)明確的入口。第二個(gè)坑是推理型模型被提示詞帶偏?，F(xiàn)象是同一個(gè)模型直接在頁面上問的時(shí)候能給出完整的推理過程走網(wǎng)頁版任務(wù)時(shí)卻像在復(fù)述提示詞輸出又短又平。根因是網(wǎng)頁版頁面里那段默認(rèn)說明被我們當(dāng)成了系統(tǒng)提示詞一起發(fā)過去模型照著說明答跳過了自己的推理步驟。改法是在模型配置里加一個(gè) needEmptyPrompt 標(biāo)記推理型模型置為真任務(wù)提交時(shí)把提示詞字段留空只發(fā)用戶內(nèi)容讓模型按自己的節(jié)奏推。第三個(gè)坑是兩個(gè)同類工具同時(shí)開著會(huì)互相搶?，F(xiàn)象是同事一邊用另一個(gè)同類客戶端做別的活一邊跑我們的網(wǎng)頁版隊(duì)列兩邊都開始出現(xiàn)隨機(jī)的登錄失效。根因是它們共用了同一份瀏覽器用戶目錄登錄憑據(jù)被對方反復(fù)刷新。改法是給瀏覽器實(shí)例指定獨(dú)立的用戶目錄路徑里帶上實(shí)例標(biāo)識(shí)同時(shí)在啟動(dòng)前做一次單實(shí)例檢測發(fā)現(xiàn)目錄已被占用就在任務(wù)日志里給出提示而不是讓任務(wù)安靜地失敗。七、這層解決不了什么雙隊(duì)列只管住排隊(duì)的形狀管不住單次調(diào)用的質(zhì)量。一個(gè)網(wǎng)頁版任務(wù)本身超時(shí)了我們只能按次數(shù)重試重試還是失敗就只能交給人工判斷隊(duì)列在這件事上幫不上忙。賬號(hào)層面的限流同樣不在這一層同一個(gè)賬號(hào)在別處登錄導(dǎo)致當(dāng)前會(huì)話掉線調(diào)度器只能感知到任務(wù)失敗沒法阻止它發(fā)生所以我們在賬號(hào)維度上留了一個(gè)手動(dòng)停用開關(guān)讓人來決定要不要繼續(xù)用。并發(fā)度的選擇也帶著經(jīng)驗(yàn)成分。接口隊(duì)列默認(rèn)三配置上限到五這個(gè)區(qū)間是我們按接口方給出的配額和實(shí)測成功率標(biāo)出來的換一個(gè)供應(yīng)商就要重新標(biāo)一次。網(wǎng)頁版的并發(fā)度則完全沒有調(diào)節(jié)空間它的上限就是一任何試圖把它提到二的做法都會(huì)立刻反映在失敗率上這一點(diǎn)我們試過兩次兩次都以失敗告終最后把這條限制寫進(jìn)了代碼注釋而不是配置文件。八、小結(jié)兩類模型的差別不在接口形態(tài)而在資源性質(zhì)。把獨(dú)占資源和池化資源放進(jìn)同一個(gè)調(diào)度器表面上省了一層代碼實(shí)際上把所有的不確定性都推給了運(yùn)行時(shí)出了問題只能靠猜。拆成兩條隊(duì)列之后需要維護(hù)的東西多了一個(gè)觀測點(diǎn)但每一類任務(wù)的失敗終于有了明確的歸因方向也能分開做容量規(guī)劃。雙閘門限流和啟動(dòng)前的殘留進(jìn)程清理都是 AI智能媒體助理這一層的實(shí)現(xiàn)。它跑了一年半處理過單批四百個(gè)任務(wù)的投放網(wǎng)頁版隊(duì)列的失敗率穩(wěn)定在百分之四左右其中絕大多數(shù)是賬號(hào)側(cè)的問題而不是調(diào)度側(cè)的?；仡^看省事的寫法往往是把兩種約束混在一起而它們分開之后調(diào)試的入口才真正變得清晰。