前兩天有位做企業(yè)服務(wù)的讀者跟老王聊說(shuō)他們團(tuán)隊(duì)花了三個(gè)月做的第一個(gè)Agent上線兩周就下了線。原因不復(fù)雜客戶詢問(wèn)某個(gè)新功能是否支持Agent特別篤定地回答“支持”還順手給出了一套操作步驟產(chǎn)品經(jīng)理一核對(duì)這個(gè)功能根本不存在。這種情況放在2026年已經(jīng)是企業(yè)落地AI時(shí)最常見的高頻翻車現(xiàn)場(chǎng)。我的一個(gè)明顯體感是去年大家聊Agent聊的是“能不能做”今年大家問(wèn)的幾乎全是“做完怎么不翻車”。翻車的根源就是AI幻覺。這篇我把企業(yè)場(chǎng)景下幻覺的成因、舊辦法為什么治不了本、以及我跑過(guò)幾個(gè)項(xiàng)目后沉淀的結(jié)構(gòu)性解法完整寫出來(lái)給已經(jīng)上車或正準(zhǔn)備上車的團(tuán)隊(duì)做個(gè)參考。1. 先認(rèn)清病灶2026年的企業(yè)幻覺到底是怎么發(fā)生的1.1 幻覺不是大模型犯傻是三類錯(cuò)誤在交錯(cuò)很多人一提到幻覺就認(rèn)為是大模型“知識(shí)不夠”或者“太愛編”。實(shí)際上落到企業(yè)系統(tǒng)里幻覺至少分三類表現(xiàn)完全不同治理手段也完全不一樣。第一類是知識(shí)性幻覺也就是模型確實(shí)不知道答案但為了保持對(duì)話流暢它生成了一個(gè)聽起來(lái)合理的回答。比如業(yè)務(wù)人員問(wèn)Agent“去年Q3華東區(qū)的退貨率是多少”這個(gè)數(shù)據(jù)既不在模型的訓(xùn)練語(yǔ)料里Agent又沒(méi)有接上數(shù)據(jù)系統(tǒng)它就根據(jù)其他季度或者其他區(qū)域的數(shù)據(jù)“推測(cè)”出一個(gè)數(shù)還說(shuō)得有鼻子有眼。這叫編造事實(shí)。第二類是忠實(shí)性幻覺模型拿到了準(zhǔn)確信息但在生成回答時(shí)把信息“說(shuō)走樣”了。比如工具接口明明返回“庫(kù)存32件”Agent卻在回答里寫成“庫(kù)存充足可以放心下單”知識(shí)庫(kù)里寫著“售后服務(wù)僅面向企業(yè)年費(fèi)客戶”模型回答時(shí)卻丟掉了“年費(fèi)”這個(gè)前置條件。這叫事實(shí)扭曲。它比編造更隱蔽因?yàn)閬?lái)源是對(duì)的錯(cuò)在生成環(huán)節(jié)。第三類是邏輯性幻覺常見于多步驟推理或多次工具調(diào)用的鏈路里。Agent先查匯率再算稅額最后生成財(cái)務(wù)摘要任何一步取錯(cuò)值、用錯(cuò)參數(shù)后面幾步全都跟著錯(cuò)但模型不會(huì)中途停下來(lái)承認(rèn)錯(cuò)誤它會(huì)非常自信地沿著錯(cuò)誤路徑繼續(xù)輸出。這類問(wèn)題在純問(wèn)答場(chǎng)景下很少見一旦進(jìn)入Agent多步任務(wù)就成了主要翻車來(lái)源。把大模型類比成一個(gè)口才極好的實(shí)習(xí)生它最大的問(wèn)題不是不懂而是不懂時(shí)寧可現(xiàn)編也不愿意說(shuō)“我不知道”。企業(yè)環(huán)境恰恰最不能容忍這種“裝懂”。理解了三類幻覺的差異后面所有方案才有落腳點(diǎn)。1.2 Agent場(chǎng)景把幻覺概率放大了十倍單輪問(wèn)答的幻覺大家多少有點(diǎn)心理準(zhǔn)備。但Agent讓問(wèn)題嚴(yán)重了一個(gè)量級(jí)原因是多步任務(wù)的錯(cuò)誤會(huì)累積。假設(shè)模型在單步工具調(diào)用中的事實(shí)出錯(cuò)概率只有1%看起來(lái)很低對(duì)吧一個(gè)需要調(diào)用五步工具的Agent任務(wù)鏈路完整走對(duì)的概率是99%的5次方約等于95.1%如果任務(wù)復(fù)雜到需要十步調(diào)用完整走對(duì)的概率就降到90.4%。這意味著每十個(gè)復(fù)雜任務(wù)就可能有一個(gè)在某個(gè)環(huán)節(jié)悄悄出錯(cuò)。而且Agent出錯(cuò)有一個(gè)特點(diǎn)前半段越順利后半段模型越自信用戶很難在結(jié)果里察覺中間哪一步偏了。2026年的企業(yè)場(chǎng)景里還有三個(gè)放大器在起作用。第一是企業(yè)私有術(shù)語(yǔ)多。訓(xùn)練語(yǔ)料里幾乎沒(méi)有公司內(nèi)部的產(chǎn)品名、流程名、部門縮寫模型遇到“某某系統(tǒng)”“某某單號(hào)”時(shí)沒(méi)有可靠記憶只能靠語(yǔ)義相近的詞去猜而猜測(cè)正是幻覺的溫床。第二是多系統(tǒng)信息沖突。同一個(gè)客戶在CRM里是“已簽約”在售后系統(tǒng)里卻是“已到期”Agent檢索到兩條互相矛盾的數(shù)據(jù)后通常會(huì)選擇描述更詳細(xì)的一條而詳細(xì)的那條往往恰恰是舊狀態(tài)。模型沒(méi)有業(yè)務(wù)判斷力它只會(huì)挑“看起來(lái)更可信”的。第三是Agent的設(shè)計(jì)趨向于“自主”。為了讓Agent顯得聰明很多團(tuán)隊(duì)刪掉了人工確認(rèn)環(huán)節(jié)讓它在一次任務(wù)里連續(xù)改寫、連續(xù)決策。模型一旦在沒(méi)有校驗(yàn)的情況下自由發(fā)揮幻覺就從偶發(fā)變成了系統(tǒng)性問(wèn)題。所以我的結(jié)論很直接幻覺不是某個(gè)模型升級(jí)就能解決的因?yàn)槟Ｐ吞烊徊欢愕臉I(yè)務(wù)事實(shí)。這是一個(gè)結(jié)構(gòu)性問(wèn)題必須用結(jié)構(gòu)性解法來(lái)應(yīng)對(duì)。2. 為什么“加個(gè)RAG、多寫Prompt”治不了幻覺2.1 RAG不是銀彈檢索相關(guān)不等于事實(shí)正確這幾年RAG幾乎是企業(yè)做AI的標(biāo)配思路是先把文檔切碎存進(jìn)向量庫(kù)用戶提問(wèn)時(shí)檢索相關(guān)內(nèi)容再拼進(jìn)Prompt讓模型參考。聽起來(lái)很合理但實(shí)際跑下來(lái)它只是部分改善了“無(wú)中生有”遠(yuǎn)沒(méi)到“事實(shí)可信”的程度。第一個(gè)問(wèn)題是檢索噪聲。向量檢索比的只是語(yǔ)義相似度語(yǔ)義相似不等于事實(shí)正確。你問(wèn)“取消訂單的流程”它召回的可能是一份“退款流程”文檔兩段文字在表達(dá)上確實(shí)很像但講的是另一套業(yè)務(wù)規(guī)則。模型拿著這份文檔當(dāng)依據(jù)自然就回答偏了。第二個(gè)問(wèn)題是分塊不科學(xué)。很多團(tuán)隊(duì)圖省事用固定長(zhǎng)度切文檔比如512字一塊。一段完整的業(yè)務(wù)規(guī)則如果被攔腰斬?cái)嗪蟀雺K缺少前提條件模型只能靠上下文腦補(bǔ)。腦補(bǔ)出來(lái)的內(nèi)容看起來(lái)通順其實(shí)前提錯(cuò)位。第三個(gè)問(wèn)題是知識(shí)版本沖突。企業(yè)知識(shí)庫(kù)更新頻繁新功能上線后產(chǎn)品文檔沒(méi)同步或者數(shù)據(jù)庫(kù)里的規(guī)則還是舊版本RAG檢索回來(lái)的就是過(guò)期事實(shí)。模型不知道哪個(gè)版本是當(dāng)前的它只會(huì)照著檢索到的內(nèi)容回答。所以RAG的本質(zhì)是“給模型一沓參考資料”而不是“給模型裝事實(shí)護(hù)欄”。參考資料本身有錯(cuò)、有過(guò)期、有沖突模型照樣會(huì)把錯(cuò)的說(shuō)成對(duì)的。2.2 Prompt工程和微調(diào)邊際效應(yīng)已經(jīng)非常明顯前兩年流行“把問(wèn)題都寫進(jìn)Prompt里”比如“請(qǐng)嚴(yán)格基于以下資料回答不要編造”。我見過(guò)團(tuán)隊(duì)在系統(tǒng)提示詞里寫了幾百字的防幻覺要求實(shí)測(cè)下來(lái)該錯(cuò)還是錯(cuò)。原因很簡(jiǎn)單Prompt只能影響模型的表達(dá)傾向無(wú)法約束它的事實(shí)來(lái)源。模型可能確實(shí)會(huì)增加引用來(lái)源但資料本身錯(cuò)了它引用錯(cuò)資料照樣信心滿滿更麻煩的是它還可能出現(xiàn)“張冠李戴”把資料A的事實(shí)安到問(wèn)題B上。長(zhǎng)Prompt就一定會(huì)被遵守這是錯(cuò)覺。微調(diào)的路子同樣不好走。為了壓幻覺去做微調(diào)首先得準(zhǔn)備大量高質(zhì)量的業(yè)務(wù)標(biāo)注數(shù)據(jù)標(biāo)注本身昂貴且容易出錯(cuò)標(biāo)錯(cuò)一條等于教會(huì)模型一條錯(cuò)誤事實(shí)。其次微調(diào)改變的是模型權(quán)重它會(huì)帶來(lái)不可控的副作用比如通用能力回退、生成風(fēng)格變化。最要命的是微調(diào)后的模型很難審計(jì)出了問(wèn)題你甚至說(shuō)不清是訓(xùn)練數(shù)據(jù)帶偏的還是權(quán)重更新引入的。這幾年我越來(lái)越傾向于一個(gè)判斷幻覺的單點(diǎn)補(bǔ)丁時(shí)代已經(jīng)過(guò)去了。RAG、Prompt、微調(diào)都是必要的組件但它們解決不了“系統(tǒng)級(jí)可信”的問(wèn)題。要讓Agent在企業(yè)場(chǎng)景里真正可用必須把幻覺治理從“模型層”上移到“架構(gòu)層”和“流程層”。3. 結(jié)構(gòu)性解法把幻覺防治拆成三層防線所謂結(jié)構(gòu)性解法核心思路不是“換一個(gè)更能避免幻覺的模型”而是讓系統(tǒng)在“生成前”“生成中”“生成后”都有攔截點(diǎn)和校驗(yàn)位。我習(xí)慣把它拆成三層防線。3.1 第一層用“可引用知識(shí)單元”管住事實(shí)來(lái)源第一層防線解決的是“模型拿什么當(dāng)依據(jù)”的問(wèn)題。傳統(tǒng)RAG最大的問(wèn)題在于知識(shí)是被動(dòng)檢索、零散使用的模型拿到什么算什么。我的做法是反過(guò)來(lái)的先建立企業(yè)知識(shí)基座把知識(shí)整理成結(jié)構(gòu)化的“可引用知識(shí)單元”每個(gè)單元都自帶元數(shù)據(jù)。一個(gè)知識(shí)單元不是一段隨便切的文本而是一條完整的業(yè)務(wù)事實(shí)它必須至少包含四個(gè)字段單元ID、知識(shí)內(nèi)容、生效版本、適用條件。舉個(gè)具體例子產(chǎn)品說(shuō)明里有一句話“家庭版賬號(hào)最多支持5個(gè)成員”這可以是一個(gè)知識(shí)單元它帶著“家庭版、2026-01版本、適用于新增購(gòu)買用戶”這些元數(shù)據(jù)。當(dāng)Agent生成回答時(shí)凡是涉及事實(shí)的斷言都必須攜帶知識(shí)單元ID。這就像一位嚴(yán)謹(jǐn)?shù)膶＜以诮忉尳Y(jié)論時(shí)會(huì)說(shuō)“這個(gè)數(shù)字來(lái)自某份報(bào)表第幾頁(yè)”回答本身就帶著出處。實(shí)際操作中知識(shí)治理有三件事必須做透。第一是文檔清洗PDF導(dǎo)出的內(nèi)容往往有頁(yè)眉頁(yè)腳、表格亂碼、嵌入圖片里的文字無(wú)法提取這些臟數(shù)據(jù)直接進(jìn)向量庫(kù)檢索命中率高但內(nèi)容不可用。第二是語(yǔ)義分塊代替定長(zhǎng)分塊遇到“前提條件”“適用范圍”這類關(guān)鍵信息寧可讓一個(gè)單元長(zhǎng)一些也不能把它劈成兩半。第三是版本控制和權(quán)限隔離Agent只能檢索當(dāng)前生效版本的知識(shí)銷售Agent不能檢索研發(fā)內(nèi)部文檔這既是安全要求也是減少跨域噪聲的關(guān)鍵手段。注意知識(shí)單元化改造本質(zhì)上是把“給模型喂資料”升級(jí)為“給模型配可追溯的事實(shí)源”。這一步最枯燥但也是后面所有防線能夠生效的前提。3.2 第二層在Agent執(zhí)行鏈路里嵌推理護(hù)欄第二層防線解決的是“模型邊說(shuō)邊錯(cuò)”的問(wèn)題也就是在生成和執(zhí)行過(guò)程中強(qiáng)制加入校驗(yàn)邏輯不讓模型裸奔輸出。一個(gè)企業(yè)Agent不管看起來(lái)多“智能”內(nèi)部執(zhí)行鏈路里至少要有三道硬性護(hù)欄。第一道是工具調(diào)用校驗(yàn)。給Agent定義工具時(shí)不僅僅是寫一段“工具描述”還要用嚴(yán)格的參數(shù)Schema約束輸入輸出。比如查詢庫(kù)存的工具輸入必須是合法的SKU編碼格式輸出必須是結(jié)構(gòu)化JSON如果模型傳進(jìn)來(lái)的參數(shù)不合法工具應(yīng)該直接拒絕執(zhí)行并返回錯(cuò)誤而不是模糊地“再試一次”。第二道是反事實(shí)生成校驗(yàn)。Agent在生成關(guān)鍵事實(shí)斷言之前要強(qiáng)制做一次自反檢把這條斷言拆成幾個(gè)可驗(yàn)證的聲明轉(zhuǎn)成檢索查詢?cè)倩刂R(shí)單元里核對(duì)。這一步可以寫成一個(gè)獨(dú)立的驗(yàn)證器模塊和主生成模型解耦。def verify_claim(claim, knowledge_units, retriever): # 將斷言轉(zhuǎn)成檢索查詢 query claim_to_query(claim) hits retriever.retrieve(query, top_k5) if not hits: return {pass: False, reason: no_source} # 對(duì)每個(gè)候選知識(shí)單元做聲明級(jí)一致性檢查 for unit in hits: if is_entailed(claim, unit.content, verifier_model): return {pass: True, source_id: unit.id, version: unit.version} # 有候選但無(wú)法佐證說(shuō)明存在沖突 return { pass: False, reason: contradiction, candidates: [unit.id for unit in hits], }這段偽代碼看著簡(jiǎn)單卻是整個(gè)Agent架構(gòu)里最關(guān)鍵的一個(gè)環(huán)節(jié)。它把“模型說(shuō)出來(lái)的話”從不可驗(yàn)證的文本變成了可以查詢、可以比對(duì)、可以拒絕執(zhí)行的對(duì)象。驗(yàn)證器模型可以選一個(gè)小一點(diǎn)的專用模型單獨(dú)訓(xùn)練或單獨(dú)調(diào)用盡量不要和主生成模型混在一起否則會(huì)互相干擾。第三道是降級(jí)路徑。當(dāng)工具返回異常、檢索結(jié)果為空、驗(yàn)證器判定“無(wú)法證實(shí)”時(shí)Agent絕對(duì)不能自由發(fā)揮。系統(tǒng)應(yīng)該硬編碼觸發(fā)降級(jí)路徑明確回復(fù)“我暫時(shí)無(wú)法確認(rèn)這個(gè)信息需要為您轉(zhuǎn)接人工”或者輸出一個(gè)預(yù)設(shè)的保守口徑。很多團(tuán)隊(duì)覺得這樣“顯得Agent笨”但老王在項(xiàng)目里見過(guò)太多企業(yè)恰恰是因?yàn)锳gent在不確定時(shí)選擇了“顯得聰明”才付出了極高的售后成本。3.3 第三層事后可觀測(cè)與自動(dòng)化審計(jì)第三層防線是兜底。再好的前置校驗(yàn)也沒(méi)法做到100%攔截所以必須讓每一次幻覺都有跡可循能夠被快速發(fā)現(xiàn)、快速定位、快速修復(fù)。實(shí)操層面需要給Agent的每一次回答都打上traceID記錄生成回答時(shí)使用的Prompt版本、模型版本、檢索到的知識(shí)單元、工具返回的原始數(shù)據(jù)以及驗(yàn)證器的判定結(jié)果。這些信息全部寫入日志系統(tǒng)一旦用戶投訴內(nèi)容有誤直接用traceID就能還原當(dāng)時(shí)的完整上下文而不是靠復(fù)述“當(dāng)時(shí)它好像說(shuō)了什么”。光有日志還不夠得把它變成可量化的監(jiān)控指標(biāo)。我團(tuán)隊(duì)在項(xiàng)目里重點(diǎn)跟蹤三個(gè)數(shù)無(wú)引用率回答里沒(méi)有來(lái)源引用的斷言比例這個(gè)數(shù)字高說(shuō)明模型在“自由發(fā)揮”。引用沖突率回答內(nèi)容與所綁定知識(shí)單元明顯不一致的比例這是忠實(shí)性幻覺的直接信號(hào)。人工修正率用戶或客服對(duì)Agent回答進(jìn)行糾錯(cuò)的頻率它是幻覺對(duì)業(yè)務(wù)產(chǎn)生實(shí)際影響的最真實(shí)指標(biāo)。這三個(gè)指標(biāo)配上自動(dòng)告警比如引用沖突率超過(guò)2%就立刻暫停高風(fēng)險(xiǎn)場(chǎng)景的Agent流量就構(gòu)成了一個(gè)可以持續(xù)運(yùn)營(yíng)的幻覺監(jiān)控閉環(huán)。再加上一個(gè)回歸評(píng)測(cè)集每次更換模型、調(diào)整Prompt、更新知識(shí)庫(kù)之后都自動(dòng)跑一遍才能防止“修好了A問(wèn)題的同時(shí)弄壞了B問(wèn)題”。4. 落地全指南從評(píng)測(cè)集到上線的八個(gè)關(guān)鍵環(huán)節(jié)三層防線是架構(gòu)層面的解法但真正落地時(shí)會(huì)發(fā)現(xiàn)工程細(xì)節(jié)比架構(gòu)更磨人。我把完整落地流程拆成八個(gè)關(guān)鍵環(huán)節(jié)按順序做能少走很多彎路。4.1 先建幻覺評(píng)測(cè)集而不是先調(diào)模型很多團(tuán)隊(duì)一上來(lái)就調(diào)Prompt、換模型折騰一個(gè)星期后自我感覺良好上線卻翻車。原因是缺少一把“尺子”。正確的第一步是建立一套面向自身業(yè)務(wù)的幻覺評(píng)測(cè)集。從真實(shí)的客服對(duì)話、銷售問(wèn)題、工單記錄里抽300到500條作為種子問(wèn)題刻意覆蓋三類純知識(shí)問(wèn)答產(chǎn)品規(guī)則、政策說(shuō)明、工具調(diào)用類查庫(kù)存、查訂單狀態(tài)、多跳推理類算報(bào)價(jià)、生成匯報(bào)摘要。每條問(wèn)題都要標(biāo)注三樣?xùn)|西標(biāo)準(zhǔn)答案、可接受區(qū)間、禁區(qū)。標(biāo)準(zhǔn)答案用于判斷回答是否準(zhǔn)確可接受區(qū)間放行那些表達(dá)不同但不影響業(yè)務(wù)理解的回答禁區(qū)是絕對(duì)不能碰錯(cuò)的紅線比如財(cái)務(wù)金額、安全參數(shù)、法律條款。同時(shí)給幻覺分分級(jí)S級(jí)是財(cái)務(wù)、安全、法律等高風(fēng)險(xiǎn)類信息錯(cuò)誤A級(jí)是產(chǎn)品功能錯(cuò)誤B級(jí)是表述不精確但不誤導(dǎo)。不同級(jí)別對(duì)應(yīng)不同的處理策略S級(jí)出錯(cuò)立刻阻斷A級(jí)出錯(cuò)標(biāo)記人工復(fù)審B級(jí)允許事后改進(jìn)。有了評(píng)測(cè)集和分級(jí)標(biāo)準(zhǔn)后續(xù)所有技術(shù)決策都有了客觀依據(jù)。4.2 知識(shí)治理、工具邊界與降級(jí)策略評(píng)測(cè)集建好之后第二步就是做知識(shí)治理。把將要接入Agent的所有文檔過(guò)一遍做三件事格式清洗、語(yǔ)義分塊、元數(shù)據(jù)打標(biāo)。這里要特別提醒知識(shí)治理千萬(wàn)不要試圖“一步到位”先挑業(yè)務(wù)價(jià)值最高、結(jié)構(gòu)最規(guī)整的三大類文檔做試點(diǎn)比如產(chǎn)品手冊(cè)、售后服務(wù)政策、訂單處理規(guī)范。跑通一個(gè)流程比把所有文檔一次性改造完再上線要?jiǎng)?wù)實(shí)得多。第三步是定義工具邊界。一件很重要的事是明確告訴Agent“哪些問(wèn)題必須通過(guò)工具獲取答案”。訂單狀態(tài)、庫(kù)存數(shù)量、物流軌跡凡是系統(tǒng)里有數(shù)據(jù)的事實(shí)型問(wèn)題一律不允許模型直接回答必須走工具查詢。工具的結(jié)果如果為空就按降級(jí)策略處理模型不能替數(shù)據(jù)系統(tǒng)回答。降級(jí)策略不是一句“抱歉我無(wú)法回答”這么簡(jiǎn)單它是一套預(yù)置話術(shù)和流轉(zhuǎn)邏輯。比如客服Agent在無(wú)法確認(rèn)寄送時(shí)效時(shí)話術(shù)可以是“當(dāng)前物流系統(tǒng)暫時(shí)無(wú)法返回準(zhǔn)確的時(shí)效信息我為您轉(zhuǎn)接人工客服進(jìn)一步確認(rèn)”同時(shí)后臺(tái)自動(dòng)創(chuàng)建一條轉(zhuǎn)人工工單把上下文一起帶過(guò)去。4.3 驗(yàn)證器、人工兜底與持續(xù)巡檢第四步是設(shè)計(jì)驗(yàn)證器接入點(diǎn)。不是所有回答都值得做代價(jià)高的反事實(shí)校驗(yàn)成本高且影響響應(yīng)速度。我的做法是“分級(jí)校驗(yàn)”S級(jí)和A級(jí)斷言強(qiáng)制過(guò)驗(yàn)證器B級(jí)斷言抽樣過(guò)金融、醫(yī)療、生產(chǎn)制造等高風(fēng)險(xiǎn)場(chǎng)景全量校驗(yàn)普通知識(shí)問(wèn)答場(chǎng)景按10%比例抽取。第五步是部署Human-in-the-loop。即便有驗(yàn)證器企業(yè)也應(yīng)該保留人工確認(rèn)位。比如Agent在輸出“已為您退款”這類不可逆操作之前必須先彈一個(gè)確認(rèn)消息給用戶或客服人員得到明確授權(quán)后工具才執(zhí)行。這個(gè)確認(rèn)位不是為了讓Agent顯得低能而是把極端情況下的責(zé)任邊界劃清楚。第六步是搭建可觀測(cè)平臺(tái)。前文提到的traceID、監(jiān)控指標(biāo)、告警閾值都要在代碼層面落地不要等出事了再補(bǔ)日志。第七步是灰度與A/B評(píng)測(cè)。上線時(shí)不要全量開放先拿5%到10%的真實(shí)流量灰度一周對(duì)比四個(gè)數(shù)人工解決率、用戶投訴率、幻覺上報(bào)率、任務(wù)完成率?；叶葦?shù)據(jù)比任何內(nèi)部測(cè)試都有說(shuō)服力。第八步是持續(xù)巡檢與回歸。每周抽測(cè)近期真實(shí)對(duì)話每月跑一次完整Golden Set回歸每次知識(shí)庫(kù)或模型更新后強(qiáng)制跑回歸?；糜X治理不是一個(gè)上線即結(jié)束的項(xiàng)目它是一個(gè)和業(yè)務(wù)一起持續(xù)演進(jìn)的運(yùn)營(yíng)過(guò)程。5. 我踩過(guò)的坑常見幻覺故障與排查實(shí)錄5.1 四個(gè)高頻翻車現(xiàn)場(chǎng)項(xiàng)目做多了發(fā)現(xiàn)企業(yè)Agent的幻覺故障其實(shí)高度重復(fù)翻來(lái)覆去就是那幾類。場(chǎng)景一檢索命中但答非所問(wèn)。Agent確實(shí)召回了知識(shí)庫(kù)的內(nèi)容但回答的內(nèi)容和用戶問(wèn)題對(duì)不上。做過(guò)一次根因分析發(fā)現(xiàn)是分塊策略問(wèn)題那段業(yè)務(wù)規(guī)則的前提條件在上一塊文本里模型只看到了后半段自然理解偏了。解決方法是改成按業(yè)務(wù)語(yǔ)義邊界分塊并在每個(gè)知識(shí)單元里顯式寫入適用條件。場(chǎng)景二工具數(shù)據(jù)被“口語(yǔ)化”改到失真。工具返回“庫(kù)存32件”Agent回答“庫(kù)存充足”。這類問(wèn)題出現(xiàn)頻率非常高原因是Agent的生成層對(duì)數(shù)值做了“概括式改寫”。我們的解法很粗暴關(guān)鍵業(yè)務(wù)數(shù)值根本不允許經(jīng)過(guò)口語(yǔ)化改寫層直接用模板語(yǔ)法把工具返回值嵌入回答比如“當(dāng)前庫(kù)存為{{stock_count}}件”。場(chǎng)景三多跳推理里張冠李戴。Agent先查了客戶A的欠款再匯總生成催收摘要結(jié)果把客戶B的金額算進(jìn)了客戶A名下。排查后發(fā)現(xiàn)問(wèn)題是第二步的中間變量沒(méi)有綁定來(lái)源標(biāo)識(shí)。后來(lái)的修改是要求每一步工具調(diào)用結(jié)果都保留原始字段來(lái)源摘要生成時(shí)強(qiáng)制引用對(duì)應(yīng)字段ID。場(chǎng)景四Agent在不確定時(shí)硬要回答。工具超時(shí)、返回空數(shù)組、知識(shí)庫(kù)沒(méi)有命中但Agent還是給了用戶一個(gè)貌似合理的答案。根因是鏈路里缺少顯式的“我不知道”路徑。后來(lái)把降級(jí)策略做成了硬編碼分支一旦觸發(fā)異常狀態(tài)根本不給模型自由生成的機(jī)會(huì)。| 故障現(xiàn)象 | 根因 | 解法 | 預(yù)防優(yōu)先級(jí) | | 檢索命中但答非所問(wèn) | 分塊切斷前提條件 | 語(yǔ)義分塊并寫入適用條件 | 高 | | 工具數(shù)據(jù)被概括性改寫 | 生成層對(duì)數(shù)值做過(guò)度的自由改寫 | 關(guān)鍵數(shù)值走模板直引 | 高 | | 多跳推理張冠李戴 | 中間變量缺失來(lái)源標(biāo)識(shí) | 每一步結(jié)果綁定字段ID | 中 | | 不確定時(shí)硬要回答 | 缺少降級(jí)路徑 | 異常狀態(tài)硬編碼轉(zhuǎn)人工 | 極高 |5.2 排查五步法與避坑經(jīng)驗(yàn)團(tuán)隊(duì)如果遇到疑似幻覺問(wèn)題我的建議是別憑感覺修Prompt按固定套路排查效率高得多。第一步復(fù)現(xiàn)問(wèn)題并拿到traceID。沒(méi)有traceID的幻覺問(wèn)題基本只能靠猜難有結(jié)論。第二步比對(duì)引用來(lái)源檢查回答中聲稱引用的知識(shí)單元ID是否真實(shí)存在、版本是否為當(dāng)前生效版本。第三步檢查工具返回的原始數(shù)據(jù)將原始JSON與Agent最終回答逐一比對(duì)看改動(dòng)了什么。第四步單獨(dú)觸發(fā)驗(yàn)證器把有問(wèn)題的斷言丟給驗(yàn)證器重新核驗(yàn)判斷是驗(yàn)證器漏了還是壓根沒(méi)走驗(yàn)證流程。第五步無(wú)論結(jié)論如何都要在評(píng)測(cè)集里新增一條回歸用例確保同樣的問(wèn)題下次能被攔截住。排查中還要強(qiáng)調(diào)三個(gè)避坑經(jīng)驗(yàn)。一是不要太信任模型的置信度分?jǐn)?shù)。有的模型在生成幻覺內(nèi)容時(shí)同樣會(huì)給一個(gè)極高的置信度這個(gè)分?jǐn)?shù)不能作為答案可信度的主要依據(jù)最多只能做參考。二是不要把所有知識(shí)塞進(jìn)同一個(gè)向量庫(kù)就完事?；旌隙鄻I(yè)務(wù)域的知識(shí)會(huì)顯著增加檢索噪聲至少按產(chǎn)品線、業(yè)務(wù)域拆分索引必要時(shí)加業(yè)務(wù)過(guò)濾器讓Agent只在當(dāng)前上下文所屬的范圍內(nèi)檢索。三是不要只在Prompt里寫“不要幻覺”。這句指令幾乎無(wú)效因?yàn)槟Ｐ蜎](méi)有能力判斷自己哪句話是幻覺。要實(shí)現(xiàn)可信輸出靠的是強(qiáng)制的工具校驗(yàn)、驗(yàn)證器交叉核對(duì)、異常降級(jí)硬編碼而不是靠提示詞“祈禱”模型變誠(chéng)實(shí)。最后再分享一個(gè)特別費(fèi)錢踩出來(lái)的心得大模型版本升級(jí)要謹(jǐn)慎。每次模型廠商發(fā)布新版本看起來(lái)都“更強(qiáng)了”但很可能在某個(gè)你不關(guān)注的領(lǐng)域里行為發(fā)生了變化影響你現(xiàn)有的校驗(yàn)邏輯。我的做法是在黃金評(píng)測(cè)集上先跑一輪完整回歸確認(rèn)幻覺率沒(méi)有上升、關(guān)鍵場(chǎng)景沒(méi)有退化再?zèng)Q定要不要切換。現(xiàn)在回過(guò)頭來(lái)看幻覺治理做到最后做的不只是模型工程更是一套圍繞事實(shí)、來(lái)源和責(zé)任邊界的企業(yè)流程。想清楚這一點(diǎn)絕大多數(shù)坑都能繞得過(guò)去。