搜索重排Re-ranking這幾年在搜索、推薦和廣告系統(tǒng)里是性價(jià)比極高但最容易被低估的一個(gè)環(huán)節(jié)。很多團(tuán)隊(duì)把精力全押在召回和粗排上覺得重排無非是“再把順序調(diào)一調(diào)”但真正落地做過一輪就會(huì)發(fā)現(xiàn)一次合理的重排改造往往能帶來好幾個(gè)百分點(diǎn)的業(yè)務(wù)指標(biāo)提升而且不需要重訓(xùn)底層模型。我從傳統(tǒng)的LTRLearning to Rank學(xué)習(xí)排序講起一路聊到如今主流的深度交叉模型結(jié)合真實(shí)工程里的踩坑經(jīng)驗(yàn)把重排這條鏈路從頭到尾拆開來講。不管你是在做搜索相關(guān)度優(yōu)化還是做推薦流體驗(yàn)治理這篇文章都適合你既講清楚“為什么需要重排”也給出“到底怎么落地”的具體方案。1. 先看清重排在檢索鏈路里的位置1.1 從召回、粗排、精排到重排的漏斗搜索和推薦系統(tǒng)通常是一個(gè)多級(jí)漏斗。以搜索為例第一層是召回從幾千萬或上億的文檔集合里快速篩出幾百上千條候選第二層是粗排用輕量模型把候選剪枝到幾百條第三層是精排用復(fù)雜模型對(duì)每條候選做精細(xì)打分產(chǎn)出50到200條左右的結(jié)果最后一層才是重排。重排器的輸入是精排的輸出列表輸出是最終展示給用戶的順序。它和前幾層最大的區(qū)別在于召回、粗排、精排本質(zhì)上是“對(duì)單個(gè)Item打分”Pointwise思路而重排的核心訴求是“對(duì)整條列表做優(yōu)化”。舉個(gè)最直觀的例子精排模型認(rèn)為某品牌A的10個(gè)商品相關(guān)度都極高各自分?jǐn)?shù)也很高如果按精排分直接展示用戶看到的是清一色同一品牌不僅視覺疲勞還容易讓用戶覺得搜索結(jié)果被某個(gè)商家“包場(chǎng)”了。重排要解決的就是這類單點(diǎn)最優(yōu)不等于序列最優(yōu)的問題。我做過的模擬項(xiàng)目X里最初重排規(guī)則只有一條把運(yùn)營配置的置頂內(nèi)容插到最前面其他按精排分輸出。后來加入多樣性打散和商業(yè)約束之后線上點(diǎn)擊率提升了5%左右但真正讓我意識(shí)到重排價(jià)值的是搜索無結(jié)果率下降了不少——這說明重排不是簡(jiǎn)單“調(diào)順序”它直接影響用戶對(duì)搜索結(jié)果整體的滿意度。1.2 重排要同時(shí)扛起相關(guān)性、多樣性和業(yè)務(wù)目標(biāo)如果你只把重排當(dāng)成“精排分的微調(diào)”那你很快會(huì)在線上吃大虧。重排要承接的目標(biāo)至少有三類而且它們之間經(jīng)?；ハ啻蚣?。第一類是相關(guān)性。重排不能把精排認(rèn)為“毫不相關(guān)”的結(jié)果提到前面否則用戶點(diǎn)一下發(fā)現(xiàn)不對(duì)立馬流失。第二類是列表多樣性。無論是搜索、推薦還是廣告同質(zhì)化內(nèi)容都會(huì)讓用戶體驗(yàn)快速下滑多樣性是為了保底體驗(yàn)。第三類是業(yè)務(wù)目標(biāo)。搜索里有商業(yè)流量占比要求推薦流里有完播率、停留時(shí)長、關(guān)注轉(zhuǎn)化等約束廣告系統(tǒng)里還有競(jìng)價(jià)排名和預(yù)算分配邏輯。這三類目標(biāo)的沖突點(diǎn)非常典型比如一個(gè)電商搜索品牌詞用戶意圖非常明確如果把不同品牌混進(jìn)來“提升多樣性”相關(guān)度反而崩了反過來在泛詞搜索下如果一味追求相關(guān)度結(jié)果可能全是同一個(gè)店鋪的商品。重排模型或規(guī)則必須具備感知上下文的能力而不能只看單條Item的分?jǐn)?shù)。這也是為什么重排從機(jī)器學(xué)習(xí)時(shí)代開始就和精排有非常不一樣的特征設(shè)計(jì)思維。1.3 重排和前級(jí)排序的本質(zhì)差異我給不少團(tuán)隊(duì)做技術(shù)支持時(shí)經(jīng)常被問到精排模型已經(jīng)很復(fù)雜了Transformer、DeepFM都上了為什么還要單獨(dú)做重排答案在于“輸入輸出的口徑不同”。精排模型面對(duì)的是“Query-Item”二元組它看到的特征全部來自這條Item和查詢之間的關(guān)系以及這條Item自身的統(tǒng)計(jì)量。它看不到這條Item的“鄰居”是誰。哪怕你在精排模型里加入一些session維度的統(tǒng)計(jì)特征它依然只能從統(tǒng)計(jì)意義上間接感知上下文無法精確地對(duì)“A放第一、B放第二、C放第三”這樣的排列組合做整體評(píng)估。重排模型站在精排肩膀上輸入是已經(jīng)“精排過”的候選列表它的任務(wù)是做最終決策哪些Item該保留哪些Item該降權(quán)哪些Item該互換位置。說白了精排回答的是“這條結(jié)果值不值得展示”重排回答的是“這組結(jié)果以什么順序展示效果最好”。這兩個(gè)問題口徑完全不同所以不是同一個(gè)模型能一并解決的。在工程實(shí)現(xiàn)上重排最大的優(yōu)勢(shì)是數(shù)據(jù)量小、候選量少可以做更復(fù)雜的計(jì)算。精排在毫秒級(jí)要對(duì)幾百上千條Item打分重排只需要對(duì)50到200條候選進(jìn)行排列優(yōu)化所以哪怕是深度交叉模型在重排階段也能扛得住性能壓力。這也是重排敢于上“交叉”架構(gòu)的底氣。2. 特征怎么喂重排模型和前級(jí)模型在原料上的分水嶺2.1 三類核心特征Query側(cè)、Item側(cè)、上下文側(cè)任何排序模型都離不開特征但重排的特征體系有自己的特點(diǎn)。我習(xí)慣把重排特征分成三組。第一組是Query側(cè)特征包括查詢?cè)~本身的長度、類目、意圖類型、改寫結(jié)果、聯(lián)想詞等。它描述的是“用戶這次到底想找什么”。第二組是Item側(cè)特征包括精排模型輸出的相關(guān)性分?jǐn)?shù)、點(diǎn)擊率預(yù)估值、歷史CTR/CVR、價(jià)格、時(shí)效性、品牌、店鋪等級(jí)、內(nèi)容類型等。這里最關(guān)鍵的是“精排分”因?yàn)橹嘏攀腔诰藕蜻x集做文章精排分相當(dāng)于前級(jí)模型給每個(gè)Item的“簡(jiǎn)歷”。第三組是上下文特征這是重排和精排最不一樣的地方。上下文特征包括當(dāng)前Item在候選列表中的原始位置、當(dāng)前Item和列表中其他Item的相似度、當(dāng)前列表本身已經(jīng)展示過的類目分布、用戶在當(dāng)前session里已經(jīng)點(diǎn)擊過哪些類型的內(nèi)容、用戶所處的頁面位置首屏/二屏等。上下文特征解決的核心問題是“位置偏差”和“列表內(nèi)互相影響”。我舉個(gè)例子你就懂了。同一件商品在搜索結(jié)果第3位和第30位被點(diǎn)擊的概率差異極大這不是商品本身質(zhì)量變了而是位置帶來的注意力偏差。如果重排模型不感知位置信息它學(xué)出來的分?jǐn)?shù)會(huì)嚴(yán)重偏向那些“原本排在前面的Item”導(dǎo)致排序固化。你必須在特征里顯式告訴模型這個(gè)Item當(dāng)前在第幾位。2.2 位置偏差要不要進(jìn)特征這是個(gè)好問題關(guān)于位置特征業(yè)內(nèi)其實(shí)有兩種做法。第一種是直接把當(dāng)前位置作為特征喂給模型讓模型自己去學(xué)位置影響但上線時(shí)要小心線上推理時(shí)刻的位置特征必須用當(dāng)前候選的位置并且要配合訓(xùn)練樣本的采樣或加權(quán)策略否則模型會(huì)把位置當(dāng)成品類信號(hào)。第二種做法是用“無偏學(xué)習(xí)”的思路比如在訓(xùn)練時(shí)對(duì)位置特征做隨機(jī)化處理或者使用Click模型消除偏差。我在實(shí)際項(xiàng)目里更推薦混合方案離線訓(xùn)練時(shí)把位置特征保留但結(jié)合“Shuffle抽樣”讓模型不要過度依賴位置線上推斷時(shí)先按概率采樣一組候選順序再用模型打分迭代多次選最優(yōu)排列。這樣既保留了位置信息又沒有把位置當(dāng)成絕對(duì)真理。這里有一個(gè)新手很容易踩的大坑特征穿越。訓(xùn)練數(shù)據(jù)里如果用了“用戶點(diǎn)擊了該Item之后的行為特征”來預(yù)測(cè)這次點(diǎn)擊那離線指標(biāo)會(huì)好看到爆表線上直接崩盤。重排特征設(shè)計(jì)時(shí)必須嚴(yán)格區(qū)分“決策前可得信息”和“決策后才發(fā)生的信息”凡是用到用戶當(dāng)前行為序列特征的一定要問一句模型做排序決策時(shí)這個(gè)信息真的已經(jīng)存在了嗎2.3 特征歸一化與工程化重排模型的常用特征動(dòng)輒幾十上百個(gè)歸一化和缺失值處理比精排更講究。原因在于重排要做的是“對(duì)比排序”模型感知的是特征之間的相對(duì)差異。比如價(jià)格這個(gè)特征有些類目均價(jià)幾十元有些類目幾千元如果你不做類目內(nèi)歸一化模型會(huì)被絕對(duì)數(shù)值帶偏。我常用的方案是對(duì)于連續(xù)特征先做分位歸一化或log變換再按類目做標(biāo)準(zhǔn)化對(duì)于類目特征做Target Encoding或Embedding對(duì)于精排分這類“模型輸出特征”不要直接裸用因?yàn)椴煌姹揪拍Ｐ偷姆謹(jǐn)?shù)分布可能變化很大最好對(duì)精排分做ranking歸一化比如在候選集內(nèi)轉(zhuǎn)為百分位。特征存儲(chǔ)上重排在工程上通常會(huì)有專門的“特征快照”——精排模型輸出的候選列表以及每個(gè)Item的分?jǐn)?shù)一起傳給重排服務(wù)重排特征計(jì)算服務(wù)必須在毫秒級(jí)內(nèi)完成幾十個(gè)特征的拼接。這塊如果做得不好重排環(huán)節(jié)會(huì)成為整個(gè)鏈路的性能瓶頸。3. 模型能力演進(jìn)從LTR到深度交叉模型的路線圖3.1 LTR的三大范式Pointwise、Pairwise、Listwise重排模型最早期的形態(tài)就是LTR。LTRLearning to Rank是一類“用機(jī)器學(xué)習(xí)方式學(xué)習(xí)排序”的方法統(tǒng)稱它有三個(gè)經(jīng)典范式。Pointwise把排序問題看成回歸或分類問題對(duì)每個(gè)Item單獨(dú)預(yù)測(cè)絕對(duì)分?jǐn)?shù)比如“該Item是否會(huì)被點(diǎn)擊”。它簡(jiǎn)單、訓(xùn)練快但缺陷很明顯它不關(guān)心Item之間的相對(duì)順序訓(xùn)練目標(biāo)和排序評(píng)價(jià)指標(biāo)NDCG、MRR不一致。Pairwise把問題轉(zhuǎn)化為“二元組誰更靠前”的分類問題。典型代表是RankNet和RankSVM。訓(xùn)練時(shí)構(gòu)造左右配對(duì)樣本比如“用戶點(diǎn)擊過的Item應(yīng)該排在未點(diǎn)擊的Item前面”。Pairwise比Pointwise更接近排序本身但它只關(guān)心二元組的相對(duì)順序不考慮列表整體位置的影響。Listwise直接對(duì)整條列表建模目標(biāo)是讓模型輸出的排序和真實(shí)排序在列表級(jí)別盡量一致。ListMLE、SoftRank、LambdaRank都屬于這個(gè)方向。Listwise的訓(xùn)練復(fù)雜度更高但評(píng)價(jià)口徑和線上排序最貼合因此在實(shí)際重排場(chǎng)景里用得最多。這里要特別提一下LambdaRank/LambdaMART。LambdaRank的思路非常巧妙它不直接定義一個(gè)可導(dǎo)的損失函數(shù)而是給每個(gè)樣本計(jì)算一個(gè)“Lambda梯度”這個(gè)梯度表示“如果把當(dāng)前Item往前移動(dòng)一位NDCG指標(biāo)會(huì)提升多少”。梯度方向和大小直接對(duì)應(yīng)排序指標(biāo)的變化所以LambdaRank在優(yōu)化NDCG這類指標(biāo)時(shí)效果遠(yuǎn)超普通Pointwise回歸。LambdaMART則是把LambdaRank的梯度用于GBDT訓(xùn)練用多棵樹的加法模型學(xué)出排序函數(shù)。在深度學(xué)習(xí)沒普及的年代LambdaMART幾乎是搜索排序的標(biāo)配即便到今天它依然是業(yè)內(nèi)評(píng)價(jià)一個(gè)重排基線模型的強(qiáng)有力對(duì)照。3.2 深度模型如何逐步“交叉”起來LTR時(shí)代的特征交叉基本靠手工和樹模型自動(dòng)分裂來隱式完成。GBDT能自動(dòng)找特征之間的非線性關(guān)系但它無法主動(dòng)做稠密的高階特征組合。深度學(xué)習(xí)來了之后重排模型的能力邊界被大幅推開。第一波深度排序模型是“雙塔結(jié)構(gòu)”代表作有DSSM和后續(xù)的各種雙塔變體。雙塔把Query和Item分別編碼成向量最后用內(nèi)積算相似度。雙塔對(duì)并行化友好、在線推理快但它本質(zhì)上還是Pointwise打分沒有做真正的列表級(jí)交叉。第二波是精排側(cè)先火起來的“特征交叉模型”比如DeepFM、DCN、xDeepFM等。這些模型把稀疏ID特征和連續(xù)特征統(tǒng)一做Embedding再通過FM層、Cross層和Deep層完成二階甚至高階特征交互。它們解決的是“單個(gè)Item維度上的特征交叉”依然不是列表內(nèi)的Item間交互。重排真正進(jìn)入“交叉模型”時(shí)代是從把候選列表看作一個(gè)序列/集合開始的。早期有團(tuán)隊(duì)用Bi-LSTM或Self-Attention對(duì)候選序列建模后來Transformer架構(gòu)全面接管。這類模型的基本思路是把精排TopN候選的每條Item特征序列作為輸入經(jīng)過多層Self-Attention讓Item之間互相“看到”對(duì)方的信息最后輸出每條Item的新分?jǐn)?shù)或直接輸出排列順序。我把這條演進(jìn)路線抽象一下從“逐點(diǎn)打分”到“兩兩比較”再到“整體序列建?！?。每次躍遷都是在回答一個(gè)問題模型到底能看到多大的上下文窗口Pointwise只能看到Item自己Pairwise能看到一對(duì)ItemListwise能看到整條列表。深度學(xué)習(xí)交叉模型的價(jià)值就在于此——它讓Item之間的關(guān)系從“手工特征描述”變成“網(wǎng)絡(luò)自動(dòng)交互”。3.3 重排模型的現(xiàn)實(shí)選型我知道看到這里很多人會(huì)問是不是一定要上Transformer重排才算合格答案取決于業(yè)務(wù)量級(jí)和算力。如果你的候選集在幾十條級(jí)別、線上耗時(shí)預(yù)算在20毫秒以內(nèi)那么一個(gè)LambdaMART模型加上簡(jiǎn)單的MMR多樣性打散已經(jīng)能覆蓋大部分需求。它的優(yōu)點(diǎn)是訓(xùn)練快、易解釋、穩(wěn)定非常適合中小團(tuán)隊(duì)快速迭代。如果你的候選集在百條以上、流量規(guī)模又足夠支撐深度模型訓(xùn)練和在線推理那么可以考慮“雙階段重排”第一階段用輕量級(jí)深度模型比如一個(gè)小型DNN對(duì)候選做粗篩把200條壓到50條第二階段用Transformer交叉模型對(duì)50條做最終排列。這種方案兼顧了效果和性能也是目前業(yè)內(nèi)主流做法。還有一個(gè)折中方案是“全局特征 Pointwise深度模型”。具體做法是不做真正的序列建模而是把整個(gè)候選列表的統(tǒng)計(jì)信息比如類目熵、價(jià)格方差、前N條的平均精排分、同品牌占比作為全局特征拼接到每條Item的特征向量里再用DNN打分。這個(gè)方案好處是工程簡(jiǎn)單、推理快缺點(diǎn)是無法精確建模Item之間的兩兩關(guān)系。我自己的經(jīng)驗(yàn)是如果從來沒做過重排先從這條路徑起步等團(tuán)隊(duì)積累了數(shù)據(jù)管道和評(píng)估體系再逐步升級(jí)到真正意義上的交叉模型。4. 實(shí)操如何從零搭一套重排訓(xùn)練與推理鏈路4.1 訓(xùn)練數(shù)據(jù)怎么構(gòu)造日志、標(biāo)簽和偏差處理重排模型的訓(xùn)練數(shù)據(jù)可以復(fù)用搜索日志但構(gòu)造方式比精排更講究。精排訓(xùn)練數(shù)據(jù)通常只需要Query, Item, Label三元組重排還需要“列表結(jié)構(gòu)”信息也就是一次搜索請(qǐng)求里哪些Item在同一屏展示過、順序是什么。我建議的訓(xùn)練樣本格式是一個(gè)Session一個(gè)樣本同一個(gè)會(huì)話里曝光的所有Item按展示位置順序排列每條Item帶用戶行為標(biāo)簽和特征向量。標(biāo)簽不要只做“點(diǎn)擊/未點(diǎn)擊”二分類更好的做法是分級(jí)標(biāo)簽未點(diǎn)擊、點(diǎn)擊、深度交互如停留時(shí)長超閾值、下單/加購/關(guān)注等不同級(jí)別對(duì)應(yīng)不同權(quán)重的目標(biāo)函數(shù)。這樣重排模型學(xué)出來的不只是“點(diǎn)擊率最大化”還能兼顧更下游的業(yè)務(wù)動(dòng)作。樣本質(zhì)量上要特別小心三個(gè)坑。第一個(gè)坑是只拿“有曝光”的樣本訓(xùn)練會(huì)引入選擇性偏差。精排覺得差的Item根本沒機(jī)會(huì)曝光重排模型也就永遠(yuǎn)學(xué)不到“這類Item在重排階段輸?shù)袅恕薄＝鉀Q辦法是做隨機(jī)化探索在線上保留一定比例流量讓重排在精排結(jié)果上做隨機(jī)擾動(dòng)讓低分Item也有機(jī)會(huì)進(jìn)入候選。第二個(gè)坑是位置偏差前面提過這里再說一次直接用曝光日志訓(xùn)練會(huì)讓模型過度偏向位置靠前的Item應(yīng)當(dāng)用Shuffle日志展示前隨機(jī)調(diào)換順序或位置特征修正。第三個(gè)坑是時(shí)間穿越訓(xùn)練數(shù)據(jù)的時(shí)間窗口和特征時(shí)間窗口必須嚴(yán)格對(duì)齊絕不能用“未來信息”預(yù)測(cè)當(dāng)前行為。4.2 訓(xùn)練流程和代碼骨架數(shù)據(jù)切分完成后訓(xùn)練階段通常分四步特征工程、模型訓(xùn)練、離線評(píng)估、模型導(dǎo)出。這里給一個(gè)用LambdaMART作為基線的偽代碼骨架實(shí)戰(zhàn)里很多人就是從這個(gè)起點(diǎn)起步的。import lightgbm as lgb # train_data: 每個(gè)session是一個(gè)groupfolds按時(shí)間切分 train_lgb lgb.Dataset( X_train, labely_train, groupgroup_train, # 同一個(gè)session的所有候選為同一組 feature_namefeature_names ) valid_lgb lgb.Dataset( X_valid, labely_valid, groupgroup_valid, referencetrain_lgb ) params { objective: lambdarank, metric: ndcg, ndcg_eval_at: [1, 5, 10], boosting_type: gbdt, learning_rate: 0.05, num_leaves: 127, min_data_in_leaf: 50, feature_fraction: 0.8, bagging_fraction: 0.8, bagging_freq: 1, verbose: -1 } model lgb.train( params, train_lgb, num_boost_round500, valid_sets[valid_lgb], callbacks[lgb.early_stopping(50), lgb.log_evaluation(10)] ) # 導(dǎo)出結(jié)構(gòu)線上用原生模型加載 model.save_model(rerank_lambdarank.txt)如果你直接拿這份代碼去跑大概率能出一個(gè)不錯(cuò)的基線。但有兩個(gè)細(xì)節(jié)一定要調(diào)對(duì)第一group參數(shù)必須按Session切分否則LightGBM會(huì)認(rèn)為所有樣本屬于同一個(gè)列表NCDG計(jì)算完全錯(cuò)亂第二訓(xùn)練集和驗(yàn)證集要按時(shí)間順序切分不要隨機(jī)切分否則會(huì)出現(xiàn)驗(yàn)證集里包含未來樣本離線指標(biāo)虛高。這兩個(gè)問題我在不少新人代碼里都見過報(bào)錯(cuò)不一定有但效果就是上不去。再往前一步如果你打算做深度交叉模型訓(xùn)練框架推薦用TensorFlow或PyTorch自定義一個(gè)“列表級(jí)訓(xùn)練循環(huán)”。數(shù)據(jù)輸入是(Batch, MaxSeqLen, FeatureDim)的矩陣BatchSize通常在32到64之間MaxSeqLen是候選數(shù)例如50或100Padding部分需要Mask掉。損失函數(shù)可以用ListMLE或Softmax交叉熵對(duì)模型輸出的每個(gè)位置logit計(jì)算候選列表的排列概率和真實(shí)序做交叉熵。4.3 評(píng)估指標(biāo)不能只看點(diǎn)擊率重排模型評(píng)估是個(gè)系統(tǒng)工程單看CTR會(huì)把你帶偏。我的做法是分層級(jí)看。第一層是相關(guān)性指標(biāo)NDCGK、MRR、RecallK。這些指標(biāo)和精排共用用來確認(rèn)重排沒有“破壞”基礎(chǔ)相關(guān)度。第二層是體驗(yàn)類指標(biāo)列表多樣性類目熵、品牌熵、內(nèi)容類型熵、同質(zhì)化比例比如前10條中同品牌占比、最大連續(xù)重復(fù)類目數(shù)。第三層是業(yè)務(wù)指標(biāo)點(diǎn)擊率、轉(zhuǎn)化率、GMV、人均瀏覽深度、無結(jié)果率等。離線評(píng)估時(shí)能直接算的是前三類中的相關(guān)性指標(biāo)和大部分多樣性指標(biāo)業(yè)務(wù)指標(biāo)只能通過模擬或小流量AB來驗(yàn)證。我強(qiáng)烈建議任何重排模型上線前都先跑2到4周的“影子模式”就是讓重排模型并行打分但不真正影響線上展示把它的排序結(jié)果和線上真實(shí)排序結(jié)果存日志之后離線復(fù)盤看模型是不是真的做出了“更好的排列”。影子模式是幾乎所有重排項(xiàng)目都必須經(jīng)歷的環(huán)節(jié)。它不需要你改動(dòng)線上鏈路風(fēng)險(xiǎn)極低卻能在AB之前暴露大量問題。4.4 在線推理鏈路怎么接重排模塊在在線推理時(shí)的上下游關(guān)系一般是上游精排模塊返回TopN候選和對(duì)應(yīng)精排分重排服務(wù)拿到后先做特征拼接再調(diào)用模型打分最后經(jīng)后處理規(guī)則輸出最終列表。整個(gè)過程預(yù)算通常在10到30毫秒內(nèi)。由于候選列表長度有限在線推理不適合逐條請(qǐng)求正確做法是“批量打分”一個(gè)請(qǐng)求的所有候選組成一個(gè)Batch一次前向計(jì)算全部輸出。對(duì)LambdaMART來說單條打分本身很快對(duì)Transformer交叉模型來說一次性把50條候選編碼成一個(gè)序列做一次前向會(huì)比分別打分快一個(gè)數(shù)量級(jí)因?yàn)镮tem之間可以并行計(jì)算Attention。后處理規(guī)則是重排鏈路里不可省的一環(huán)。即使模型再強(qiáng)你仍然要保留運(yùn)營硬規(guī)則置頂內(nèi)容、強(qiáng)插廣告位、品牌限流、類目最低占比、時(shí)間衰減加減權(quán)等。模型負(fù)責(zé)“軟性排序”規(guī)則負(fù)責(zé)“硬性約束”。在工程架構(gòu)上規(guī)則引擎要放在模型打分之后、結(jié)果輸出之前并且要支持運(yùn)營實(shí)時(shí)調(diào)整不然一個(gè)活動(dòng)改規(guī)則都要提工單等發(fā)版運(yùn)營體驗(yàn)會(huì)非常差。5. 常見問題與排查技巧實(shí)錄5.1 線上CTR漲了但GMV卻跌了這是重排項(xiàng)目里出現(xiàn)頻率最高的問題?，F(xiàn)象很典型AB實(shí)驗(yàn)中點(diǎn)擊率提升業(yè)務(wù)收入反而下降。第一步排查點(diǎn)是“點(diǎn)擊質(zhì)量”。重排模型如果把更多的曝光給了低價(jià)、低毛利、促銷型商品用戶確實(shí)更容易點(diǎn)擊但成交金額被拉低了。第二步排查點(diǎn)是“相關(guān)性漂移”。有些模型為了提升多樣性會(huì)把高相關(guān)但同質(zhì)的結(jié)果壓下去換上來的是低相關(guān)但不同類型的結(jié)果。用戶點(diǎn)了更感興趣的內(nèi)容CTR漲但沒有產(chǎn)生購買或完播業(yè)務(wù)轉(zhuǎn)化降。解決思路是重新校準(zhǔn)訓(xùn)練目標(biāo)。CTR這類“點(diǎn)擊意圖”要和“成交/完播意圖”分開建?；蚨嗄繕?biāo)加權(quán)不要把所有標(biāo)簽揉成一個(gè)Label。在實(shí)際項(xiàng)目里我會(huì)把“下單”這類強(qiáng)業(yè)務(wù)行為的樣本權(quán)重提高到“點(diǎn)擊”樣本的3到5倍并直接以GMV或轉(zhuǎn)化率為業(yè)務(wù)護(hù)欄指標(biāo)做上線評(píng)估。5.2 離線NDCG高線上表現(xiàn)平平離線評(píng)估結(jié)果和線上不一致是排序類模型最常見的老大難。這里頭最容易被忽略的因素是“位置偏差的離線估計(jì)偏差”。線上真實(shí)曝光位置由當(dāng)前線上策略決定而離線評(píng)估用的是歷史日志的曝光位置兩者很可能不對(duì)齊。你用歷史日志評(píng)估一個(gè)“會(huì)改變展示順序”的新模型天然就存在分布偏移。還有一個(gè)元兇是“特征一致性斷裂”。離線訓(xùn)練用的精排分來自某一版精排模型線上推理時(shí)精排模型已經(jīng)繼續(xù)迭代了兩邊的精排分口徑對(duì)不上。我的解決方案是在特征存儲(chǔ)里同時(shí)記錄“訓(xùn)練時(shí)的模型版本”如果精排模型升級(jí)重排模型必須同步用新精排分重新生成訓(xùn)練數(shù)據(jù)并重新訓(xùn)練。5.3 模型輸出結(jié)果和規(guī)則打起來重排模型經(jīng)常和運(yùn)營規(guī)則沖突。最常見的是運(yùn)營要求某條內(nèi)容必須置頂?shù)Ｐ驼J(rèn)為這條Item分?jǐn)?shù)很低兩者拼接后出現(xiàn)“規(guī)則置頂了、模型特征里卻是低分”的矛盾進(jìn)一步導(dǎo)致模型在后續(xù)會(huì)話里越來越不信置頂位。這類問題的本質(zhì)是規(guī)則和模型目標(biāo)不一致。我的處理思路是運(yùn)營硬規(guī)則盡量前置到“候選篩選”而不是全部堆到重排后處理。如果某條內(nèi)容必須置頂那它就不應(yīng)該出現(xiàn)在重排模型的候選序列里被“打分”而是在重排輸出后強(qiáng)制插入。這樣模型打分和規(guī)則互不污染。5.4 多樣性參數(shù)怎么調(diào)如果你用的排序方案是“模型打分 多樣性后處理”典型是MMR或DPP那繞不開一個(gè)話題多樣性強(qiáng)度和相關(guān)性怎么權(quán)衡。MMR公式里的λ表示多樣性權(quán)重Score_final λ * Sim(Query, Item) - (1 - λ) * max(Item 與已選列表的相似度)λ越大越偏相關(guān)λ越小越偏多樣性。我的調(diào)參經(jīng)驗(yàn)是先從λ0.7起步觀察前10條列表的類目熵和同質(zhì)比例如果類目熵低于預(yù)期每次調(diào)0.05往下走同時(shí)要按Query類型分組設(shè)置不同的λ比如品牌詞用高λ更偏相關(guān)泛詞用低λ更偏多樣性而不是全站一個(gè)值。DPP行列式點(diǎn)過程更精細(xì)它通過核函數(shù)定義“相關(guān)性懲罰重復(fù)項(xiàng)”的聯(lián)合分布。DPP的優(yōu)勢(shì)在于能全局最優(yōu)地平衡相關(guān)性和多樣性但核參數(shù)的標(biāo)定需要做離線網(wǎng)格搜索。在候選量不超過100時(shí)DPP的推理耗時(shí)通常可控是比較推薦的重排后處理方案。5.5 常見問題速查表現(xiàn)象可能原因排查方法CTR漲但GMV跌點(diǎn)擊質(zhì)量下降、低價(jià)商品占比過高分流查看點(diǎn)擊商品的價(jià)格帶和毛利結(jié)構(gòu)離線NDCG高但線上無差異位置偏差、特征一致性斷裂影子模式對(duì)比線上排序日志重排輸出和置頂規(guī)則沖突規(guī)則與模型目標(biāo)隔離不足硬規(guī)則前置到候選篩選階段多樣性低了壓不過去λ過低或全局統(tǒng)一λ按Query意圖分組設(shè)定λ重排接口耗時(shí)超標(biāo)特征拼接慢、模型前向未批處理候選批量打分特征服務(wù)預(yù)計(jì)算模型學(xué)到的全是“跟隨精排”精排分特征過強(qiáng)、上下文特征不足降低精排分權(quán)重增加列表級(jí)特征5.6 一個(gè)容易被忽略的坑候選集長度變化重排模型在訓(xùn)練時(shí)往往固定候選集長度比如K50但線上由于召回波動(dòng)或上游降級(jí)候選條數(shù)可能偶爾變成30或80。如果模型對(duì)序列長度敏感效果就會(huì)抖動(dòng)。對(duì)LambdaMART這類模型候選條數(shù)變化影響不大因?yàn)樗侵饤l打分。對(duì)Transformer交叉模型就很致命訓(xùn)練時(shí)序列長度統(tǒng)一為50線上來了80條Positional Encoding和Attention計(jì)算都會(huì)出問題。通用做法是線上做一個(gè)“候選截?cái)喾滞啊背^K條時(shí)按精排分截?cái)嗟終條少于K條時(shí)Padding到K條保證序列長度與訓(xùn)練一致。這里我吃過一次虧上線后單位小時(shí)出現(xiàn)了幾萬個(gè)“長度異?！钡恼?qǐng)求排查到凌晨才定位到是粗排降級(jí)導(dǎo)致候選變長從那以后我在重排服務(wù)里加了候選長度的監(jiān)控報(bào)警。6. 最后說點(diǎn)實(shí)在的我做了幾個(gè)重排相關(guān)項(xiàng)目后最大的體會(huì)是不要試圖一步到位上最復(fù)雜的交叉模型。重排這個(gè)環(huán)節(jié)的特殊性在于它的上游有召回、粗排、精排下游有業(yè)務(wù)規(guī)則和用戶體驗(yàn)任何一個(gè)環(huán)節(jié)的特征分布變化都會(huì)傳導(dǎo)到重排這里。先跑通LambdaMART基線把特征管道、影子評(píng)估、AB實(shí)驗(yàn)平臺(tái)這三件事做扎實(shí)比模型本身值錢得多。當(dāng)你把基線上線并穩(wěn)定運(yùn)行幾個(gè)版本后再引入深度交叉模型你會(huì)發(fā)現(xiàn)很多問題比如特征穿越、時(shí)間一致、位置偏差已經(jīng)在管道層面解決掉了模型的迭代效率會(huì)高非常多。最后一個(gè)實(shí)用技巧上線重排模型后第一時(shí)間監(jiān)控“重排干預(yù)率”——也就是模型實(shí)際改動(dòng)的相對(duì)精排順序的比例。干預(yù)率過低說明模型在“抄精排作業(yè)”補(bǔ)丁式迭代干預(yù)率過高則說明精排和重排的目標(biāo)可能出現(xiàn)了系統(tǒng)性分歧。找到一個(gè)健康的干預(yù)率區(qū)間整個(gè)搜索鏈路才會(huì)處于良性分工的狀態(tài)。