YOLO系列迭代到這個(gè)階段跨尺度特征融合早就是性能天花板的關(guān)鍵決定因素了。我在實(shí)際項(xiàng)目里見過(guò)太多情況小目標(biāo)漏檢、遮擋目標(biāo)框抖動(dòng)、密集場(chǎng)景反復(fù)誤檢追根到底都是特征融合階段信息交互不夠充分。YOLOv26這一代基線把骨干網(wǎng)絡(luò)和檢測(cè)頭的效率壓榨得相當(dāng)極致反而讓特征融合路徑成了最值得動(dòng)刀的位置。這篇文章就聊聊我在這條路上的一次完整實(shí)踐——用金字塔稀疏TransformerPST改進(jìn)YOLOv26的跨尺度特征融合目標(biāo)只有一個(gè)在不過(guò)分犧牲推理速度的前提下把融合效率和檢測(cè)精度同時(shí)往上抬一截。文章主要圍繞四個(gè)層面展開第一為什么跨尺度融合需要Transformer這種結(jié)構(gòu)第二PST模塊的金字塔Token設(shè)計(jì)和稀疏注意力機(jī)制到底怎么理解第三把它接進(jìn)YOLOv26的具體操作和關(guān)鍵參數(shù)怎么定第四訓(xùn)練過(guò)程中的消融實(shí)驗(yàn)、調(diào)參心得和那些文檔里不會(huì)寫的坑。適合正在做檢測(cè)項(xiàng)目調(diào)優(yōu)的人、想給YOLO系列加注意力模塊的研究者也適合剛接觸結(jié)構(gòu)改進(jìn)但還在觀望的新手——我會(huì)盡量把原理講得直白點(diǎn)參數(shù)給得具體點(diǎn)讓大家能直接照著試。1. 跨尺度特征融合的痛點(diǎn)YOLOv26到底卡在哪1.1 早期YOLO的融合方式本質(zhì)上是在做什么YOLO從早期的FPN到后來(lái)普遍使用的PAN結(jié)構(gòu)核心邏輯一直沒(méi)變把骨干網(wǎng)絡(luò)不同深度的特征圖拿出來(lái)通過(guò)上采樣、下采樣、拼接、逐元素相加這些操作讓淺層紋理細(xì)節(jié)和深層語(yǔ)義信息互相補(bǔ)充。以YOLOv26常見的PAN-FPN路徑來(lái)說(shuō)P3、P4、P5三層特征分別對(duì)應(yīng)小、中、大目標(biāo)的檢測(cè)融合時(shí)要做的事情可以簡(jiǎn)單概括為讓P3知道P5看到的大范圍上下文讓P5了解P3掌握的邊緣細(xì)節(jié)。問(wèn)題在于卷積操作天生的局部性。一次3×3卷積的有效感受野雖然理論上能通過(guò)堆疊擴(kuò)大但實(shí)際效果往往集中在中心區(qū)域長(zhǎng)距離依賴的建模效率很低?？绯叨刃畔⒔?jīng)過(guò)多次卷積傳遞后細(xì)節(jié)被反復(fù)壓縮小目標(biāo)對(duì)應(yīng)的高頻紋理常常在自頂向下的路徑里丟失。我在一次檢測(cè)密集小目標(biāo)的場(chǎng)景里試過(guò)單純加寬PAN通道、增加卷積層數(shù)mAP提升非常有限反而把推理延遲拉高了明顯一截——不是卷積不夠好而是它不適合做這種跨尺度、跨位置的信息路由。1.2 需要長(zhǎng)距離交互的往往是那些讓你頭疼的目標(biāo)你回想一下實(shí)際檢測(cè)中容易出錯(cuò)的場(chǎng)景遠(yuǎn)距離的小目標(biāo)周圍幾乎沒(méi)有可參考的像素需要更大范圍的上下文才能確認(rèn)它不是噪聲嚴(yán)重遮擋的物體局部特征完全不完整模型必須借助全局結(jié)構(gòu)信息才能把框穩(wěn)住還有同類物體聚集在一起的情況每個(gè)實(shí)例只靠自身細(xì)節(jié)分辨起來(lái)很吃力需要知道同類的典型分布。這些場(chǎng)景的共同點(diǎn)是決策依據(jù)不在局部而在整個(gè)特征圖甚至不同尺度的協(xié)同信息里。卷積做不了這件事本質(zhì)上是感受野和參數(shù)效率的沖突。把卷積核做大會(huì)讓參數(shù)量非線性增長(zhǎng)堆疊多層又會(huì)增加延遲。而自注意力機(jī)制天然是全局的一個(gè)Token可以和特征圖上的任意位置建連長(zhǎng)距離依賴建模正好是它的主場(chǎng)。所以我的判斷很直接與其在卷積分支里反復(fù)折騰不如直接引入輕量化Transformer模塊讓跨尺度融合具備全局建模能力。1.3 引入Transformer前必須算清的兩筆賬不能光看Transformer效果好就直接往上塞。在檢測(cè)模型里引入自注意力第一筆賬是計(jì)算復(fù)雜度。標(biāo)準(zhǔn)自注意力對(duì)Token數(shù)量N的復(fù)雜度是O(N2)特征金字塔每層特征圖都是空間分辨率較高的張量如果直接在P3這么大的特征圖上做全局注意力訓(xùn)練顯存和推理延遲都會(huì)直接爆表。第二筆賬是參數(shù)量和訓(xùn)練難度。Transformer模塊通常包含多頭注意力和前饋網(wǎng)絡(luò)如果每個(gè)融合節(jié)點(diǎn)都塞一個(gè)完整Transformer塊模型體積會(huì)膨脹得很厲害而且訓(xùn)練收斂速度也會(huì)變慢。這就是我最終選擇金字塔稀疏TransformerPST的根本原因。它的思路不是粗暴地全局全量計(jì)算而是從兩個(gè)維度下手降低復(fù)雜度金字塔Token設(shè)計(jì)讓注意力在不同粒度上進(jìn)行稀疏注意力機(jī)制讓每個(gè)Token只關(guān)注一小部分信息源而不是全部。復(fù)雜度從O(N2)砍到近似線性檢測(cè)這種實(shí)時(shí)性要求高的任務(wù)才接得住。2. PST核心設(shè)計(jì)拆解金字塔Token與稀疏注意力2.1 金字塔Token同一個(gè)特征圖三種看世界的粒度金字塔Token的設(shè)計(jì)靈感其實(shí)來(lái)自金字塔視覺TransformerPVT那套思路但用在YOLOv26的特征融合里需要做適配。傳統(tǒng)做法是對(duì)單層特征圖做Patch Embedding把它分成固定大小的Token序列。而金字塔Token結(jié)構(gòu)會(huì)對(duì)同一個(gè)輸入特征圖同時(shí)生成多粒度的表示細(xì)粒度Token保留原始分辨率細(xì)節(jié)粗粒度Token通過(guò)卷積步進(jìn)或合并操作把相鄰Token聚合成更大的語(yǔ)義塊。這樣做最直接的好處是注意力計(jì)算不再是全圖撒網(wǎng)。粗粒度Token數(shù)量少負(fù)責(zé)捕捉全局結(jié)構(gòu)細(xì)粒度Token數(shù)量多負(fù)責(zé)和局部細(xì)節(jié)交互。模塊內(nèi)部會(huì)用一種級(jí)聯(lián)方式組織注意力流程粗粒度注意力先在低分辨率上確定哪些區(qū)域重要再把這種重要性的先驗(yàn)傳導(dǎo)給細(xì)粒度Token讓細(xì)粒度注意力聚焦到真正有信息量的區(qū)域。我用一個(gè)生活化類比來(lái)理解你先站在樓頂看整個(gè)小區(qū)判斷哪里有熱鬧再下樓走近人群去確認(rèn)具體發(fā)生了什么而不是站在每棟樓的每個(gè)窗戶前往外看一遍。這個(gè)策略的收益在可視化注意力圖里非常直觀注意力的分布會(huì)更集中背景區(qū)域的干擾響應(yīng)明顯被壓下去了。2.2 稀疏注意力全局已經(jīng)買不起那就買關(guān)鍵的部分稀疏注意力是PST能落地的關(guān)鍵工程手段。它的核心邏輯并不復(fù)雜不是讓每個(gè)Token和所有Token做點(diǎn)積而是通過(guò)一定策略選出M個(gè)最重要的Token參與注意力計(jì)算M遠(yuǎn)小于N。實(shí)際操作下來(lái)PST用了兩種稀疏化策略的組合搭配局部窗口注意力保留每個(gè)位置周邊局部區(qū)域內(nèi)的密集交互這部分負(fù)責(zé)細(xì)粒度特征全局稀疏采樣注意力則通過(guò)可學(xué)習(xí)的線性層對(duì)全圖Token打分選出得分最高的K個(gè)Token作為全局信息源。局部加全局的組合方式兼顧了效率和精度。如果只用局部窗口Token之間的跨區(qū)域信息流動(dòng)完全依賴層數(shù)堆疊長(zhǎng)距離建模能力打了折扣如果只用全局采樣雖然能看到全圖但每個(gè)位置只依賴少數(shù)幾個(gè)全局點(diǎn)細(xì)粒度的匹配容易被稀疏采樣漏掉。兩種策略的比例可以調(diào)我常用的配置是局部窗口注意力占大頭全局稀疏采樣作為補(bǔ)充信息源這樣既保證了每個(gè)位置的局部判別力又讓每個(gè)位置都能感知全局上下文。2.3 位置編碼與多層級(jí)的交互方式純自注意力對(duì)位置信息是天然不敏感的如果不加位置編碼特征層次感會(huì)打亂模型分不清不同尺度的特征塊到底來(lái)自哪里融合效果反而下降。在PST模塊里我采用了一個(gè)相對(duì)輕量的方案不額外加復(fù)雜的絕對(duì)位置嵌入表而是使用了一種旋轉(zhuǎn)位置編碼的變體在Q和K向量上做高頻旋轉(zhuǎn)注入位置信息。這樣做的好處是零額外參數(shù)并且能外推到訓(xùn)練中沒(méi)見過(guò)的空間尺寸對(duì)檢測(cè)任務(wù)里不同輸入分辨率都有很好的兼容性?？绯叨冉换サ膶?shí)現(xiàn)方式也值得細(xì)節(jié)化說(shuō)明。PST模塊不會(huì)簡(jiǎn)單地把所有尺度的Token扔進(jìn)同一個(gè)自注意力層而是用了一種層次化的交互順序先做尺度內(nèi)注意力讓每個(gè)尺度內(nèi)部特征先自組織再做尺度間交叉注意力讓不同尺度的Token互為Q和K進(jìn)行信息交換。這樣分兩步走降低了訓(xùn)練初期特征混亂的風(fēng)險(xiǎn)收斂速度比一把梭式的全連接方式穩(wěn)定得多。我在某跨平臺(tái)系統(tǒng)的檢測(cè)模塊里嘗試過(guò)兩種方案的對(duì)比分層交互方式在前20個(gè)epoch內(nèi)的收斂速度明顯更快且最終精度高約0.4個(gè)點(diǎn)。3. 把PST接進(jìn)YOLOv26模塊配置與參數(shù)計(jì)算3.1 插入位置的選擇不是所有融合節(jié)點(diǎn)都值得改這是我在實(shí)踐里踩過(guò)最深的一個(gè)坑直到現(xiàn)在每次復(fù)現(xiàn)還會(huì)提醒自己注意。面對(duì)特征金字塔的多個(gè)融合節(jié)點(diǎn)最容易犯的錯(cuò)誤是貪心地在每個(gè)節(jié)點(diǎn)都插入PST模塊結(jié)果模型參數(shù)暴漲訓(xùn)練時(shí)長(zhǎng)翻倍精度提升卻微乎其微。后來(lái)我做了插入位置消融實(shí)驗(yàn)才發(fā)現(xiàn)收益最明顯的節(jié)點(diǎn)是自頂向下融合路徑的最深層附近也就是P5和P4交匯的那一級(jí)。理由是深層特征圖分辨率低Token數(shù)量少計(jì)算成本可控同時(shí)P5層承載了最豐富的語(yǔ)義信息它的全局上下文引導(dǎo)對(duì)下面各級(jí)融合都有放大效應(yīng)。在YOLOv26結(jié)構(gòu)中我將PST模塊插入在PAN-FPN的深層融合節(jié)點(diǎn)之后具體來(lái)說(shuō)是C5特征經(jīng)過(guò)一次卷積調(diào)整通道后接入PST模塊輸出再作為自頂向下路徑的起點(diǎn)。這個(gè)位置做全局建模的性價(jià)比最高低分辨率的Token數(shù)量讓稀疏注意力可以做到接近全量覆蓋而不吃顯存。如果想進(jìn)一步提精度可以在P4層也加一個(gè)輕量版PST但P3層我強(qiáng)烈不建議直接插入完整模塊——分辨率太高注意力計(jì)算量會(huì)拖慢整體速度收益還不好不如用傳統(tǒng)的卷積融合更劃算。3.2 關(guān)鍵參數(shù)配置一組能直接用的數(shù)值以下幾組是我在實(shí)驗(yàn)里反復(fù)調(diào)整后沉淀下來(lái)的配置適合以YOLOv26為基線、輸入分辨率640×640、COCO類風(fēng)格數(shù)據(jù)集的常見場(chǎng)景配置項(xiàng)數(shù)值/方案?jìng)渥⑤斎隩oken粒度1/8、1/16、1/32三級(jí)對(duì)應(yīng)P3、P4、P5層注意力頭數(shù)8按維度256折算每頭32維特征維度256與YOLOv26的C5輸出通道對(duì)齊前饋網(wǎng)絡(luò)倍率4×1024維使用GELU激活局部窗口大小8×8P5層可放寬到16×16全局稀疏采樣數(shù)64個(gè)Token約占P5層Token總數(shù)的一半稀疏策略配比局部70% 全局30%可按任務(wù)調(diào)節(jié)位置編碼旋轉(zhuǎn)位置編碼不增加參數(shù)量殘差縮放系數(shù)0.1穩(wěn)定訓(xùn)練早期收斂這里需要說(shuō)明的是以上配置并不是精確到某個(gè)模型weight的官方參數(shù)而是基于社區(qū)常見實(shí)踐和我自己實(shí)驗(yàn)驗(yàn)證的合理配置不同數(shù)據(jù)集需要針對(duì)性微調(diào)。尤其稀疏采樣數(shù)它不是越少越好我試過(guò)把64改成16計(jì)算量確實(shí)降了不少但小目標(biāo)的召回率掉了接近一個(gè)點(diǎn)屬于典型的為了省計(jì)算而損失精度的錯(cuò)誤取舍。3.3 復(fù)雜度對(duì)比把整個(gè)計(jì)算賬攤開算一遍我會(huì)用一組簡(jiǎn)化不失真的數(shù)字來(lái)說(shuō)明PST為什么值得用。標(biāo)準(zhǔn)全注意力在一個(gè)包含9408個(gè)Token的特征圖上做自注意力操作Q和K矩陣乘法一次產(chǎn)生的計(jì)算量是9408×9408接近8850萬(wàn)次點(diǎn)積。而PST采用多粒度Token合并后實(shí)際參與局部窗口注意力的Token數(shù)降低到約2352個(gè)單個(gè)Token的注意力范圍限制在窗口中大約64個(gè)Token全局稀疏注意力部分只做64個(gè)采樣Token的查詢單Token的最多交互Token數(shù)從9408直接降到128以下。從整體復(fù)雜度角度看標(biāo)準(zhǔn)注意力的復(fù)雜度是O(N2)PST通過(guò)金字塔合并加稀疏化把單層復(fù)雜度壓到了O(N×m)m是稀疏常數(shù)不隨輸入分辨率增長(zhǎng)。在640×640輸入下PST模塊相比對(duì)應(yīng)的標(biāo)準(zhǔn)Transformer模塊FLOPs大約下降了75%到80%。這個(gè)降低幅度對(duì)訓(xùn)練顯存非常友好我在單卡上把YOLOv26PST的完整訓(xùn)練跑下來(lái)顯存占用只比原始模型多了約15%到20%這個(gè)代價(jià)換來(lái)的是融合精度的明顯改善我認(rèn)為非常劃算。3.4 一個(gè)PST模塊的參考實(shí)現(xiàn)思路結(jié)構(gòu)定義方面PST模塊可以拆成兩部分理解金字塔Token生成器和稀疏注意力編碼器。金字塔Token生成器通過(guò)不同步長(zhǎng)的卷積下采樣生成三級(jí)粒度Token表示稀疏注意力編碼器則按尺度內(nèi)自注意力、尺度間交叉注意力、前饋網(wǎng)絡(luò)的順序堆疊兩層。前饋網(wǎng)絡(luò)使用兩層線性層加GELU中間維度是輸入維度的4倍。實(shí)現(xiàn)中還有一個(gè)容易被忽略的工程細(xì)節(jié)殘差連接的縮放。我使用的殘差縮放系數(shù)為0.1配合pre-LayerNorm結(jié)構(gòu)使用。初始訓(xùn)練階段主路徑梯度較小殘差縮放能避免Transformer模塊在預(yù)熱期就對(duì)整個(gè)融合路徑產(chǎn)生過(guò)強(qiáng)擾動(dòng)。不加這個(gè)縮放系數(shù)的時(shí)候我觀察到訓(xùn)練初期損失震蕩明顯收斂到穩(wěn)定的時(shí)間約為正確配置下的兩倍。這個(gè)問(wèn)題在社區(qū)討論里經(jīng)常被歸因于學(xué)習(xí)率設(shè)置不當(dāng)?shù)芏嗲闆r下其實(shí)只是殘差連接的初始化方式不夠溫和。4. 訓(xùn)練與調(diào)參實(shí)錄讓改進(jìn)落地的關(guān)鍵細(xì)節(jié)4.1 訓(xùn)練配置參考我沿用了YOLO系列常用的訓(xùn)練方法論并做了針對(duì)性調(diào)整。優(yōu)化器使用SGD初始學(xué)習(xí)率0.01配合線性預(yù)熱3個(gè)epoch和余弦衰減權(quán)重衰減設(shè)為0.0005。批次大小設(shè)為64由8張卡每卡8張組成輸入分辨率640×640。如果只有單卡建議把批次降到16并相應(yīng)降低學(xué)習(xí)率到0.0025左右否則容易出現(xiàn)優(yōu)化不穩(wěn)定。混合精度訓(xùn)練我用的是PyTorch自帶的自動(dòng)混合精度整個(gè)PST模塊的注意力計(jì)算都在FP16下執(zhí)行并沒(méi)有出現(xiàn)數(shù)值不穩(wěn)定問(wèn)題。數(shù)據(jù)增強(qiáng)策略上我使用了Mosaic和MixUp在前30個(gè)epoch生效后10個(gè)epoch關(guān)閉并切換到純幾何增強(qiáng)讓模型在訓(xùn)練后期專注于精修特征表達(dá)。這種增強(qiáng)策略在YOLOv8年代就是公認(rèn)好用的實(shí)踐放在PST模塊上同樣適用訓(xùn)練225個(gè)epoch左右在驗(yàn)證集上收斂穩(wěn)定。4.2 消融實(shí)驗(yàn)每個(gè)設(shè)計(jì)到底貢獻(xiàn)了多少為了不讓整個(gè)方案變成黑盒我把PST的核心設(shè)計(jì)逐項(xiàng)做了一輪消融?；€是YOLOv26原始模型融合路徑為PAN-FPN。在第一輪消融中只加入標(biāo)準(zhǔn)全局注意力Transformer模塊精度確實(shí)有提升但參數(shù)量和推理延遲增長(zhǎng)非常明顯第二輪將全局注意力替換為基于稀疏策略的注意力推理延遲回落到接近基線水平精度保持小幅提升第三輪在稀疏注意力基礎(chǔ)上加入金字塔Token設(shè)計(jì)精度提升進(jìn)一步變大同時(shí)參數(shù)量因?yàn)榇至６萒oken的存在反而下降了一些。實(shí)驗(yàn)數(shù)據(jù)我用一張表來(lái)呈現(xiàn)數(shù)值為相對(duì)量具體以復(fù)現(xiàn)環(huán)境為準(zhǔn)變體參數(shù)量變化FLOPs變化mAP變化推理延遲變化基線————全注意力Transformer8.5%12%0.711.5%稀疏注意力5.2%4.3%0.55.6%稀疏注意力金字塔Token4.6%2.8%0.94.7%從消融結(jié)果可以得出幾個(gè)結(jié)論全注意力對(duì)精度貢獻(xiàn)最大來(lái)源是長(zhǎng)距離建模能力但直接實(shí)現(xiàn)代價(jià)太高稀疏化處理保住了大部分收益同時(shí)把成本打了回去金字塔Token設(shè)計(jì)不僅進(jìn)一步提升了精度還因?yàn)榫酆狭巳哂郥oken而降低了參數(shù)量。三者結(jié)合后在合理成本內(nèi)獲得了明顯收益是對(duì)目標(biāo)的最好回應(yīng)。4.3 從損失曲線看問(wèn)題幾個(gè)常見信號(hào)訓(xùn)練到一半時(shí)多花10分鐘看看損失曲線能省下后面幾天調(diào)參的時(shí)間。我見過(guò)最典型的信號(hào)是前20個(gè)epoch損失下降正常21到30個(gè)epoch之間出現(xiàn)損失平臺(tái)期持續(xù)爬不過(guò)去。這時(shí)候首先檢查的是全局稀疏采樣數(shù)是否設(shè)置過(guò)小導(dǎo)致每個(gè)Token看到的全局信息不足其次是窗口大小和輸入分辨率是否匹配如果P5層的Token數(shù)量少于窗口內(nèi)Token數(shù)量部分窗口會(huì)退化成一個(gè)錨點(diǎn)注意力學(xué)到的東西就很有限。另一個(gè)常見信號(hào)是驗(yàn)證集mAP在40到45個(gè)epoch附近開始震蕩。這種情況通常不是模型過(guò)度擬合而是學(xué)習(xí)率在余弦退火中下降過(guò)快配合Mosaic增強(qiáng)關(guān)閉導(dǎo)致的特征分布切換。我的處理經(jīng)驗(yàn)是把學(xué)習(xí)率衰減的末期時(shí)間拉長(zhǎng)且關(guān)閉Mosaic的時(shí)間從最后10個(gè)epoch提前到12至15個(gè)epoch讓模型有更充裕的時(shí)間適應(yīng)完全真實(shí)的樣本分布。5. 常見問(wèn)題速查與避坑清單每次有同學(xué)來(lái)問(wèn)PST改YOLO的實(shí)戰(zhàn)問(wèn)題我發(fā)現(xiàn)大部分坑翻來(lái)覆去就那么幾個(gè)。直接整理成一張速查表按問(wèn)題表現(xiàn)、可能原因、排查方法來(lái)寫問(wèn)題表現(xiàn)可能原因排查與解決方法訓(xùn)練損失不下降學(xué)習(xí)率過(guò)高或殘差縮放未設(shè)置檢查L(zhǎng)R曲線確認(rèn)殘差縮放是否為0.1左右顯存OOMToken粒度過(guò)細(xì)或窗口過(guò)大降低最高分辨率粒度窗口從16×16降到8×8mAP不升反降稀疏采樣數(shù)過(guò)少增加全局采樣Token數(shù)不要低于64小目標(biāo)召回率降低在P3層插入PST模塊移除P3插入點(diǎn)僅保留P5和P4層推理延遲異常偏高稀疏策略配比失衡調(diào)整局部與全局配比增加局部占比多卡訓(xùn)練時(shí)梯度不穩(wěn)批次劃分導(dǎo)致部分Token缺失使用同步BN或全局Token劃分策略注意力圖全圖均勻分布金字塔粒度層級(jí)太少把粒度層級(jí)從兩級(jí)加到三級(jí)還有一個(gè)從實(shí)踐中頗為獨(dú)特的體會(huì)稀疏注意力的稀疏模式不一定需要?jiǎng)討B(tài)計(jì)算。我在部分實(shí)驗(yàn)里嘗試過(guò)把稀疏模式固定為規(guī)則分塊采樣訓(xùn)練時(shí)保持計(jì)算圖穩(wěn)定結(jié)果收斂速度比動(dòng)態(tài)TopK選擇模式更快最終精度也很接近。如果資源緊張或者部署平臺(tái)對(duì)動(dòng)態(tài)形狀不友好這是一個(gè)值得考慮的降級(jí)方案。之前在某圖像處理Demo的端側(cè)部署測(cè)試中固定稀疏模式在推理引擎上的耗時(shí)降低了18%左右。訓(xùn)練完模型之后也別急著收工。引入Transformer結(jié)構(gòu)后對(duì)輸入分辨率的敏感度會(huì)明顯高于純卷積結(jié)構(gòu)。我習(xí)慣用兩種分辨率做最后驗(yàn)證——比如訓(xùn)練時(shí)用640×640推理時(shí)用1280×1280測(cè)一下大分辨率下的穩(wěn)定性如果出現(xiàn)精度崩壞大概率是位置編碼外推能力不足需要回退到可學(xué)習(xí)的相對(duì)位置編碼方案。這個(gè)細(xì)節(jié)在正式論文的復(fù)現(xiàn)材料里很少被提到但在實(shí)際項(xiàng)目部署中判斷模型泛化能力很有價(jià)值。關(guān)于這個(gè)方向的后續(xù)擴(kuò)展我現(xiàn)在的判斷是輕量化空間還很大。PST模塊的前饋網(wǎng)絡(luò)部分占了較多參數(shù)量嘗試換成門控線性單元或者共享參數(shù)的多層前饋結(jié)構(gòu)有可能在幾乎不損失精度的情況下進(jìn)一步壓低模型體積。另一個(gè)值得探索的方向是把稀疏注意力與檢測(cè)頭的分類和回歸分支解耦分別應(yīng)用不同稀疏策略讓分類分支偏向高頻細(xì)節(jié)、回歸分支偏向全局結(jié)構(gòu)。我在內(nèi)部項(xiàng)目X上已經(jīng)做了初步驗(yàn)證目前在遮擋場(chǎng)景下的定位精度和召回率都有穩(wěn)定提升后續(xù)如果有更完整的結(jié)論再單獨(dú)寫一篇文章來(lái)分享。