注意力機(jī)制的效率革命回顧從O(n2)到O(n)的演進(jìn)路徑與技術(shù)取舍一、問(wèn)題的起點(diǎn)二次復(fù)雜度的代價(jià)自注意力機(jī)制是Transformer架構(gòu)的核心創(chuàng)新但也是其最昂貴的組件。標(biāo)準(zhǔn)縮放點(diǎn)積注意力的計(jì)算過(guò)程可以分解為三步計(jì)算Q和K的點(diǎn)積得到注意力分?jǐn)?shù)矩陣O(n2·d)、對(duì)分?jǐn)?shù)矩陣進(jìn)行softmax歸一化O(n2)、用歸一化后的權(quán)重對(duì)V進(jìn)行加權(quán)求和O(n2·d)。整個(gè)過(guò)程中O(n2)的空間復(fù)雜度來(lái)自注意力分?jǐn)?shù)矩陣的存儲(chǔ)這在長(zhǎng)序列場(chǎng)景中迅速成為不可承受之重。以序列長(zhǎng)度n128K、頭維度d128為例單層單頭的注意力分?jǐn)?shù)矩陣需要128K × 128K × 2字節(jié)FP16 32GB顯存。即使使用FlashAttention等優(yōu)化算法避免了完整分?jǐn)?shù)矩陣的顯式存儲(chǔ)計(jì)算量仍然是O(n2·d)在128K序列長(zhǎng)度下約為2萬(wàn)億次浮點(diǎn)運(yùn)算——僅一層注意力。這一計(jì)算瓶頸不是工程優(yōu)化可以根本解決的——FlashAttention系列通過(guò)分塊計(jì)算和IO優(yōu)化降低了顯存訪(fǎng)問(wèn)開(kāi)銷(xiāo)但無(wú)法改變算法的漸近復(fù)雜度。因此從根本上解決注意力效率問(wèn)題需要探索具有更低漸近復(fù)雜度的替代機(jī)制。二、稀疏注意力的工程成熟度與理論局限稀疏注意力通過(guò)放棄每個(gè)token關(guān)注所有token的全連接假設(shè)將注意力范圍限制在token的子集上。到2026年稀疏注意力已經(jīng)發(fā)展出多種成熟的范式滑動(dòng)窗口注意力在工程上最為成功。Mistral系列和Llama-3的GQAGrouped Query Attention 滑動(dòng)窗口組合在序列長(zhǎng)度超過(guò)4096時(shí)自動(dòng)切換到窗口模式。這種方法將復(fù)雜度降至O(n·w)其中w是窗口大小通常為4096-8192且得益于連續(xù)的訪(fǎng)問(wèn)模式GPU利用率高于隨機(jī)稀疏模式?；趦?nèi)容的稀疏注意力根據(jù)Q和K的內(nèi)容動(dòng)態(tài)選擇需要關(guān)注的位置而非使用固定的窗口模式。Reformer的LSH局部敏感哈希注意力將相似的Q-K對(duì)哈希到同一個(gè)桶中只在桶內(nèi)計(jì)算注意力。這種方法在理論上更靈活但哈希計(jì)算和動(dòng)態(tài)路由的開(kāi)銷(xiāo)在短序列場(chǎng)景下可能超過(guò)收益。稀疏注意力的根本局限在于信息可達(dá)性——距離超過(guò)窗口大小的兩個(gè)token之間無(wú)法直接通過(guò)注意力交互信息傳遞需要通過(guò)多個(gè)中間token逐層接力。在需要跨長(zhǎng)距離進(jìn)行精確信息檢索的任務(wù)中如代碼中的遠(yuǎn)距離函數(shù)調(diào)用跟蹤這種接力機(jī)制可能導(dǎo)致信息丟失。三、線(xiàn)性注意力的數(shù)學(xué)本質(zhì)與實(shí)踐差距線(xiàn)性注意力通過(guò)將softmax注意力重新表述為核函數(shù)形式將計(jì)算順序從(Q·K^T)·V改為Q·(K^T·V)從而消除O(n2)項(xiàng)。其數(shù)學(xué)基礎(chǔ)是將exp(q·k^T)近似為φ(q)·φ(k)^T其中φ是特征映射函數(shù)。早期線(xiàn)性注意力如Linear Transformer使用簡(jiǎn)單的elu激活函數(shù)作為φ近似質(zhì)量不佳。Performer使用隨機(jī)傅里葉特征Random Fourier Features來(lái)近似高斯核理論上可以通過(guò)增加特征維度來(lái)提高近似精度。2026年基于正隨機(jī)特征Positive Random Features的改進(jìn)方法通過(guò)強(qiáng)制特征值為正數(shù)解決了標(biāo)準(zhǔn)RFF的負(fù)值導(dǎo)致的不穩(wěn)定性。線(xiàn)性注意力的實(shí)踐差距在于在短到中等序列16K上經(jīng)過(guò)高度優(yōu)化的FlashAttention-3雖為O(n2)但常數(shù)因子極小通常比線(xiàn)性注意力更快。線(xiàn)性注意力的效率優(yōu)勢(shì)在超長(zhǎng)序列32K上才開(kāi)始顯現(xiàn)而此時(shí)近似誤差可能已經(jīng)影響了模型質(zhì)量。四、IO優(yōu)化在漸近復(fù)雜度不變的情況下做到極致FlashAttention系列工作代表了在不改變O(n2)復(fù)雜度的情況下通過(guò)IO優(yōu)化將注意力效率推向極致的工程路線(xiàn)。FlashAttention-1實(shí)現(xiàn)了分塊重計(jì)算FlashAttention-2優(yōu)化了工作分區(qū)策略以減少非矩陣乘法的開(kāi)銷(xiāo)FlashAttention-32026年進(jìn)一步利用了Hopper架構(gòu)的TMATensor Memory Accelerator和異步拷貝能力。FlashAttention的成功揭示了一個(gè)重要的工程洞察在許多實(shí)際序列長(zhǎng)度下如1K-32KO(n2)的注意力計(jì)算并不是瓶頸——瓶頸是將數(shù)據(jù)從HBM高帶寬顯存移動(dòng)到SRAM片上共享內(nèi)存的IO操作。FlashAttention通過(guò)分塊策略tiling將注意力矩陣的on-chip計(jì)算與off-chip內(nèi)存訪(fǎng)問(wèn)解耦在數(shù)學(xué)上計(jì)算完全相同的softmax注意力但將HBM讀寫(xiě)量從O(n2)降低到O(n2·d / M)其中M是SRAM的大小。Ring Attention將這一思想擴(kuò)展到跨GPU的分布式注意力計(jì)算。通過(guò)在GPU環(huán)上傳遞K和V的分塊每個(gè)GPU輪流計(jì)算注意力的一部分實(shí)現(xiàn)跨GPU的通信和計(jì)算重疊。五、總結(jié)注意力機(jī)制的效率革命在2026年呈現(xiàn)出全頻譜的演進(jìn)態(tài)勢(shì)IO優(yōu)化路線(xiàn)的FlashAttention讓標(biāo)準(zhǔn)O(n2)注意力在實(shí)用序列長(zhǎng)度上足夠高效稀疏注意力路線(xiàn)提供了簡(jiǎn)單可部署的低復(fù)雜度替代線(xiàn)性注意力路線(xiàn)為超長(zhǎng)序列場(chǎng)景提供了理論上限更高的數(shù)學(xué)框架。對(duì)于工程實(shí)踐當(dāng)前的最優(yōu)策略是根據(jù)序列長(zhǎng)度選擇方案32K序列使用FlashAttention-3優(yōu)化的標(biāo)準(zhǔn)注意力32K-128K序列使用滑動(dòng)窗口注意力128K序列根據(jù)任務(wù)精度要求選擇線(xiàn)性注意力或分塊的標(biāo)準(zhǔn)注意力。未來(lái)12個(gè)月內(nèi)混合方案——短序列用標(biāo)準(zhǔn)注意力、長(zhǎng)序列自動(dòng)切換到線(xiàn)性注意力——有望成為新的默認(rèn)配置。資料說(shuō)明本文中的協(xié)議、版本、性能、成本和行業(yè)趨勢(shì)應(yīng)以可核驗(yàn)的一手資料為準(zhǔn)。未標(biāo)注統(tǒng)計(jì)口徑的比例、時(shí)間表和預(yù)測(cè)僅作工程討論不應(yīng)視為行業(yè)事實(shí)。可參考 0730 資料來(lái)源索引并在發(fā)布前將具體來(lái)源貼到對(duì)應(yīng)斷言之后。