1. 從“軟”到“硬”為什么我們需要DPDK的硬件加速與功能卸載如果你在數(shù)據(jù)中心、云計(jì)算或者網(wǎng)絡(luò)設(shè)備領(lǐng)域工作那么“DPDK”這個(gè)詞對(duì)你來(lái)說(shuō)一定不陌生。它早已不是那個(gè)只存在于高性能網(wǎng)絡(luò)論文里的神秘技術(shù)而是成為了現(xiàn)代網(wǎng)絡(luò)基礎(chǔ)設(shè)施尤其是虛擬化網(wǎng)絡(luò)和云原生環(huán)境下的一個(gè)關(guān)鍵組件。但很多人對(duì)DPDK的理解可能還停留在“一個(gè)用戶態(tài)的數(shù)據(jù)平面開(kāi)發(fā)套件通過(guò)輪詢和綁定CPU核來(lái)繞過(guò)內(nèi)核實(shí)現(xiàn)高性能數(shù)據(jù)包處理”這個(gè)層面。這沒(méi)錯(cuò)但這只是DPDK的“上半場(chǎng)”。它的真正威力或者說(shuō)它能將網(wǎng)絡(luò)性能推向極致的關(guān)鍵在于它的“下半場(chǎng)”硬件加速與功能卸載。想象一下你費(fèi)盡心思優(yōu)化軟件把CPU的每一個(gè)時(shí)鐘周期都榨干終于把數(shù)據(jù)包處理速度從每秒幾十萬(wàn)提升到了幾百萬(wàn)。然后你發(fā)現(xiàn)隔壁團(tuán)隊(duì)通過(guò)一些硬件上的“魔法”輕松達(dá)到了每秒上億的處理能力而且CPU占用率還比你低得多。這種“降維打擊”的感覺(jué)就是硬件加速帶來(lái)的。DPDK的硬件加速與功能卸載本質(zhì)上就是一場(chǎng)軟件與硬件的“合謀”讓最合適的工作交給最合適的執(zhí)行單元去做。CPU不再需要事必躬親地去處理每一個(gè)數(shù)據(jù)包的校驗(yàn)和計(jì)算、加解密、報(bào)文重組等繁瑣且重復(fù)性高的任務(wù)而是把這些任務(wù)“卸載”給網(wǎng)卡NIC上的專用硬件引擎。CPU得以解放出來(lái)專注于更復(fù)雜的業(yè)務(wù)邏輯和控制平面決策。這不僅僅是性能的提升更是架構(gòu)的演進(jìn)。從早期的純軟件轉(zhuǎn)發(fā)到智能網(wǎng)卡SmartNIC的興起再到如今的DPU數(shù)據(jù)處理單元和IPU基礎(chǔ)設(shè)施處理器硬件卸載的能力越來(lái)越強(qiáng)范圍越來(lái)越廣。DPDK作為連接上層應(yīng)用與底層硬件的橋梁其硬件加速框架正是這一趨勢(shì)在軟件層面的集中體現(xiàn)。無(wú)論是熱門的OVS-DPDK用于虛擬交換機(jī)加速還是像Corundum這樣的開(kāi)源FPGA網(wǎng)卡項(xiàng)目與DPDK的集成亦或是搭建一個(gè)完整的服務(wù)器DPDK環(huán)境理解硬件加速與功能卸載都是無(wú)法繞開(kāi)的核心課題。接下來(lái)我們就深入拆解DPDK是如何實(shí)現(xiàn)這場(chǎng)“軟硬協(xié)同”的革命的。2. DPDK硬件加速框架抽象層下的統(tǒng)一接口DPDK并沒(méi)有為每一種硬件加速功能都發(fā)明一套全新的API那樣會(huì)導(dǎo)致應(yīng)用開(kāi)發(fā)變得極其復(fù)雜且難以維護(hù)。相反它采用了一個(gè)非常聰明的設(shè)計(jì)硬件加速框架。這個(gè)框架的核心思想是“抽象”與“統(tǒng)一”。它為不同類型的硬件加速功能定義了一套標(biāo)準(zhǔn)的、設(shè)備無(wú)關(guān)的API而底層具體的硬件實(shí)現(xiàn)細(xì)節(jié)則由各個(gè)網(wǎng)卡驅(qū)動(dòng)通過(guò)實(shí)現(xiàn)相應(yīng)的操作回調(diào)函數(shù)來(lái)填充。2.1 核心抽象rte_security與rte_cryptodevDPDK的硬件加速主要圍繞幾個(gè)核心的抽象設(shè)備類型展開(kāi)其中最重要的兩個(gè)是rte_security和rte_cryptodev它們分別對(duì)應(yīng)了網(wǎng)絡(luò)數(shù)據(jù)面中最常見(jiàn)、計(jì)算最密集的兩類任務(wù)。rte_security安全會(huì)話框架這是DPDK中用于處理鏈路層安全協(xié)議的抽象框架最典型的應(yīng)用就是IPsec和MACsec。在傳統(tǒng)軟件實(shí)現(xiàn)中IPsec協(xié)議包括ESP/AH的加解密、認(rèn)證HMAC以及抗重放保護(hù)都需要CPU進(jìn)行大量計(jì)算。rte_security框架允許應(yīng)用創(chuàng)建一個(gè)“安全會(huì)話”Security Session在這個(gè)會(huì)話中你可以指定協(xié)議類型如ESP、加密算法如AES-CBC、認(rèn)證算法如SHA1-HMAC、密鑰等信息。然后當(dāng)你通過(guò)這個(gè)會(huì)話發(fā)送或接收?qǐng)?bào)文時(shí)DPDK會(huì)檢查底層網(wǎng)卡是否支持這些算法的硬件卸載。如果支持整個(gè)IPsec的封裝/解封裝、加解密過(guò)程將在網(wǎng)卡硬件中完成報(bào)文以明文形式進(jìn)入CPUCPU完全感知不到復(fù)雜的加密過(guò)程如果不支持則自動(dòng)回退到軟件實(shí)現(xiàn)通過(guò)rte_cryptodev。注意rte_security通常與rte_ethdev以太網(wǎng)設(shè)備緊密集成。你配置的安全會(huì)話會(huì)與特定的網(wǎng)卡隊(duì)列TX/RX綁定。當(dāng)網(wǎng)卡驅(qū)動(dòng)支持時(shí)在rte_eth_tx_burst發(fā)送過(guò)程中硬件會(huì)自動(dòng)對(duì)匹配會(huì)話的報(bào)文應(yīng)用IPsec封裝和加密。rte_cryptodev加解密設(shè)備框架這是一個(gè)更通用的加解密操作抽象層。它不僅可以服務(wù)于rte_security作為其軟件后備也可以獨(dú)立使用用于任何需要對(duì)稱/非對(duì)稱加解密、認(rèn)證、哈希的場(chǎng)景比如TLS記錄的加解密。一個(gè)“Cryptodev”可以是一個(gè)真正的硬件加解密引擎如Intel QAT、Intel QuickAssist Technology也可以是一個(gè)純軟件的虛擬設(shè)備如基于OpenSSL的crypto_opensslPMD。應(yīng)用通過(guò)rte_cryptodev_enqueue_burst提交一個(gè)“加密操作”rte_crypto_op其中包含了待處理的數(shù)據(jù)、算法、密鑰、IV等參數(shù)然后通過(guò)rte_cryptodev_dequeue_burst獲取結(jié)果。為什么需要兩個(gè)框架這體現(xiàn)了關(guān)注點(diǎn)分離。rte_security關(guān)注的是網(wǎng)絡(luò)協(xié)議棧中特定位置的安全處理它理解IPsec的報(bào)文格式、SPI、序列號(hào)等。而rte_cryptodev是一個(gè)更底層的、與協(xié)議無(wú)關(guān)的數(shù)學(xué)計(jì)算單元。硬件設(shè)計(jì)上一個(gè)支持IPsec卸載的網(wǎng)卡其內(nèi)部可能就包含了一個(gè)或多個(gè)cryptodev引擎并由固件或驅(qū)動(dòng)協(xié)調(diào)以rte_security的接口暴露給上層。2.2 其他功能卸載校驗(yàn)和、TSO、LRO除了安全處理DPDK還支持多種常見(jiàn)的網(wǎng)絡(luò)功能卸載這些通常通過(guò)設(shè)置網(wǎng)卡設(shè)備rte_eth_dev的配置標(biāo)志位或報(bào)文元數(shù)據(jù)mbuf中的ol_flags來(lái)啟用。校驗(yàn)和卸載這是最基礎(chǔ)的卸載功能之一。通過(guò)設(shè)置mbuf-ol_flags中的PKT_TX_IP_CKSUM和PKT_TX_TCP_CKSUM等標(biāo)志應(yīng)用在組包時(shí)就可以跳過(guò)IP、TCP、UDP校驗(yàn)和的計(jì)算。網(wǎng)卡硬件會(huì)在發(fā)送前自動(dòng)計(jì)算并填充正確的校驗(yàn)和。接收方向同理網(wǎng)卡可以驗(yàn)證校驗(yàn)和并將結(jié)果通過(guò)mbuf-ol_flags如PKT_RX_IP_CKSUM_GOOD告知應(yīng)用應(yīng)用可據(jù)此決定是否丟棄錯(cuò)誤報(bào)文。這節(jié)省了CPU周期尤其是對(duì)小包高吞吐場(chǎng)景。TSO (TCP Segmentation Offload)也稱為L(zhǎng)SO (Large Send Offload)。當(dāng)應(yīng)用需要發(fā)送一個(gè)遠(yuǎn)大于MTU比如64KB的TCP數(shù)據(jù)塊時(shí)傳統(tǒng)方式需要CPU在TCP/IP棧中進(jìn)行復(fù)雜的分段操作生成幾十個(gè)小的TCP報(bào)文每個(gè)都要填充頭部、計(jì)算校驗(yàn)和開(kāi)銷巨大。啟用TSO后應(yīng)用只需要組裝一個(gè)巨大的“超級(jí)報(bào)文”GSO設(shè)置PKT_TX_TCP_SEG標(biāo)志并填寫TCP載荷長(zhǎng)度。網(wǎng)卡硬件會(huì)負(fù)責(zé)根據(jù)MTU自動(dòng)將其分割成多個(gè)符合尺寸的合法TCP報(bào)文并逐一添加IP/TCP頭、計(jì)算校驗(yàn)和。這極大減輕了CPU的負(fù)擔(dān)顯著提升大塊數(shù)據(jù)傳輸?shù)耐掏铝?。LRO (Large Receive Offload)與TSO相反它是接收方向的優(yōu)化。當(dāng)網(wǎng)卡收到屬于同一個(gè)TCP流的多個(gè)小報(bào)文時(shí)可以在硬件或驅(qū)動(dòng)層面將它們合并成一個(gè)大的數(shù)據(jù)塊再上送給應(yīng)用。這減少了需要處理的數(shù)據(jù)包數(shù)量提升了接收效率。不過(guò)需要注意的是LRO可能會(huì)破壞報(bào)文的時(shí)序和精確性在對(duì)延遲敏感或需要精確報(bào)文計(jì)數(shù)的場(chǎng)景如金融交易、深度包檢測(cè)中需要謹(jǐn)慎使用或禁用。這些功能的啟用通常是在設(shè)備配置階段通過(guò)rte_eth_dev_configure或rte_eth_tx_queue_setup時(shí)傳遞相應(yīng)的特性標(biāo)志如DEV_TX_OFFLOAD_IPV4_CKSUM,DEV_TX_OFFLOAD_TCP_TSO來(lái)協(xié)商。DPDK會(huì)檢查網(wǎng)卡能力并返回實(shí)際支持的卸載功能列表。3. 實(shí)戰(zhàn)解析OVS-DPDK中的硬件卸載實(shí)踐Open vSwitch (OVS) 是虛擬化環(huán)境中事實(shí)標(biāo)準(zhǔn)的虛擬交換機(jī)。當(dāng)它與DPDK結(jié)合形成OVS-DPDK后性能得到質(zhì)的飛躍。而硬件卸載在OVS-DPDK中扮演了進(jìn)一步釋放性能潛力的關(guān)鍵角色。我們以IPsec卸載和VXLAN卸載為例看看它是如何工作的。3.1 IPsec卸載在OVS中的配置與流程在沒(méi)有硬件卸載時(shí)OVS處理IPsec流量例如兩個(gè)虛擬機(jī)通過(guò)OVS建立的IPsec隧道通信的路徑非常沉重報(bào)文需要從VM通過(guò)virtio-user等機(jī)制進(jìn)入OVS的用戶態(tài)OVS識(shí)別為IPsec報(bào)文后需要調(diào)用系統(tǒng)的IPsec棧如StrongSwan/ Libreswan管理的內(nèi)核IPsec或用戶態(tài)的加解密庫(kù)進(jìn)行處理然后再進(jìn)行轉(zhuǎn)發(fā)。這個(gè)過(guò)程涉及多次上下文切換和內(nèi)存拷貝。啟用硬件卸載后流程被極大簡(jiǎn)化硬件會(huì)話建立在隧道建立階段例如通過(guò)IKE協(xié)議協(xié)商出的SA安全關(guān)聯(lián)參數(shù)不僅會(huì)被配置到系統(tǒng)的IPsec策略庫(kù)中同時(shí)也會(huì)通過(guò)DPDK的rte_securityAPI下發(fā)給支持IPsec卸載的物理網(wǎng)卡或vSwitch的虛擬端口。在OVS-DPDK中這通常意味著為某個(gè)DPDK端口對(duì)應(yīng)一個(gè)物理網(wǎng)卡PF/VF或一個(gè)虛擬端口創(chuàng)建一個(gè)安全會(huì)話。流量匹配與硬件處理當(dāng)報(bào)文從虛擬機(jī)發(fā)送到OVS如果目的地址匹配IPsec隧道OVS會(huì)為其打上對(duì)應(yīng)的“安全標(biāo)記”例如關(guān)聯(lián)到一個(gè)特定的rte_security_session。當(dāng)OVS通過(guò)rte_eth_tx_burst將這個(gè)報(bào)文發(fā)送到綁定了該安全會(huì)話的物理網(wǎng)卡隊(duì)列時(shí)網(wǎng)卡硬件會(huì)識(shí)別這個(gè)標(biāo)記。硬件引擎自動(dòng)完成IPsec ESP的封裝、加密、添加HMAC認(rèn)證等所有操作生成線速的密文報(bào)文發(fā)送出去。接收側(cè)逆向過(guò)程對(duì)端網(wǎng)卡收到IPsec報(bào)文后硬件根據(jù)SPI等匹配到本地的安全會(huì)話自動(dòng)進(jìn)行解密、驗(yàn)證、解封裝將原始的明文報(bào)文通過(guò)DMA直接送到主機(jī)內(nèi)存并由OVS接收后轉(zhuǎn)發(fā)給目標(biāo)虛擬機(jī)。在OVS-DPDK中的具體配置示例思路非完整命令 首先需要確認(rèn)你的網(wǎng)卡如Intel XL710和驅(qū)動(dòng)i40e支持IPsec卸載并且DPDK編譯時(shí)已包含相關(guān)支持。在啟動(dòng)OVS時(shí)需要為DPDK端口啟用安全特性。# 在ovs-vsctl中設(shè)置端口屬性告知OVS此端口支持安全卸載 ovs-vsctl set Interface dpdk0 options:dpdk-extra-a 0000:01:00.0,sec1 # 更常見(jiàn)的配置是在OVS的數(shù)據(jù)庫(kù)中配置流表將特定流量如目的IP為對(duì)端隧道端點(diǎn)的動(dòng)作設(shè)置為output到安全端口并關(guān)聯(lián)安全策略。實(shí)操心得IPsec硬件卸載的調(diào)試相對(duì)復(fù)雜。一個(gè)常見(jiàn)的坑是會(huì)話建立成功但流量不走硬件。務(wù)必使用ethtool -k iface或DPDK的testpmd/dpdk-devbind.py --status命令仔細(xì)檢查網(wǎng)卡報(bào)告的卸載能力是否真正被激活。另外確保MTU設(shè)置正確IPsec封裝會(huì)增加報(bào)文頭長(zhǎng)度如果原始報(bào)文MTU已經(jīng)接近1500封裝后就會(huì)超過(guò)網(wǎng)卡MTU導(dǎo)致分片或丟包這可能使得硬件卸載路徑失效。3.2 VXLAN隧道卸載不只是封裝/解封裝VXLAN是大型數(shù)據(jù)中心overlay網(wǎng)絡(luò)的核心隧道協(xié)議。傳統(tǒng)的VXLAN處理也需要CPU進(jìn)行封裝添加VXLAN頭、外層UDP/IP/MAC頭和解封裝。現(xiàn)代網(wǎng)卡如支持VXLAN/NVGRE隧道卸載的Intel網(wǎng)卡可以將這部分工作卸載。發(fā)送卸載應(yīng)用或OVS準(zhǔn)備一個(gè)內(nèi)層報(bào)文并在mbuf中指定目標(biāo)VXLAN VNI、外層目的IP/MAC地址。設(shè)置PKT_TX_TUNNEL_VXLAN標(biāo)志。網(wǎng)卡硬件在發(fā)送時(shí)會(huì)自動(dòng)添加完整的外層隧道頭。接收卸載網(wǎng)卡收到VXLAN報(bào)文后硬件能識(shí)別隧道協(xié)議并根據(jù)VNI進(jìn)行過(guò)濾和匹配有時(shí)需要結(jié)合RSS的擴(kuò)展哈希將相同VNI的流量導(dǎo)向同一隊(duì)列。然后硬件剝離外層隧道頭將內(nèi)層報(bào)文和相關(guān)的元數(shù)據(jù)如VNI一起上送。在DPDK中這個(gè)VNI信息可以通過(guò)mbuf的字段如hash.fdir.hi或特定驅(qū)動(dòng)提供的元數(shù)據(jù)獲取。這對(duì)于OVS-DPDK至關(guān)重要。它意味著OVS在轉(zhuǎn)發(fā)跨主機(jī)的虛擬機(jī)流量時(shí)對(duì)于“北-南”向流量虛擬機(jī)到外部網(wǎng)絡(luò)物理網(wǎng)卡可以代替OVS完成VXLAN的封裝解封裝OVS只需要處理基于內(nèi)層報(bào)文的橋接或路由決策性能損耗大幅降低。環(huán)境搭建時(shí)的關(guān)鍵點(diǎn)在搭建服務(wù)器DPDK環(huán)境以運(yùn)行OVS-DPDK時(shí)除了常規(guī)的大頁(yè)內(nèi)存、CPU隔離、綁定網(wǎng)卡到igb_uio或vfio-pci驅(qū)動(dòng)外必須通過(guò)ethtool或網(wǎng)卡數(shù)據(jù)手冊(cè)確認(rèn)其對(duì)VXLAN卸載的支持情況并在OVS的DPDK初始化參數(shù)中啟用對(duì)應(yīng)的硬件卸載能力。例如在/etc/openvswitch/conf.db的Open_vSwitch表下設(shè)置other_config:dpdk-extra”–tx-offloads0x…”來(lái)指定需要啟用的TX卸載能力位圖。4. 深入案例Corundum FPGA網(wǎng)卡與DPDK的集成“Corundum”是一個(gè)開(kāi)源的、基于FPGA的100G以太網(wǎng)網(wǎng)卡項(xiàng)目。它代表了硬件加速的另一個(gè)前沿方向通過(guò)可編程硬件FPGA實(shí)現(xiàn)高度定制化的數(shù)據(jù)平面功能。將Corundum與DPDK集成完美詮釋了DPDK硬件加速框架的包容性和強(qiáng)大。4.1 Corundum的硬件能力與DPDK PMD驅(qū)動(dòng)Corundum網(wǎng)卡在FPGA上實(shí)現(xiàn)了完整的MAC、PCIe DMA引擎、隊(duì)列管理、以及可擴(kuò)展的用戶自定義數(shù)據(jù)處理流水線。它的DPDK支持是通過(guò)一個(gè)Poll Mode Driver (PMD)實(shí)現(xiàn)的。這個(gè)PMD驅(qū)動(dòng)是連接DPDK通用API與Corundum特定硬件的橋梁。設(shè)備發(fā)現(xiàn)與初始化DPDK的EAL在啟動(dòng)時(shí)會(huì)掃描PCIe總線。Corundum PMD會(huì)識(shí)別Corundum網(wǎng)卡的PCIe設(shè)備ID并為其創(chuàng)建rte_eth_dev實(shí)例。在初始化階段PMD會(huì)配置FPGA上的寄存器設(shè)置DMA描述符環(huán)RX/TX rings的地址、大小這些環(huán)位于主機(jī)內(nèi)存中由DPDK應(yīng)用管理。數(shù)據(jù)路徑集成在數(shù)據(jù)面rte_eth_rx_burst和rte_eth_tx_burst這些標(biāo)準(zhǔn)API的調(diào)用最終會(huì)由Corundum PMD轉(zhuǎn)化為對(duì)FPGA上特定隊(duì)列描述符的操作。報(bào)文數(shù)據(jù)通過(guò)DMA在主機(jī)內(nèi)存和FPGA板載內(nèi)存之間直接傳輸。硬件加速功能暴露這是最精彩的部分。Corundum FPGA的邏輯可以實(shí)現(xiàn)各種自定義的硬件模塊例如自定義的流分類器Flow Classifier硬件計(jì)時(shí)器或延遲測(cè)量單元特定的包頭修改或過(guò)濾邏輯甚至簡(jiǎn)單的查找-動(dòng)作Match-Action流水線實(shí)現(xiàn)一個(gè)FPGA上的微型交換機(jī)。這些功能如何通過(guò)DPDK暴露給應(yīng)用Corundum的PMD驅(qū)動(dòng)可以通過(guò)多種方式實(shí)現(xiàn)擴(kuò)展的rte_eth_dev_ops在DPDK的網(wǎng)卡設(shè)備操作結(jié)構(gòu)體中除了標(biāo)準(zhǔn)的dev_start,rx_burst等函數(shù)指針DPDK也允許驅(qū)動(dòng)添加自定義的IOCTL命令。Corundum PMD可以定義一些私有命令讓應(yīng)用通過(guò)rte_eth_dev_private_ioctl來(lái)調(diào)用從而配置或查詢FPGA上的自定義模塊。利用rte_rawdev抽象對(duì)于更復(fù)雜、更偏離標(biāo)準(zhǔn)以太網(wǎng)操作的硬件功能DPDK提供了rte_rawdev原始設(shè)備抽象。Corundum可以同時(shí)注冊(cè)為一個(gè)rte_eth_dev和一個(gè)rte_rawdev。以太網(wǎng)報(bào)文收發(fā)走ethdev接口而特殊的硬件加速功能如配置一個(gè)自定義的硬件查找表則通過(guò)rawdev的API進(jìn)行控制。通過(guò)rte_bbdev或rte_cryptodev如果FPGA上實(shí)現(xiàn)了加速基帶處理LDPC編解碼等或加解密功能可以為其實(shí)現(xiàn)相應(yīng)的bbdev或cryptodevPMD這樣上層應(yīng)用如OAI 5G L1棧就可以通過(guò)DPDK的標(biāo)準(zhǔn)加速框架來(lái)使用這些功能。4.2 開(kāi)發(fā)與調(diào)試經(jīng)驗(yàn)談為像Corundum這樣的自定義硬件開(kāi)發(fā)DPDK PMD或者在其上開(kāi)發(fā)加速應(yīng)用是一個(gè)深入系統(tǒng)底層的過(guò)程充滿挑戰(zhàn)也充滿樂(lè)趣。首先理解硬件是根本。你必須仔細(xì)閱讀Corundum的FPGA代碼主要是SystemVerilog/VHDL和架構(gòu)文檔弄明白寄存器映射FPGA上的控制狀態(tài)寄存器CSR是如何通過(guò)PCIe BAR空間訪問(wèn)的每個(gè)比特控制什么功能DMA機(jī)制描述符環(huán)的格式是怎樣的主機(jī)和FPGA之間如何同步生產(chǎn)/消費(fèi)指針是否支持分散-聚集Scatter-Gather中斷機(jī)制是使用MSI-X嗎每個(gè)隊(duì)列是否有獨(dú)立的中斷向量在DPDK輪詢模式下我們通常禁用中斷但初始化時(shí)仍需正確設(shè)置。自定義模塊的接口如果你要暴露一個(gè)硬件分類器它的規(guī)則是如何加載的匹配結(jié)果如何返回給主機(jī)其次PMD驅(qū)動(dòng)開(kāi)發(fā)是核心。你需要熟練運(yùn)用DPDK的驅(qū)動(dòng)開(kāi)發(fā)框架struct rte_pci_driver用于PCIe設(shè)備注冊(cè)。struct rte_eth_dev及其data和dev_ops成員是核心數(shù)據(jù)結(jié)構(gòu)。在dev_ops中實(shí)現(xiàn)所有必要的回調(diào)如dev_configure,rx_queue_setup,tx_queue_setup,dev_start,link_update, 以及最重要的rx_burst和tx_burst。在rx_burst中你需要檢查FPGA的RX描述符環(huán)將已完成的描述符對(duì)應(yīng)的數(shù)據(jù)包填充到rte_mbuf中并歸還描述符給硬件。內(nèi)存管理至關(guān)重要。DPDK的rte_mbuf和rte_mempool是標(biāo)準(zhǔn)你的驅(qū)動(dòng)必須能正確地將DMA地址與mbuf關(guān)聯(lián)并確保內(nèi)存是在大頁(yè)上分配的以滿足DMA要求。調(diào)試是一場(chǎng)硬仗。你需要借助多種工具DPDK的testpmd這是第一個(gè)測(cè)試工具。用它來(lái)打流看基本的收發(fā)是否正常。testpmd的統(tǒng)計(jì)信息能幫你判斷是否有丟包、錯(cuò)包。FPGA仿真器在投入硬件之前用Verilator或ModelSim等工具對(duì)FPGA邏輯和PMD的軟件行為進(jìn)行協(xié)同仿真能提前發(fā)現(xiàn)很多設(shè)計(jì)缺陷。邏輯分析儀與ILA在真實(shí)硬件上使用集成邏輯分析儀如Xilinx的ILA來(lái)抓取FPGA內(nèi)部信號(hào)查看描述符是否被正確讀取、數(shù)據(jù)是否在流動(dòng)。軟件調(diào)試器與日志在PMD驅(qū)動(dòng)中大量使用rte_logRTE_LOG宏輸出調(diào)試信息配合gdb進(jìn)行單步調(diào)試。特別注意DMA地址和虛擬地址的轉(zhuǎn)換是否正確這是最容易出錯(cuò)的地方之一。踩坑實(shí)錄在一次Corundum PMD調(diào)試中我們發(fā)現(xiàn)tx_burst函數(shù)總是成功提交描述符但物理鏈路上沒(méi)有數(shù)據(jù)。使用ILA抓取發(fā)現(xiàn)FPGA的TX引擎狀態(tài)機(jī)一直停留在“等待”狀態(tài)。最終排查發(fā)現(xiàn)在dev_start函數(shù)中我們忘記向一個(gè)關(guān)鍵的“TX隊(duì)列使能”寄存器寫入啟動(dòng)命令。硬件設(shè)計(jì)是上電復(fù)位后所有隊(duì)列默認(rèn)為禁用狀態(tài)必須由軟件顯式開(kāi)啟。這個(gè)教訓(xùn)是對(duì)硬件的任何假設(shè)都要通過(guò)文檔或代碼確認(rèn)初始化的每一步順序都至關(guān)重要遺漏一個(gè)寄存器寫入就可能導(dǎo)致整個(gè)數(shù)據(jù)路徑癱瘓。5. 服務(wù)器DPDK環(huán)境搭建為硬件加速鋪路無(wú)論是測(cè)試OVS-DPDK還是開(kāi)發(fā)Corundum的PMD抑或是運(yùn)行任何基于DPDK的應(yīng)用一個(gè)正確配置的服務(wù)器DPDK環(huán)境是基礎(chǔ)。這個(gè)環(huán)境搭建不僅僅是“安裝DPDK庫(kù)”它是一系列針對(duì)高性能數(shù)據(jù)面處理的系統(tǒng)級(jí)優(yōu)化。5.1 基礎(chǔ)環(huán)境配置內(nèi)核、大頁(yè)與CPU隔離內(nèi)核與驅(qū)動(dòng)推薦使用較新的Linux發(fā)行版如Ubuntu 20.04/22.04 LTS, CentOS Stream 8/9和內(nèi)核5.x。禁用或卸載與DPDK沖突的網(wǎng)卡內(nèi)核驅(qū)動(dòng)如ixgbe,i40e。DPDK需要直接操作PCIe設(shè)備因此必須使用vfio-pci或igb_uio這種用戶態(tài)驅(qū)動(dòng)來(lái)綁定網(wǎng)卡?，F(xiàn)代環(huán)境首選vfio-pci因?yàn)樗踩С諭OMMU隔離且是內(nèi)核主線維護(hù)的。# 加載vfio模塊并啟用IOMMU echo GRUB_CMDLINE_LINUX\intel_iommuon iommupt\ /etc/default/grub update-grub reboot # 重啟后綁定網(wǎng)卡到vfio-pci假設(shè)網(wǎng)卡地址是0000:01:00.0 dpdk-devbind.py --bindvfio-pci 0000:01:00.0大頁(yè)內(nèi)存DPDK應(yīng)用通過(guò)大頁(yè)內(nèi)存Hugepages來(lái)分配報(bào)文緩沖區(qū)以減少TLB缺失提升DMA效率。這是必須的步驟。# 編輯/etc/sysctl.conf例如分配1024個(gè)2MB大頁(yè) vm.nr_hugepages1024 # 或者1GB大頁(yè)性能更好但需要連續(xù)物理內(nèi)存 vm.nr_hugepages4 # 應(yīng)用配置 sysctl -p # 掛載大頁(yè)文件系統(tǒng) mount -t hugetlbfs nodev /dev/hugepagesCPU隔離與綁核為了獲得確定性的高性能需要將DPDK的工作線程lcore隔離在特定的CPU核上并避免這些核被操作系統(tǒng)調(diào)度器打擾。內(nèi)核參數(shù)在GRUB命令行添加isolcpus2-5例如隔離2,3,4,5號(hào)CPU核。使用taskset或cset在啟動(dòng)DPDK應(yīng)用時(shí)通過(guò)taskset -c 2-5 ./yourapp將其線程綁定到隔離的核上。DPDK EAL參數(shù)DPDK自身也提供了強(qiáng)大的CPU綁定和線程控制能力例如-l 2-5指定使用的邏輯核--lcoreworkercore將特定線程綁定到特定核。5.2 針對(duì)硬件加速的特殊配置如果你的目標(biāo)是測(cè)試或使用硬件加速功能那么基礎(chǔ)配置之上還需要更多細(xì)致的工作確認(rèn)硬件支持這是前提中的前提。使用lspci -vvv查看網(wǎng)卡的詳細(xì)能力列表。更直接的是在將網(wǎng)卡綁定到DPDK驅(qū)動(dòng)后使用DPDK自帶的dpdk-devbind.py -s或testpmd交互命令show port info all來(lái)查看端口支持的卸載能力Tx Offload Cap和Rx Offload Cap。例如你可能會(huì)看到IPV4_CKSUM,TCP_TSO,VXLAN_TNL_TSO,SECURITY等標(biāo)志。啟用IOMMU對(duì)于使用vfio-pci驅(qū)動(dòng)并涉及硬件加速尤其是加解密因?yàn)榭赡苌婕懊荑€安全的場(chǎng)景必須啟用IOMMU。IOMMU可以將DMA地址映射限制在特定的內(nèi)存區(qū)域防止設(shè)備進(jìn)行惡意DMA攻擊同時(shí)也使得多個(gè)虛擬機(jī)可以安全地共享一個(gè)物理設(shè)備SR-IOV。如前所述在BIOS中啟用VT-d/AMD-Vi并在內(nèi)核參數(shù)中添加intel_iommuon iommupt。配置SR-IOV如果使用為了將硬件加速能力分配給多個(gè)虛擬機(jī)或容器需要啟用網(wǎng)卡的SR-IOV功能。這通常需要網(wǎng)卡固件和驅(qū)動(dòng)支持。# 查看PF的SR-IOV能力 lspci -s 0000:01:00.0 -vv | grep SR-IOV # 啟用VF創(chuàng)建4個(gè)VF echo 4 /sys/bus/pci/devices/0000:01:00.0/sriov_numvfs # 此時(shí)會(huì)出現(xiàn)新的VF設(shè)備如0000:01:00.1, .2等。它們可以被單獨(dú)綁定到vfio-pci并傳遞給虛擬機(jī)。在虛擬機(jī)中VF同樣可以運(yùn)行DPDK驅(qū)動(dòng)并可能繼承PF的部分硬件卸載能力取決于硬件設(shè)計(jì)。DPDK應(yīng)用中的啟用與協(xié)商在代碼中硬件卸載功能不是默認(rèn)開(kāi)啟的。你需要在配置端口和隊(duì)列時(shí)明確告知DPDK你希望啟用哪些功能。struct rte_eth_conf port_conf { .txmode { .offloads DEV_TX_OFFLOAD_IPV4_CKSUM | // 啟用IPv4校驗(yàn)和卸載 DEV_TX_OFFLOAD_TCP_TSO | // 啟用TSO DEV_TX_OFFLOAD_SECURITY // 啟用安全協(xié)議卸載 }, .rxmode { .offloads DEV_RX_OFFLOAD_VLAN_STRIP | // 啟用VLAN剝離 DEV_RX_OFFLOAD_SECURITY // 啟用接收側(cè)安全卸載 } }; // 配置端口 rte_eth_dev_configure(port_id, nb_rx_queue, nb_tx_queue, port_conf); // 配置完成后可以查詢實(shí)際生效的卸載能力 struct rte_eth_dev_info dev_info; rte_eth_dev_info_get(port_id, dev_info); // 檢查 dev_info.tx_offload_capa 和 dev_info.rx_offload_capa關(guān)鍵點(diǎn)你請(qǐng)求的卸載能力offloads必須與dev_info中報(bào)告的能力*_offload_capa取按位與得到實(shí)際支持的能力。驅(qū)動(dòng)可能不支持你請(qǐng)求的所有功能。應(yīng)用必須根據(jù)協(xié)商后的結(jié)果來(lái)調(diào)整自己的行為例如如果硬件不支持TSO那么應(yīng)用在發(fā)送大包時(shí)就需要自己進(jìn)行分段。性能調(diào)優(yōu)啟用硬件卸載后性能瓶頸可能會(huì)轉(zhuǎn)移。需要關(guān)注隊(duì)列深度硬件處理單元可能有自己的隊(duì)列需要調(diào)整軟件描述符環(huán)的大小rx/tx_desc來(lái)匹配避免環(huán)滿導(dǎo)致丟包或性能下降。批處理大小rx_burst和tx_burst的批量大小需要優(yōu)化。太大的批處理會(huì)增加單次調(diào)用的延遲太小的批處理則無(wú)法充分利用硬件和CPU的流水線。通常32-64是一個(gè)不錯(cuò)的起點(diǎn)。監(jiān)控與統(tǒng)計(jì)充分利用DPDK的rte_eth_stats_get、rte_eth_xstats_get來(lái)監(jiān)控丟包、錯(cuò)誤計(jì)數(shù)。對(duì)于安全卸載可能還有特定的統(tǒng)計(jì)計(jì)數(shù)器來(lái)查看硬件加速會(huì)話的成功/失敗次數(shù)。搭建一個(gè)支持硬件加速的DPDK環(huán)境就像為一個(gè)F1賽車團(tuán)隊(duì)準(zhǔn)備賽道和維修站。每一個(gè)細(xì)節(jié)——從BIOS設(shè)置、內(nèi)核參數(shù)到驅(qū)動(dòng)綁定、應(yīng)用配置——都關(guān)乎著最終能否讓硬件引擎全速、穩(wěn)定地運(yùn)轉(zhuǎn)起來(lái)。這個(gè)過(guò)程沒(méi)有捷徑唯有仔細(xì)閱讀硬件手冊(cè)、驅(qū)動(dòng)文檔并通過(guò)反復(fù)測(cè)試和監(jiān)控來(lái)驗(yàn)證每一步配置是否生效。當(dāng)看到testpmd里打出的流量線速跑滿而CPU占用率卻低得驚人時(shí)你就會(huì)明白所有這些繁瑣的準(zhǔn)備工作都是值得的。