簡(jiǎn)介這是一套面向計(jì)算機(jī)視覺開發(fā)者與算法學(xué)習(xí)者的整合系統(tǒng)將強(qiáng)光分離、暗光增強(qiáng)與目標(biāo)檢測(cè)串聯(lián)成完整處理鏈路用于解決逆光、夜間等復(fù)雜光照?qǐng)鼍跋聶z測(cè)精度下降的問題可作為項(xiàng)目起步或算法復(fù)現(xiàn)的模板。壓縮包共255個(gè)文件、約113.53MB內(nèi)容以Python源文件為主體配以Vue前端頁面、YOLO系列模型權(quán)重、Jupyter示例及YAML配置文件覆蓋從模型訓(xùn)練到前端展示的完整技術(shù)棧兼顧算法實(shí)驗(yàn)與工程部署需求。目前已有325人瀏覽學(xué)習(xí)適合作為課程設(shè)計(jì)、算法復(fù)現(xiàn)或工程落地的參考。包內(nèi)除目標(biāo)檢測(cè)基礎(chǔ)理論說明外還包含Retinexformer等暗光增強(qiáng)相關(guān)代碼與權(quán)重以及車輛檢測(cè)等演示腳本讀者可直接運(yùn)行或二次開發(fā)快速理解各環(huán)節(jié)銜接與調(diào)參細(xì)節(jié)并能借助ipynb示例和測(cè)試圖片直觀驗(yàn)證增強(qiáng)與檢測(cè)效果。資源結(jié)構(gòu)清晰按功能模塊劃分便于檢索與復(fù)現(xiàn)。1. 從一張過曝圖和一個(gè)暗光視頻說起的檢測(cè)難題監(jiān)控?cái)z像頭在正午逆光下拍到一張人臉白茫茫一片YOLOv8 在該區(qū)域畫了十個(gè)框沒有一個(gè)是人同一臺(tái)設(shè)備在夜間拍到的停車場(chǎng)檢測(cè)器把路燈陰影當(dāng)成了車。這兩類問題不是檢測(cè)模型不夠強(qiáng)而是輸入圖像的光照動(dòng)態(tài)范圍已經(jīng)超過了傳感器能記錄的上限強(qiáng)光區(qū)域像素值飽和在 255亮部紋理被抹平暗光區(qū)域的信號(hào)淹沒在傳感器噪聲里對(duì)比度低到卷積核提取不到有效梯度。于是才有了“強(qiáng)光分離 暗光增強(qiáng) 目標(biāo)檢測(cè)整合系統(tǒng)”這條技術(shù)路線。這套系統(tǒng)的核心思路并不復(fù)雜在檢測(cè)器前面加一層光照處理管線先把圖像分解成光照分量和反射分量對(duì)強(qiáng)光區(qū)做高光分離與細(xì)節(jié)恢復(fù)對(duì)暗光區(qū)做受控增強(qiáng)再把歸一化后的圖像喂給目標(biāo)檢測(cè)模型。它解決的是“光照條件變化導(dǎo)致檢測(cè)精度劇烈波動(dòng)”的問題適合做戶外視覺巡檢、安防監(jiān)控、車載感知的工程人員。整個(gè)過程不依賴昂貴硬件核心算法用 OpenCV 和 PyTorch 就能落地。2. 強(qiáng)光分離光照分量的估計(jì)與高光區(qū)細(xì)節(jié)恢復(fù)2.1 為什么不能直接對(duì)高光區(qū)域做直方圖均衡很多人在遇到強(qiáng)光過曝時(shí)第一反應(yīng)是對(duì)整張圖做直方圖均衡。這在對(duì)比度不足的圖像上有效但強(qiáng)光場(chǎng)景的問題是像素值集中在 255 附近直方圖均衡只是在飽和區(qū)間內(nèi)做拉伸恢復(fù)不出來已經(jīng)丟失的紋理信息。真正的處理思路是先假設(shè)圖像可以被分解為入射光與物體反射率的乘積然后估計(jì)出平滑的光照分量把過曝區(qū)域的反射信息單獨(dú)分離出來。這就是 Retinex 理論的基本形式——( S R \cdot L )。S 是傳感器收到的信號(hào)R 是物體固有反射率即我們真正需要的細(xì)節(jié)信息L 是環(huán)境光照。強(qiáng)光分離的本質(zhì)是從 S 中解出 R。由于 L 被假設(shè)為空間平滑的可以用大核高斯濾波或引導(dǎo)濾波來估計(jì)。得到 L 之后反射圖 R 就是去除光照后的結(jié)果。2.2 基于單尺度 Retinex 的強(qiáng)光分離實(shí)現(xiàn)下面這段代碼是強(qiáng)光分離的最小實(shí)現(xiàn)輸入一張過曝的 BGR 圖像輸出分離后的反射分量import cv2 import numpy as np def single_scale_retinex(img_bgr, kernel_size31): # 轉(zhuǎn) float 避免對(duì)數(shù)域溢出 img img_bgr.astype(np.float32) 1.0 # 估計(jì)光照分量大核高斯濾波近似環(huán)境入射光 illumination cv2.GaussianBlur(img, (kernel_size, kernel_size), 0) # 對(duì)數(shù)域相減等價(jià)于除法 R S / L log_reflectance np.log(img) - np.log(illumination) # 對(duì)數(shù)域結(jié)果需要線性映射回 0~255 ref np.clip(log_reflectance * 32.0, 0, 255) return ref.astype(np.uint8)這段代碼的核心操作是對(duì)數(shù)域相減。之所以不在線性域直接做除法是因?yàn)楦吖鈪^(qū)域 S 和 L 都接近飽和相除后噪聲被放大對(duì)數(shù)運(yùn)算可以把乘性關(guān)系轉(zhuǎn)為加性關(guān)系讓結(jié)果更穩(wěn)定。系數(shù) 32.0 是經(jīng)驗(yàn)值把對(duì)數(shù)域的動(dòng)態(tài)范圍拉伸回 8bit。參數(shù)中 kernel_size 是最敏感的設(shè)太小光照估計(jì)會(huì)把物體本身的紋理也算進(jìn)光照導(dǎo)致反射圖中細(xì)節(jié)丟失設(shè)太大光照分量過度平滑亮部和暗部交界處會(huì)出現(xiàn)光暈。對(duì) 1080p 輸入我一般從 31 開始調(diào)對(duì) 4K 圖像需要增量到 61 以上。如果發(fā)現(xiàn)分離后的圖像暗部偏黑可以在對(duì)數(shù)域做一次線性拉伸。2.3 高光掩膜的獲取與局部恢復(fù)單尺度 Retinex 輸出的是全圖范圍內(nèi)的反射分量但在強(qiáng)光場(chǎng)景中并不是所有區(qū)域都需要處理。用一個(gè)亮度閾值生成高光掩膜只對(duì)掩膜內(nèi)的區(qū)域做恢復(fù)能避免對(duì)正常曝光區(qū)域做過度的顏色偏移。參考下面的實(shí)現(xiàn)def highlight_mask(img_gray, thr180): # 高光區(qū)域判定亮度高于閾值且飽和度偏低 # 飽和度計(jì)算能排除紅色交通燈、橙色施工牌等高飽和物體 hsv cv2.cvtColor(img_gray, cv2.COLOR_BGR2HSV) saturation hsv[:, :, 1] brightness hsv[:, :, 2] # 高亮 低飽和 才是過曝區(qū)域而不是物體本身的高飽和亮色 mask ((brightness thr) (saturation 80)).astype(np.uint8) # 形態(tài)學(xué)閉運(yùn)算填補(bǔ)孔洞 kernel cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (15, 15)) mask cv2.morphologyEx(mask, cv2.MORPH_CLOSE, kernel) return mask為什么加飽和度條件因?yàn)榧儼咨嚻?、白色墻面在高曝光下亮度也很高但這類區(qū)域飽和度為 0確實(shí)已經(jīng)過曝。而紅色車尾燈雖然亮度高但飽和度通常在 150 以上屬于物體固有顏色信息不能按過曝處理。這個(gè)細(xì)節(jié)在后續(xù)檢測(cè)中非常關(guān)鍵——尤其對(duì)交通信號(hào)燈和車輛尾燈這類目標(biāo)。實(shí)際操作時(shí)我會(huì)把掩膜區(qū)域內(nèi)的像素用 Retinex 反射分量的值替換再用高斯金字塔做 8 到 10 個(gè)像素的羽化過渡避免拼接痕跡。這一步驟用一句代碼表示就是out cv2.seamlessClone(ref, img_bgr, mask, center, cv2.NORMAL_CLONE)。3. 暗光增強(qiáng)在抑制噪聲的同時(shí)提升檢測(cè)可用特征3.1 暗光增強(qiáng)的目標(biāo)不是人眼好看而是檢測(cè)器能識(shí)別暗光增強(qiáng)和強(qiáng)光分離在目標(biāo)上完全不同。強(qiáng)光分離要恢復(fù)已經(jīng)丟失的紋理而暗光場(chǎng)景的紋理信息其實(shí)還在傳感器信號(hào)里問題是對(duì)比度太低、噪聲太高。如果直接對(duì)暗光圖做 Gamma 提亮噪聲也被同等放大檢測(cè)器看到的不是目標(biāo)輪廓而是密密麻麻的噪點(diǎn)。暗光增強(qiáng)的核心矛盾是有效提升低頻對(duì)比度同時(shí)抑制高頻噪聲。目標(biāo)檢測(cè)器依賴的特征主要集中在中低頻邊緣和大塊區(qū)域的梯度變化上這決定了增強(qiáng)算法的選擇方向。多尺度 Retinex 可以在不同尺度上分別做對(duì)比度增強(qiáng)能很好地匹配檢測(cè)特征的需求。3.2 多尺度 Retinex 與對(duì)比度受限自適應(yīng)直方圖均衡的配合在實(shí)際工程里我通常會(huì)把 MSRCR 和 CLAHE 組合使用。MSRCR 負(fù)責(zé)色彩恢復(fù)和明暗動(dòng)態(tài)范圍壓縮CLAHE 負(fù)責(zé)局部對(duì)比度提升。下面是一段可直接運(yùn)行的增強(qiáng)代碼def dark_light_enhance(img_bgr, scales[15, 80, 250], clip_limit2.0): img_float img_bgr.astype(np.float32) / 255.0 0.01 log_img np.log(img_float) # 多尺度高斯濾波提取不同尺度的光照估計(jì) msr np.zeros_like(log_img) for k in scales: blur cv2.GaussianBlur(img_float, (0, 0), k) msr (log_img - np.log(blur)) / len(scales) # 線性映射回 0~255 msr cv2.normalize(msr, None, 0, 255, cv2.NORM_MINMAX).astype(np.uint8) # 限制對(duì)比度自適應(yīng)直方圖均衡tile 大小設(shè)為 8x8 clahe cv2.createCLAHE(clipLimitclip_limit, tileGridSize(8, 8)) # 轉(zhuǎn) LAB只對(duì)亮度通道做 CLAHE lab cv2.cvtColor(msr, cv2.COLOR_BGR2LAB) lab[:, :, 0] clahe.apply(lab[:, :, 0]) enhanced cv2.cvtColor(lab, cv2.COLOR_LAB2BGR) return enhanced多尺度 Retinex 的思想是不同尺度的高斯核捕獲不同空間頻率的光照變化。15 的核對(duì)應(yīng)局部光照梯度250 對(duì)應(yīng)全局光照環(huán)境。三者的均值相當(dāng)于在各個(gè)尺度上做了動(dòng)態(tài)范圍壓縮。CLAHE 里 tileGridSize 和 clipLimit 是真正影響效果的參數(shù)。clipLimit 表示對(duì)比度裁剪閾值默認(rèn) 2.0 在大多數(shù)暗光場(chǎng)景下表現(xiàn)穩(wěn)定調(diào)大到 4.0 會(huì)讓暗部細(xì)節(jié)更突出但超過 8.0 會(huì)產(chǎn)生塊狀偽影。tileGridSize 太小如 2×2會(huì)放大局部噪聲太大如 32×32則退化為全局直方圖均衡。8×8 是一個(gè)折中的經(jīng)驗(yàn)值適配 640×640 到 1920×1080 的輸入。3.3 暗光增強(qiáng)的 GPU 加速選項(xiàng)上面這套流程在 CPU 上跑 1080p 圖像大約需要 60 到 80 毫秒對(duì)實(shí)時(shí)檢測(cè)而言偏慢。一個(gè)常見的加速做法是用 PyTorch 把步驟遷移到 GPU但在此之前還有一個(gè)更省事的折中方案——只對(duì)檢測(cè)區(qū)域做增強(qiáng)。先用一個(gè)輕量檢測(cè)模型跑全圖找出可能包含目標(biāo)的候選區(qū)并裁剪出來再對(duì)這些局部區(qū)域應(yīng)用暗光增強(qiáng)然后送入正式的檢測(cè)器。這種策略在 GPU 資源緊張時(shí)比優(yōu)化卷積計(jì)算更能解決問題代價(jià)是多一次前向推理。方案1080p 延遲顯存占用適用場(chǎng)景CPU 全圖 CLAHE60-80ms0 GB離線處理、低幀率巡檢GPU 全圖 Retinex 卷積8-15ms1-2 GB實(shí)時(shí)視頻流30FPSCPU 區(qū)域增強(qiáng)15-25ms0 GB邊緣設(shè)備、嵌入式部署如果顯存不是瓶頸推薦第二種路線把 Retinex 的高斯濾波改成 1×3 和 3×1 卷積疊加在 PyTorch 中用F.conv2d實(shí)現(xiàn)可以顯著減少 GPU 算力浪費(fèi)。4. 整合系統(tǒng)光照狀態(tài)感知與前端預(yù)處理-檢測(cè)器的流水線4.1 系統(tǒng)架構(gòu)不是所有圖都要走全流程整合系統(tǒng)的核心設(shè)計(jì)決策是并非每幀圖像都需要同時(shí)執(zhí)行強(qiáng)光分離和暗光增強(qiáng)。多數(shù)場(chǎng)景光照是正常的白白跑一遍 Retinex 浪費(fèi)時(shí)間。一個(gè)健壯的系統(tǒng)應(yīng)該先計(jì)算圖像光照統(tǒng)計(jì)數(shù)據(jù)根據(jù)統(tǒng)計(jì)結(jié)果決定走哪條分支再送入檢測(cè)器。整個(gè)流水線的控制流程是獲取 BGR 幀轉(zhuǎn)為灰度圖并統(tǒng)計(jì)均值與高光占比若亮度均值低于暗光閾值執(zhí)行暗光增強(qiáng)分支若高光像素占比超閾值執(zhí)行強(qiáng)光分離分支若都在正常范圍內(nèi)直接跳過預(yù)處理預(yù)處理結(jié)果統(tǒng)一縮放到檢測(cè)器輸入尺寸進(jìn)入目標(biāo)檢測(cè)模型4.2 光照狀態(tài)評(píng)估與分支選擇狀態(tài)評(píng)估函數(shù)用一行判斷邏輯承載幾個(gè)關(guān)鍵參數(shù)def assess_lighting(img_gray): # 計(jì)算灰度均值和中位數(shù)避免單像素離群值干擾 mean_brightness np.mean(img_gray) # 統(tǒng)計(jì)亮度超過 200 的像素比例判斷強(qiáng)光干擾程度 highlight_ratio np.sum(img_gray 200) / img_gray.size # 統(tǒng)計(jì)亮度低于 40 的像素比例判斷暗光程度 shadow_ratio np.sum(img_gray 40) / img_gray.size if mean_brightness 60 or shadow_ratio 0.6: return dark elif highlight_ratio 0.3 or mean_brightness 190: return highlight else: return normal閾值設(shè)置需要考慮應(yīng)用場(chǎng)景。對(duì)全天候戶外監(jiān)控mean_brightness 60能覆蓋夜間和黃昏對(duì)室內(nèi)場(chǎng)景這個(gè)值要下調(diào)到 40因?yàn)槭覂?nèi)均勻暗光的均值通常比室外夜間高。高光占比判斷用 0.3 作為閾值可以保證在逆光場(chǎng)景中畫面有約三分之一過曝時(shí)才觸發(fā)分離避免正常畫面中的鏡面反射造成誤觸發(fā)。4.3 整合流水線的完整代碼框架下面把上述模塊串起來形成一個(gè)完整的推理管線import torch import cv2 import numpy as np class IntegratedDetector: def __init__(self, yolo_weightsyolov8s.pt, devicecuda:0): self.device device if torch.cuda.is_available() else cpu # 加載目標(biāo)檢測(cè)模型建議使用 YOLOv8 或 RT-DETR self.model torch.hub.load(ultralytics/yolov8, custom, pathyolo_weights, force_reloadFalse) self.model.to(self.device).eval() def preprocess(self, frame): gray cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY) state assess_lighting(gray) # 根據(jù)光照狀態(tài)選擇增強(qiáng)分支 if state dark: enhanced dark_light_enhance(frame) return enhanced, dark elif state highlight: ref single_scale_retinex(frame, kernel_size31) mask highlight_mask(frame, thr180) enhanced cv2.seamlessClone( ref, frame, mask, (frame.shape[1]//2, frame.shape[0]//2), cv2.NORMAL_CLONE ) return enhanced, highlight return frame, normal def infer(self, frame, conf_thres0.35): enhanced, state self.preprocess(frame) results self.model(enhanced, confconf_thres) return results, state, enhanced這個(gè)框架把光照處理和檢測(cè)器解耦光照分支替換成任何更先進(jìn)的算法都不影響檢測(cè)模塊。conf_thres參數(shù)需要根據(jù)預(yù)處理效果調(diào)整加了暗光增強(qiáng)后檢測(cè)模型輸出的置信度通常會(huì)提高可以把閾值從 0.45 下調(diào)到 0.35召回率會(huì)明顯上升誤報(bào)率的增加很小。4.4 檢測(cè)器選型時(shí)需要想清楚的算力約束熱詞里反復(fù)出現(xiàn)“需要用到 GPU 嗎”這個(gè)問題。答案是強(qiáng)光分離和暗光增強(qiáng)的 CPU 實(shí)現(xiàn)足夠快真正的瓶頸在目標(biāo)檢測(cè)模型。YOLOv8s 在 CPU如 i7-12700上的推理延遲大約是 120 到 200 毫秒加上預(yù)處理仍達(dá)不到實(shí)時(shí)而 GPU如 RTX 3060上能跑 30 到 60 FPS。這里還要注意預(yù)處理模塊的 GPU 化改造不應(yīng)簡(jiǎn)單地把代碼丟到 CUDA 上跑。OpenCV 的GaussianBlur和 CLAHE 并不直接調(diào)用 CUDA需要改用 cupy 或 torch 自定義函數(shù)重寫核心濾波或者用 NVIDIA DALI 的ops.GaussianBlur。否則預(yù)處理會(huì)成為 GPU 流水線里最意外的性能瓶頸。5. 驗(yàn)證光照前端是否真的幫到了檢測(cè)器5.1 一定要對(duì)比“增強(qiáng)后檢測(cè)”與“直接檢測(cè)”的 mAP整合系統(tǒng)搭完之后第一個(gè)要回答的問題是這個(gè)光照預(yù)處理是讓檢測(cè)結(jié)果變好了還是只是在包裝陳舊特征。驗(yàn)證方法不是主觀看增強(qiáng)后的圖像是否漂亮而是用目標(biāo)檢測(cè)評(píng)價(jià)指標(biāo)mAP做 A/B 對(duì)比。做法是準(zhǔn)備 500 到 1000 張覆蓋白天逆光、夜間、黃昏三個(gè)場(chǎng)景的標(biāo)注圖像分別用原始圖和增強(qiáng)圖訓(xùn)練或測(cè)試同一檢測(cè)模型。需要確保兩次測(cè)試只在輸入圖像上不同模型權(quán)重、錨框參數(shù)、置信度閾值全部保持一致。記錄mAP0.5和mAP0.5:0.95兩組指標(biāo)。5.2 三個(gè)重點(diǎn)看的數(shù)據(jù)維度第一個(gè)維度是整體 mAP 提升幅度。經(jīng)驗(yàn)上暗光增強(qiáng)對(duì)夜間行人檢測(cè)的 mAP 提升通常在 3 到 8 個(gè)百分點(diǎn)之間強(qiáng)光分離對(duì)逆光車輛檢測(cè)的提升更明顯尤其是白色車輛尾部。第二個(gè)維度是不同類別下的分項(xiàng) AP。光照增強(qiáng)有時(shí)只對(duì)特定類別有效——比如 CLAHE 對(duì)行人有效但對(duì)紅綠燈失效原因是增強(qiáng)處理拉高了暗紅色區(qū)域的飽和度導(dǎo)致檢測(cè)置信度被蓋過。逐個(gè)類別看 AP 更容易定位這樣的副作用。第三個(gè)維度是推理耗時(shí)變化。增強(qiáng)分支的開銷不能超過檢測(cè)器推理時(shí)間的 20%?？梢杂孟旅娴姆椒焖俳y(tǒng)計(jì)耗時(shí)import time def benchmark(frame, detector, rounds30): # 預(yù)熱 CPU 緩存和 GPU 顯存 for _ in range(3): detector.infer(frame) times [] for _ in range(rounds): t0 time.time() detector.infer(frame) times.append((time.time() - t0) * 1000) return {mean_ms: np.mean(times), p90_ms: np.percentile(times, 90)}預(yù)熱的目的是排除 PyTorch 首次前向推理的 CUDA kernel 初始化時(shí)間否則測(cè)出來的數(shù)據(jù)會(huì)偏高 20 到 40 毫秒。p90 比 mean 更有參考價(jià)值因?yàn)橐曈X采集系統(tǒng)的掉幀主要由長(zhǎng)尾延遲決定。5.3 一個(gè)常見誤區(qū)和應(yīng)對(duì)技巧很多人會(huì)直接把自己的測(cè)試集圖像拿去跑增強(qiáng)后再訓(xùn)練這樣做出來的 mAP 提升是失真的。原因是訓(xùn)練集分布被修改了檢測(cè)器在增強(qiáng)后的分布上過擬合。正確做法是保持訓(xùn)練集不變只在推理端應(yīng)用增強(qiáng)模塊測(cè)試增強(qiáng)對(duì)已訓(xùn)練模型的提升效果。如果效果符合預(yù)期再考慮把增強(qiáng)后的圖像納入訓(xùn)練集做數(shù)據(jù)增強(qiáng)。最后的技巧是這個(gè)整合系統(tǒng)真正實(shí)用化的關(guān)鍵——光照狀態(tài)評(píng)估不需要每幀重新統(tǒng)計(jì)全圖直方圖。對(duì) 25 FPS 的視頻流可以跳幀計(jì)算對(duì)每一幀檢測(cè)每 5 幀才更新一次光照狀態(tài)。由于光照變化的頻率遠(yuǎn)低于目標(biāo)移動(dòng)頻率這種抽樣策略不會(huì)造成明顯的增強(qiáng)滯后但能把預(yù)處理耗時(shí)降到原來的五分之一。這個(gè)優(yōu)化能讓預(yù)處理模塊在嵌入式設(shè)備上從“瓶頸”變成“無感”。本文還有配套的精品資源點(diǎn)擊獲取