從標(biāo)定到點(diǎn)云生成全流程實(shí)戰(zhàn))
1. 雙目立體視覺(jué)的核心邏輯與整體流程想搞清楚雙目立體視覺(jué)先得明白它解決的是什么問(wèn)題單目相機(jī)拍一幅圖像素只有二維坐標(biāo)想從圖像里恢復(fù)物體的真實(shí)深淺深度缺一個(gè)維度。有人會(huì)說(shuō)“用深度學(xué)習(xí)單目估深度”啊但那是網(wǎng)絡(luò)在“猜”沒(méi)有幾何上的硬約束換個(gè)場(chǎng)景可能就崩了。雙目立體靠的是兩個(gè)相機(jī)之間的距離基線(xiàn)帶來(lái)的視角差通過(guò)三角測(cè)量來(lái)反推深度——這是幾何確定性原理不是靠猜。OpenCV 里把這條鏈路做成了四個(gè)核心環(huán)節(jié)相機(jī)標(biāo)定、立體校正、立體匹配、重投影生成點(diǎn)云。每一環(huán)都有對(duì)應(yīng)的函數(shù)和參數(shù)串起來(lái)的效果就是圖上每個(gè)像素都能帶上三維坐標(biāo)輸出一張 XYZ 稠密點(diǎn)云。這個(gè)能力在機(jī)器人抓取、無(wú)人機(jī)避障、車(chē)輛測(cè)距、醫(yī)學(xué)三維重建等場(chǎng)景非常實(shí)用。先說(shuō)清楚適用于誰(shuí)。如果你是做自動(dòng)駕駛感知、機(jī)械臂手眼系統(tǒng)、工業(yè)測(cè)量這類(lèi)方向的工程師或者是對(duì)三維視覺(jué)感興趣的 OpenCV 老手這篇內(nèi)容能幫你把散落的功能串成一條可落地的管線(xiàn)。如果你還沒(méi)裝好環(huán)境先確認(rèn) OpenCV 版本在 4.x 以上并且需要帶有 calib3d、imgproc、features2d 等標(biāo)準(zhǔn)模塊——常規(guī) pip 安裝的 opencv-python 就帶這些不需要額外編譯 contrib。再補(bǔ)充一個(gè)重要認(rèn)知這套流程看著函數(shù)多但真正影響效果好壞的往往不是算法本身而是輸入數(shù)據(jù)的質(zhì)量。后文我會(huì)反復(fù)強(qiáng)調(diào)標(biāo)定板的平整度、左右相機(jī)的同步觸發(fā)、場(chǎng)景中的紋理豐富度、光照一致性——這些“臟活”決定了輸出點(diǎn)云的精度上限。算法部分反而是相對(duì)固定、按部就班就能跑通的。import cv2 import numpy as np # 完整的pipeline標(biāo)定 - 校正 - 匹配 - 點(diǎn)云 # 以下代碼片段基于OpenCV 4.2Python 3.82. 相機(jī)標(biāo)定給雙目系統(tǒng)量“焦距、主點(diǎn)、畸變”2.1 張正友標(biāo)定法的原理與實(shí)操數(shù)據(jù)準(zhǔn)備相機(jī)標(biāo)定要解的未知數(shù)是內(nèi)參矩陣 K焦距 fx、fy主點(diǎn) cx、cy、畸變系數(shù)k1、k2、p1、p2有時(shí)候加 k3、以及每幀棋盤(pán)格對(duì)應(yīng)的外參旋轉(zhuǎn) R 和平移 T。OpenCV 的 cv2.calibrateCamera 用的就是張正友標(biāo)定法——一張平面棋盤(pán)格在兩個(gè)不同姿態(tài)之間構(gòu)成單應(yīng)性映射收集足夠多的姿態(tài)后通過(guò)閉合解加非線(xiàn)性?xún)?yōu)化把內(nèi)外參一次性解出來(lái)。有人會(huì)問(wèn)為什么要更多姿態(tài)因?yàn)槊繌埰灞P(pán)格只能提供有限約束覆蓋不了整個(gè)鏡頭的畸變場(chǎng)。我實(shí)測(cè)的經(jīng)驗(yàn)是左右相機(jī)各拍 2030 張不同角度、不同距離的棋盤(pán)格照片優(yōu)先生成效果好。少到 10 張雖然也能出結(jié)果但重投影誤差經(jīng)常飆到 0.3 像素以上后期雙目匹配時(shí)視差圖會(huì)有系統(tǒng)性?xún)A斜。數(shù)據(jù)采集要點(diǎn)棋盤(pán)格要盡量占據(jù)畫(huà)面 30%80% 的面積太小人手一個(gè) 7x9 或 9x11 的黑白格板格子邊長(zhǎng) 20~30mm 比較適中。拍照時(shí)板子要傾斜至少包含正對(duì)、左傾、右傾、上仰、下俯幾類(lèi)姿態(tài)且要覆蓋畫(huà)面的四角和中心區(qū)域。不建議只用手機(jī)拍照或者把圖縮太小1080p 分辨率的原始圖像保留全部像素參與標(biāo)定精度最穩(wěn)。# 采集左右圖像對(duì)后進(jìn)行角點(diǎn)檢測(cè) pattern_size (7, 9) # 內(nèi)角點(diǎn)數(shù) criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objpoints_l, objpoints_r [], [] imgpoints_l, imgpoints_r [], [] # 對(duì)每一對(duì)左右圖像檢測(cè)角點(diǎn) img_l cv2.imread(left_05.jpg) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, pattern_size, None) if ret_l: corners_l cv2.cornerSubPix(gray_l, corners_l, (11, 11), (-1, -1), criteria) imgpoints_l.append(corners_l) objpoints_l.append(objp)我在實(shí)際采集時(shí)踩過(guò)一個(gè)坑棋盤(pán)格反光嚴(yán)重或者角度太斜角點(diǎn)檢測(cè)會(huì)丟失。那時(shí)候不是 ret 永遠(yuǎn)是 False就是角點(diǎn)順序錯(cuò)亂。解決辦法是適當(dāng)調(diào)低曝光或者用啞光打印紙貼板子別用高光相紙。另一個(gè)坑是板子表面不平整——拿熱熔膠貼的軟板在長(zhǎng)距離標(biāo)定時(shí)誤差極大最好用亞克力板加精準(zhǔn)打印。2.2 stereoCalibrate 的關(guān)鍵參數(shù)解析左右相機(jī)單獨(dú)標(biāo)定后下一步是把兩邊的外參聯(lián)合起來(lái)求“相對(duì)位姿”也就是右相機(jī)相對(duì)于左相機(jī)的旋轉(zhuǎn)矩陣 R 和平移向量 T。OpenCV 中直接用 cv2.stereoCalibrate 同時(shí)處理左右角點(diǎn)它返回的 R、T 是左眼坐標(biāo)系下右眼的位置和姿態(tài)之后的立體校正全靠這對(duì)參數(shù)。flags 0 # 可選CV_CALIB_FIX_INTRINSIC 保留單目標(biāo)定結(jié)果只優(yōu)化外參 ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_l, imgpoints_r, K1, D1, K2, D2, gray_l.shape[::-1], criteriacriteria, flagsflags ) print(重投影誤差RMS:, ret)這里有一個(gè)關(guān)鍵決策flags 是否帶 CV_CALIB_FIX_INTRINSIC。如果你對(duì)單目標(biāo)定結(jié)果有信心RMS 小于 0.1可以固定內(nèi)參只優(yōu)化外參這樣更穩(wěn)定如果單目標(biāo)定結(jié)果一般就放開(kāi)讓 stereoCalibrate 同時(shí)優(yōu)化內(nèi)參和外參有利于整體最優(yōu)但計(jì)算量大一些。我傾向于先用固定內(nèi)參模式跑一遍挑出誤差大的幀刪掉再放開(kāi)優(yōu)化兩輪下來(lái)得到的最小重投影 RMS 通常在 0.08~0.15 像素之間。RMS 重投影誤差是判斷標(biāo)定質(zhì)量的核心指標(biāo)。低于 0.2 像素算合格低于 0.1 像素是優(yōu)良。如果高于 0.3 甚至 0.5先回去檢查是不是某幾幀角點(diǎn)檢測(cè)錯(cuò)了、板子彎曲、或者圖像模糊。不要硬調(diào)參數(shù)死磕數(shù)據(jù)本身質(zhì)量不夠后續(xù)再怎么優(yōu)化也沒(méi)意義。3. 立體校正與立體匹配讓左右圖像“對(duì)齊”再求視差3.1 極線(xiàn)校正的幾何原理與代碼實(shí)現(xiàn)雙目相機(jī)有兩個(gè)視角同一個(gè)三維點(diǎn)在左右圖像上的投影不在同一行。找對(duì)應(yīng)點(diǎn)時(shí)如果允許在整幅圖上搜索計(jì)算量巨大且容易匹配錯(cuò)。極線(xiàn)校正stereo rectification的思路就是通過(guò)旋轉(zhuǎn)相機(jī)坐標(biāo)系使左右圖像的極線(xiàn)水平對(duì)齊——同一個(gè)三維點(diǎn)在左右圖中的像素差只體現(xiàn)在列坐標(biāo)上行坐標(biāo)一致。由此立體匹配被簡(jiǎn)化成沿水平掃描線(xiàn)的搜索問(wèn)題。OpenCV 提供 cv2.stereoRectify 來(lái)實(shí)現(xiàn)這一步。它基于 R 和 T 計(jì)算兩個(gè)相機(jī)新的投影矩陣 P1、P2以及映射矩陣 R1、R2還會(huì)輸出一個(gè) Q 矩陣——重投影矩陣這個(gè)矩陣在后面生成點(diǎn)云時(shí)直接使用。Bouguet 算法是常用校正方式默認(rèn)即可它會(huì)讓重投影畸變盡量小同時(shí)讓立體匹配的掃描區(qū)間保持最大。R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( K1, D1, K2, D2, gray_l.shape[::-1], R, T, flagscv2.CALIB_ZERO_DISPARITY, alpha0 )參數(shù) alpha 很關(guān)鍵alpha0 表示裁剪掉所有無(wú)用的黑色區(qū)域輸出圖像最小有效區(qū)域alpha1 保留全部原始像素視野最大但會(huì)出現(xiàn)黑色邊框。如果你后續(xù)要做點(diǎn)云配準(zhǔn)或紋理映射建議 alpha0 以獲得干凈的有效像素區(qū)域如果需要保留邊緣視野就選 alpha0.3~0.5但匹配區(qū)域邊緣的無(wú)效像素增多會(huì)引入噪聲。實(shí)際項(xiàng)目我常用 alpha0這樣 ROI 明確匹配可靠性更高。# 用initUndistortRectifyMap remap完成去畸變和校正 map1_l, map2_l cv2.initUndistortRectifyMap(K1, D1, R1, P1, gray_l.shape[::-1], cv2.CV_32FC1) map1_r, map2_r cv2.initUndistortRectifyMap(K2, D2, R2, P2, gray_r.shape[::-1], cv2.CV_32FC1) rect_l cv2.remap(img_l, map1_l, map2_l, cv2.INTER_LINEAR) rect_r cv2.remap(img_r, map1_r, map2_r, cv2.INTER_LINEAR)校正效果怎么看肉眼觀察左右校正圖的同一特征點(diǎn)是否在同一行。更穩(wěn)的方案是在圖上畫(huà)多條水平線(xiàn)逐行對(duì)比特征點(diǎn)高度是否一致。還有一種做法是檢測(cè)幾組特征點(diǎn)坐標(biāo)算左右圖的 row 差值偏差在 1 像素以?xún)?nèi)算通過(guò)。若并非如此回頭檢查立體標(biāo)定的 R、T 是否有問(wèn)題或板子不平整導(dǎo)致外參精度差。3.2 SGBM 立體匹配算法與參數(shù)調(diào)優(yōu)立體匹配的產(chǎn)物是視差圖disparity map。視差指同一個(gè)三維點(diǎn)在左右圖像上的列坐標(biāo)差 d x_left - x_right。有了視差深度 Z 便可以通過(guò) Z f * B / d 計(jì)算其中 f 是焦距像素B 是基線(xiàn)距標(biāo)定得到的 T 的范數(shù)。物距越近視差越大深度精度越高物距越遠(yuǎn)視差越小深度值對(duì) d 的微小噪聲越敏感。OpenCV 中常用的是半全局塊匹配SGM/SGBM。與局部 BM 算法相比SGM 引入了多方向的平滑約束能顯著減少弱紋理區(qū)域的誤匹配。函數(shù)是 cv2.StereoSGBM_create。核心參數(shù)sgbm cv2.StereoSGBM_create( minDisparity0, numDisparities64, # 16的倍數(shù)掃描范圍數(shù)量 blockSize11, # 奇數(shù)3~11窗口越大越平滑但細(xì)節(jié)丟 P18 * channels * blockSize ** 2, P232 * channels * blockSize ** 2, disp12MaxDiff1, uniquenessRatio10, # 匹配唯一性約束 speckleWindowSize100, # 濾除小斑點(diǎn) speckleRange2, modecv2.STEREO_SGM_MODE_SGBM_3WAY )重點(diǎn)說(shuō)幾個(gè)我反復(fù)調(diào)過(guò)的參數(shù)。numDisparities 決定搜索的最大視差范圍場(chǎng)景離相機(jī)越近、基線(xiàn)越長(zhǎng)視差范圍越大以 64 起步實(shí)測(cè)效果不錯(cuò)。blockSize 增大能壓制噪聲但同時(shí)會(huì)“模糊”物體邊緣導(dǎo)致測(cè)距在邊緣區(qū)域偏大或偏小。P2 表示視差突變懲罰越大越平滑但會(huì)把細(xì)小結(jié)構(gòu)抹掉一般取 P2 ≈ 4*P1適配紋理復(fù)雜度調(diào)整。uniquenessRatio 表示最優(yōu)匹配與次優(yōu)匹配之間的差值比例值越大越嚴(yán)格弱紋理區(qū)域會(huì)出現(xiàn)空洞值太小則會(huì)有誤匹配噪聲。disparity sgbm.compute(rect_l, rect_r).astype(np.float32) / 16.0 # SGBM默認(rèn)輸出固定點(diǎn)類(lèi)型除以16轉(zhuǎn)為真實(shí)視差視差圖里前景物體距離越近像素值越亮視差越大背景越暗。拿到視差圖后我通常還會(huì)做幾件事中值濾波去離群點(diǎn)用 cv2.erode 或形態(tài)學(xué)操作修復(fù)小空洞裁剪掉明顯錯(cuò)誤的左邊緣區(qū)塊視差不可用的區(qū)域從最左端開(kāi)始。這些后處理雖然簡(jiǎn)單但能顯著提高點(diǎn)云質(zhì)量。4. 從視差圖到點(diǎn)云重投影與空間坐標(biāo)恢復(fù)4.1 Q 矩陣與 reprojectImageTo3D生成點(diǎn)云的關(guān)鍵是利用 stereoRectify 輸出的 Q 矩陣把齊次坐標(biāo)下帶視差的像素映射到三維空間。Q 矩陣形如Q [1, 0, 0, -cx_l 0, 1, 0, -cy_l 0, 0, 0, f 0, 0, -1/Tx, (cx_l - cx_r)/Tx]其中 Tx 是平移向量 T 的 x 分量基線(xiàn)。重復(fù)一下為什么 Q 里有這么多項(xiàng)它把圖像坐標(biāo)系下的 (x, y, d) 通過(guò)線(xiàn)性變換轉(zhuǎn)為相機(jī)坐標(biāo)系下的 (X, Y, Z)。左邊式子里的 Z 就是 w 分量實(shí)際三維坐標(biāo)是齊次變量統(tǒng)一除以最后一個(gè)分量的結(jié)果。OpenCV 的 cv2.reprojectImageTo3D 直接接手這一步輸入視差圖與 Q 矩陣輸出三通道的 XYZ 圖。points_3d cv2.reprojectImageTo3D(disparity, Q, handleMissingValuesTrue) # points_3d的shape是(H, W, 3)每個(gè)像素對(duì)應(yīng)一個(gè)三維坐標(biāo)注意一個(gè)大坑視差圖必須傳入“真實(shí)視差”而不是 SGBM 原始輸出。SGBM 輸出的是固定點(diǎn)數(shù)通常帶 4 位小數(shù)必須先除以 16因?yàn)閮?nèi)部固定點(diǎn)縮放 16 倍再傳給 reprojectImageTo3D否則三維坐標(biāo)全被放大 16 倍點(diǎn)云直接爆炸。這點(diǎn)網(wǎng)上的代碼經(jīng)常漏我見(jiàn)過(guò)不下十次有人問(wèn)“為什么點(diǎn)云全是亂的”十有八九是這個(gè)原因。4.2 點(diǎn)云濾波、色彩融合與 PLY 存儲(chǔ)拿到 points_3d 后還不能直接用因?yàn)?SGBM 視差圖天然帶噪z 值中有大量離群點(diǎn)。一個(gè)實(shí)用的濾波順序先去掉 z 值明顯異常的點(diǎn)比如 z 0 或 z 測(cè)量上限再用統(tǒng)計(jì)濾波剔除稀疏離群點(diǎn)。OpenCV 沒(méi)有現(xiàn)成的統(tǒng)計(jì)濾波函數(shù)可以結(jié)合 numpy 快速實(shí)現(xiàn)from scipy import stats # z值范圍裁剪 valid_mask (points_3d[..., 2] 0.5) (points_3d[..., 2] 10.0) # 統(tǒng)計(jì)離群點(diǎn)濾波計(jì)算鄰域內(nèi)z值的均值和標(biāo)準(zhǔn)差 # 也可以用cv2.medianBlur先平滑z圖再融合簡(jiǎn)單有效色彩融合就更直接了把左校正圖的 BGR 像素按索引貼回點(diǎn)云即可得到帶真實(shí)紋理的彩色點(diǎn)云colors rect_l.reshape(-1, 3) # BGR xyz points_3d.reshape(-1, 3) valid valid_mask.reshape(-1) # 按左上到右下順序逐點(diǎn)寫(xiě)入ply保存格式方面PLY 是最通用的選擇可直接用 plyfile 庫(kù)寫(xiě)入或自己拼一個(gè) PLY 頭vertex 數(shù)量、格式 binary_little_endian。我比較推薦直接寫(xiě) binary 版 PLY體積小且加載快CloudCompare 打開(kāi)無(wú)痛。如果要在 Open3D 中繼續(xù)做 ICP 配準(zhǔn)也可以直接存成 PCD 格式各庫(kù)支持都很好。from plyfile import PlyData, PlyElement vertex np.empty(xyz_valid.shape[0], dtype[ (x, f4), (y, f4), (z, f4), (red, u1), (green, u1), (blue, u1) ]) vertex[x] xyz_valid[:, 0] vertex[y] xyz_valid[:, 1] vertex[z] xyz_valid[:, 2] vertex[red] colors_valid[:, 2] vertex[green] colors_valid[:, 1] vertex[blue] colors_valid[:, 0] el PlyElement.describe(vertex, vertex) PlyData([el], textFalse).write(output.ply)4.3 點(diǎn)云效果評(píng)估怎么判斷你的點(diǎn)云“達(dá)標(biāo)”點(diǎn)云生成的直觀結(jié)果可以看作一幅深度圖。判斷質(zhì)量通常從四個(gè)方面平面場(chǎng)景是否平整比如放置一個(gè)紙箱點(diǎn)云上表面應(yīng)該是平面而不是弧形、邊緣是否銳利物體輪廓不應(yīng)出現(xiàn)一圈“毛刺”、近距離物體厚度是否合理、遠(yuǎn)距離區(qū)域是否出現(xiàn)大量散點(diǎn)。我的經(jīng)驗(yàn)做法是跑一個(gè)反差明顯的場(chǎng)景拿一個(gè)帶紋理的立方體紙箱放桌面左右相機(jī)距離約 10~30cm箱體長(zhǎng)寬各占畫(huà)面 40% 左右。好的點(diǎn)云不僅能看到紙箱表面紋路的凹凸感邊緣也比較干凈差的點(diǎn)云表面像長(zhǎng)了一層“毛”或者邊緣鋸齒狀嚴(yán)重。如果點(diǎn)云不達(dá)標(biāo)先不要急著換算法按下述順序排查檢查原始圖像是否過(guò)曝/過(guò)暗紋理是否充分檢查標(biāo)定 RMS 是否合格檢查校正后行對(duì)齊最后才是調(diào) SGBM 參數(shù)。我見(jiàn)過(guò)太多人一開(kāi)始就堆算力上深度學(xué)習(xí)模型結(jié)果連最基本的復(fù)現(xiàn)問(wèn)題都沒(méi)解決。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 角點(diǎn)檢測(cè)失敗與標(biāo)定誤差偏大現(xiàn)象cv2.findChessboardCorners 返回 False 或檢測(cè)出亂序角點(diǎn)。原因多半是棋盤(pán)格反光導(dǎo)致黑白格對(duì)比度差板子太遠(yuǎn)角點(diǎn)小于 5 像素板子太斜超過(guò)透視范圍。解決辦法依序是啞光噴漆或換亞光材質(zhì)板、靠近相機(jī)、控制傾角不超過(guò) 45 度、增加光照均勻度。對(duì)高倍率鏡頭尤其是工業(yè)相機(jī)確認(rèn)使用合適的光圈避免邊緣暗角影響角點(diǎn)檢測(cè)。標(biāo)定 RMS 偏大還有一個(gè)隱藏因素左右相機(jī)分辨率相差大或者圖像同步性差導(dǎo)致運(yùn)動(dòng)模糊。雙目系統(tǒng)要保證兩相機(jī)同步曝光最穩(wěn)妥的是硬件觸發(fā)其次至少保證拍照時(shí)場(chǎng)景靜止。別拿手持手機(jī)拍攝動(dòng)態(tài)場(chǎng)景去標(biāo)定車(chē)開(kāi)著過(guò)路口時(shí)用手觸發(fā)兩張即便相差幾十毫秒棋盤(pán)格偏移也會(huì)讓外參明顯不準(zhǔn)。5.2 視差圖大面積噪聲和空洞視差圖出現(xiàn)大面積黑色空洞表示該區(qū)域匹配不置信。常規(guī)思路是降低 uniquenessRatio比如從 10 降到 5、增大 numDisparities、調(diào)高 speckleWindowSize 從小濾除孤立小區(qū)域。如果空洞集中在白墻、天空這類(lèi)無(wú)紋理區(qū)域?qū)儆谖锢項(xiàng)l件限制——SGBM 本質(zhì)上依賴(lài)圖像梯度無(wú)紋理區(qū)域沒(méi)有匹配信息怎么調(diào)參數(shù)都救不回。所以做三維重建時(shí)要主動(dòng)選擇有紋理的場(chǎng)景或者投射結(jié)構(gòu)光。我踩過(guò)一個(gè)非常典型的坑燈光一側(cè)亮一側(cè)暗雙目校正圖上左右圖的整體亮度差異明顯導(dǎo)致匹配代價(jià)計(jì)算不穩(wěn)定。解決辦法是離線(xiàn)做直方圖匹配或者亮度和對(duì)比度歸一化拉齊左右圖的響應(yīng)曲線(xiàn)。OpenCV 里可以用 cv2.createCLAHE 做對(duì)比度受限自適應(yīng)直方圖均衡對(duì)光照不均的魯棒性提升比較明顯。另一個(gè)常見(jiàn)問(wèn)題是視差圖在物體邊緣出現(xiàn)一圈錯(cuò)誤視差通常偏大這讓點(diǎn)云邊緣出現(xiàn)“暈影”式噪聲。這是塊匹配窗口跨越邊緣的固有問(wèn)題。解決手段是把 blockSize 調(diào)小更靠近邊緣、或者用 disp12MaxDiff 約束左右一致性最后用中值濾波做離群點(diǎn)清理。5.3 點(diǎn)云坐標(biāo)尺度錯(cuò)誤與坐標(biāo)系方向混亂點(diǎn)云所有坐標(biāo)值整體異常偏大不用懷疑算法直接檢查 SGBM 輸出是否除以 16。如果 z 值全為零檢查視差圖是否全黑或 Q 矩陣是否正常。如果點(diǎn)云左右翻轉(zhuǎn)或上下顛倒大概率是 PLY 寫(xiě)入時(shí) XYZ 順序搞錯(cuò)了或者把左右圖像通道弄反。還有一點(diǎn)容易忽略reprojectImageTo3D 輸出的坐標(biāo)系以左相機(jī)光心為原點(diǎn)x 向右y 向下z 向前。這跟 PCL/Open3D 可視化中常見(jiàn)的“y 向上”坐標(biāo)系不一樣直接用會(huì)看到物體“躺在地上”。習(xí)慣做法是寫(xiě) PLY 前做一個(gè)坐標(biāo)系旋轉(zhuǎn)把 y 翻到向上即交換 y 和 z 并取反或者拿到 Open3D 里再用 transformation 矩陣矯正。我在文檔里看到不少新人栽在這上面以為點(diǎn)云歪了是算法問(wèn)題其實(shí)只是坐標(biāo)系約定不同。結(jié)尾與經(jīng)驗(yàn)補(bǔ)遺幾條少有人提的操作心得視頻流處理時(shí)建議把 map1/map2 預(yù)先算好緩存只對(duì)每幀做 remap避免重復(fù)計(jì)算。做實(shí)時(shí)測(cè)距往返運(yùn)動(dòng)目標(biāo)還得加入簡(jiǎn)單的跟蹤否則逐幀視差抖動(dòng)用不了。標(biāo)定過(guò)程和匹配參數(shù)最好落盤(pán)成 YAML每次換新場(chǎng)景重新加載不要每次敲代碼里寫(xiě)死。最后分享一個(gè)技巧始終保留一張“標(biāo)定失敗”的樣本圖。遇到效果異常時(shí)把當(dāng)前幀存下來(lái)和之前失敗的樣本對(duì)比比對(duì)著源碼調(diào)參數(shù)高效得多。我用的方法是圖像左上角疊加當(dāng)前標(biāo)定 RMS 和相機(jī)編號(hào)出錯(cuò)時(shí)截圖即得現(xiàn)場(chǎng)信息追溯排障非常方便。雙目立體視覺(jué)這套東西難度不在單個(gè)函數(shù)在整個(gè)鏈路的數(shù)據(jù)一致性。任何一環(huán)的微小誤差都會(huì)被后續(xù)環(huán)節(jié)放大。把標(biāo)定、校正、匹配、重投影每一步的質(zhì)量評(píng)價(jià)指標(biāo)固定下來(lái)逐項(xiàng)檢查產(chǎn)出的點(diǎn)云自然穩(wěn)定。希望這份從零到一的實(shí)戰(zhàn)記錄能讓你少走幾步彎路。 OpenCV雙目立體視覺(jué)從標(biāo)定到點(diǎn)云生成全流程實(shí)戰(zhàn)
1. 雙目立體視覺(jué)的核心邏輯與整體流程想搞清楚雙目立體視覺(jué)先得明白它解決的是什么問(wèn)題單目相機(jī)拍一幅圖像素只有二維坐標(biāo)想從圖像里恢復(fù)物體的真實(shí)深淺深度缺一個(gè)維度。有人會(huì)說(shuō)“用深度學(xué)習(xí)單目估深度”啊但那是網(wǎng)絡(luò)在“猜”沒(méi)有幾何上的硬約束換個(gè)場(chǎng)景可能就崩了。雙目立體靠的是兩個(gè)相機(jī)之間的距離基線(xiàn)帶來(lái)的視角差通過(guò)三角測(cè)量來(lái)反推深度——這是幾何確定性原理不是靠猜。OpenCV 里把這條鏈路做成了四個(gè)核心環(huán)節(jié)相機(jī)標(biāo)定、立體校正、立體匹配、重投影生成點(diǎn)云。每一環(huán)都有對(duì)應(yīng)的函數(shù)和參數(shù)串起來(lái)的效果就是圖上每個(gè)像素都能帶上三維坐標(biāo)輸出一張 XYZ 稠密點(diǎn)云。這個(gè)能力在機(jī)器人抓取、無(wú)人機(jī)避障、車(chē)輛測(cè)距、醫(yī)學(xué)三維重建等場(chǎng)景非常實(shí)用。先說(shuō)清楚適用于誰(shuí)。如果你是做自動(dòng)駕駛感知、機(jī)械臂手眼系統(tǒng)、工業(yè)測(cè)量這類(lèi)方向的工程師或者是對(duì)三維視覺(jué)感興趣的 OpenCV 老手這篇內(nèi)容能幫你把散落的功能串成一條可落地的管線(xiàn)。如果你還沒(méi)裝好環(huán)境先確認(rèn) OpenCV 版本在 4.x 以上并且需要帶有 calib3d、imgproc、features2d 等標(biāo)準(zhǔn)模塊——常規(guī) pip 安裝的 opencv-python 就帶這些不需要額外編譯 contrib。再補(bǔ)充一個(gè)重要認(rèn)知這套流程看著函數(shù)多但真正影響效果好壞的往往不是算法本身而是輸入數(shù)據(jù)的質(zhì)量。后文我會(huì)反復(fù)強(qiáng)調(diào)標(biāo)定板的平整度、左右相機(jī)的同步觸發(fā)、場(chǎng)景中的紋理豐富度、光照一致性——這些“臟活”決定了輸出點(diǎn)云的精度上限。算法部分反而是相對(duì)固定、按部就班就能跑通的。import cv2 import numpy as np # 完整的pipeline標(biāo)定 - 校正 - 匹配 - 點(diǎn)云 # 以下代碼片段基于OpenCV 4.2Python 3.82. 相機(jī)標(biāo)定給雙目系統(tǒng)量“焦距、主點(diǎn)、畸變”2.1 張正友標(biāo)定法的原理與實(shí)操數(shù)據(jù)準(zhǔn)備相機(jī)標(biāo)定要解的未知數(shù)是內(nèi)參矩陣 K焦距 fx、fy主點(diǎn) cx、cy、畸變系數(shù)k1、k2、p1、p2有時(shí)候加 k3、以及每幀棋盤(pán)格對(duì)應(yīng)的外參旋轉(zhuǎn) R 和平移 T。OpenCV 的 cv2.calibrateCamera 用的就是張正友標(biāo)定法——一張平面棋盤(pán)格在兩個(gè)不同姿態(tài)之間構(gòu)成單應(yīng)性映射收集足夠多的姿態(tài)后通過(guò)閉合解加非線(xiàn)性?xún)?yōu)化把內(nèi)外參一次性解出來(lái)。有人會(huì)問(wèn)為什么要更多姿態(tài)因?yàn)槊繌埰灞P(pán)格只能提供有限約束覆蓋不了整個(gè)鏡頭的畸變場(chǎng)。我實(shí)測(cè)的經(jīng)驗(yàn)是左右相機(jī)各拍 2030 張不同角度、不同距離的棋盤(pán)格照片優(yōu)先生成效果好。少到 10 張雖然也能出結(jié)果但重投影誤差經(jīng)常飆到 0.3 像素以上后期雙目匹配時(shí)視差圖會(huì)有系統(tǒng)性?xún)A斜。數(shù)據(jù)采集要點(diǎn)棋盤(pán)格要盡量占據(jù)畫(huà)面 30%80% 的面積太小人手一個(gè) 7x9 或 9x11 的黑白格板格子邊長(zhǎng) 20~30mm 比較適中。拍照時(shí)板子要傾斜至少包含正對(duì)、左傾、右傾、上仰、下俯幾類(lèi)姿態(tài)且要覆蓋畫(huà)面的四角和中心區(qū)域。不建議只用手機(jī)拍照或者把圖縮太小1080p 分辨率的原始圖像保留全部像素參與標(biāo)定精度最穩(wěn)。# 采集左右圖像對(duì)后進(jìn)行角點(diǎn)檢測(cè) pattern_size (7, 9) # 內(nèi)角點(diǎn)數(shù) criteria (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) objp np.zeros((pattern_size[0] * pattern_size[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern_size[0], 0:pattern_size[1]].T.reshape(-1, 2) objpoints_l, objpoints_r [], [] imgpoints_l, imgpoints_r [], [] # 對(duì)每一對(duì)左右圖像檢測(cè)角點(diǎn) img_l cv2.imread(left_05.jpg) gray_l cv2.cvtColor(img_l, cv2.COLOR_BGR2GRAY) ret_l, corners_l cv2.findChessboardCorners(gray_l, pattern_size, None) if ret_l: corners_l cv2.cornerSubPix(gray_l, corners_l, (11, 11), (-1, -1), criteria) imgpoints_l.append(corners_l) objpoints_l.append(objp)我在實(shí)際采集時(shí)踩過(guò)一個(gè)坑棋盤(pán)格反光嚴(yán)重或者角度太斜角點(diǎn)檢測(cè)會(huì)丟失。那時(shí)候不是 ret 永遠(yuǎn)是 False就是角點(diǎn)順序錯(cuò)亂。解決辦法是適當(dāng)調(diào)低曝光或者用啞光打印紙貼板子別用高光相紙。另一個(gè)坑是板子表面不平整——拿熱熔膠貼的軟板在長(zhǎng)距離標(biāo)定時(shí)誤差極大最好用亞克力板加精準(zhǔn)打印。2.2 stereoCalibrate 的關(guān)鍵參數(shù)解析左右相機(jī)單獨(dú)標(biāo)定后下一步是把兩邊的外參聯(lián)合起來(lái)求“相對(duì)位姿”也就是右相機(jī)相對(duì)于左相機(jī)的旋轉(zhuǎn)矩陣 R 和平移向量 T。OpenCV 中直接用 cv2.stereoCalibrate 同時(shí)處理左右角點(diǎn)它返回的 R、T 是左眼坐標(biāo)系下右眼的位置和姿態(tài)之后的立體校正全靠這對(duì)參數(shù)。flags 0 # 可選CV_CALIB_FIX_INTRINSIC 保留單目標(biāo)定結(jié)果只優(yōu)化外參 ret, K1, D1, K2, D2, R, T, E, F cv2.stereoCalibrate( objpoints, imgpoints_l, imgpoints_r, K1, D1, K2, D2, gray_l.shape[::-1], criteriacriteria, flagsflags ) print(重投影誤差RMS:, ret)這里有一個(gè)關(guān)鍵決策flags 是否帶 CV_CALIB_FIX_INTRINSIC。如果你對(duì)單目標(biāo)定結(jié)果有信心RMS 小于 0.1可以固定內(nèi)參只優(yōu)化外參這樣更穩(wěn)定如果單目標(biāo)定結(jié)果一般就放開(kāi)讓 stereoCalibrate 同時(shí)優(yōu)化內(nèi)參和外參有利于整體最優(yōu)但計(jì)算量大一些。我傾向于先用固定內(nèi)參模式跑一遍挑出誤差大的幀刪掉再放開(kāi)優(yōu)化兩輪下來(lái)得到的最小重投影 RMS 通常在 0.08~0.15 像素之間。RMS 重投影誤差是判斷標(biāo)定質(zhì)量的核心指標(biāo)。低于 0.2 像素算合格低于 0.1 像素是優(yōu)良。如果高于 0.3 甚至 0.5先回去檢查是不是某幾幀角點(diǎn)檢測(cè)錯(cuò)了、板子彎曲、或者圖像模糊。不要硬調(diào)參數(shù)死磕數(shù)據(jù)本身質(zhì)量不夠后續(xù)再怎么優(yōu)化也沒(méi)意義。3. 立體校正與立體匹配讓左右圖像“對(duì)齊”再求視差3.1 極線(xiàn)校正的幾何原理與代碼實(shí)現(xiàn)雙目相機(jī)有兩個(gè)視角同一個(gè)三維點(diǎn)在左右圖像上的投影不在同一行。找對(duì)應(yīng)點(diǎn)時(shí)如果允許在整幅圖上搜索計(jì)算量巨大且容易匹配錯(cuò)。極線(xiàn)校正stereo rectification的思路就是通過(guò)旋轉(zhuǎn)相機(jī)坐標(biāo)系使左右圖像的極線(xiàn)水平對(duì)齊——同一個(gè)三維點(diǎn)在左右圖中的像素差只體現(xiàn)在列坐標(biāo)上行坐標(biāo)一致。由此立體匹配被簡(jiǎn)化成沿水平掃描線(xiàn)的搜索問(wèn)題。OpenCV 提供 cv2.stereoRectify 來(lái)實(shí)現(xiàn)這一步。它基于 R 和 T 計(jì)算兩個(gè)相機(jī)新的投影矩陣 P1、P2以及映射矩陣 R1、R2還會(huì)輸出一個(gè) Q 矩陣——重投影矩陣這個(gè)矩陣在后面生成點(diǎn)云時(shí)直接使用。Bouguet 算法是常用校正方式默認(rèn)即可它會(huì)讓重投影畸變盡量小同時(shí)讓立體匹配的掃描區(qū)間保持最大。R1, R2, P1, P2, Q, validPixROI1, validPixROI2 cv2.stereoRectify( K1, D1, K2, D2, gray_l.shape[::-1], R, T, flagscv2.CALIB_ZERO_DISPARITY, alpha0 )參數(shù) alpha 很關(guān)鍵alpha0 表示裁剪掉所有無(wú)用的黑色區(qū)域輸出圖像最小有效區(qū)域alpha1 保留全部原始像素視野最大但會(huì)出現(xiàn)黑色邊框。如果你后續(xù)要做點(diǎn)云配準(zhǔn)或紋理映射建議 alpha0 以獲得干凈的有效像素區(qū)域如果需要保留邊緣視野就選 alpha0.3~0.5但匹配區(qū)域邊緣的無(wú)效像素增多會(huì)引入噪聲。實(shí)際項(xiàng)目我常用 alpha0這樣 ROI 明確匹配可靠性更高。# 用initUndistortRectifyMap remap完成去畸變和校正 map1_l, map2_l cv2.initUndistortRectifyMap(K1, D1, R1, P1, gray_l.shape[::-1], cv2.CV_32FC1) map1_r, map2_r cv2.initUndistortRectifyMap(K2, D2, R2, P2, gray_r.shape[::-1], cv2.CV_32FC1) rect_l cv2.remap(img_l, map1_l, map2_l, cv2.INTER_LINEAR) rect_r cv2.remap(img_r, map1_r, map2_r, cv2.INTER_LINEAR)校正效果怎么看肉眼觀察左右校正圖的同一特征點(diǎn)是否在同一行。更穩(wěn)的方案是在圖上畫(huà)多條水平線(xiàn)逐行對(duì)比特征點(diǎn)高度是否一致。還有一種做法是檢測(cè)幾組特征點(diǎn)坐標(biāo)算左右圖的 row 差值偏差在 1 像素以?xún)?nèi)算通過(guò)。若并非如此回頭檢查立體標(biāo)定的 R、T 是否有問(wèn)題或板子不平整導(dǎo)致外參精度差。3.2 SGBM 立體匹配算法與參數(shù)調(diào)優(yōu)立體匹配的產(chǎn)物是視差圖disparity map。視差指同一個(gè)三維點(diǎn)在左右圖像上的列坐標(biāo)差 d x_left - x_right。有了視差深度 Z 便可以通過(guò) Z f * B / d 計(jì)算其中 f 是焦距像素B 是基線(xiàn)距標(biāo)定得到的 T 的范數(shù)。物距越近視差越大深度精度越高物距越遠(yuǎn)視差越小深度值對(duì) d 的微小噪聲越敏感。OpenCV 中常用的是半全局塊匹配SGM/SGBM。與局部 BM 算法相比SGM 引入了多方向的平滑約束能顯著減少弱紋理區(qū)域的誤匹配。函數(shù)是 cv2.StereoSGBM_create。核心參數(shù)sgbm cv2.StereoSGBM_create( minDisparity0, numDisparities64, # 16的倍數(shù)掃描范圍數(shù)量 blockSize11, # 奇數(shù)3~11窗口越大越平滑但細(xì)節(jié)丟 P18 * channels * blockSize ** 2, P232 * channels * blockSize ** 2, disp12MaxDiff1, uniquenessRatio10, # 匹配唯一性約束 speckleWindowSize100, # 濾除小斑點(diǎn) speckleRange2, modecv2.STEREO_SGM_MODE_SGBM_3WAY )重點(diǎn)說(shuō)幾個(gè)我反復(fù)調(diào)過(guò)的參數(shù)。numDisparities 決定搜索的最大視差范圍場(chǎng)景離相機(jī)越近、基線(xiàn)越長(zhǎng)視差范圍越大以 64 起步實(shí)測(cè)效果不錯(cuò)。blockSize 增大能壓制噪聲但同時(shí)會(huì)“模糊”物體邊緣導(dǎo)致測(cè)距在邊緣區(qū)域偏大或偏小。P2 表示視差突變懲罰越大越平滑但會(huì)把細(xì)小結(jié)構(gòu)抹掉一般取 P2 ≈ 4*P1適配紋理復(fù)雜度調(diào)整。uniquenessRatio 表示最優(yōu)匹配與次優(yōu)匹配之間的差值比例值越大越嚴(yán)格弱紋理區(qū)域會(huì)出現(xiàn)空洞值太小則會(huì)有誤匹配噪聲。disparity sgbm.compute(rect_l, rect_r).astype(np.float32) / 16.0 # SGBM默認(rèn)輸出固定點(diǎn)類(lèi)型除以16轉(zhuǎn)為真實(shí)視差視差圖里前景物體距離越近像素值越亮視差越大背景越暗。拿到視差圖后我通常還會(huì)做幾件事中值濾波去離群點(diǎn)用 cv2.erode 或形態(tài)學(xué)操作修復(fù)小空洞裁剪掉明顯錯(cuò)誤的左邊緣區(qū)塊視差不可用的區(qū)域從最左端開(kāi)始。這些后處理雖然簡(jiǎn)單但能顯著提高點(diǎn)云質(zhì)量。4. 從視差圖到點(diǎn)云重投影與空間坐標(biāo)恢復(fù)4.1 Q 矩陣與 reprojectImageTo3D生成點(diǎn)云的關(guān)鍵是利用 stereoRectify 輸出的 Q 矩陣把齊次坐標(biāo)下帶視差的像素映射到三維空間。Q 矩陣形如Q [1, 0, 0, -cx_l 0, 1, 0, -cy_l 0, 0, 0, f 0, 0, -1/Tx, (cx_l - cx_r)/Tx]其中 Tx 是平移向量 T 的 x 分量基線(xiàn)。重復(fù)一下為什么 Q 里有這么多項(xiàng)它把圖像坐標(biāo)系下的 (x, y, d) 通過(guò)線(xiàn)性變換轉(zhuǎn)為相機(jī)坐標(biāo)系下的 (X, Y, Z)。左邊式子里的 Z 就是 w 分量實(shí)際三維坐標(biāo)是齊次變量統(tǒng)一除以最后一個(gè)分量的結(jié)果。OpenCV 的 cv2.reprojectImageTo3D 直接接手這一步輸入視差圖與 Q 矩陣輸出三通道的 XYZ 圖。points_3d cv2.reprojectImageTo3D(disparity, Q, handleMissingValuesTrue) # points_3d的shape是(H, W, 3)每個(gè)像素對(duì)應(yīng)一個(gè)三維坐標(biāo)注意一個(gè)大坑視差圖必須傳入“真實(shí)視差”而不是 SGBM 原始輸出。SGBM 輸出的是固定點(diǎn)數(shù)通常帶 4 位小數(shù)必須先除以 16因?yàn)閮?nèi)部固定點(diǎn)縮放 16 倍再傳給 reprojectImageTo3D否則三維坐標(biāo)全被放大 16 倍點(diǎn)云直接爆炸。這點(diǎn)網(wǎng)上的代碼經(jīng)常漏我見(jiàn)過(guò)不下十次有人問(wèn)“為什么點(diǎn)云全是亂的”十有八九是這個(gè)原因。4.2 點(diǎn)云濾波、色彩融合與 PLY 存儲(chǔ)拿到 points_3d 后還不能直接用因?yàn)?SGBM 視差圖天然帶噪z 值中有大量離群點(diǎn)。一個(gè)實(shí)用的濾波順序先去掉 z 值明顯異常的點(diǎn)比如 z 0 或 z 測(cè)量上限再用統(tǒng)計(jì)濾波剔除稀疏離群點(diǎn)。OpenCV 沒(méi)有現(xiàn)成的統(tǒng)計(jì)濾波函數(shù)可以結(jié)合 numpy 快速實(shí)現(xiàn)from scipy import stats # z值范圍裁剪 valid_mask (points_3d[..., 2] 0.5) (points_3d[..., 2] 10.0) # 統(tǒng)計(jì)離群點(diǎn)濾波計(jì)算鄰域內(nèi)z值的均值和標(biāo)準(zhǔn)差 # 也可以用cv2.medianBlur先平滑z圖再融合簡(jiǎn)單有效色彩融合就更直接了把左校正圖的 BGR 像素按索引貼回點(diǎn)云即可得到帶真實(shí)紋理的彩色點(diǎn)云colors rect_l.reshape(-1, 3) # BGR xyz points_3d.reshape(-1, 3) valid valid_mask.reshape(-1) # 按左上到右下順序逐點(diǎn)寫(xiě)入ply保存格式方面PLY 是最通用的選擇可直接用 plyfile 庫(kù)寫(xiě)入或自己拼一個(gè) PLY 頭vertex 數(shù)量、格式 binary_little_endian。我比較推薦直接寫(xiě) binary 版 PLY體積小且加載快CloudCompare 打開(kāi)無(wú)痛。如果要在 Open3D 中繼續(xù)做 ICP 配準(zhǔn)也可以直接存成 PCD 格式各庫(kù)支持都很好。from plyfile import PlyData, PlyElement vertex np.empty(xyz_valid.shape[0], dtype[ (x, f4), (y, f4), (z, f4), (red, u1), (green, u1), (blue, u1) ]) vertex[x] xyz_valid[:, 0] vertex[y] xyz_valid[:, 1] vertex[z] xyz_valid[:, 2] vertex[red] colors_valid[:, 2] vertex[green] colors_valid[:, 1] vertex[blue] colors_valid[:, 0] el PlyElement.describe(vertex, vertex) PlyData([el], textFalse).write(output.ply)4.3 點(diǎn)云效果評(píng)估怎么判斷你的點(diǎn)云“達(dá)標(biāo)”點(diǎn)云生成的直觀結(jié)果可以看作一幅深度圖。判斷質(zhì)量通常從四個(gè)方面平面場(chǎng)景是否平整比如放置一個(gè)紙箱點(diǎn)云上表面應(yīng)該是平面而不是弧形、邊緣是否銳利物體輪廓不應(yīng)出現(xiàn)一圈“毛刺”、近距離物體厚度是否合理、遠(yuǎn)距離區(qū)域是否出現(xiàn)大量散點(diǎn)。我的經(jīng)驗(yàn)做法是跑一個(gè)反差明顯的場(chǎng)景拿一個(gè)帶紋理的立方體紙箱放桌面左右相機(jī)距離約 10~30cm箱體長(zhǎng)寬各占畫(huà)面 40% 左右。好的點(diǎn)云不僅能看到紙箱表面紋路的凹凸感邊緣也比較干凈差的點(diǎn)云表面像長(zhǎng)了一層“毛”或者邊緣鋸齒狀嚴(yán)重。如果點(diǎn)云不達(dá)標(biāo)先不要急著換算法按下述順序排查檢查原始圖像是否過(guò)曝/過(guò)暗紋理是否充分檢查標(biāo)定 RMS 是否合格檢查校正后行對(duì)齊最后才是調(diào) SGBM 參數(shù)。我見(jiàn)過(guò)太多人一開(kāi)始就堆算力上深度學(xué)習(xí)模型結(jié)果連最基本的復(fù)現(xiàn)問(wèn)題都沒(méi)解決。5. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 角點(diǎn)檢測(cè)失敗與標(biāo)定誤差偏大現(xiàn)象cv2.findChessboardCorners 返回 False 或檢測(cè)出亂序角點(diǎn)。原因多半是棋盤(pán)格反光導(dǎo)致黑白格對(duì)比度差板子太遠(yuǎn)角點(diǎn)小于 5 像素板子太斜超過(guò)透視范圍。解決辦法依序是啞光噴漆或換亞光材質(zhì)板、靠近相機(jī)、控制傾角不超過(guò) 45 度、增加光照均勻度。對(duì)高倍率鏡頭尤其是工業(yè)相機(jī)確認(rèn)使用合適的光圈避免邊緣暗角影響角點(diǎn)檢測(cè)。標(biāo)定 RMS 偏大還有一個(gè)隱藏因素左右相機(jī)分辨率相差大或者圖像同步性差導(dǎo)致運(yùn)動(dòng)模糊。雙目系統(tǒng)要保證兩相機(jī)同步曝光最穩(wěn)妥的是硬件觸發(fā)其次至少保證拍照時(shí)場(chǎng)景靜止。別拿手持手機(jī)拍攝動(dòng)態(tài)場(chǎng)景去標(biāo)定車(chē)開(kāi)著過(guò)路口時(shí)用手觸發(fā)兩張即便相差幾十毫秒棋盤(pán)格偏移也會(huì)讓外參明顯不準(zhǔn)。5.2 視差圖大面積噪聲和空洞視差圖出現(xiàn)大面積黑色空洞表示該區(qū)域匹配不置信。常規(guī)思路是降低 uniquenessRatio比如從 10 降到 5、增大 numDisparities、調(diào)高 speckleWindowSize 從小濾除孤立小區(qū)域。如果空洞集中在白墻、天空這類(lèi)無(wú)紋理區(qū)域?qū)儆谖锢項(xiàng)l件限制——SGBM 本質(zhì)上依賴(lài)圖像梯度無(wú)紋理區(qū)域沒(méi)有匹配信息怎么調(diào)參數(shù)都救不回。所以做三維重建時(shí)要主動(dòng)選擇有紋理的場(chǎng)景或者投射結(jié)構(gòu)光。我踩過(guò)一個(gè)非常典型的坑燈光一側(cè)亮一側(cè)暗雙目校正圖上左右圖的整體亮度差異明顯導(dǎo)致匹配代價(jià)計(jì)算不穩(wěn)定。解決辦法是離線(xiàn)做直方圖匹配或者亮度和對(duì)比度歸一化拉齊左右圖的響應(yīng)曲線(xiàn)。OpenCV 里可以用 cv2.createCLAHE 做對(duì)比度受限自適應(yīng)直方圖均衡對(duì)光照不均的魯棒性提升比較明顯。另一個(gè)常見(jiàn)問(wèn)題是視差圖在物體邊緣出現(xiàn)一圈錯(cuò)誤視差通常偏大這讓點(diǎn)云邊緣出現(xiàn)“暈影”式噪聲。這是塊匹配窗口跨越邊緣的固有問(wèn)題。解決手段是把 blockSize 調(diào)小更靠近邊緣、或者用 disp12MaxDiff 約束左右一致性最后用中值濾波做離群點(diǎn)清理。5.3 點(diǎn)云坐標(biāo)尺度錯(cuò)誤與坐標(biāo)系方向混亂點(diǎn)云所有坐標(biāo)值整體異常偏大不用懷疑算法直接檢查 SGBM 輸出是否除以 16。如果 z 值全為零檢查視差圖是否全黑或 Q 矩陣是否正常。如果點(diǎn)云左右翻轉(zhuǎn)或上下顛倒大概率是 PLY 寫(xiě)入時(shí) XYZ 順序搞錯(cuò)了或者把左右圖像通道弄反。還有一點(diǎn)容易忽略reprojectImageTo3D 輸出的坐標(biāo)系以左相機(jī)光心為原點(diǎn)x 向右y 向下z 向前。這跟 PCL/Open3D 可視化中常見(jiàn)的“y 向上”坐標(biāo)系不一樣直接用會(huì)看到物體“躺在地上”。習(xí)慣做法是寫(xiě) PLY 前做一個(gè)坐標(biāo)系旋轉(zhuǎn)把 y 翻到向上即交換 y 和 z 并取反或者拿到 Open3D 里再用 transformation 矩陣矯正。我在文檔里看到不少新人栽在這上面以為點(diǎn)云歪了是算法問(wèn)題其實(shí)只是坐標(biāo)系約定不同。結(jié)尾與經(jīng)驗(yàn)補(bǔ)遺幾條少有人提的操作心得視頻流處理時(shí)建議把 map1/map2 預(yù)先算好緩存只對(duì)每幀做 remap避免重復(fù)計(jì)算。做實(shí)時(shí)測(cè)距往返運(yùn)動(dòng)目標(biāo)還得加入簡(jiǎn)單的跟蹤否則逐幀視差抖動(dòng)用不了。標(biāo)定過(guò)程和匹配參數(shù)最好落盤(pán)成 YAML每次換新場(chǎng)景重新加載不要每次敲代碼里寫(xiě)死。最后分享一個(gè)技巧始終保留一張“標(biāo)定失敗”的樣本圖。遇到效果異常時(shí)把當(dāng)前幀存下來(lái)和之前失敗的樣本對(duì)比比對(duì)著源碼調(diào)參數(shù)高效得多。我用的方法是圖像左上角疊加當(dāng)前標(biāo)定 RMS 和相機(jī)編號(hào)出錯(cuò)時(shí)截圖即得現(xiàn)場(chǎng)信息追溯排障非常方便。雙目立體視覺(jué)這套東西難度不在單個(gè)函數(shù)在整個(gè)鏈路的數(shù)據(jù)一致性。任何一環(huán)的微小誤差都會(huì)被后續(xù)環(huán)節(jié)放大。把標(biāo)定、校正、匹配、重投影每一步的質(zhì)量評(píng)價(jià)指標(biāo)固定下來(lái)逐項(xiàng)檢查產(chǎn)出的點(diǎn)云自然穩(wěn)定。希望這份從零到一的實(shí)戰(zhàn)記錄能讓你少走幾步彎路。