編譯庫、屬性表與相機標(biāo)定資源全解析)
簡介視覺SLAM作為機器人感知與增強現(xiàn)實的核心技術(shù)常需在Linux環(huán)境下搭建但Windows平臺因第三方依賴編譯復(fù)雜而令開發(fā)者卻步。ORB-SLAM作為經(jīng)典特征點法方案其運行依賴Eigen、g2o、DBoW2等庫且相機內(nèi)參標(biāo)定精度直接決定軌跡質(zhì)量。通過預(yù)編譯庫與Visual Studio屬性表可將包含路徑、庫目錄與預(yù)處理定義固化避免逐項配置的編譯黑洞同時利用張氏標(biāo)定板圖片與Python腳本快速獲取相機內(nèi)參并寫入ORB-SLAM的YAML設(shè)置文件。這種工程化方案大幅縮短了Windows下從環(huán)境搭建到算法驗證的時間適用于課程設(shè)計、SLAM二次開發(fā)及與YOLOv5等檢測模型聯(lián)調(diào)的AI視覺實驗場景。本文資源包已整合上述環(huán)節(jié)助你在Windows下快速跑通單目ORB-SLAM。1. Windows下跑通ORB-SLAM預(yù)編譯庫、屬性表與標(biāo)定圖一口氣配好在視覺SLAM圈里ORB-SLAM在Linux下是標(biāo)準(zhǔn)流程換到Windows上卻經(jīng)?？ㄋ涝诘谌揭蕾嚨木幾g階段。Eigen版本、g2o構(gòu)建、DBoW2詞袋庫彼此牽制一圈configure下來消耗的都是實驗時間。這套資源先把最磨人的一段路鋪平了第三方庫已經(jīng)預(yù)編譯完成Visual Studio屬性表已經(jīng)配好ORB詞袋文件ORBvoc.bin也在包里簡單改改路徑就能在Windows下跑起單目ORB-SLAM。同時附帶的20張張氏標(biāo)定板圖片可以順手把相機內(nèi)參標(biāo)定實驗一起做完。它適合做課程設(shè)計或AI視覺實驗的人也適合想在Windows下做SLAM二次開發(fā)、或者準(zhǔn)備把ORB-SLAM和YOLOv5這類檢測模型做聯(lián)調(diào)的工程師。2. 依賴層拆解與屬性表Eigen、g2o 如何不再成為編譯黑洞2.1 包內(nèi)那些零碎文件按來源與作用分層打開資源包第一眼是AdolcForward、AlignedVector3、ArpackSupport、Array、AutoDiff、BVH、Cholesky、os_specific.c這一批名字。不要被它們嚇到這些主要來自Eigen模板庫的頭文件和少量平臺適配文件。Eigen的特征是模板頭文件為主一個依賴項的編譯期成本往往體現(xiàn)在包含路徑和C標(biāo)準(zhǔn)對齊上而不是鏈接期。AdolcForward和AutoDiff對應(yīng)自動求導(dǎo)模塊AlignedVector3是Geometry里帶對齊分配能力的向量類型ArpackSupport提供特征值求解的接口層Cholesky則是矩陣分解相關(guān)模塊。它們被直接放進(jìn)資源包意味著你不用再去單獨拉一份Eigen它和后續(xù)的g2o、DBoW2已經(jīng)按同一套工具鏈驗證過。除了Eigen相關(guān)文件ORBvoc.bin是ORB-SLAM加載詞袋模型時的二進(jìn)制字典文件My_Monocular.cc是改造后的單目入口代碼os_specific.c一般用于Windows下的系統(tǒng)調(diào)用兼容層。把這些文件攤開看整個資源包的結(jié)構(gòu)其實是三層基礎(chǔ)線性代數(shù)庫、SLAM運行所需的詞袋與優(yōu)化庫、最上層的可執(zhí)行入口。資源和常見做法一致第三方庫提前編譯成靜態(tài)庫或動態(tài)庫頭文件隨包納入工程使用方不再需要從零cmake構(gòu)建g2o和DBoW2這一步能節(jié)省的時間往往以天計算。文件/目錄來源在ORB-SLAM里的作用AlignedVector3Eigen/Geometry提供內(nèi)存對齊的向量類型避免SSE對齊崩潰ArpackSupportEigen unsupported特征值求解接口層圖優(yōu)化中可能涉及AutoDiff/AdolcForwardEigen unsupported自動求導(dǎo)相關(guān)頭文件CholeskyEigen/Cholesky矩陣分解與最小二乘求解ORBvoc.binORB-SLAM自帶的詞袋導(dǎo)出文件圖像特征檢索與回環(huán)檢測os_specific.c第三方庫適配層Windows下文件路徑與系統(tǒng)調(diào)用兼容My_Monocular.ccORB-SLAM源碼改造單目SLAM的main入口2.2 屬性表把“包含路徑”這件事收了口Windows下用Visual Studio編譯C工程時最煩的不是寫代碼而是配置包含目錄、庫目錄和附加依賴項。這份資源給出的解法是Visual Studio屬性表后綴是.props。屬性表把第三方庫的IncludePath、LibraryPath和預(yù)處理器定義固化成一個文件導(dǎo)入工程后所有cpp文件在編譯期都能找到Eigen頭文件、g2o頭文件和OpenCV頭文件。一個典型的屬性表內(nèi)容長這樣?xml version1.0 encodingutf-8? Project ToolsVersion4.0 xmlnshttp://schemas.microsoft.com/developer/msbuild/2003 PropertyGroup EigenDir$(SolutionDir)Thirdparty\eigen/EigenDir OpenCVDirC:\opencv\build/OpenCVDir /PropertyGroup ItemDefinitionGroup ClCompile AdditionalIncludeDirectories$(EigenDir);$(OpenCVDir)\include;$(SolutionDir)Thirdparty\g2o;$(SolutionDir)Thirdparty\DBoW2;%(AdditionalIncludeDirectories)/AdditionalIncludeDirectories PreprocessorDefinitions_CRT_SECURE_NO_WARNINGS;%(PreprocessorDefinitions)/PreprocessorDefinitions /ClCompile Link AdditionalLibraryDirectories$(OpenCVDir)\x64\vc16\lib;$(SolutionDir)lib;%(AdditionalLibraryDirectories)/AdditionalLibraryDirectories /Link /ItemDefinitionGroup /ProjectAdditionalIncludeDirectories里每一項都是編譯期的頭文件搜索路徑。這里的$(SolutionDir)是Visual Studio的內(nèi)置宏指向當(dāng)前解決方案目錄只要工程文件放在資源包內(nèi)這條路徑就能正確解析。PreprocessorDefinitions里把_CRT_SECURE_NO_WARNINGS加上去是為了屏蔽老式C函數(shù)在VS下的安全警告否則sprintf這類函數(shù)一編譯就是報錯。Link節(jié)里的AdditionalLibraryDirectories則是給最終鏈接exe找lib文件用的。導(dǎo)入屬性表的操作路徑是在Visual Studio的“屬性管理器”面板里“添加現(xiàn)有屬性表”選中對應(yīng)的.props文件。我不建議手動在VC目錄里逐個填包含路徑那條路在換電腦或者換OpenCV版本后容易漏項漏一個頭文件就報一大堆找不到符號排查非常難受。2.3 預(yù)編譯庫與源碼之間還有哪些版本暗雷第三方庫預(yù)編譯好之后使用方還需要注意Debug和Release配置。屬性表通常按Release x64來設(shè)計你可以在屬性表里看到PreprocessorDefinitions里是否定義了NDEBUG。ORB-SLAM是性能敏感型代碼我一般直接用Release x64編譯運行Debug版本下各種Eigen斷言和g2o檢查日志會把跑圖速度拖成幻燈片。OpenCV版本是另一個容易出問題的點。資源包的屬性表引用的是C:\opencv\build的路徑實際機器里OpenCV如果裝在別的位置就要同步改屬性表里的OpenCVDir。OpenCV 3.x和4.x的模塊劃分差異很大ORB-SLAM早期代碼按OpenCV 3.x的老接口寫的話在4.x上會有頭文件和函數(shù)簽名不兼容。遇到cv::FeatureDetector找不到或者ORB相關(guān)類名對不上的情況優(yōu)先檢查OpenCV版本而不是去改代碼。這類問題有很強的“黑匣子”屬性編譯期不報運行期崩得莫名其妙。3. 編譯與運行把 My_Monocular.cc 和 ORBvoc.bin 接進(jìn)工程3.1 單目入口代碼到底做了什么My_Monocular.cc這份改造過的入口代碼本質(zhì)是把ORB-SLAM的初始化、跟蹤、地圖維護(hù)這些瑣碎邏輯包了一層暴露給使用者的只是“構(gòu)造一個單目SLAM對象然后一幀幀往里塞圖像”。在Windows下跑單目ORB-SLAM最少需要三樣輸入詞袋文件、相機參數(shù)YAML、圖像序列目錄。典型的調(diào)用范式可以寫成下面這樣#include MonocularSLAM.h #include opencv2/core.hpp #include cstdio int main(int argc, char** argv) { if (argc 4) { printf(usage: My_Monocular.exe ORBvoc.bin My_Settings.yaml image_dir\n); return -1; } // 封裝類內(nèi)部完成詞袋加載、相機參數(shù)解析 MonocularSLAM slam(argv[1], argv[2]); for (int i 0; ; i) { char path[256]; std::snprintf(path, sizeof(path), %s/%06d.png, argv[3], i); cv::Mat frame cv::imread(path); if (frame.empty()) break; // 圖像讀不到說明序列結(jié)束退出循環(huán) double timestamp i * 0.01; bool ok slam.track(frame, timestamp); if (!ok) break; // 跟蹤丟失 } return 0; }這段代碼的邏輯很簡單slam對象構(gòu)造時加載ORBvoc.bin和YAML相機參數(shù)循環(huán)里按連續(xù)編號讀取圖片每幀調(diào)用一次track()。track()在內(nèi)部完成ORB特征提取、匹配、位姿估計和局部地圖維護(hù)。參數(shù)里argv[1]給詞袋絕對路徑argv[2]給相機參數(shù)絕對路徑argv[3]給圖像目錄。注意圖像命名必須是連續(xù)的比如000000.png、000001.png或者000000.jpg、000001.jpg否則snprintf拼出來的文件名讀不到圖。資源里的My_Monocular.cc很可能已經(jīng)把這條主流程寫好了你要改的核心是argv[3]對應(yīng)的數(shù)據(jù)集路徑或者調(diào)整timestamp的生成方式。用真實相機跑的時候timestamp應(yīng)來自硬件時間戳或系統(tǒng)時鐘取值單位是秒。3.2 Visual Studio 里編譯的完整動作拿到工程之后編譯的推薦步驟是這樣的。第一步新建一個空的C控制臺項目第二步把My_Monocular.cc和資源里的源碼文件加到工程里第三步在屬性管理器里導(dǎo)入那份.props屬性表第四步把解決方案配置切換成Release x64第五步直接生成解決方案。生成出來的exe通常在x64\Release目錄里。這時候不要急著雙擊運行因為exe默認(rèn)的當(dāng)前工作目錄不一定是exe所在目錄。更穩(wěn)妥的做法是寫一個小批處理或者直接用命令行切到exe所在目錄再執(zhí)行。cd D:\ORBSLAM_Windows\x64\Release My_Monocular.exe D:\ORBSLAM_Windows\vocabulary\ORBvoc.bin D:\ORBSLAM_Windows\settings\My_Settings.yaml D:\ORBSLAM_Windows\data\images命令行參數(shù)順序要和main里的一致。ORBvoc.bin用絕對路徑最保險因為它必須在運行時被加載缺了它程序要么直接退出要么報“無法打開詞袋文件”。這里還有一個容易踩的細(xì)節(jié)如果exe運行時提示找不到OpenCV的dll那就把OpenCV安裝目錄下的bin文件夾加進(jìn)系統(tǒng)PATH或者把opencv_world*.dll復(fù)制到exe同目錄下。3.3 跑起來之后怎么看日志不要指望ORB-SLAM跑起來會給你一個華麗的可視化窗口。默認(rèn)狀態(tài)下程序會在控制臺打印關(guān)鍵幀數(shù)量、局部地圖大小、跟蹤狀態(tài)這些文本信息。跟蹤狀態(tài)有OK、LOST兩種。如果屏幕上連續(xù)出現(xiàn)大量LOST說明圖像質(zhì)量差、相機標(biāo)定參數(shù)不對或者移動速度過快導(dǎo)致特征跟蹤斷裂。時間戳也是一個容易被忽略的參數(shù)。用數(shù)據(jù)集跑時如果用固定的i*0.01意味著你假設(shè)幀率是100Hz這對實際采集到的數(shù)據(jù)集來說不一定成立。時間戳差得離譜會讓勻速模型失效表現(xiàn)是跟蹤容易丟、軌跡抖動。這類問題在單目SLAM里很常見改時間戳比改代碼里的閾值要優(yōu)先做。4. 相機標(biāo)定用20張棋盤格圖算內(nèi)參并寫進(jìn)設(shè)置文件4.1 拍攝標(biāo)定圖的幾個硬性要求20張張氏標(biāo)定板圖片要真正起作用需要滿足幾個條件。棋盤格要出現(xiàn)在畫面的不同位置不能每張都停在畫面中央標(biāo)定板平面要和相機光軸有角度變化即旋轉(zhuǎn)標(biāo)定板制造透視變形盡量讓標(biāo)定板在畫面四個角和中心都出現(xiàn)過。如果20張圖片都是正對著拍、標(biāo)定板居中OpenCV的標(biāo)定結(jié)果會退化得厲害內(nèi)參計算出來后畸變系數(shù)幾乎不可用。另一個要求是棋盤格尺寸必須真實測量。標(biāo)定板角落可能印著“25mm”之類的參數(shù)但打印誤差和縮放會帶來偏差。用尺子量出每個格子的實際邊長單位毫米記下來這一步的精度直接影響fx和fy的絕對尺度。8x6棋盤格對應(yīng)OpenCV里的內(nèi)角點數(shù)是7x5設(shè)定pattern時要格外留意。4.2 用 Python 和 OpenCV 把內(nèi)參算出來標(biāo)定算法本身已經(jīng)是OpenCV里成熟的張氏標(biāo)定實現(xiàn)。下面這段腳本把20張圖存到calib目錄后可以直接跑出相機內(nèi)參和畸變系數(shù)。import cv2 import numpy as np import glob pattern (7, 5) # 8x6棋盤格對應(yīng)的內(nèi)角點數(shù) square_mm 25.0 # 實測格子邊長單位毫米 objp np.zeros((pattern[0] * pattern[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern[0], 0:pattern[1]].T.reshape(-1, 2) objp * square_mm objpoints [] imgpoints [] for fname in sorted(glob.glob(calib/*.jpg)): img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ok, corners cv2.findChessboardCorners(gray, pattern, None) if not ok: print(detect failed:, fname) continue corners2 cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) objpoints.append(objp) imgpoints.append(corners2) ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) print(camera matrix:\n, mtx) print(distortion coeffs:\n, dist)objp是用真實毫米單位構(gòu)造的三維世界坐標(biāo)點pattern里的7和5分別是內(nèi)角點行數(shù)和列數(shù)。findChessboardCorners負(fù)責(zé)在灰度圖里搜索棋盤格角點cornerSubPix把角點坐標(biāo)細(xì)化到亞像素級這一層細(xì)化對畸變系數(shù)的穩(wěn)定性影響很大。calibrateCamera返回的mtx是3x3內(nèi)參矩陣dist是包含k1、k2、p1、p2等值的畸變向量。20張圖片全部檢測成功后重投影誤差ret一般應(yīng)該在0.3到0.8像素區(qū)間。如果單張圖片檢出失敗可以先檢查棋盤格是否被遮擋或裁剪假如多張失敗考慮調(diào)小pattern的尺寸。市面上有些標(biāo)定板是9x6對應(yīng)pattern是8x5每張圖的內(nèi)角點數(shù)不同這個必須要和實物對起來。4.3 把標(biāo)定結(jié)果寫進(jìn) My_Settings.yamlORB-SLAM的相機參數(shù)文件是YAML格式標(biāo)定得到的數(shù)值需要填到對應(yīng)字段里。一個符合ORB-SLAM格式的參數(shù)片段如下Camera.fx: 458.654 Camera.fy: 457.296 Camera.cx: 367.215 Camera.cy: 248.375 Camera.k1: -0.283408 Camera.k2: 0.073959 Camera.p1: 0.000193 Camera.p2: -0.000107 Camera.width: 640 Camera.height: 480這些是某公開數(shù)據(jù)集的示例值不能直接套用拿自己的標(biāo)定結(jié)果替換。fx和fy來自mtx矩陣的(0,0)和(1,1)元素cx和cy是(0,2)和(1,2)元素dist向量里的元素按順序?qū)?yīng)k1、k2、p1、p2。width和height必須和實際圖像尺寸一致如果標(biāo)定用的是640x480圖但運行時喂的是1280x720內(nèi)參直接就廢了。我一般會在標(biāo)定腳本里把mtx和dist導(dǎo)出成yaml文本避免手抄出錯。單目SLAM還有一層特殊的坑相機內(nèi)參的絕對尺度直接影響軌跡單位但單目本身無法估計真實尺度。標(biāo)定得好軌跡的形態(tài)才可信標(biāo)定得差純旋轉(zhuǎn)都會產(chǎn)生明顯漂移。5. 避坑指南Windows 下 ORB-SLAM 的五處常見翻車點5.1 0xc000007b or 無法定位程序輸入點現(xiàn)象exe雙擊閃退或者彈窗提示“無法定位程序輸入點于動態(tài)鏈接庫”又或者錯誤碼0xc000007b。原因Debug和Release混合或者32位/64位庫混用。第三方庫編譯成Release x64主程序卻用了Debug配置鏈接進(jìn)去的函數(shù)符號對不上。解決把Visual Studio切到Release x64重新編譯檢查OpenCV的dll是不是x64版本。這條是我見過最高頻的翻車點。5.2 找不到 ORBvoc.bin現(xiàn)象程序啟動后很快退出控制臺提示無法打開詞袋文件。原因exe的當(dāng)前工作目錄和ORBvoc.bin所在目錄不一致。Windows下雙擊exe的工作目錄可能是啟動器目錄或桌面不一定和資源包一致。解決用命令行切到exe目錄再執(zhí)行或者給argv[1]傳絕對路徑。不要賭“我把它放在同目錄就一定能找到”Windows的工作目錄邏輯會教你做人。5.3 圖像序列路徑在反斜杠下全部失效現(xiàn)象數(shù)據(jù)集路徑寫的是“D:\dataset\images”程序讀不到任何圖片。原因C字符串里的“\d”被轉(zhuǎn)義成控制字符。解決路徑字符串用雙反斜杠“D:\dataset\images”或者用正斜杠“D:/dataset/images”。命令行傳參時Windows自身接受正斜杠所以直接用正斜杠最省心。這也是為什么數(shù)據(jù)集讀取代碼里最好用正斜杠拼接路徑的原因。5.4 findChessboardCorners 檢測失敗現(xiàn)象標(biāo)定腳本運行后許多圖片輸出“detect failed”。原因一是pattern參數(shù)和實際棋盤格格數(shù)不符二是圖片對比度低或標(biāo)定板面積占畫面比例太小。解決先用python腳本單獨讀一張圖用cv2.imshow展示角點檢測結(jié)果確認(rèn)pattern正確再跑全量。調(diào)低label的分辨率有時也能幫上忙把長邊縮到640后角點檢測的成功率會明顯提升。5.5 OpenCV DLL 缺失現(xiàn)象exe編譯成功但運行瞬間報缺失opencv_world*.dll。原因OpenCV的bin目錄不在PATH里。解決把D:\opencv\build\x64\vc15\bin加進(jìn)系統(tǒng)PATH改完后要重啟命令行工具才生效或者直接把dll復(fù)制到exe同目錄。兩條路都走通后順手把dll備份一份到工程目錄換機器就不怕了。6. 進(jìn)階驗證用軌跡評估確認(rèn)單目 SLAM 真的能干活程序跑起來只是第一步真正要確認(rèn)“跑通了”要靠軌跡評估。ORB-SLAM在運行過程中可以輸出每幀的相機位姿把它寫成TUM格式的軌跡文件然后用evo工具和真值軌跡對比。pip install evo evo_traj tum ORB_SLAM_track.txt -p evo_ape tum groundtruth.txt ORB_SLAM_track.txt -vaTUM格式的軌跡文件每行是“timestamp tx ty tz qx qy qz w”。evo_ape計算的是絕對位姿誤差數(shù)值越小說明軌跡越接近真值。對于單目SLAM軌跡和真值之間會存在一個尺度誤差評估前需要用evo的尺度對齊選項先做Sim3對齊否則APE數(shù)值大得離譜不是算法壞了而是單位不統(tǒng)一。我自己的習(xí)慣是拿到一個數(shù)據(jù)集先跑一遍純旋轉(zhuǎn)測試看跟蹤會不會掉再跑一段直線看軌跡兩端是否閉合。單目SLAM的尺度漂移是正?，F(xiàn)象不要用普通誤差的絕對值直接下結(jié)論。之后如果繼續(xù)做YOLOv5和ORB-SLAM的聯(lián)調(diào)標(biāo)定數(shù)據(jù)和這套工程底子可以直接復(fù)用不用再走一遍編譯流程。從那以后我每次拿到新相機都會先花十分鐘做標(biāo)定、跑一段小序列驗證軌跡形態(tài)再進(jìn)入正式實驗這套流程幫我規(guī)避了至少三次“實驗失敗但原因在相機參數(shù)”的窘境。希望幫到你。本文還有配套的精品資源點擊獲取 Windows下ORB-SLAM快速跑通：預(yù)編譯庫、屬性表與相機標(biāo)定資源全解析
簡介視覺SLAM作為機器人感知與增強現(xiàn)實的核心技術(shù)常需在Linux環(huán)境下搭建但Windows平臺因第三方依賴編譯復(fù)雜而令開發(fā)者卻步。ORB-SLAM作為經(jīng)典特征點法方案其運行依賴Eigen、g2o、DBoW2等庫且相機內(nèi)參標(biāo)定精度直接決定軌跡質(zhì)量。通過預(yù)編譯庫與Visual Studio屬性表可將包含路徑、庫目錄與預(yù)處理定義固化避免逐項配置的編譯黑洞同時利用張氏標(biāo)定板圖片與Python腳本快速獲取相機內(nèi)參并寫入ORB-SLAM的YAML設(shè)置文件。這種工程化方案大幅縮短了Windows下從環(huán)境搭建到算法驗證的時間適用于課程設(shè)計、SLAM二次開發(fā)及與YOLOv5等檢測模型聯(lián)調(diào)的AI視覺實驗場景。本文資源包已整合上述環(huán)節(jié)助你在Windows下快速跑通單目ORB-SLAM。1. Windows下跑通ORB-SLAM預(yù)編譯庫、屬性表與標(biāo)定圖一口氣配好在視覺SLAM圈里ORB-SLAM在Linux下是標(biāo)準(zhǔn)流程換到Windows上卻經(jīng)?？ㄋ涝诘谌揭蕾嚨木幾g階段。Eigen版本、g2o構(gòu)建、DBoW2詞袋庫彼此牽制一圈configure下來消耗的都是實驗時間。這套資源先把最磨人的一段路鋪平了第三方庫已經(jīng)預(yù)編譯完成Visual Studio屬性表已經(jīng)配好ORB詞袋文件ORBvoc.bin也在包里簡單改改路徑就能在Windows下跑起單目ORB-SLAM。同時附帶的20張張氏標(biāo)定板圖片可以順手把相機內(nèi)參標(biāo)定實驗一起做完。它適合做課程設(shè)計或AI視覺實驗的人也適合想在Windows下做SLAM二次開發(fā)、或者準(zhǔn)備把ORB-SLAM和YOLOv5這類檢測模型做聯(lián)調(diào)的工程師。2. 依賴層拆解與屬性表Eigen、g2o 如何不再成為編譯黑洞2.1 包內(nèi)那些零碎文件按來源與作用分層打開資源包第一眼是AdolcForward、AlignedVector3、ArpackSupport、Array、AutoDiff、BVH、Cholesky、os_specific.c這一批名字。不要被它們嚇到這些主要來自Eigen模板庫的頭文件和少量平臺適配文件。Eigen的特征是模板頭文件為主一個依賴項的編譯期成本往往體現(xiàn)在包含路徑和C標(biāo)準(zhǔn)對齊上而不是鏈接期。AdolcForward和AutoDiff對應(yīng)自動求導(dǎo)模塊AlignedVector3是Geometry里帶對齊分配能力的向量類型ArpackSupport提供特征值求解的接口層Cholesky則是矩陣分解相關(guān)模塊。它們被直接放進(jìn)資源包意味著你不用再去單獨拉一份Eigen它和后續(xù)的g2o、DBoW2已經(jīng)按同一套工具鏈驗證過。除了Eigen相關(guān)文件ORBvoc.bin是ORB-SLAM加載詞袋模型時的二進(jìn)制字典文件My_Monocular.cc是改造后的單目入口代碼os_specific.c一般用于Windows下的系統(tǒng)調(diào)用兼容層。把這些文件攤開看整個資源包的結(jié)構(gòu)其實是三層基礎(chǔ)線性代數(shù)庫、SLAM運行所需的詞袋與優(yōu)化庫、最上層的可執(zhí)行入口。資源和常見做法一致第三方庫提前編譯成靜態(tài)庫或動態(tài)庫頭文件隨包納入工程使用方不再需要從零cmake構(gòu)建g2o和DBoW2這一步能節(jié)省的時間往往以天計算。文件/目錄來源在ORB-SLAM里的作用AlignedVector3Eigen/Geometry提供內(nèi)存對齊的向量類型避免SSE對齊崩潰ArpackSupportEigen unsupported特征值求解接口層圖優(yōu)化中可能涉及AutoDiff/AdolcForwardEigen unsupported自動求導(dǎo)相關(guān)頭文件CholeskyEigen/Cholesky矩陣分解與最小二乘求解ORBvoc.binORB-SLAM自帶的詞袋導(dǎo)出文件圖像特征檢索與回環(huán)檢測os_specific.c第三方庫適配層Windows下文件路徑與系統(tǒng)調(diào)用兼容My_Monocular.ccORB-SLAM源碼改造單目SLAM的main入口2.2 屬性表把“包含路徑”這件事收了口Windows下用Visual Studio編譯C工程時最煩的不是寫代碼而是配置包含目錄、庫目錄和附加依賴項。這份資源給出的解法是Visual Studio屬性表后綴是.props。屬性表把第三方庫的IncludePath、LibraryPath和預(yù)處理器定義固化成一個文件導(dǎo)入工程后所有cpp文件在編譯期都能找到Eigen頭文件、g2o頭文件和OpenCV頭文件。一個典型的屬性表內(nèi)容長這樣?xml version1.0 encodingutf-8? Project ToolsVersion4.0 xmlnshttp://schemas.microsoft.com/developer/msbuild/2003 PropertyGroup EigenDir$(SolutionDir)Thirdparty\eigen/EigenDir OpenCVDirC:\opencv\build/OpenCVDir /PropertyGroup ItemDefinitionGroup ClCompile AdditionalIncludeDirectories$(EigenDir);$(OpenCVDir)\include;$(SolutionDir)Thirdparty\g2o;$(SolutionDir)Thirdparty\DBoW2;%(AdditionalIncludeDirectories)/AdditionalIncludeDirectories PreprocessorDefinitions_CRT_SECURE_NO_WARNINGS;%(PreprocessorDefinitions)/PreprocessorDefinitions /ClCompile Link AdditionalLibraryDirectories$(OpenCVDir)\x64\vc16\lib;$(SolutionDir)lib;%(AdditionalLibraryDirectories)/AdditionalLibraryDirectories /Link /ItemDefinitionGroup /ProjectAdditionalIncludeDirectories里每一項都是編譯期的頭文件搜索路徑。這里的$(SolutionDir)是Visual Studio的內(nèi)置宏指向當(dāng)前解決方案目錄只要工程文件放在資源包內(nèi)這條路徑就能正確解析。PreprocessorDefinitions里把_CRT_SECURE_NO_WARNINGS加上去是為了屏蔽老式C函數(shù)在VS下的安全警告否則sprintf這類函數(shù)一編譯就是報錯。Link節(jié)里的AdditionalLibraryDirectories則是給最終鏈接exe找lib文件用的。導(dǎo)入屬性表的操作路徑是在Visual Studio的“屬性管理器”面板里“添加現(xiàn)有屬性表”選中對應(yīng)的.props文件。我不建議手動在VC目錄里逐個填包含路徑那條路在換電腦或者換OpenCV版本后容易漏項漏一個頭文件就報一大堆找不到符號排查非常難受。2.3 預(yù)編譯庫與源碼之間還有哪些版本暗雷第三方庫預(yù)編譯好之后使用方還需要注意Debug和Release配置。屬性表通常按Release x64來設(shè)計你可以在屬性表里看到PreprocessorDefinitions里是否定義了NDEBUG。ORB-SLAM是性能敏感型代碼我一般直接用Release x64編譯運行Debug版本下各種Eigen斷言和g2o檢查日志會把跑圖速度拖成幻燈片。OpenCV版本是另一個容易出問題的點。資源包的屬性表引用的是C:\opencv\build的路徑實際機器里OpenCV如果裝在別的位置就要同步改屬性表里的OpenCVDir。OpenCV 3.x和4.x的模塊劃分差異很大ORB-SLAM早期代碼按OpenCV 3.x的老接口寫的話在4.x上會有頭文件和函數(shù)簽名不兼容。遇到cv::FeatureDetector找不到或者ORB相關(guān)類名對不上的情況優(yōu)先檢查OpenCV版本而不是去改代碼。這類問題有很強的“黑匣子”屬性編譯期不報運行期崩得莫名其妙。3. 編譯與運行把 My_Monocular.cc 和 ORBvoc.bin 接進(jìn)工程3.1 單目入口代碼到底做了什么My_Monocular.cc這份改造過的入口代碼本質(zhì)是把ORB-SLAM的初始化、跟蹤、地圖維護(hù)這些瑣碎邏輯包了一層暴露給使用者的只是“構(gòu)造一個單目SLAM對象然后一幀幀往里塞圖像”。在Windows下跑單目ORB-SLAM最少需要三樣輸入詞袋文件、相機參數(shù)YAML、圖像序列目錄。典型的調(diào)用范式可以寫成下面這樣#include MonocularSLAM.h #include opencv2/core.hpp #include cstdio int main(int argc, char** argv) { if (argc 4) { printf(usage: My_Monocular.exe ORBvoc.bin My_Settings.yaml image_dir\n); return -1; } // 封裝類內(nèi)部完成詞袋加載、相機參數(shù)解析 MonocularSLAM slam(argv[1], argv[2]); for (int i 0; ; i) { char path[256]; std::snprintf(path, sizeof(path), %s/%06d.png, argv[3], i); cv::Mat frame cv::imread(path); if (frame.empty()) break; // 圖像讀不到說明序列結(jié)束退出循環(huán) double timestamp i * 0.01; bool ok slam.track(frame, timestamp); if (!ok) break; // 跟蹤丟失 } return 0; }這段代碼的邏輯很簡單slam對象構(gòu)造時加載ORBvoc.bin和YAML相機參數(shù)循環(huán)里按連續(xù)編號讀取圖片每幀調(diào)用一次track()。track()在內(nèi)部完成ORB特征提取、匹配、位姿估計和局部地圖維護(hù)。參數(shù)里argv[1]給詞袋絕對路徑argv[2]給相機參數(shù)絕對路徑argv[3]給圖像目錄。注意圖像命名必須是連續(xù)的比如000000.png、000001.png或者000000.jpg、000001.jpg否則snprintf拼出來的文件名讀不到圖。資源里的My_Monocular.cc很可能已經(jīng)把這條主流程寫好了你要改的核心是argv[3]對應(yīng)的數(shù)據(jù)集路徑或者調(diào)整timestamp的生成方式。用真實相機跑的時候timestamp應(yīng)來自硬件時間戳或系統(tǒng)時鐘取值單位是秒。3.2 Visual Studio 里編譯的完整動作拿到工程之后編譯的推薦步驟是這樣的。第一步新建一個空的C控制臺項目第二步把My_Monocular.cc和資源里的源碼文件加到工程里第三步在屬性管理器里導(dǎo)入那份.props屬性表第四步把解決方案配置切換成Release x64第五步直接生成解決方案。生成出來的exe通常在x64\Release目錄里。這時候不要急著雙擊運行因為exe默認(rèn)的當(dāng)前工作目錄不一定是exe所在目錄。更穩(wěn)妥的做法是寫一個小批處理或者直接用命令行切到exe所在目錄再執(zhí)行。cd D:\ORBSLAM_Windows\x64\Release My_Monocular.exe D:\ORBSLAM_Windows\vocabulary\ORBvoc.bin D:\ORBSLAM_Windows\settings\My_Settings.yaml D:\ORBSLAM_Windows\data\images命令行參數(shù)順序要和main里的一致。ORBvoc.bin用絕對路徑最保險因為它必須在運行時被加載缺了它程序要么直接退出要么報“無法打開詞袋文件”。這里還有一個容易踩的細(xì)節(jié)如果exe運行時提示找不到OpenCV的dll那就把OpenCV安裝目錄下的bin文件夾加進(jìn)系統(tǒng)PATH或者把opencv_world*.dll復(fù)制到exe同目錄下。3.3 跑起來之后怎么看日志不要指望ORB-SLAM跑起來會給你一個華麗的可視化窗口。默認(rèn)狀態(tài)下程序會在控制臺打印關(guān)鍵幀數(shù)量、局部地圖大小、跟蹤狀態(tài)這些文本信息。跟蹤狀態(tài)有OK、LOST兩種。如果屏幕上連續(xù)出現(xiàn)大量LOST說明圖像質(zhì)量差、相機標(biāo)定參數(shù)不對或者移動速度過快導(dǎo)致特征跟蹤斷裂。時間戳也是一個容易被忽略的參數(shù)。用數(shù)據(jù)集跑時如果用固定的i*0.01意味著你假設(shè)幀率是100Hz這對實際采集到的數(shù)據(jù)集來說不一定成立。時間戳差得離譜會讓勻速模型失效表現(xiàn)是跟蹤容易丟、軌跡抖動。這類問題在單目SLAM里很常見改時間戳比改代碼里的閾值要優(yōu)先做。4. 相機標(biāo)定用20張棋盤格圖算內(nèi)參并寫進(jìn)設(shè)置文件4.1 拍攝標(biāo)定圖的幾個硬性要求20張張氏標(biāo)定板圖片要真正起作用需要滿足幾個條件。棋盤格要出現(xiàn)在畫面的不同位置不能每張都停在畫面中央標(biāo)定板平面要和相機光軸有角度變化即旋轉(zhuǎn)標(biāo)定板制造透視變形盡量讓標(biāo)定板在畫面四個角和中心都出現(xiàn)過。如果20張圖片都是正對著拍、標(biāo)定板居中OpenCV的標(biāo)定結(jié)果會退化得厲害內(nèi)參計算出來后畸變系數(shù)幾乎不可用。另一個要求是棋盤格尺寸必須真實測量。標(biāo)定板角落可能印著“25mm”之類的參數(shù)但打印誤差和縮放會帶來偏差。用尺子量出每個格子的實際邊長單位毫米記下來這一步的精度直接影響fx和fy的絕對尺度。8x6棋盤格對應(yīng)OpenCV里的內(nèi)角點數(shù)是7x5設(shè)定pattern時要格外留意。4.2 用 Python 和 OpenCV 把內(nèi)參算出來標(biāo)定算法本身已經(jīng)是OpenCV里成熟的張氏標(biāo)定實現(xiàn)。下面這段腳本把20張圖存到calib目錄后可以直接跑出相機內(nèi)參和畸變系數(shù)。import cv2 import numpy as np import glob pattern (7, 5) # 8x6棋盤格對應(yīng)的內(nèi)角點數(shù) square_mm 25.0 # 實測格子邊長單位毫米 objp np.zeros((pattern[0] * pattern[1], 3), np.float32) objp[:, :2] np.mgrid[0:pattern[0], 0:pattern[1]].T.reshape(-1, 2) objp * square_mm objpoints [] imgpoints [] for fname in sorted(glob.glob(calib/*.jpg)): img cv2.imread(fname) gray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ok, corners cv2.findChessboardCorners(gray, pattern, None) if not ok: print(detect failed:, fname) continue corners2 cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), (cv2.TERM_CRITERIA_EPS cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)) objpoints.append(objp) imgpoints.append(corners2) ret, mtx, dist, rvecs, tvecs cv2.calibrateCamera( objpoints, imgpoints, gray.shape[::-1], None, None ) print(camera matrix:\n, mtx) print(distortion coeffs:\n, dist)objp是用真實毫米單位構(gòu)造的三維世界坐標(biāo)點pattern里的7和5分別是內(nèi)角點行數(shù)和列數(shù)。findChessboardCorners負(fù)責(zé)在灰度圖里搜索棋盤格角點cornerSubPix把角點坐標(biāo)細(xì)化到亞像素級這一層細(xì)化對畸變系數(shù)的穩(wěn)定性影響很大。calibrateCamera返回的mtx是3x3內(nèi)參矩陣dist是包含k1、k2、p1、p2等值的畸變向量。20張圖片全部檢測成功后重投影誤差ret一般應(yīng)該在0.3到0.8像素區(qū)間。如果單張圖片檢出失敗可以先檢查棋盤格是否被遮擋或裁剪假如多張失敗考慮調(diào)小pattern的尺寸。市面上有些標(biāo)定板是9x6對應(yīng)pattern是8x5每張圖的內(nèi)角點數(shù)不同這個必須要和實物對起來。4.3 把標(biāo)定結(jié)果寫進(jìn) My_Settings.yamlORB-SLAM的相機參數(shù)文件是YAML格式標(biāo)定得到的數(shù)值需要填到對應(yīng)字段里。一個符合ORB-SLAM格式的參數(shù)片段如下Camera.fx: 458.654 Camera.fy: 457.296 Camera.cx: 367.215 Camera.cy: 248.375 Camera.k1: -0.283408 Camera.k2: 0.073959 Camera.p1: 0.000193 Camera.p2: -0.000107 Camera.width: 640 Camera.height: 480這些是某公開數(shù)據(jù)集的示例值不能直接套用拿自己的標(biāo)定結(jié)果替換。fx和fy來自mtx矩陣的(0,0)和(1,1)元素cx和cy是(0,2)和(1,2)元素dist向量里的元素按順序?qū)?yīng)k1、k2、p1、p2。width和height必須和實際圖像尺寸一致如果標(biāo)定用的是640x480圖但運行時喂的是1280x720內(nèi)參直接就廢了。我一般會在標(biāo)定腳本里把mtx和dist導(dǎo)出成yaml文本避免手抄出錯。單目SLAM還有一層特殊的坑相機內(nèi)參的絕對尺度直接影響軌跡單位但單目本身無法估計真實尺度。標(biāo)定得好軌跡的形態(tài)才可信標(biāo)定得差純旋轉(zhuǎn)都會產(chǎn)生明顯漂移。5. 避坑指南Windows 下 ORB-SLAM 的五處常見翻車點5.1 0xc000007b or 無法定位程序輸入點現(xiàn)象exe雙擊閃退或者彈窗提示“無法定位程序輸入點于動態(tài)鏈接庫”又或者錯誤碼0xc000007b。原因Debug和Release混合或者32位/64位庫混用。第三方庫編譯成Release x64主程序卻用了Debug配置鏈接進(jìn)去的函數(shù)符號對不上。解決把Visual Studio切到Release x64重新編譯檢查OpenCV的dll是不是x64版本。這條是我見過最高頻的翻車點。5.2 找不到 ORBvoc.bin現(xiàn)象程序啟動后很快退出控制臺提示無法打開詞袋文件。原因exe的當(dāng)前工作目錄和ORBvoc.bin所在目錄不一致。Windows下雙擊exe的工作目錄可能是啟動器目錄或桌面不一定和資源包一致。解決用命令行切到exe目錄再執(zhí)行或者給argv[1]傳絕對路徑。不要賭“我把它放在同目錄就一定能找到”Windows的工作目錄邏輯會教你做人。5.3 圖像序列路徑在反斜杠下全部失效現(xiàn)象數(shù)據(jù)集路徑寫的是“D:\dataset\images”程序讀不到任何圖片。原因C字符串里的“\d”被轉(zhuǎn)義成控制字符。解決路徑字符串用雙反斜杠“D:\dataset\images”或者用正斜杠“D:/dataset/images”。命令行傳參時Windows自身接受正斜杠所以直接用正斜杠最省心。這也是為什么數(shù)據(jù)集讀取代碼里最好用正斜杠拼接路徑的原因。5.4 findChessboardCorners 檢測失敗現(xiàn)象標(biāo)定腳本運行后許多圖片輸出“detect failed”。原因一是pattern參數(shù)和實際棋盤格格數(shù)不符二是圖片對比度低或標(biāo)定板面積占畫面比例太小。解決先用python腳本單獨讀一張圖用cv2.imshow展示角點檢測結(jié)果確認(rèn)pattern正確再跑全量。調(diào)低label的分辨率有時也能幫上忙把長邊縮到640后角點檢測的成功率會明顯提升。5.5 OpenCV DLL 缺失現(xiàn)象exe編譯成功但運行瞬間報缺失opencv_world*.dll。原因OpenCV的bin目錄不在PATH里。解決把D:\opencv\build\x64\vc15\bin加進(jìn)系統(tǒng)PATH改完后要重啟命令行工具才生效或者直接把dll復(fù)制到exe同目錄。兩條路都走通后順手把dll備份一份到工程目錄換機器就不怕了。6. 進(jìn)階驗證用軌跡評估確認(rèn)單目 SLAM 真的能干活程序跑起來只是第一步真正要確認(rèn)“跑通了”要靠軌跡評估。ORB-SLAM在運行過程中可以輸出每幀的相機位姿把它寫成TUM格式的軌跡文件然后用evo工具和真值軌跡對比。pip install evo evo_traj tum ORB_SLAM_track.txt -p evo_ape tum groundtruth.txt ORB_SLAM_track.txt -vaTUM格式的軌跡文件每行是“timestamp tx ty tz qx qy qz w”。evo_ape計算的是絕對位姿誤差數(shù)值越小說明軌跡越接近真值。對于單目SLAM軌跡和真值之間會存在一個尺度誤差評估前需要用evo的尺度對齊選項先做Sim3對齊否則APE數(shù)值大得離譜不是算法壞了而是單位不統(tǒng)一。我自己的習(xí)慣是拿到一個數(shù)據(jù)集先跑一遍純旋轉(zhuǎn)測試看跟蹤會不會掉再跑一段直線看軌跡兩端是否閉合。單目SLAM的尺度漂移是正?，F(xiàn)象不要用普通誤差的絕對值直接下結(jié)論。之后如果繼續(xù)做YOLOv5和ORB-SLAM的聯(lián)調(diào)標(biāo)定數(shù)據(jù)和這套工程底子可以直接復(fù)用不用再走一遍編譯流程。從那以后我每次拿到新相機都會先花十分鐘做標(biāo)定、跑一段小序列驗證軌跡形態(tài)再進(jìn)入正式實驗這套流程幫我規(guī)避了至少三次“實驗失敗但原因在相機參數(shù)”的窘境。希望幫到你。本文還有配套的精品資源點擊獲取