RealSense D455 點(diǎn)云生成實(shí)操手冊(cè)從深度圖到三維點(diǎn)四步跑通【免費(fèi)下載鏈接】librealsenseRealSense SDK項(xiàng)目地址: https://gitcode.com/GitHub_Trending/li/librealsense本文以 librealsenseRealSense SDK開源項(xiàng)目為實(shí)際工作對(duì)象把 RealSense D455 點(diǎn)云生成的完整鏈路走一遍安裝 SDK 與驗(yàn)證相機(jī)、看懂深度圖到三維坐標(biāo)的轉(zhuǎn)換原理、寫出最小點(diǎn)云程序、再做一輪質(zhì)量調(diào)優(yōu)。適合第一次接深度相機(jī)的讀者跟著做。接上相機(jī)之前裝好環(huán)境并驗(yàn)證鏈路Linux 下最容易卡住人的兩件事是內(nèi)核驅(qū)動(dòng)和 USB 權(quán)限。用官方倉(cāng)庫(kù)的預(yù)編譯包能省去大部分麻煩sudo apt update sudo apt install librealsense2-dev librealsense2-utils裝完運(yùn)行realsense2-viewer窗口里能同時(shí)出深度和彩色畫面說明硬件鏈路通了。兩個(gè)容易忽略的細(xì)節(jié)D455 插 USB 3.0 口走 USB 2.0 會(huì)掉到 15 幀以下相機(jī)離人近一點(diǎn)先讓它穩(wěn)定出圖再談參數(shù)。如果要編譯源碼克隆倉(cāng)庫(kù)git clone https://gitcode.com/GitHub_Trending/li/librealsense然后依次跑 udev 規(guī)則腳本 和 內(nèi)核驅(qū)動(dòng)補(bǔ)丁腳本。后者是多數(shù)教程不會(huì)強(qiáng)調(diào)的一步RealSense 在 Linux 上需要打過補(bǔ)丁的 uvcvideo 驅(qū)動(dòng)缺了它深度流會(huì)時(shí)好時(shí)壞。深度圖里一個(gè)像素是怎么變成三維點(diǎn)的寫代碼之前值得花三分鐘理解相機(jī)內(nèi)部在做什么后面調(diào)參時(shí)你會(huì)需要這些概念。D400 系列走的是主動(dòng)立體視覺路線紅外投影儀把點(diǎn)陣打向場(chǎng)景左右兩個(gè)紅外鏡頭各拍一張匹配同一物點(diǎn)在兩張圖中的位置差視差視差和距離成反比。相機(jī)把每個(gè)像素的距離算好以 16 位整數(shù)輸出單位是毫米。值為 0 表示該像素沒有可靠深度點(diǎn)云里的空洞大多從這來(lái)。拿到某個(gè)像素的深度 Z 之后反投影就是一組初等公式X (u - cx) × Z / fx Y (v - cy) × Z / fy(u, v) 是像素坐標(biāo)(cx, cy) 為主點(diǎn)fx、fy 是以像素計(jì)的焦距都能從幀的相機(jī)內(nèi)參里直接讀出來(lái)。注意公式里用的是沿光軸測(cè)得的深度 Z不是它在成像面上的投影長(zhǎng)度視角偏大時(shí)兩者差距不可忽略。圖中 Zi 沿光軸方向測(cè)量ZPi 是它在成像平面上的投影——很多坐標(biāo)對(duì)不齊的問題根源就是混淆了這兩個(gè)量。三十行代碼拿到點(diǎn)云pipeline 加 pointcloudSDK 把上面這些工作封裝成兩個(gè)對(duì)象pipeline負(fù)責(zé)啟動(dòng)相機(jī)并收幀pointcloud負(fù)責(zé)反投影。官方 C 點(diǎn)云示例的核心就這幾行rs2::pipeline pipe; rs2::pointcloud pc; pipe.start(); auto frames pipe.wait_for_frames(); pc.map_to(frames.get_color_frame()); auto points pc.calculate(frames.get_depth_frame());map_to把彩色幀貼到點(diǎn)云上當(dāng)紋理calculate執(zhí)行反投影返回同時(shí)帶三維坐標(biāo)和紋理的點(diǎn)集之后可以交給 OpenGL 渲染也可以寫成 PLY 文件。Python 用戶可以直接跑 examples 目錄里的 export_ply_example.pyimport pyrealsense2 as rs pipe rs.pipeline().start() frames pipe.wait_for_frames() points rs.pointcloud().calculate(frames.get_depth_frame())點(diǎn)云落盤后用 MeshLab 或任意 3D 查看器打開先親眼確認(rèn)形狀對(duì)再談優(yōu)化。質(zhì)量調(diào)優(yōu)第一步濾波鏈與高級(jí)模式 相機(jī)直出的點(diǎn)云通常有兩類毛病零散噪聲和細(xì)小空洞。SDK 的濾波鏈?zhǔn)菢?biāo)準(zhǔn)解法各管一件事空間濾波平滑深度圖壓掉孤立噪點(diǎn)權(quán)重 0~1越高越平滑代價(jià)是邊緣發(fā)糊時(shí)間濾波和上一幀融合靜態(tài)場(chǎng)景效果明顯運(yùn)動(dòng)場(chǎng)景會(huì)出現(xiàn)拖影空洞填充專門補(bǔ)小面積缺失rs2::post_processing_filter f; f.set_option(rs2::option::temporal_filter, 0.5f); f.set_option(rs2::option::spatial_filter, 0.5f);有個(gè)小坑時(shí)間濾波放前面、空間濾波在后最后補(bǔ)空洞順序換一下結(jié)果差別不小。默認(rèn)權(quán)重先別動(dòng)跑一遍看效果再說。想往下挖一層D400 系列提供 高級(jí)模式 API可以直接調(diào)立體匹配階段的次峰閾值、鄰居一致性閾值等于在源頭改質(zhì)量威力比后處理大但每個(gè)參數(shù)的含義需要自己先搞明白再動(dòng)手。最容易卡住的四種情況 ??設(shè)備能枚舉但不出深度流——九成是內(nèi)核驅(qū)動(dòng)沒生效用dmesg | tail -n 50看 uvcvideo 是否重新注冊(cè)沒有就重跑補(bǔ)丁腳本。點(diǎn)云整體稀疏、中遠(yuǎn)距離空洞多——先查光照環(huán)境強(qiáng)光會(huì)干擾紅外投影適當(dāng)調(diào)低發(fā)射器功率分辨率提到 1280×720 也是立竿見影的改善。黑色啞光或高反光表面出大洞——這是主動(dòng)立體方法的固有短板表面沒有可用紋理?yè)Q個(gè)拍攝角度比調(diào)參數(shù)有用。點(diǎn)云和彩色圖對(duì)不上——多半是深度幀沒對(duì)齊到彩色坐標(biāo)系。先做深度到彩色的對(duì)齊再做反投影內(nèi)參也要取對(duì)應(yīng)坐標(biāo)系的那一組。單相機(jī)跑通之后錄制回放與多機(jī)協(xié)同單相機(jī)穩(wěn)定出圖后有兩個(gè)方向值得排進(jìn)計(jì)劃。一是錄制回放。librealsense 能把多路數(shù)據(jù)流寫成 .bag 文件再當(dāng)作虛擬設(shè)備讀回來(lái)。調(diào)參、寫算法的時(shí)候反復(fù)回放同一段數(shù)據(jù)比每次守在相機(jī)前高效得多viewer 里就有錄制和播放的入口。二是多相機(jī)。大場(chǎng)景用多臺(tái) D455 覆蓋SDK 提供全局時(shí)間同步各相機(jī)拿到統(tǒng)一時(shí)鐘戳再按標(biāo)定的外參把點(diǎn)云拼起來(lái)。立體深度原理、手寫反投影的完整推導(dǎo)可以看倉(cāng)庫(kù)里的 depth-from-stereo 教程作為理解底層機(jī)制的補(bǔ)充材料正合適。下一步建議今天就把 export_ply_example.py 跑起來(lái)導(dǎo)出一朵點(diǎn)云存盤打開看一眼自己的數(shù)據(jù)參數(shù)調(diào)整才有參照物?！久赓M(fèi)下載鏈接】librealsenseRealSense SDK項(xiàng)目地址: https://gitcode.com/GitHub_Trending/li/librealsense創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考