簡介針對PointNet/PointNet訓(xùn)練自定義LAS點云數(shù)據(jù)的需求這套基于PyTorch的代碼包提供了完整的分類與語義分割流程。資源以GitHub開源項目Pointnet_Pointnet2_pytorch為基礎(chǔ)重點適配帶Classification屬性的LAS點云數(shù)據(jù)讀者可在PointNet或PointNet之間自由選擇適合正在學(xué)習(xí)點云深度學(xué)習(xí)、需要快速上手自己數(shù)據(jù)集的中高級學(xué)習(xí)者。包體共19個文件以Python腳本為主涵蓋數(shù)據(jù)加載、LAS屬性解析、模型定義、訓(xùn)練與測試等環(huán)節(jié)另含兩個LAS點云樣本一個用于訓(xùn)練驗證一個用于預(yù)測及說明文檔壓縮包僅26KB。結(jié)構(gòu)清晰便于直接修改和使用。目前已有894人學(xué)習(xí)/下載。通過這套代碼可省去從零搭建環(huán)境的步驟直接獲得適配LAS分類任務(wù)的數(shù)據(jù)預(yù)處理與訓(xùn)練測試流程理解如何將通用PointNet/PointNet遷移到帶語義標(biāo)簽的LAS點云上并快速產(chǎn)出初步分類結(jié)果。1. 用你自己的LAS點云跑PointNet分類為什么這條路比“下載公開數(shù)據(jù)集”更值得走拿到了LAS格式的機(jī)載或車載點云帶著Classification屬性卻找不到公開的PointNet可用數(shù)據(jù)這幾乎是每個做點云分類的從業(yè)者都卡過的坎。公開的ModelNet40、ScanNet都是完整網(wǎng)格或處理好的純凈點云一旦換成實測LAS——植被、地面、建筑、電線桿混在一起點密度不均勻坐標(biāo)動輒幾十萬米——原樣喂進(jìn)去loss直接不收斂驗證集精度的起起伏伏能讓人懷疑人生。而這篇要解決的正是用PointNet和PointNet在“自己手里的LAS數(shù)據(jù)”上跑通分類。從LAS字段抽取、坐標(biāo)歸一化到訓(xùn)練、評估和換模型升級整條路徑用代碼一步步走下來最后給出一個能落到生產(chǎn)環(huán)境的方案。適合那些手里有LAS點云、想訓(xùn)練一個能區(qū)分地物類別的分類模型的工程師和研究者。先說結(jié)論整條路的核心不在PointNet的網(wǎng)絡(luò)結(jié)構(gòu)而在“把LAS變成PointNet認(rèn)識的數(shù)據(jù)”這一層。Classification屬性是LAS里現(xiàn)成的標(biāo)簽但它的數(shù)值映射、組織方式和PointNet想要的索引數(shù)組方式之間存在很大的鴻溝這個鴻溝不填平再怎么調(diào)參數(shù)都是白搭。2. 為什么從LAS Classification入手從PointNet的原生輸入說起2.1 PointNet對輸入數(shù)據(jù)的要求和LAS的天然差異PointNet原模型的輸入形式是N×3或N×KK是點特征維數(shù)的張量從點云里歸一化到以原點為中心、尺度在1左右的包圍盒。LAS文件常見的坐標(biāo)可能是UTM 50NX是幾萬米、Y是幾千萬米、Z是高程這個尺度落在PointNet的MLP激活函數(shù)飽和區(qū)。LAS的Classification字段是uint8編碼編碼含義參照ASPRS標(biāo)準(zhǔn)大多數(shù)點類別集中在2地面、3低矮植被、4中等植被、5高植被、6建筑這五個類而是未分類或0數(shù)值本身不能直接當(dāng)標(biāo)簽喂進(jìn)去。還有一個數(shù)據(jù)組織形式的問題一條LAS是“一個文件一個場景”一個場景里有幾十個類別每類點數(shù)相差懸殊如果不做裁塊和重采樣PointNet訓(xùn)練時用“把所有點一次性喂給網(wǎng)絡(luò)”的寫法小類別輕易被淹沒。從LAS到PointNet輸入歸一化是第一步后面要把場景切成塊再在塊內(nèi)做歸一化和采樣讓訓(xùn)練時一個batch里各類別比例可控。2.2 兩種網(wǎng)絡(luò)選型PointNet和PointNet的取舍先介紹一個常見做法做LAS機(jī)載點云地物分類PointNet作為baseline足夠驗證數(shù)據(jù)流程是否通暢PointNet負(fù)責(zé)精度。原理上講PointNet的全局max pooling解決了置換不變性問題但全世界共享一個特征向量導(dǎo)致它對稠密區(qū)域和稀疏區(qū)域不加區(qū)分這在LAS數(shù)據(jù)里非常吃虧——機(jī)載點云地面點密度高植被中下層密度低高層建筑立面和底面的分布差異就更明顯。PointNet把點云按鄰域分組用Ball Query或KNN選鄰域在每一組內(nèi)先用小型PointNet稱為Set Abstraction層提取局部特征然后逐層上采樣融合全局與局部特征。從機(jī)載LAS的物理含義看房屋的屋頂是一個局部平面結(jié)構(gòu)地面和道路是很大的平面結(jié)構(gòu)前者需要在較小的鄰域半徑內(nèi)被識別后者需要較大的鄰域——PointNet的多尺度分組MSG模式就是為此設(shè)計的。建議直接把訓(xùn)練代碼寫到“可切換模型”的層面用同一種數(shù)據(jù)加載方式一個參數(shù)切換PointNet或PointNet。這樣做的好處是先跑PointNet驗證數(shù)據(jù)正確性再用PointNet提升精度如果兩種模型的精度相差很大多半是數(shù)據(jù)分割方式的問題而不是模型結(jié)構(gòu)的問題。3. PointNet分類模型的核心結(jié)構(gòu)從代碼層面理解它為什么能處理LAS3.1 一個能直接訓(xùn)練LAS數(shù)據(jù)的PointNet分類網(wǎng)絡(luò)下面這個實現(xiàn)是我在實際項目里多次調(diào)整沉淀下來的標(biāo)準(zhǔn)結(jié)構(gòu)可以直接作為baseline。它不依賴官方實現(xiàn)用PyTorch凡常用組件搭起來就好。import torch import torch.nn as nn import torch.nn.functional as F class PointNetClassification(nn.Module): def __init__(self, num_classes, input_channels3, use_tnetTrue): super().__init__() self.use_tnet use_tnet if self.use_tnet: self.input_transform TNet(kinput_channels) self.mlp1 nn.Sequential( nn.Conv1d(input_channels, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 64, 1), nn.BatchNorm1d(64), nn.ReLU() ) self.feature_transform TNet(k64) self.mlp2 nn.Sequential( nn.Conv1d(64, 64, 1), nn.BatchNorm1d(64), nn.ReLU(), nn.Conv1d(64, 128, 1), nn.BatchNorm1d(128), nn.ReLU(), nn.Conv1d(128, 1024, 1), nn.BatchNorm1d(1024), nn.ReLU() ) self.classifier nn.Sequential( nn.Linear(1024, 512), nn.BatchNorm1d(512), nn.ReLU(), nn.Dropout(0.4), nn.Linear(512, 256), nn.BatchNorm1d(256), nn.ReLU(), nn.Dropout(0.3), nn.Linear(256, num_classes) ) def forward(self, x): # x: (B, C, N)C3表示XYZC6表示XYZ法向量或強(qiáng)度 if self.use_tnet: trans self.input_transform(x) x torch.bmm(trans, x) x self.mlp1(x) trans_feat self.feature_transform(x) x torch.bmm(trans_feat, x) x self.mlp2(x) x torch.max(x, dim-1, keepdimFalse)[0] # 全局max pooling x self.classifier(x) return x網(wǎng)絡(luò)結(jié)構(gòu)上這里有一個很多人會忽略的坑LAS點云的坐標(biāo)尺度是幾十萬直接丟給網(wǎng)絡(luò)訓(xùn)練MLP的權(quán)重更新會因為輸入過大而梯度爆炸。因此數(shù)據(jù)預(yù)處理階段的歸一化比網(wǎng)絡(luò)結(jié)構(gòu)本身更關(guān)鍵。這個網(wǎng)絡(luò)接收的輸入形狀必須是B, C, N和圖像分類的B, C, H, W不同一個點云的整個點集相當(dāng)于一張圖的“寬高”點的順序是任意的——這就是PointNet的核心假設(shè)置換不變性。TNet輸入變換網(wǎng)絡(luò)是一個小型PointNet生成一個3×3矩陣用來對輸入XYZ做仿射變換。LAS點云的采集方向是固定的有沒有TNet影響不大。實測中在機(jī)載LAS上開著TNet不但訓(xùn)練時間翻倍還有一定的驗證集精度波動風(fēng)險。我一般把use_tnet設(shè)為False只在數(shù)據(jù)本身有旋轉(zhuǎn)變化時再開。全局max pooling是整個PointNet最精妙也最致命的地方。最大值操作保證了它對點的順序不敏感但它也只保留每個通道最“激進(jìn)”的特征。在LAS數(shù)據(jù)上如果一張場景切片包含大量地面點和少量建筑點max pooling后建筑的特征可能被地面點的“最大值”淹沒導(dǎo)致建筑類別識別率低。這就引出PointNet的局部特征聚合方案。3.2 TNet和BatchNorm在LAS數(shù)據(jù)上的實際表現(xiàn)服務(wù)器上PyTorch的版本、GPU驅(qū)動版本都可能影響一個看起來很簡單的BatchNorm的行為特別是在數(shù)據(jù)歸一化做得不徹底時。LAS數(shù)據(jù)如果用了“整塊場景直接歸一化”而不是“逐條樣本歸一化”訓(xùn)練集和驗證集的均值方差不同BatchNorm會在訓(xùn)練后期出現(xiàn)驗證集loss震蕩。代碼上多寫一步GroupNorm穩(wěn)定性更好但對大多數(shù)場景把逐塊歸一化寫進(jìn)數(shù)據(jù)加載器Dataset里比換Normalization層更直接。從算力的角度看PointNet分類網(wǎng)絡(luò)是一個輕量模型——不算TNet的情況下一個3萬點的樣本在單張2080Ti上做forward加backward大約只要15ms。真正的瓶頸在數(shù)據(jù)加載和預(yù)處理上后續(xù)數(shù)據(jù)管線設(shè)計時把LAS裁切和歸一化放在多進(jìn)程DataLoader的前置模塊里并行處理訓(xùn)練才能跑滿GPU。4. 把LAS轉(zhuǎn)成PointNet能直接吃的張量數(shù)據(jù)預(yù)處理全流程4.1 從LAS讀取XYZ和Classificationlaspy的正確打開方式常見的預(yù)處理工具是laspy讀取LAS文件并將Classification字段導(dǎo)出為numpy。下面這段代碼是完整的處理流程。import laspy import numpy as np def read_las_classification(las_path): las laspy.read(las_path) points np.vstack([las.x, las.y, las.z]).T classification las.classification.copy() return points, classification las_path your_data.las points, labels read_las_classification(las_path) print(points.shape, labels.shape, np.unique(labels))這里對關(guān)鍵邏輯做一個說明las.x返回的是經(jīng)過縮放和偏移還原后的真實坐標(biāo)單位是米。如果直接用las.X即raw整數(shù)坐標(biāo)每個數(shù)值是“真實坐標(biāo) / scale offset”后的整數(shù)這會把坐標(biāo)尺度進(jìn)一步拉大而且不同LAS文件的scale可能不同。務(wù)必使用las.x / las.y / las.z屬性。分類值一定要用.copy()拷貝否則后面做數(shù)據(jù)過濾操作時las文件對象被關(guān)閉numpy數(shù)組可能報錯。運行這段代碼控制臺會輸出點數(shù)和類別值列表。理論上一個標(biāo)準(zhǔn)機(jī)載LAS里應(yīng)該包含2地面、3-5植被、6建筑。如果輸出全是0或1說明數(shù)據(jù)本身未分類這種數(shù)據(jù)后面要做無監(jiān)督預(yù)分割或者直接扔掉——未分類LAS訓(xùn)練分類模型沒用。4.2 裁塊與歸一化代碼里的正確位置LAS文件動輒幾百萬點整塊輸入PointNet是不現(xiàn)實的。常見做法是按固定尺寸如20m×20m將場景切塊每個塊內(nèi)的點數(shù)用體素下采樣或隨機(jī)采樣控制在固定數(shù)量如4096點。def normalize_block(points): # 逐塊歸一化減去質(zhì)心除以最大半徑 centroid np.mean(points, axis0) points points - centroid max_dist np.max(np.linalg.norm(points, axis1)) if max_dist 1e-8: return points points points / max_dist return points def create_train_blocks(points, labels, block_size20.0, points_per_block4096): xmin, ymin np.min(points[:, :2], axis0) blocks [] block_labels [] x_width np.max(points[:, 0]) - xmin y_width np.max(points[:, 1]) - ymin for i in range(int(np.ceil(x_width / block_size))): for j in range(int(np.ceil(y_width / block_size))): # 取出該塊內(nèi)的點 mask ((points[:, 0] xmin i * block_size) (points[:, 1] ymin j * block_size) (points[:, 0] xmin (i1) * block_size) (points[:, 1] ymin (j1) * block_size)) block_pts points[mask] block_lbls labels[mask] if len(block_pts) 100: # 過濾掉空塊和極稀疏塊 continue # 隨機(jī)采樣到固定點數(shù) if len(block_pts) points_per_block: idx np.random.choice(len(block_pts), points_per_block, replaceFalse) else: idx np.random.choice(len(block_pts), points_per_block, replaceTrue) block_pts block_pts[idx] block_lbls block_lbls[idx] block_pts normalize_block(block_pts) blocks.append(block_pts.astype(np.float32)) # 標(biāo)簽轉(zhuǎn)成整數(shù)索引0為背景1-5對應(yīng)各類 # 這里假設(shè)Classification的5類映射到0-4 block_labels.append(block_lbls.astype(np.int64)) return np.stack(blocks), np.stack(block_labels)這段代碼里的dos和donts隨機(jī)采樣在點云稠密的地方用隨機(jī)下采樣密度稀疏的地方用有放回采樣湊夠固定點數(shù)。塊的類別分布會嚴(yán)重不均衡——一棵樹可能分布在20多個塊里一個小汽車只在1個塊里。如果全場景塊都用訓(xùn)練集類別比可能是1000:1導(dǎo)致模型整體預(yù)測偏向多數(shù)類少數(shù)類召回幾乎為0。解決方法是后續(xù)加“類別加權(quán)采樣”或用Focal Loss。Focal Loss的思路是降低已學(xué)得很好的那部分樣本的權(quán)重讓模型多關(guān)注“難分”的少數(shù)類——LAS點云分類中的小類比如汽車、電線桿是典型難分樣本。歸一化放在采塊之后而不是整個場景歸一化。整個場景級歸一化會把局部幾何差異抹掉放在塊級別則保留局部的相對形狀。4.3 不使用全場景坐標(biāo)而是局部歸一化這個選擇背后有物理依據(jù)做LAS點云分類局部幾何特征比絕對坐標(biāo)含義豐富得多。一個20m×20m的塊里地面點在一個平面上建筑立面近似垂直于地面樹冠是一個局部的球狀分布——局部歸一化后這些結(jié)構(gòu)特征最穩(wěn)定。反觀全局歸一化點云在坐標(biāo)上的絕對位置主要受測區(qū)經(jīng)緯度影響同一地物在不同測區(qū)的坐標(biāo)完全不同網(wǎng)絡(luò)去擬合這種“數(shù)字差異”毫無物理意義。有人把XYZ之外又額外加了RGB或強(qiáng)度特征LAS文件的強(qiáng)度Intensity字段對植被分類有意義——瀝青和水泥的反射強(qiáng)度不同。把強(qiáng)度歸一化后拼到輸入特征維度從3維變成4維PointNet的Conv1d輸入通道數(shù)改一下就行。但要注意LAS的強(qiáng)度存儲在內(nèi)存中只有2字節(jié)部分老的LAS文件數(shù)值范圍是0-65535還有部分是0-255跨文件要統(tǒng)一歸一到0-1才能混著訓(xùn)練。5. 用LAS數(shù)據(jù)訓(xùn)練分類模型從dataset到訓(xùn)練代碼的完整鏈路5.1 Dataset類的寫法PyTorch的數(shù)據(jù)加載實踐只要block的預(yù)處理做得好Dataset類寫起來很簡單。但要注意的是在__getitem__里做隨機(jī)采樣會導(dǎo)致每個epoch的數(shù)據(jù)都是“重新抽樣的”這樣同一個塊的樣本在訓(xùn)練和測試時內(nèi)容不同——對測試集來說這很危險因為同一個塊的原始數(shù)據(jù)可能出現(xiàn)在訓(xùn)練集里隨機(jī)抽樣又會產(chǎn)生同源樣本。正確做法是在預(yù)處理階段一次性固定抽樣訓(xùn)練集和驗證集按“塊”為單位做劃分而不是按“點”做劃分。import torch from torch.utils.data import Dataset class LASBlockDataset(Dataset): def __init__(self, block_points, block_labels, num_classes6): self.points torch.from_numpy(block_points).permute(0, 2, 1) # permute變成(B, C, N)格式 self.labels torch.from_numpy(block_labels) self.num_classes num_classes def __len__(self): return len(self.points) def __getitem__(self, idx): # 這里已經(jīng)預(yù)處理完畢直接返回即可 return self.points[idx], self.labels[idx] # 劃分訓(xùn)練集和驗證集 n_blocks block_points.shape[0] indices np.random.permutation(n_blocks) train_idx indices[:int(n_blocks * 0.7)] val_idx indices[int(n_blocks * 0.7):] train_dataset LASBlockDataset(block_points[train_idx], block_labels[train_idx]) val_dataset LASBlockDataset(block_points[val_idx], block_labels[val_idx])permute這一步很容易被忽略卻又極其關(guān)鍵。預(yù)處理階段得到的數(shù)組形狀是(N, C)如果直接拿它去訓(xùn)練PointNet的Conv1d期望的輸入是(B, N, C)但這里把C放到了維度1的位置即(B, C, N)。PyTorch的Conv1d要求輸入是(batch, channels, length)length在點云里就是點的數(shù)量。如果用torch.from_numpy直接送進(jìn)去而不做permute你會發(fā)現(xiàn)loss不下降或者訓(xùn)練的時候直接報維度不匹配——這是PointNet做點云訓(xùn)練時的高頻報錯。還有一個隱性問題數(shù)據(jù)劃分必須按塊整體劃分如果按點隨機(jī)劃分訓(xùn)練集里某一塊的部分點出現(xiàn)在驗證集里同一場景的點云幾何相似度極高驗證集精度虛高換到完全沒見過的LAS文件直接崩。5.2 引入類別加權(quán)的損失函數(shù)與超參設(shè)置基礎(chǔ)CrossEntropyLoss在LAS數(shù)據(jù)上的表現(xiàn)通常會讓地面點和植被點占主導(dǎo)汽車、電線桿類完全被吃掉。給Loss加權(quán)重是最快止血的辦法。from collections import Counter def compute_class_weights(block_labels, num_classes): # 統(tǒng)計每類點數(shù) flatten_labels block_labels.reshape(-1) class_counts Counter(flatten_labels.tolist()) total len(flatten_labels) # 權(quán)重 總點數(shù) / (類別數(shù) * 該類點數(shù)) weights [] for i in range(num_classes): if class_counts.get(i, 0) 0: weights.append(0.0) else: weights.append(total / (num_classes * class_counts[i])) return torch.tensor(weights, dtypetorch.float32) class_weights compute_class_weights(block_labels, num_classes6) criterion torch.nn.CrossEntropyLoss(weightclass_weights)類別加權(quán)CrossEntropy的原理不復(fù)雜一個類別的點數(shù)占總數(shù)比例很低時權(quán)重放大誤差將梯度推向少數(shù)類。機(jī)載LAS里背景類的點占比可達(dá)60%以上權(quán)重在0.3左右汽車點占比不到1%權(quán)重能達(dá)到30以上。訓(xùn)練時有一個經(jīng)驗參數(shù)。初始學(xué)習(xí)率設(shè)在0.001用Adam優(yōu)化器batch size設(shè)為32。在訓(xùn)練過程中實時觀察每個epoch的類別精度會發(fā)現(xiàn)一個典型的規(guī)律訓(xùn)練集和驗證集上多數(shù)類精度先到95%以上少數(shù)類可能一直停在30%。這時把類別權(quán)重的冪次從1.0提到1.5-2.0少數(shù)類就會開始動。But——權(quán)重過高會導(dǎo)致loss震蕩驗證集少數(shù)類的精度反而下降。正確做法是權(quán)重冪次從1.0開始每20個epoch遞增0.1在驗證集上找最佳值。這一部分沒有銀彈多試幾次才能穩(wěn)定。5.3 訓(xùn)練腳本主循環(huán)留好模型checkpoint和早停def train_one_epoch(model, dataloader, optimizer, criterion, device): model.train() total_loss 0.0 for points, labels in dataloader: points points.to(device) labels labels.to(device) optimizer.zero_grad() outputs model(points) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() return total_loss / len(dataloader) def validate(model, dataloader, criterion, device): model.eval() total_correct 0 total_points 0 total_loss 0.0 with torch.no_grad(): for points, labels in dataloader: points points.to(device) labels labels.to(device) outputs model(points) loss criterion(outputs, labels) total_loss loss.item() preds torch.argmax(outputs, dim1) total_correct (preds labels).sum().item() total_points labels.numel() return total_loss / len(dataloader), total_correct / total_points device torch.device(cuda if torch.cuda.is_available() else cpu) model PointNetClassification(num_classes6, use_tnetFalse).to(device) optimizer torch.optim.Adam(model.parameters(), lr0.001) scheduler torch.optim.lr_scheduler.StepLR(optimizer, step_size30, gamma0.5) best_val_acc 0.0 patience_counter 0 for epoch in range(100): train_loss train_one_epoch(model, train_loader, optimizer, criterion, device) val_loss, val_acc validate(model, val_loader, criterion, device) print(fEpoch {epoch:02d}: train_loss{train_loss:.4f}, val_loss{val_loss:.4f}, val_acc{val_acc:.4f}) if val_acc best_val_acc: best_val_acc val_acc torch.save(model.state_dict(), best_model.pth) patience_counter 0 else: patience_counter 1 if patience_counter 20: print(Early stopping triggered.) break scheduler.step()這段訓(xùn)練代碼的幾個細(xì)節(jié)值得注意模型保存只用state_dict不保存整個model對象。因為項目迭代過程中模型定義大概率會修改比如從PointNet換到PointNet直接加載state_dict到新模型更靈活。優(yōu)化器換用Adam配合StepLR比SGD在LAS這種非平衡數(shù)據(jù)上更省心StepLR在50個epoch前后會降低一半學(xué)習(xí)率防止后期驗證集震蕩。早停的patience設(shè)為20個epoch是保守寫法如果訓(xùn)練數(shù)據(jù)比較大30個epoch以內(nèi)通常就能收斂?！膀炞C集精度高但實際預(yù)測新數(shù)據(jù)時效果差”的另一種常見情況是數(shù)據(jù)泄漏。比如同一個場景被切塊后相鄰的塊在物理空間上是連接的如果按文件劃分而不是按塊劃分會造成一個數(shù)據(jù)泄漏模型“記住”了場景A的局部特征驗證時驗證集恰好是場景A的鄰居塊。LAS數(shù)據(jù)劃分的最佳實踐是按照“測區(qū)”級別劃分。比如一個城市有30塊測區(qū)取其中5塊完全不參與訓(xùn)練這樣做出來的驗證精度才可信。6. 避坑LAS點云訓(xùn)練PointNet時的常見翻車現(xiàn)場6.1 分類值全是0或1LAS自身未分類必須先做預(yù)處理現(xiàn)象讀取LAS的Classification字段后發(fā)現(xiàn)99%的點都是0少數(shù)是1直接訓(xùn)練后模型把全場景預(yù)測為一個類別。原因LAS文件本身屬于未分類狀態(tài)。很多低成本激光雷達(dá)掃描設(shè)備導(dǎo)出的LAS文件Classification字段只是默認(rèn)值。這和“訓(xùn)練代碼寫錯了”完全是兩碼事。解決先做地面濾波如CSF布料模擬把地面點分類為2再做歸一化分割得到植被和建筑或者用已有的分類工具如LiDAR360、TerraScan完成預(yù)處理。手工分類一小部分?jǐn)?shù)據(jù)再訓(xùn)練一個輔助模型做自動分類也是有點費但管用的辦法。6.2 XY坐標(biāo)尺度幾十萬訓(xùn)練Loss變成NaN現(xiàn)象在第一個epoch訓(xùn)練時loss在十幾個step之后突然跳到nan然后一直nan下去。原因坐標(biāo)數(shù)值太大MLP輸出的數(shù)值經(jīng)過softmax之前出現(xiàn)極端值梯度直接炸了。解決檢查是否對每個塊做了局部歸一化。特別要注意normalize_block里如果采用“以原點為中心”的歸一化方式對一個超大的點云塊做max_dist運算時可能得到0如果所有點坐標(biāo)相同代碼里加了max_dist 1e-8的保護(hù)就安全了。另一個常見做法是在預(yù)處理階段把整個場景的坐標(biāo)reduce到以“米的相對坐標(biāo)”為單位——比如減去測區(qū)左下角坐標(biāo)作為新的原點再做局部歸一化。6.3 驗證集精度高但實際項目預(yù)測效果差現(xiàn)象訓(xùn)練時驗證集準(zhǔn)確率95%以上新測區(qū)一推理整體精度掉到60%以下。原因訓(xùn)練和驗證數(shù)據(jù)來自同一測區(qū)局部特征已經(jīng)被模型“背下來”。不同測區(qū)的建筑風(fēng)格、植被形態(tài)、點密度差異巨大模型泛化能力不足。解決數(shù)據(jù)劃分按測區(qū)或按圖幅隔離。至少拿一個文件完全不參與訓(xùn)練作為盲測集。建議在預(yù)處理時就強(qiáng)制保證“驗證集來自不同的LAS文件”這個約束要寫進(jìn)數(shù)據(jù)劃分邏輯里而不是訓(xùn)練時手動指定。6.4 塊內(nèi)點數(shù)差異大個別塊上千個類別全同現(xiàn)象某些塊的Accuracy達(dá)到100%某些塊連跑都跑不動數(shù)據(jù)加載卡住。原因切塊完成后沒有做類別過濾。20m×20m的塊里可能全是地面點一類點這種塊對訓(xùn)練貢獻(xiàn)極小卻會拉低模型對少數(shù)類學(xué)習(xí)的推動力。另外一些塊只有幾百個點少數(shù)類樣本少網(wǎng)絡(luò)學(xué)到的少數(shù)類特征是噪聲。解決建塊時過濾掉“單類別占比超過95%”的背景塊。然后把PointNet在后續(xù)引入的“組內(nèi)點數(shù)約束”也寫進(jìn)去——ball query的半徑要適配塊的密度組內(nèi)點數(shù)下限是16個低于這個數(shù)就擴(kuò)大半徑重查。6.5 LAS的Classification標(biāo)簽和實際地物錯位現(xiàn)象訓(xùn)練時loss死活降不下去驗證集精度穩(wěn)定在50%左右比瞎猜1/616.7%高但遠(yuǎn)達(dá)不到實用水平。原因LAS文件的Classification字段本身就存在錯標(biāo)現(xiàn)象。機(jī)載數(shù)據(jù)的自動分類算法偶爾把低矮植被標(biāo)為地面把陰影中的建筑立面標(biāo)為植被。拿這些錯標(biāo)數(shù)據(jù)當(dāng)訓(xùn)練真值模型學(xué)到的是“錯標(biāo)規(guī)則”而非真正的幾何特征。解決訓(xùn)練前抽樣10%的點進(jìn)行人工目視校驗修正明顯的錯標(biāo)。如果數(shù)據(jù)量大至少按類別統(tǒng)計分類信度把置信度低于閾值的點從訓(xùn)練集里過濾掉。這個步驟雖然不是代碼可以解決的但它是LAS訓(xùn)練PointNet最容易翻車但最不容易被意識到的坑。如果項目緊急把錯誤標(biāo)簽的比例直接計入訓(xùn)練loss的平滑項有時候能降低錯誤標(biāo)簽的影響——但只是權(quán)宜之計。7. PointNet在LAS場景下的精度提升關(guān)鍵改動與調(diào)參經(jīng)驗7.1 從PointNet到PointNetSampling層和Group層的落地改動PointNet的核心理念是“局部區(qū)域建模”和LAS數(shù)據(jù)天然的局部性十分契合。它的前向流程是用FPS最遠(yuǎn)點采樣選出一批中心點圍繞每個中心點用Ball Query找出鄰域點對鄰域內(nèi)的點做PointNet提取局部特征然后層層上采樣。PyTorch的實現(xiàn)里最關(guān)鍵的是FPS和Ball Query這兩個算子的CUDA版本。Python/Numpy版本的FPS能跑但慢得令人發(fā)指單批次32個樣本前向一次要多花幾百毫秒。生產(chǎn)環(huán)境的建議是直接使用已經(jīng)實現(xiàn)的擴(kuò)展庫比如PyTorch PointNet的第三方實現(xiàn)或PointNet官方TensorFlow代碼轉(zhuǎn)寫的PyTorch版本。這些庫都是現(xiàn)成的算子不推薦自己從頭寫CUDA。python import sys sys.path.append(pointnet2_pytorch) from pointnet2_ops import pointnet2_utilsdef farthest_point_sample(xyz, npoint): # xyz: (B, N, 3) 已經(jīng)是歸一化后的坐標(biāo) # 返回中心點索引 shape: (B, npoint) return pointnet2_utils.farthest_point_sample(xyz, npoint)def ball_query(radius, nsample, xyz, new_xyz): # radius: 球半徑nsample: 每個球最多取多少點 return pointnet2_utils.ball_query(radius, nsample, xyz, new_xyz)FPS選中心點時第一個中心是隨機(jī)選的后續(xù)每個中心都選“離已有中心最遠(yuǎn)”的點。這在LAS數(shù)據(jù)上的含義是中心點在空間上盡可能均勻分布保證局部區(qū)域的代表性。Ball Query的半徑感覺像是玄學(xué)但實測下來機(jī)載LAS數(shù)據(jù)點密度在10-50 pts/m2半徑設(shè)0.5-1.0米比較合適。如果點密度高半徑可以縮小到0.3米點密度很低半徑要拉大到1.5-2米。半徑太小一個鄰域內(nèi)可能只有幾個點局部特征不穩(wěn)定半徑太大局部特征變成了全局特征PointNet退化成了PointNet。 最遠(yuǎn)點采樣的縮放是另一個值得說的地方。FPS每層輸出的中心點數(shù)量通常設(shè)為上一層的1/4或1/8比如輸入4096點第一層采樣1024中心點第二層采樣256中心點。LAS數(shù)據(jù)地物大小跨度大推薦的中間層設(shè)置是第一層半徑0.5m采樣1024點第二層半徑1.0m采樣256點這種配置覆蓋了從電線桿0.3-1m到建筑立面5-20m的尺度范圍。 ### 7.2 多尺度分組與點特征融合把強(qiáng)度加進(jìn)特征通道的收益 PointNet的標(biāo)準(zhǔn)實現(xiàn)里每個中心點的局部特征來自鄰域點集經(jīng)過MLP后的max pooling。如果只用XYZ做輸入在LAS上會有一個明顯的缺陷樹冠和建筑屋頂?shù)膸缀涡螤钤谀承┮暯窍赂叨认嗨啤际且黄捌鸱拿妗眴慰繋缀畏植惶?。這時把Intensity強(qiáng)度、ReturnNumber回波次數(shù)加進(jìn)特征通道收益非常明顯。LAS中植被通常有多次回波第一次回波在樹冠頂部最后一次回波接近地面建筑屋頂只有一次回波。這是區(qū)分植被和建筑的關(guān)鍵特征。 python def prepare_input_with_features(points_xyz, intensity, return_number, norm_intensityTrue): # points_xyz: (N, 3), intensity: (N,), return_number: (N,) if norm_intensity: intensity (intensity - intensity.min()) / (intensity.max() - intensity.min() 1e-6) return_number return_number / 5.0 # 歸一化到0-1之間假設(shè)最大回波次數(shù)是5 features np.stack([points_xyz[:, 0], points_xyz[:, 1], points_xyz[:, 2], intensity, return_number], axis1) return features.astype(np.float32)加了強(qiáng)度特征后PointNet在機(jī)載LAS上的整體分類精度提升3-8個百分點主要集中在植被和建筑兩個類別上。最主要的還是不同產(chǎn)業(yè)的樹在幾何上差異太大——南方闊葉樹和北方針葉樹的點云形態(tài)完全不同但強(qiáng)度分布特征接近。這是純幾何方法很難跨越的泛化鴻溝靠強(qiáng)度特征就能繞過去。PointNet調(diào)參的個人經(jīng)驗是訓(xùn)練復(fù)雜度比PointNet高得多單epoch時間大約是PointNet的3-4倍如果數(shù)據(jù)本身質(zhì)量一般類別錯標(biāo)多、噪聲大PointNet和PointNet的最終精度差距可能不到2個百分點那基本說明問題出在數(shù)據(jù)側(cè)而不是模型側(cè)。先拿PointNet跑通流程再換PointNet提精度是一條更穩(wěn)的路線。7.3 在Big-LAS上進(jìn)行推理時的切塊策略訓(xùn)練用的切塊尺寸是20m×20m推理時不要用更大的塊。原因很簡單模型在固定尺寸、固定點數(shù)分布的塊上訓(xùn)練的推理塊如果變成100m×100mBlock內(nèi)部地物復(fù)雜度遠(yuǎn)超訓(xùn)練分布精度會下降。推理時保持同樣的塊尺寸和采樣點數(shù)用滑窗覆蓋整個場景相鄰塊之間設(shè)3-5米的重疊重疊部分的預(yù)測結(jié)果用多數(shù)投票融合。這樣能緩解邊界處的切塊偽影。推理的另一個關(guān)鍵細(xì)節(jié)是LAS文件的坐標(biāo)范圍很大但GPU顯存有限一次推理幾百萬個點是會OOM的。推理代碼用“逐塊遍歷”的方式寫每塊單獨做歸一化和推理結(jié)果再映射回全局坐標(biāo)。塊尺寸保持不變點數(shù)保持訓(xùn)練時的4096速度上也夠用——在單張A100上推理一塊大約需要10-20ms一個1平方公里的測區(qū)約2500個塊總體不到一分鐘。最后一個實操教訓(xùn)模型驗證時除了看整體accuracy一定要單獨算每個類別的IoU。LAS場景里地面點往往占總數(shù)的60%以上整體accuracy輕松超過90%但汽車類IoU可能只有20%。類別IoU才是你在項目匯報時能站得住腳的指標(biāo)。把5類分別輸出IoU作為模型上線和迭代的底線每次調(diào)參后先看這個表格再決定要不要保留新參數(shù)。希望這份從LAS到PointNet/PointNet的落地路徑能幫到你少走幾趟我走過的彎路。本文還有配套的精品資源點擊獲取