 圖像分割實(shí)戰(zhàn)：從原理到部署)
在計(jì)算機(jī)視覺(jué)領(lǐng)域圖像分割一直是一項(xiàng)核心且富有挑戰(zhàn)性的任務(wù)。無(wú)論是自動(dòng)駕駛中的道路識(shí)別、醫(yī)療影像中的病灶定位還是電商平臺(tái)的商品摳圖都離不開(kāi)精準(zhǔn)的分割技術(shù)。傳統(tǒng)的分割模型往往需要針對(duì)特定任務(wù)進(jìn)行大量標(biāo)注數(shù)據(jù)的訓(xùn)練這不僅成本高昂也限制了模型的通用性。當(dāng)業(yè)務(wù)需要一種能夠“開(kāi)箱即用”、無(wú)需微調(diào)即可分割任意圖像中任意對(duì)象的強(qiáng)大工具時(shí)Meta AI 提出的Segment Anything Model (SAM)無(wú)疑是當(dāng)前最具革命性的解決方案。本文將深入淺出從核心概念、模型架構(gòu)、應(yīng)用實(shí)踐到代碼部署為你完整拆解 SAM 模型讓你不僅能理解其“分割一切”背后的原理更能親手將其應(yīng)用到實(shí)際項(xiàng)目中。1. 背景與核心概念什么是“分割一切”在深入技術(shù)細(xì)節(jié)之前我們首先要理解 SAM 試圖解決的根本問(wèn)題如何構(gòu)建一個(gè)通用的、可提示的promptable圖像分割基礎(chǔ)模型。1.1 傳統(tǒng)分割模型的局限傳統(tǒng)的語(yǔ)義分割或?qū)嵗指钅Ｐ腿?U-Net, Mask R-CNN是“任務(wù)特定”的。例如一個(gè)用于分割醫(yī)學(xué)細(xì)胞圖像的模型無(wú)法直接用來(lái)分割街景中的汽車。要適應(yīng)新任務(wù)必須收集該領(lǐng)域的大量標(biāo)注數(shù)據(jù)并重新訓(xùn)練模型。這個(gè)過(guò)程周期長(zhǎng)、成本高且模型的泛化能力有限。1.2 SAM 的突破性理念SAM 的核心理念是構(gòu)建一個(gè)分割基礎(chǔ)模型。類比于 NLP 中的 GPT 系列SAM 旨在成為一個(gè)“視覺(jué)分割的基礎(chǔ)設(shè)施”。其目標(biāo)不是針對(duì)某個(gè)特定數(shù)據(jù)集進(jìn)行優(yōu)化而是學(xué)習(xí)關(guān)于“物體”的通用概念。為了實(shí)現(xiàn)這一點(diǎn)SAM 引入了三個(gè)關(guān)鍵組成部分可提示的分割任務(wù)模型應(yīng)能根據(jù)給定的提示如點(diǎn)、框、文本或掩碼返回有效的分割掩碼。提示可以是模糊的例如點(diǎn)在一個(gè)物體上但該物體可能是貓的耳朵或整個(gè)貓模型需要輸出其中至少一個(gè)有效的掩碼?；谔崾镜膶?shí)時(shí)掩碼生成為了實(shí)現(xiàn)交互式使用模型需要在網(wǎng)絡(luò)瀏覽器中在約 50ms 內(nèi)根據(jù)單個(gè)提示計(jì)算出掩碼。數(shù)據(jù)引擎與海量數(shù)據(jù)集為了訓(xùn)練這樣一個(gè)通用模型Meta 構(gòu)建了一個(gè)“數(shù)據(jù)引擎”通過(guò)模型-in-the-loop 的方式協(xié)助標(biāo)注并最終創(chuàng)建了包含超過(guò)11 億個(gè)掩碼的龐大數(shù)據(jù)集SA-1B。這是 SAM 強(qiáng)大泛化能力的基石。簡(jiǎn)單來(lái)說(shuō)SAM 就像一個(gè)“視覺(jué)分割的瑞士軍刀”。你給它一張圖片和一個(gè)提示比如用鼠標(biāo)點(diǎn)一下圖中的狗它就能實(shí)時(shí)地、高精度地分割出對(duì)應(yīng)的物體。它不需要針對(duì)“狗”進(jìn)行訓(xùn)練因?yàn)樗鼜暮Ａ繑?shù)據(jù)中學(xué)到的是“物體”的通用表示。1.3 核心組件關(guān)系理解 SAM 的運(yùn)作需要把握其三個(gè)核心模塊的協(xié)作關(guān)系圖像編碼器一個(gè)強(qiáng)大的 Vision Transformer (ViT)負(fù)責(zé)將整張高分辨率圖像編碼為一個(gè)嵌入向量。這是計(jì)算最密集的部分但一張圖像只需編碼一次。提示編碼器將各種形式的提示點(diǎn)、框、文本編碼為向量。點(diǎn)和框用位置編碼表示自由形式的文本目前版本支持有限主要依賴點(diǎn)/框。輕量級(jí)掩碼解碼器這是實(shí)現(xiàn)實(shí)時(shí)交互的關(guān)鍵。它高效地將圖像嵌入和提示嵌入結(jié)合起來(lái)在短短幾毫秒內(nèi)預(yù)測(cè)出最終的分割掩碼。這種設(shè)計(jì)實(shí)現(xiàn)了計(jì)算上的解耦繁重的圖像編碼只需一次后續(xù)的交互提示可以快速生成多個(gè)掩碼體驗(yàn)極其流暢。2. 環(huán)境準(zhǔn)備與版本說(shuō)明在開(kāi)始動(dòng)手實(shí)踐前確保你的開(kāi)發(fā)環(huán)境已就緒。SAM 對(duì)算力有一定要求尤其是圖像編碼部分。2.1 硬件與操作系統(tǒng)建議GPU強(qiáng)烈推薦使用 NVIDIA GPU 以獲得可接受的推理速度。CUDA 兼容的顯卡如 RTX 3060 及以上是理想選擇。CPU 也可運(yùn)行但速度會(huì)慢很多不適合交互式應(yīng)用。內(nèi)存至少 8GB RAM處理高分辨率圖像時(shí)建議 16GB 或更多。操作系統(tǒng)Linux (Ubuntu 20.04/22.04) Windows 10/11 或 macOS。本文示例以 Ubuntu 22.04 和 Windows 11 下的 Python 環(huán)境為主。磁盤(pán)空間SAM 的模型文件較大如vit_h版本約 2.4GB需預(yù)留足夠空間。2.2 軟件環(huán)境與依賴我們將使用 PyTorch 和 Meta 官方提供的segment-anythingPython 庫(kù)。# 1. 創(chuàng)建并激活一個(gè)獨(dú)立的 Python 虛擬環(huán)境推薦 conda create -n sam_env python3.8 -y conda activate sam_env # 或使用 venv # python -m venv sam_env # source sam_env/bin/activate # Linux/macOS # sam_env\Scripts\activate # Windows # 2. 安裝 PyTorch (請(qǐng)根據(jù)你的 CUDA 版本訪問(wèn) https://pytorch.org/ 獲取最新命令) # 例如對(duì)于 CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 3. 安裝 segment-anything 及其它必要庫(kù) pip install githttps://github.com/facebookresearch/segment-anything.git pip install opencv-python pycocotools matplotlib onnxruntime onnx2.3 模型權(quán)重下載SAM 提供了多個(gè)不同大小的預(yù)訓(xùn)練模型在速度和精度上有所權(quán)衡vit_hViT-Huge 模型參數(shù)最多~636M精度最高速度最慢。vit_lViT-Large 模型平衡了精度和速度。vit_bViT-Base 模型參數(shù)最少~91M速度最快精度略有下降。對(duì)于大多數(shù)研究和應(yīng)用vit_l或vit_b是不錯(cuò)的起點(diǎn)。你可以從官方倉(cāng)庫(kù)或提供的鏈接下載權(quán)重文件.pth。# 以 vit_b 為例下載模型權(quán)重 wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth # 或者手動(dòng)下載所有模型 # sam_vit_h_4b8939.pth (ViT-H) # sam_vit_l_0b3195.pth (ViT-L) # sam_vit_b_01ec64.pth (ViT-B)將下載的.pth文件放在項(xiàng)目目錄下例如./models/。3. 核心原理與模型架構(gòu)拆解理解了環(huán)境配置我們來(lái)深入 SAM 的“大腦”看看它是如何實(shí)現(xiàn)神奇的分割效果的。3.1 圖像編碼器Vision Transformer (ViT)SAM 使用了一個(gè)經(jīng)過(guò)掩碼圖像預(yù)訓(xùn)練MAE的 Vision Transformer 作為圖像編碼器。它將輸入圖像默認(rèn)調(diào)整為 1024x1024分割成 16x16 的圖塊并通過(guò) Transformer 編碼器生成一個(gè)密集的圖像嵌入。這個(gè)嵌入是一個(gè)低分辨率的特征圖例如對(duì)于 1024x1024 的輸入輸出為 64x64 的特征網(wǎng)格其中每個(gè)“像素”都包含了其對(duì)應(yīng)圖像區(qū)域的豐富上下文信息。關(guān)鍵點(diǎn)這個(gè)編碼過(guò)程是計(jì)算開(kāi)銷最大的部分但一張圖只需做一次。3.2 提示編碼器稀疏與密集提示提示是用戶與模型交互的橋梁。SAM 的提示編碼器需要處理兩種類型稀疏提示包括點(diǎn)前景/背景點(diǎn)和框。它們被轉(zhuǎn)換為位置編碼正弦位置編碼 可學(xué)習(xí)的前景/背景嵌入然后與圖像嵌入的維度對(duì)齊。密集提示即掩碼。掩碼本身以低分辨率與圖像嵌入相同輸入并通過(guò)卷積層進(jìn)行嵌入然后與圖像嵌入逐元素相加。3.3 掩碼解碼器輕量高效的預(yù)測(cè)器這是 SAM 設(shè)計(jì)的精髓所在。掩碼解碼器是一個(gè)輕量級(jí)的 Transformer 解碼器。它接收兩個(gè)核心輸入圖像嵌入來(lái)自圖像編碼器。提示嵌入來(lái)自提示編碼器。一個(gè)可學(xué)習(xí)的輸出令牌用于預(yù)測(cè)最終的掩碼。解碼器通過(guò)交叉注意力機(jī)制讓輸出令牌同時(shí)關(guān)注圖像嵌入和提示嵌入從而“理解”用戶想要分割的是什么。最終這個(gè)輸出令牌會(huì)通過(guò)一個(gè) MLP多層感知機(jī)頭上采樣并生成多個(gè)可能的分割掩碼通常是 3 個(gè)同時(shí)為每個(gè)掩碼預(yù)測(cè)一個(gè)置信度分?jǐn)?shù)IoU 分?jǐn)?shù)。3.4 損失函數(shù)與訓(xùn)練SAM 使用焦點(diǎn)損失Focal Loss和Dice Loss的線性組合來(lái)訓(xùn)練掩碼預(yù)測(cè)。模型為每個(gè)提示預(yù)測(cè)多個(gè)掩碼例如 K3但只對(duì)置信度最高的掩碼計(jì)算損失。這種設(shè)計(jì)允許模型在提示模糊時(shí)輸出多個(gè)合理選項(xiàng)。4. 完整實(shí)戰(zhàn)從零開(kāi)始使用 SAM 進(jìn)行交互式分割理論講透現(xiàn)在進(jìn)入實(shí)戰(zhàn)環(huán)節(jié)。我們將編寫(xiě)一個(gè)完整的 Python 腳本實(shí)現(xiàn)加載模型、讀取圖片、根據(jù)提示生成掩碼并可視化的全流程。4.1 項(xiàng)目結(jié)構(gòu)準(zhǔn)備創(chuàng)建一個(gè)簡(jiǎn)單的項(xiàng)目目錄sam_demo/ ├── models/ │ └── sam_vit_b_01ec64.pth ├── images/ │ └── example.jpg # 你準(zhǔn)備測(cè)試的圖片 ├── outputs/ # 存放輸出結(jié)果 └── sam_demo.py # 主程序4.2 編寫(xiě)核心代碼創(chuàng)建sam_demo.py文件并填入以下代碼# sam_demo.py import numpy as np import torch import matplotlib.pyplot as plt import cv2 from segment_anything import sam_model_registry, SamPredictor def show_mask(mask, ax, random_colorFalse): 在圖像上以半透明顏色顯示掩碼 if random_color: color np.concatenate([np.random.random(3), np.array([0.6])], axis0) else: color np.array([30/255, 144/255, 255/255, 0.6]) # 藍(lán)色 h, w mask.shape[-2:] mask_image mask.reshape(h, w, 1) * color.reshape(1, 1, -1) ax.imshow(mask_image) def show_points(coords, labels, ax, marker_size375): 在圖像上顯示提示點(diǎn)前景/背景 pos_points coords[labels1] neg_points coords[labels0] ax.scatter(pos_points[:, 0], pos_points[:, 1], colorgreen, marker*, smarker_size, edgecolorwhite, linewidth1.25) ax.scatter(neg_points[:, 0], neg_points[:, 1], colorred, marker*, smarker_size, edgecolorwhite, linewidth1.25) def show_box(box, ax): 在圖像上顯示提示框 x0, y0 box[0], box[1] w, h box[2] - box[0], box[3] - box[1] ax.add_patch(plt.Rectangle((x0, y0), w, h, edgecolorgreen, facecolor(0,0,0,0), lw2)) def main(): # 1. 初始化模型 print(正在加載 SAM 模型...) sam_checkpoint ./models/sam_vit_b_01ec64.pth model_type vit_b device cuda if torch.cuda.is_available() else cpu sam sam_model_registry[model_type](checkpointsam_checkpoint) sam.to(devicedevice) predictor SamPredictor(sam) print(f模型加載完成運(yùn)行在: {device}) # 2. 讀取并處理圖像 image_path ./images/example.jpg # 替換為你的圖片路徑 image cv2.imread(image_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # OpenCV 讀取為 BGR轉(zhuǎn)為 RGB print(f圖像尺寸: {image.shape}) # 3. 設(shè)置圖像嵌入一次計(jì)算多次使用 predictor.set_image(image) # 4. 定義提示并進(jìn)行預(yù)測(cè) # 提示方式 1: 單點(diǎn)提示 (前景點(diǎn)) # 假設(shè)我們想分割圖片中某個(gè)物體我們點(diǎn)擊了它的一個(gè)點(diǎn) (x, y) input_point np.array([[500, 375]]) # 請(qǐng)根據(jù)你的圖片調(diào)整坐標(biāo) input_label np.array([1]) # 1 表示前景點(diǎn)0 表示背景點(diǎn) # 提示方式 2: 多點(diǎn)提示 (一個(gè)前景點(diǎn) 一個(gè)背景點(diǎn)) # input_point np.array([[500, 375], [200, 200]]) # input_label np.array([1, 0]) # 第一個(gè)是前景第二個(gè)是背景 # 提示方式 3: 框提示 [x_min, y_min, x_max, y_max] # input_box np.array([425, 300, 700, 500]) print(f使用點(diǎn)提示: {input_point}, 標(biāo)簽: {input_label}) # 進(jìn)行預(yù)測(cè) masks, scores, logits predictor.predict( point_coordsinput_point, point_labelsinput_label, multimask_outputTrue, # 輸出多個(gè)掩碼供選擇 ) # 如果使用框提示調(diào)用方式為 # masks, scores, logits predictor.predict(boxinput_box, multimask_outputTrue) # 也可以結(jié)合點(diǎn)和框 predictor.predict(point_coords..., point_labels..., box..., multimask_outputTrue) print(f生成了 {len(masks)} 個(gè)候選掩碼其置信度分?jǐn)?shù)分別為: {scores}) # 5. 可視化結(jié)果 plt.figure(figsize(10, 10)) plt.imshow(image) for i, (mask, score) in enumerate(zip(masks, scores)): show_mask(mask, plt.gca()) # 可以在圖上標(biāo)注每個(gè)掩碼的分?jǐn)?shù) # plt.text(10, 60i*40, fMask {i1}, Score: {score:.3f}, fontsize12, colorwhite, # bboxdict(facecolorblack, alpha0.5)) show_points(input_point, input_label, plt.gca()) # show_box(input_box, plt.gca()) # 如果用了框取消注釋 plt.title(fSAM 分割結(jié)果 (最佳分?jǐn)?shù): {scores[0]:.3f}), fontsize16) plt.axis(off) # 保存結(jié)果 output_path ./outputs/segmentation_result.png plt.savefig(output_path, bbox_inchestight, dpi150) print(f結(jié)果已保存至: {output_path}) plt.show() # 6. (可選) 獲取并保存二值化掩碼 # 通常選擇分?jǐn)?shù)最高的掩碼 (masks[0]) best_mask masks[0].astype(np.uint8) * 255 # 轉(zhuǎn)為 0/255 圖像 mask_save_path ./outputs/best_mask.png cv2.imwrite(mask_save_path, best_mask) print(f二值掩碼已保存至: {mask_save_path}) if __name__ __main__: main()4.3 運(yùn)行與驗(yàn)證將你的測(cè)試圖片例如一張包含寵物、水果或人物的照片放入./images/目錄并命名為example.jpg。根據(jù)圖片內(nèi)容修改代碼中的input_point坐標(biāo)。你可以用畫(huà)圖工具打開(kāi)圖片查看你感興趣物體的像素坐標(biāo)。在終端中運(yùn)行腳本cd /path/to/sam_demo python sam_demo.py程序會(huì)依次輸出模型加載信息。圖像尺寸。預(yù)測(cè)生成的掩碼數(shù)量及置信度分?jǐn)?shù)。最終結(jié)果保存路徑。一個(gè)彈出的 matplotlib 窗口會(huì)展示原始圖像、你提供的提示點(diǎn)以及模型生成的分割掩碼通常以半透明藍(lán)色覆蓋。outputs/文件夾下會(huì)保存帶標(biāo)注的結(jié)果圖以及純二值掩碼圖。4.4 結(jié)果說(shuō)明運(yùn)行成功后你會(huì)看到 SAM 根據(jù)你提供的一個(gè)點(diǎn)生成了多個(gè)可能的分割區(qū)域。例如如果你點(diǎn)在一只貓的頭上它可能會(huì)輸出三個(gè)候選1) 整個(gè)貓2) 貓的頭3) 貓的臉部。分?jǐn)?shù)最高的掩碼masks[0]通常是模型認(rèn)為最合理的。你可以通過(guò)調(diào)整點(diǎn)的位置、增加背景點(diǎn)或使用框提示來(lái)獲得更精確的結(jié)果。5. 進(jìn)階應(yīng)用與自動(dòng)化流程交互式點(diǎn)選只是 SAM 的基礎(chǔ)用法。在實(shí)際項(xiàng)目中我們往往需要自動(dòng)化處理。5.1 自動(dòng)生成圖像中的所有掩碼無(wú)提示SAM 可以通過(guò)“提示”自己來(lái)生成全圖的物體候選這類似于無(wú)監(jiān)督的實(shí)例分割。這需要用到SamAutomaticMaskGenerator。# sam_auto_mask.py from segment_anything import sam_model_registry, SamAutomaticMaskGenerator import cv2 import numpy as np import matplotlib.pyplot as plt import json # 1. 加載模型 (同上) sam_checkpoint ./models/sam_vit_b_01ec64.pth model_type vit_b device cuda sam sam_model_registry[model_type](checkpointsam_checkpoint) sam.to(devicedevice) # 2. 初始化自動(dòng)掩碼生成器 # 關(guān)鍵參數(shù)調(diào)整 # points_per_side: 在圖像每條邊上采樣的點(diǎn)數(shù)影響生成掩碼的數(shù)量和密度。 # pred_iou_thresh: 預(yù)測(cè)掩碼與模型自己評(píng)估的IoU閾值過(guò)濾低質(zhì)量掩碼。 # stability_score_thresh: 穩(wěn)定性分?jǐn)?shù)閾值過(guò)濾不穩(wěn)定的掩碼。 # crop_n_layers: 在圖像裁剪層上進(jìn)行預(yù)測(cè)以檢測(cè)小物體。 mask_generator SamAutomaticMaskGenerator( modelsam, points_per_side32, pred_iou_thresh0.86, stability_score_thresh0.92, crop_n_layers1, crop_n_points_downscale_factor2, min_mask_region_area100, # 過(guò)濾小面積掩碼 ) # 3. 生成掩碼 image cv2.imread(./images/example.jpg) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) masks mask_generator.generate(image) print(f自動(dòng)生成了 {len(masks)} 個(gè)掩碼) # 4. 可視化所有掩碼 def show_anns(anns): if len(anns) 0: return sorted_anns sorted(anns, key(lambda x: x[area]), reverseTrue) # 按面積排序 ax plt.gca() ax.set_autoscale_on(False) for ann in sorted_anns: m ann[segmentation] color_mask np.random.random(3) # 隨機(jī)顏色 h, w m.shape mask_image np.ones((h, w, 4)) mask_image[:, :, :3] color_mask.reshape(1, 1, 3) mask_image[:, :, 3] m * 0.6 # 透明度 ax.imshow(mask_image) plt.figure(figsize(10, 10)) plt.imshow(image) show_anns(masks) plt.axis(off) plt.title(f自動(dòng)生成掩碼 (共 {len(masks)} 個(gè))) plt.savefig(./outputs/auto_masks.png, bbox_inchestight, dpi150) plt.show() # 5. (可選) 保存掩碼數(shù)據(jù)供后續(xù)處理 mask_data [] for i, mask_info in enumerate(masks): mask_data.append({ id: i, area: int(mask_info[area]), bbox: mask_info[bbox].tolist(), # [x, y, width, height] predicted_iou: float(mask_info[predicted_iou]), stability_score: float(mask_info[stability_score]), # segmentation: mask_info[segmentation].tolist() # 很大謹(jǐn)慎保存 }) with open(./outputs/masks_info.json, w) as f: json.dump(mask_data, f, indent2)5.2 與其它模型結(jié)合文本提示分割Grounded-SAM單純的 SAM 不支持文本提示。但社區(qū)出現(xiàn)了強(qiáng)大的組合方案如Grounded-SAM。它利用Grounded DINO一個(gè)開(kāi)集的檢測(cè)模型來(lái)理解文本生成邊界框再將框輸入給 SAM 生成掩碼。# 安裝 Grounded-SAM (簡(jiǎn)化流程實(shí)際請(qǐng)參考其官方倉(cāng)庫(kù)) # git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git # 按照其 README 安裝依賴核心思想是文本 - Grounded DINO - 檢測(cè)框 - SAM - 分割掩碼。這實(shí)現(xiàn)了“用文字分割一切”的能力例如輸入“dog”就能分割出圖中的所有狗。6. 常見(jiàn)問(wèn)題與排查思路在實(shí)際使用 SAM 時(shí)你可能會(huì)遇到以下典型問(wèn)題。問(wèn)題現(xiàn)象可能原因排查與解決思路RuntimeError: CUDA out of memoryGPU 顯存不足尤其是使用vit_h模型或處理大圖時(shí)。1. 換用更小的模型 (vit_b)。2. 減小輸入圖像尺寸在predictor.set_image(image)前用cv2.resize縮放。3. 在 CPU 上運(yùn)行速度慢。4. 檢查是否有其它進(jìn)程占用顯存。預(yù)測(cè)速度非常慢1. 在 CPU 上運(yùn)行。2. 首次運(yùn)行set_image需要編碼整圖較慢。1. 確保 PyTorch 安裝了 CUDA 版本且torch.cuda.is_available()為 True。2.set_image只需調(diào)用一次后續(xù)對(duì)同一張圖的提示預(yù)測(cè)會(huì)很快。這是正常設(shè)計(jì)。分割結(jié)果不準(zhǔn)確或錯(cuò)誤1. 提示點(diǎn)/框位置不佳。2. 物體邊界模糊或與背景相似。3. 模型對(duì)于非常細(xì)長(zhǎng)、透明或復(fù)雜結(jié)構(gòu)的物體能力有限。1. 嘗試提供更明確的提示增加一個(gè)背景點(diǎn) (label0)或使用更精確的框。2. 嘗試multimask_outputTrue并選擇分?jǐn)?shù)更高的掩碼。3. 對(duì)于困難場(chǎng)景可能需要后處理或結(jié)合其他信息。ModuleNotFoundError: No module named segment_anythingsegment-anything庫(kù)未正確安裝。1. 確認(rèn)在正確的虛擬環(huán)境中。2. 使用pip install githttps://github.com/facebookresearch/segment-anything.git重新安裝。自動(dòng)掩碼生成器漏掉小物體或生成太多碎片points_per_side,pred_iou_thresh等參數(shù)設(shè)置不當(dāng)。1. 增加points_per_side(如 64) 和crop_n_layers(如 2) 來(lái)檢測(cè)小物體。2. 提高pred_iou_thresh和stability_score_thresh來(lái)過(guò)濾低質(zhì)量掩碼。3. 調(diào)整min_mask_region_area過(guò)濾過(guò)小區(qū)域。如何批量處理多張圖片循環(huán)調(diào)用時(shí)每張圖都需重新set_image編碼耗時(shí)。將圖片處理循環(huán)化注意及時(shí)清理不用的變量 (del image, masks)必要時(shí)使用torch.cuda.empty_cache()釋放 GPU 緩存。對(duì)于固定場(chǎng)景可以考慮預(yù)計(jì)算并保存所有圖片的嵌入。7. 最佳實(shí)踐與工程建議將 SAM 集成到生產(chǎn)或研究項(xiàng)目中時(shí)遵循以下最佳實(shí)踐可以提升效率與穩(wěn)定性。7.1 模型選擇與性能權(quán)衡研究/高精度場(chǎng)景優(yōu)先使用vit_h模型它提供了最精細(xì)的分割邊界和最穩(wěn)定的結(jié)果適合對(duì)精度要求極高的任務(wù)如醫(yī)學(xué)圖像分析。實(shí)時(shí)交互/Web 應(yīng)用使用vit_b模型。它的速度優(yōu)勢(shì)明顯在大多數(shù)常見(jiàn)物體上的分割質(zhì)量依然可靠是實(shí)現(xiàn)流暢交互體驗(yàn)的關(guān)鍵。平衡場(chǎng)景vit_l模型是精度和速度的折中選擇如果你不確定可以從它開(kāi)始。量化與優(yōu)化對(duì)于端側(cè)部署可以探索 PyTorch 的量化Quantization或 ONNX 導(dǎo)出以進(jìn)一步減少模型大小和提升推理速度。7.2 提示工程技巧點(diǎn)提示單個(gè)前景點(diǎn)通常足以分割顯著物體。如果結(jié)果不理想在物體內(nèi)部添加第二個(gè)前景點(diǎn)或在物體外部添加一個(gè)背景點(diǎn)label0能極大改善效果?？蛱崾究蛱崾颈赛c(diǎn)提示更強(qiáng)大、更穩(wěn)定。它能明確指定空間范圍對(duì)于重疊或密集物體效果更好。優(yōu)先考慮使用框。組合提示SAM 支持同時(shí)輸入點(diǎn)、框和掩碼。例如先給一個(gè)框確定大致范圍再在框內(nèi)給一個(gè)點(diǎn)來(lái)指定具體是哪個(gè)實(shí)例。負(fù)提示背景點(diǎn)當(dāng)想分割的物體與相鄰物體顏色、紋理相似時(shí)在非目標(biāo)區(qū)域點(diǎn)一個(gè)背景點(diǎn)是關(guān)鍵技巧。7.3 工程化部署考量圖像嵌入緩存如果你的應(yīng)用場(chǎng)景是針對(duì)少量固定圖片進(jìn)行多次交互例如在線標(biāo)注平臺(tái)務(wù)必緩存調(diào)用predictor.set_image()后生成的圖像嵌入。這樣用戶的不同提示都無(wú)需重復(fù)編碼延遲極低。異步處理在 Web 服務(wù)中將耗時(shí)的set_image操作放入后臺(tái)任務(wù)或消息隊(duì)列避免阻塞請(qǐng)求線程。內(nèi)存管理處理完一批圖片后主動(dòng)將模型轉(zhuǎn)移到 CPU (model.cpu())并調(diào)用torch.cuda.empty_cache()和gc.collect()來(lái)釋放 GPU 和主機(jī)內(nèi)存防止內(nèi)存泄漏。輸入圖像預(yù)處理雖然 SAM 內(nèi)部會(huì)調(diào)整尺寸但過(guò)大的原始圖像會(huì)導(dǎo)致編碼變慢且占用更多內(nèi)存。建議在輸入模型前將長(zhǎng)邊縮放到一個(gè)合理范圍如 1024-1500像素。7.4 安全與倫理邊界數(shù)據(jù)隱私SAM 作為通用模型理論上可以分割圖像中的任何內(nèi)容包括人臉、車牌等敏感信息。在開(kāi)發(fā)涉及用戶隱私數(shù)據(jù)的應(yīng)用如安防、醫(yī)療時(shí)必須確保數(shù)據(jù)處理的合法合規(guī)性考慮在本地部署而非上傳云端。偏見(jiàn)與公平性像所有大數(shù)據(jù)訓(xùn)練的模型一樣SAM 可能反映訓(xùn)練數(shù)據(jù)SA-1B中的偏見(jiàn)。在關(guān)鍵應(yīng)用如自動(dòng)駕駛、司法鑒定中需在其輸出之上建立人工審核或后處理流程。用途限制明確你的產(chǎn)品服務(wù)條款禁止將 SAM 及相關(guān)技術(shù)用于侵犯他人隱私、制作虛假信息或其他非法用途。SAM 的出現(xiàn)標(biāo)志著視覺(jué)基礎(chǔ)模型時(shí)代的到來(lái)。它不僅僅是一個(gè)好用的分割工具更是一個(gè)強(qiáng)大的視覺(jué)感知基座。你可以將其與檢測(cè)模型YOLO, DINO、識(shí)別模型CLIP、生成模型Stable Diffusion相結(jié)合構(gòu)建出前所未有的應(yīng)用如智能摳圖、圖像編輯、3D重建、機(jī)器人感知等。掌握 SAM 的核心在于理解其“提示”的工作范式并熟練運(yùn)用點(diǎn)、框等交互元素來(lái)引導(dǎo)模型。從運(yùn)行官方 Demo 開(kāi)始到集成進(jìn)自己的數(shù)據(jù)處理流水線再到探索與多模態(tài)模型的結(jié)合每一步都能帶來(lái)新的洞見(jiàn)和價(jià)值。 Segment Anything Model (SAM) 圖像分割實(shí)戰(zhàn)：從原理到部署
在計(jì)算機(jī)視覺(jué)領(lǐng)域圖像分割一直是一項(xiàng)核心且富有挑戰(zhàn)性的任務(wù)。無(wú)論是自動(dòng)駕駛中的道路識(shí)別、醫(yī)療影像中的病灶定位還是電商平臺(tái)的商品摳圖都離不開(kāi)精準(zhǔn)的分割技術(shù)。傳統(tǒng)的分割模型往往需要針對(duì)特定任務(wù)進(jìn)行大量標(biāo)注數(shù)據(jù)的訓(xùn)練這不僅成本高昂也限制了模型的通用性。當(dāng)業(yè)務(wù)需要一種能夠“開(kāi)箱即用”、無(wú)需微調(diào)即可分割任意圖像中任意對(duì)象的強(qiáng)大工具時(shí)Meta AI 提出的Segment Anything Model (SAM)無(wú)疑是當(dāng)前最具革命性的解決方案。本文將深入淺出從核心概念、模型架構(gòu)、應(yīng)用實(shí)踐到代碼部署為你完整拆解 SAM 模型讓你不僅能理解其“分割一切”背后的原理更能親手將其應(yīng)用到實(shí)際項(xiàng)目中。1. 背景與核心概念什么是“分割一切”在深入技術(shù)細(xì)節(jié)之前我們首先要理解 SAM 試圖解決的根本問(wèn)題如何構(gòu)建一個(gè)通用的、可提示的promptable圖像分割基礎(chǔ)模型。1.1 傳統(tǒng)分割模型的局限傳統(tǒng)的語(yǔ)義分割或?qū)嵗指钅Ｐ腿?U-Net, Mask R-CNN是“任務(wù)特定”的。例如一個(gè)用于分割醫(yī)學(xué)細(xì)胞圖像的模型無(wú)法直接用來(lái)分割街景中的汽車。要適應(yīng)新任務(wù)必須收集該領(lǐng)域的大量標(biāo)注數(shù)據(jù)并重新訓(xùn)練模型。這個(gè)過(guò)程周期長(zhǎng)、成本高且模型的泛化能力有限。1.2 SAM 的突破性理念SAM 的核心理念是構(gòu)建一個(gè)分割基礎(chǔ)模型。類比于 NLP 中的 GPT 系列SAM 旨在成為一個(gè)“視覺(jué)分割的基礎(chǔ)設(shè)施”。其目標(biāo)不是針對(duì)某個(gè)特定數(shù)據(jù)集進(jìn)行優(yōu)化而是學(xué)習(xí)關(guān)于“物體”的通用概念。為了實(shí)現(xiàn)這一點(diǎn)SAM 引入了三個(gè)關(guān)鍵組成部分可提示的分割任務(wù)模型應(yīng)能根據(jù)給定的提示如點(diǎn)、框、文本或掩碼返回有效的分割掩碼。提示可以是模糊的例如點(diǎn)在一個(gè)物體上但該物體可能是貓的耳朵或整個(gè)貓模型需要輸出其中至少一個(gè)有效的掩碼?；谔崾镜膶?shí)時(shí)掩碼生成為了實(shí)現(xiàn)交互式使用模型需要在網(wǎng)絡(luò)瀏覽器中在約 50ms 內(nèi)根據(jù)單個(gè)提示計(jì)算出掩碼。數(shù)據(jù)引擎與海量數(shù)據(jù)集為了訓(xùn)練這樣一個(gè)通用模型Meta 構(gòu)建了一個(gè)“數(shù)據(jù)引擎”通過(guò)模型-in-the-loop 的方式協(xié)助標(biāo)注并最終創(chuàng)建了包含超過(guò)11 億個(gè)掩碼的龐大數(shù)據(jù)集SA-1B。這是 SAM 強(qiáng)大泛化能力的基石。簡(jiǎn)單來(lái)說(shuō)SAM 就像一個(gè)“視覺(jué)分割的瑞士軍刀”。你給它一張圖片和一個(gè)提示比如用鼠標(biāo)點(diǎn)一下圖中的狗它就能實(shí)時(shí)地、高精度地分割出對(duì)應(yīng)的物體。它不需要針對(duì)“狗”進(jìn)行訓(xùn)練因?yàn)樗鼜暮Ａ繑?shù)據(jù)中學(xué)到的是“物體”的通用表示。1.3 核心組件關(guān)系理解 SAM 的運(yùn)作需要把握其三個(gè)核心模塊的協(xié)作關(guān)系圖像編碼器一個(gè)強(qiáng)大的 Vision Transformer (ViT)負(fù)責(zé)將整張高分辨率圖像編碼為一個(gè)嵌入向量。這是計(jì)算最密集的部分但一張圖像只需編碼一次。提示編碼器將各種形式的提示點(diǎn)、框、文本編碼為向量。點(diǎn)和框用位置編碼表示自由形式的文本目前版本支持有限主要依賴點(diǎn)/框。輕量級(jí)掩碼解碼器這是實(shí)現(xiàn)實(shí)時(shí)交互的關(guān)鍵。它高效地將圖像嵌入和提示嵌入結(jié)合起來(lái)在短短幾毫秒內(nèi)預(yù)測(cè)出最終的分割掩碼。這種設(shè)計(jì)實(shí)現(xiàn)了計(jì)算上的解耦繁重的圖像編碼只需一次后續(xù)的交互提示可以快速生成多個(gè)掩碼體驗(yàn)極其流暢。2. 環(huán)境準(zhǔn)備與版本說(shuō)明在開(kāi)始動(dòng)手實(shí)踐前確保你的開(kāi)發(fā)環(huán)境已就緒。SAM 對(duì)算力有一定要求尤其是圖像編碼部分。2.1 硬件與操作系統(tǒng)建議GPU強(qiáng)烈推薦使用 NVIDIA GPU 以獲得可接受的推理速度。CUDA 兼容的顯卡如 RTX 3060 及以上是理想選擇。CPU 也可運(yùn)行但速度會(huì)慢很多不適合交互式應(yīng)用。內(nèi)存至少 8GB RAM處理高分辨率圖像時(shí)建議 16GB 或更多。操作系統(tǒng)Linux (Ubuntu 20.04/22.04) Windows 10/11 或 macOS。本文示例以 Ubuntu 22.04 和 Windows 11 下的 Python 環(huán)境為主。磁盤(pán)空間SAM 的模型文件較大如vit_h版本約 2.4GB需預(yù)留足夠空間。2.2 軟件環(huán)境與依賴我們將使用 PyTorch 和 Meta 官方提供的segment-anythingPython 庫(kù)。# 1. 創(chuàng)建并激活一個(gè)獨(dú)立的 Python 虛擬環(huán)境推薦 conda create -n sam_env python3.8 -y conda activate sam_env # 或使用 venv # python -m venv sam_env # source sam_env/bin/activate # Linux/macOS # sam_env\Scripts\activate # Windows # 2. 安裝 PyTorch (請(qǐng)根據(jù)你的 CUDA 版本訪問(wèn) https://pytorch.org/ 獲取最新命令) # 例如對(duì)于 CUDA 11.8 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 3. 安裝 segment-anything 及其它必要庫(kù) pip install githttps://github.com/facebookresearch/segment-anything.git pip install opencv-python pycocotools matplotlib onnxruntime onnx2.3 模型權(quán)重下載SAM 提供了多個(gè)不同大小的預(yù)訓(xùn)練模型在速度和精度上有所權(quán)衡vit_hViT-Huge 模型參數(shù)最多~636M精度最高速度最慢。vit_lViT-Large 模型平衡了精度和速度。vit_bViT-Base 模型參數(shù)最少~91M速度最快精度略有下降。對(duì)于大多數(shù)研究和應(yīng)用vit_l或vit_b是不錯(cuò)的起點(diǎn)。你可以從官方倉(cāng)庫(kù)或提供的鏈接下載權(quán)重文件.pth。# 以 vit_b 為例下載模型權(quán)重 wget https://dl.fbaipublicfiles.com/segment_anything/sam_vit_b_01ec64.pth # 或者手動(dòng)下載所有模型 # sam_vit_h_4b8939.pth (ViT-H) # sam_vit_l_0b3195.pth (ViT-L) # sam_vit_b_01ec64.pth (ViT-B)將下載的.pth文件放在項(xiàng)目目錄下例如./models/。3. 核心原理與模型架構(gòu)拆解理解了環(huán)境配置我們來(lái)深入 SAM 的“大腦”看看它是如何實(shí)現(xiàn)神奇的分割效果的。3.1 圖像編碼器Vision Transformer (ViT)SAM 使用了一個(gè)經(jīng)過(guò)掩碼圖像預(yù)訓(xùn)練MAE的 Vision Transformer 作為圖像編碼器。它將輸入圖像默認(rèn)調(diào)整為 1024x1024分割成 16x16 的圖塊并通過(guò) Transformer 編碼器生成一個(gè)密集的圖像嵌入。這個(gè)嵌入是一個(gè)低分辨率的特征圖例如對(duì)于 1024x1024 的輸入輸出為 64x64 的特征網(wǎng)格其中每個(gè)“像素”都包含了其對(duì)應(yīng)圖像區(qū)域的豐富上下文信息。關(guān)鍵點(diǎn)這個(gè)編碼過(guò)程是計(jì)算開(kāi)銷最大的部分但一張圖只需做一次。3.2 提示編碼器稀疏與密集提示提示是用戶與模型交互的橋梁。SAM 的提示編碼器需要處理兩種類型稀疏提示包括點(diǎn)前景/背景點(diǎn)和框。它們被轉(zhuǎn)換為位置編碼正弦位置編碼 可學(xué)習(xí)的前景/背景嵌入然后與圖像嵌入的維度對(duì)齊。密集提示即掩碼。掩碼本身以低分辨率與圖像嵌入相同輸入并通過(guò)卷積層進(jìn)行嵌入然后與圖像嵌入逐元素相加。3.3 掩碼解碼器輕量高效的預(yù)測(cè)器這是 SAM 設(shè)計(jì)的精髓所在。掩碼解碼器是一個(gè)輕量級(jí)的 Transformer 解碼器。它接收兩個(gè)核心輸入圖像嵌入來(lái)自圖像編碼器。提示嵌入來(lái)自提示編碼器。一個(gè)可學(xué)習(xí)的輸出令牌用于預(yù)測(cè)最終的掩碼。解碼器通過(guò)交叉注意力機(jī)制讓輸出令牌同時(shí)關(guān)注圖像嵌入和提示嵌入從而“理解”用戶想要分割的是什么。最終這個(gè)輸出令牌會(huì)通過(guò)一個(gè) MLP多層感知機(jī)頭上采樣并生成多個(gè)可能的分割掩碼通常是 3 個(gè)同時(shí)為每個(gè)掩碼預(yù)測(cè)一個(gè)置信度分?jǐn)?shù)IoU 分?jǐn)?shù)。3.4 損失函數(shù)與訓(xùn)練SAM 使用焦點(diǎn)損失Focal Loss和Dice Loss的線性組合來(lái)訓(xùn)練掩碼預(yù)測(cè)。模型為每個(gè)提示預(yù)測(cè)多個(gè)掩碼例如 K3但只對(duì)置信度最高的掩碼計(jì)算損失。這種設(shè)計(jì)允許模型在提示模糊時(shí)輸出多個(gè)合理選項(xiàng)。4. 完整實(shí)戰(zhàn)從零開(kāi)始使用 SAM 進(jìn)行交互式分割理論講透現(xiàn)在進(jìn)入實(shí)戰(zhàn)環(huán)節(jié)。我們將編寫(xiě)一個(gè)完整的 Python 腳本實(shí)現(xiàn)加載模型、讀取圖片、根據(jù)提示生成掩碼并可視化的全流程。4.1 項(xiàng)目結(jié)構(gòu)準(zhǔn)備創(chuàng)建一個(gè)簡(jiǎn)單的項(xiàng)目目錄sam_demo/ ├── models/ │ └── sam_vit_b_01ec64.pth ├── images/ │ └── example.jpg # 你準(zhǔn)備測(cè)試的圖片 ├── outputs/ # 存放輸出結(jié)果 └── sam_demo.py # 主程序4.2 編寫(xiě)核心代碼創(chuàng)建sam_demo.py文件并填入以下代碼# sam_demo.py import numpy as np import torch import matplotlib.pyplot as plt import cv2 from segment_anything import sam_model_registry, SamPredictor def show_mask(mask, ax, random_colorFalse): 在圖像上以半透明顏色顯示掩碼 if random_color: color np.concatenate([np.random.random(3), np.array([0.6])], axis0) else: color np.array([30/255, 144/255, 255/255, 0.6]) # 藍(lán)色 h, w mask.shape[-2:] mask_image mask.reshape(h, w, 1) * color.reshape(1, 1, -1) ax.imshow(mask_image) def show_points(coords, labels, ax, marker_size375): 在圖像上顯示提示點(diǎn)前景/背景 pos_points coords[labels1] neg_points coords[labels0] ax.scatter(pos_points[:, 0], pos_points[:, 1], colorgreen, marker*, smarker_size, edgecolorwhite, linewidth1.25) ax.scatter(neg_points[:, 0], neg_points[:, 1], colorred, marker*, smarker_size, edgecolorwhite, linewidth1.25) def show_box(box, ax): 在圖像上顯示提示框 x0, y0 box[0], box[1] w, h box[2] - box[0], box[3] - box[1] ax.add_patch(plt.Rectangle((x0, y0), w, h, edgecolorgreen, facecolor(0,0,0,0), lw2)) def main(): # 1. 初始化模型 print(正在加載 SAM 模型...) sam_checkpoint ./models/sam_vit_b_01ec64.pth model_type vit_b device cuda if torch.cuda.is_available() else cpu sam sam_model_registry[model_type](checkpointsam_checkpoint) sam.to(devicedevice) predictor SamPredictor(sam) print(f模型加載完成運(yùn)行在: {device}) # 2. 讀取并處理圖像 image_path ./images/example.jpg # 替換為你的圖片路徑 image cv2.imread(image_path) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) # OpenCV 讀取為 BGR轉(zhuǎn)為 RGB print(f圖像尺寸: {image.shape}) # 3. 設(shè)置圖像嵌入一次計(jì)算多次使用 predictor.set_image(image) # 4. 定義提示并進(jìn)行預(yù)測(cè) # 提示方式 1: 單點(diǎn)提示 (前景點(diǎn)) # 假設(shè)我們想分割圖片中某個(gè)物體我們點(diǎn)擊了它的一個(gè)點(diǎn) (x, y) input_point np.array([[500, 375]]) # 請(qǐng)根據(jù)你的圖片調(diào)整坐標(biāo) input_label np.array([1]) # 1 表示前景點(diǎn)0 表示背景點(diǎn) # 提示方式 2: 多點(diǎn)提示 (一個(gè)前景點(diǎn) 一個(gè)背景點(diǎn)) # input_point np.array([[500, 375], [200, 200]]) # input_label np.array([1, 0]) # 第一個(gè)是前景第二個(gè)是背景 # 提示方式 3: 框提示 [x_min, y_min, x_max, y_max] # input_box np.array([425, 300, 700, 500]) print(f使用點(diǎn)提示: {input_point}, 標(biāo)簽: {input_label}) # 進(jìn)行預(yù)測(cè) masks, scores, logits predictor.predict( point_coordsinput_point, point_labelsinput_label, multimask_outputTrue, # 輸出多個(gè)掩碼供選擇 ) # 如果使用框提示調(diào)用方式為 # masks, scores, logits predictor.predict(boxinput_box, multimask_outputTrue) # 也可以結(jié)合點(diǎn)和框 predictor.predict(point_coords..., point_labels..., box..., multimask_outputTrue) print(f生成了 {len(masks)} 個(gè)候選掩碼其置信度分?jǐn)?shù)分別為: {scores}) # 5. 可視化結(jié)果 plt.figure(figsize(10, 10)) plt.imshow(image) for i, (mask, score) in enumerate(zip(masks, scores)): show_mask(mask, plt.gca()) # 可以在圖上標(biāo)注每個(gè)掩碼的分?jǐn)?shù) # plt.text(10, 60i*40, fMask {i1}, Score: {score:.3f}, fontsize12, colorwhite, # bboxdict(facecolorblack, alpha0.5)) show_points(input_point, input_label, plt.gca()) # show_box(input_box, plt.gca()) # 如果用了框取消注釋 plt.title(fSAM 分割結(jié)果 (最佳分?jǐn)?shù): {scores[0]:.3f}), fontsize16) plt.axis(off) # 保存結(jié)果 output_path ./outputs/segmentation_result.png plt.savefig(output_path, bbox_inchestight, dpi150) print(f結(jié)果已保存至: {output_path}) plt.show() # 6. (可選) 獲取并保存二值化掩碼 # 通常選擇分?jǐn)?shù)最高的掩碼 (masks[0]) best_mask masks[0].astype(np.uint8) * 255 # 轉(zhuǎn)為 0/255 圖像 mask_save_path ./outputs/best_mask.png cv2.imwrite(mask_save_path, best_mask) print(f二值掩碼已保存至: {mask_save_path}) if __name__ __main__: main()4.3 運(yùn)行與驗(yàn)證將你的測(cè)試圖片例如一張包含寵物、水果或人物的照片放入./images/目錄并命名為example.jpg。根據(jù)圖片內(nèi)容修改代碼中的input_point坐標(biāo)。你可以用畫(huà)圖工具打開(kāi)圖片查看你感興趣物體的像素坐標(biāo)。在終端中運(yùn)行腳本cd /path/to/sam_demo python sam_demo.py程序會(huì)依次輸出模型加載信息。圖像尺寸。預(yù)測(cè)生成的掩碼數(shù)量及置信度分?jǐn)?shù)。最終結(jié)果保存路徑。一個(gè)彈出的 matplotlib 窗口會(huì)展示原始圖像、你提供的提示點(diǎn)以及模型生成的分割掩碼通常以半透明藍(lán)色覆蓋。outputs/文件夾下會(huì)保存帶標(biāo)注的結(jié)果圖以及純二值掩碼圖。4.4 結(jié)果說(shuō)明運(yùn)行成功后你會(huì)看到 SAM 根據(jù)你提供的一個(gè)點(diǎn)生成了多個(gè)可能的分割區(qū)域。例如如果你點(diǎn)在一只貓的頭上它可能會(huì)輸出三個(gè)候選1) 整個(gè)貓2) 貓的頭3) 貓的臉部。分?jǐn)?shù)最高的掩碼masks[0]通常是模型認(rèn)為最合理的。你可以通過(guò)調(diào)整點(diǎn)的位置、增加背景點(diǎn)或使用框提示來(lái)獲得更精確的結(jié)果。5. 進(jìn)階應(yīng)用與自動(dòng)化流程交互式點(diǎn)選只是 SAM 的基礎(chǔ)用法。在實(shí)際項(xiàng)目中我們往往需要自動(dòng)化處理。5.1 自動(dòng)生成圖像中的所有掩碼無(wú)提示SAM 可以通過(guò)“提示”自己來(lái)生成全圖的物體候選這類似于無(wú)監(jiān)督的實(shí)例分割。這需要用到SamAutomaticMaskGenerator。# sam_auto_mask.py from segment_anything import sam_model_registry, SamAutomaticMaskGenerator import cv2 import numpy as np import matplotlib.pyplot as plt import json # 1. 加載模型 (同上) sam_checkpoint ./models/sam_vit_b_01ec64.pth model_type vit_b device cuda sam sam_model_registry[model_type](checkpointsam_checkpoint) sam.to(devicedevice) # 2. 初始化自動(dòng)掩碼生成器 # 關(guān)鍵參數(shù)調(diào)整 # points_per_side: 在圖像每條邊上采樣的點(diǎn)數(shù)影響生成掩碼的數(shù)量和密度。 # pred_iou_thresh: 預(yù)測(cè)掩碼與模型自己評(píng)估的IoU閾值過(guò)濾低質(zhì)量掩碼。 # stability_score_thresh: 穩(wěn)定性分?jǐn)?shù)閾值過(guò)濾不穩(wěn)定的掩碼。 # crop_n_layers: 在圖像裁剪層上進(jìn)行預(yù)測(cè)以檢測(cè)小物體。 mask_generator SamAutomaticMaskGenerator( modelsam, points_per_side32, pred_iou_thresh0.86, stability_score_thresh0.92, crop_n_layers1, crop_n_points_downscale_factor2, min_mask_region_area100, # 過(guò)濾小面積掩碼 ) # 3. 生成掩碼 image cv2.imread(./images/example.jpg) image cv2.cvtColor(image, cv2.COLOR_BGR2RGB) masks mask_generator.generate(image) print(f自動(dòng)生成了 {len(masks)} 個(gè)掩碼) # 4. 可視化所有掩碼 def show_anns(anns): if len(anns) 0: return sorted_anns sorted(anns, key(lambda x: x[area]), reverseTrue) # 按面積排序 ax plt.gca() ax.set_autoscale_on(False) for ann in sorted_anns: m ann[segmentation] color_mask np.random.random(3) # 隨機(jī)顏色 h, w m.shape mask_image np.ones((h, w, 4)) mask_image[:, :, :3] color_mask.reshape(1, 1, 3) mask_image[:, :, 3] m * 0.6 # 透明度 ax.imshow(mask_image) plt.figure(figsize(10, 10)) plt.imshow(image) show_anns(masks) plt.axis(off) plt.title(f自動(dòng)生成掩碼 (共 {len(masks)} 個(gè))) plt.savefig(./outputs/auto_masks.png, bbox_inchestight, dpi150) plt.show() # 5. (可選) 保存掩碼數(shù)據(jù)供后續(xù)處理 mask_data [] for i, mask_info in enumerate(masks): mask_data.append({ id: i, area: int(mask_info[area]), bbox: mask_info[bbox].tolist(), # [x, y, width, height] predicted_iou: float(mask_info[predicted_iou]), stability_score: float(mask_info[stability_score]), # segmentation: mask_info[segmentation].tolist() # 很大謹(jǐn)慎保存 }) with open(./outputs/masks_info.json, w) as f: json.dump(mask_data, f, indent2)5.2 與其它模型結(jié)合文本提示分割Grounded-SAM單純的 SAM 不支持文本提示。但社區(qū)出現(xiàn)了強(qiáng)大的組合方案如Grounded-SAM。它利用Grounded DINO一個(gè)開(kāi)集的檢測(cè)模型來(lái)理解文本生成邊界框再將框輸入給 SAM 生成掩碼。# 安裝 Grounded-SAM (簡(jiǎn)化流程實(shí)際請(qǐng)參考其官方倉(cāng)庫(kù)) # git clone https://github.com/IDEA-Research/Grounded-Segment-Anything.git # 按照其 README 安裝依賴核心思想是文本 - Grounded DINO - 檢測(cè)框 - SAM - 分割掩碼。這實(shí)現(xiàn)了“用文字分割一切”的能力例如輸入“dog”就能分割出圖中的所有狗。6. 常見(jiàn)問(wèn)題與排查思路在實(shí)際使用 SAM 時(shí)你可能會(huì)遇到以下典型問(wèn)題。問(wèn)題現(xiàn)象可能原因排查與解決思路RuntimeError: CUDA out of memoryGPU 顯存不足尤其是使用vit_h模型或處理大圖時(shí)。1. 換用更小的模型 (vit_b)。2. 減小輸入圖像尺寸在predictor.set_image(image)前用cv2.resize縮放。3. 在 CPU 上運(yùn)行速度慢。4. 檢查是否有其它進(jìn)程占用顯存。預(yù)測(cè)速度非常慢1. 在 CPU 上運(yùn)行。2. 首次運(yùn)行set_image需要編碼整圖較慢。1. 確保 PyTorch 安裝了 CUDA 版本且torch.cuda.is_available()為 True。2.set_image只需調(diào)用一次后續(xù)對(duì)同一張圖的提示預(yù)測(cè)會(huì)很快。這是正常設(shè)計(jì)。分割結(jié)果不準(zhǔn)確或錯(cuò)誤1. 提示點(diǎn)/框位置不佳。2. 物體邊界模糊或與背景相似。3. 模型對(duì)于非常細(xì)長(zhǎng)、透明或復(fù)雜結(jié)構(gòu)的物體能力有限。1. 嘗試提供更明確的提示增加一個(gè)背景點(diǎn) (label0)或使用更精確的框。2. 嘗試multimask_outputTrue并選擇分?jǐn)?shù)更高的掩碼。3. 對(duì)于困難場(chǎng)景可能需要后處理或結(jié)合其他信息。ModuleNotFoundError: No module named segment_anythingsegment-anything庫(kù)未正確安裝。1. 確認(rèn)在正確的虛擬環(huán)境中。2. 使用pip install githttps://github.com/facebookresearch/segment-anything.git重新安裝。自動(dòng)掩碼生成器漏掉小物體或生成太多碎片points_per_side,pred_iou_thresh等參數(shù)設(shè)置不當(dāng)。1. 增加points_per_side(如 64) 和crop_n_layers(如 2) 來(lái)檢測(cè)小物體。2. 提高pred_iou_thresh和stability_score_thresh來(lái)過(guò)濾低質(zhì)量掩碼。3. 調(diào)整min_mask_region_area過(guò)濾過(guò)小區(qū)域。如何批量處理多張圖片循環(huán)調(diào)用時(shí)每張圖都需重新set_image編碼耗時(shí)。將圖片處理循環(huán)化注意及時(shí)清理不用的變量 (del image, masks)必要時(shí)使用torch.cuda.empty_cache()釋放 GPU 緩存。對(duì)于固定場(chǎng)景可以考慮預(yù)計(jì)算并保存所有圖片的嵌入。7. 最佳實(shí)踐與工程建議將 SAM 集成到生產(chǎn)或研究項(xiàng)目中時(shí)遵循以下最佳實(shí)踐可以提升效率與穩(wěn)定性。7.1 模型選擇與性能權(quán)衡研究/高精度場(chǎng)景優(yōu)先使用vit_h模型它提供了最精細(xì)的分割邊界和最穩(wěn)定的結(jié)果適合對(duì)精度要求極高的任務(wù)如醫(yī)學(xué)圖像分析。實(shí)時(shí)交互/Web 應(yīng)用使用vit_b模型。它的速度優(yōu)勢(shì)明顯在大多數(shù)常見(jiàn)物體上的分割質(zhì)量依然可靠是實(shí)現(xiàn)流暢交互體驗(yàn)的關(guān)鍵。平衡場(chǎng)景vit_l模型是精度和速度的折中選擇如果你不確定可以從它開(kāi)始。量化與優(yōu)化對(duì)于端側(cè)部署可以探索 PyTorch 的量化Quantization或 ONNX 導(dǎo)出以進(jìn)一步減少模型大小和提升推理速度。7.2 提示工程技巧點(diǎn)提示單個(gè)前景點(diǎn)通常足以分割顯著物體。如果結(jié)果不理想在物體內(nèi)部添加第二個(gè)前景點(diǎn)或在物體外部添加一個(gè)背景點(diǎn)label0能極大改善效果?？蛱崾究蛱崾颈赛c(diǎn)提示更強(qiáng)大、更穩(wěn)定。它能明確指定空間范圍對(duì)于重疊或密集物體效果更好。優(yōu)先考慮使用框。組合提示SAM 支持同時(shí)輸入點(diǎn)、框和掩碼。例如先給一個(gè)框確定大致范圍再在框內(nèi)給一個(gè)點(diǎn)來(lái)指定具體是哪個(gè)實(shí)例。負(fù)提示背景點(diǎn)當(dāng)想分割的物體與相鄰物體顏色、紋理相似時(shí)在非目標(biāo)區(qū)域點(diǎn)一個(gè)背景點(diǎn)是關(guān)鍵技巧。7.3 工程化部署考量圖像嵌入緩存如果你的應(yīng)用場(chǎng)景是針對(duì)少量固定圖片進(jìn)行多次交互例如在線標(biāo)注平臺(tái)務(wù)必緩存調(diào)用predictor.set_image()后生成的圖像嵌入。這樣用戶的不同提示都無(wú)需重復(fù)編碼延遲極低。異步處理在 Web 服務(wù)中將耗時(shí)的set_image操作放入后臺(tái)任務(wù)或消息隊(duì)列避免阻塞請(qǐng)求線程。內(nèi)存管理處理完一批圖片后主動(dòng)將模型轉(zhuǎn)移到 CPU (model.cpu())并調(diào)用torch.cuda.empty_cache()和gc.collect()來(lái)釋放 GPU 和主機(jī)內(nèi)存防止內(nèi)存泄漏。輸入圖像預(yù)處理雖然 SAM 內(nèi)部會(huì)調(diào)整尺寸但過(guò)大的原始圖像會(huì)導(dǎo)致編碼變慢且占用更多內(nèi)存。建議在輸入模型前將長(zhǎng)邊縮放到一個(gè)合理范圍如 1024-1500像素。7.4 安全與倫理邊界數(shù)據(jù)隱私SAM 作為通用模型理論上可以分割圖像中的任何內(nèi)容包括人臉、車牌等敏感信息。在開(kāi)發(fā)涉及用戶隱私數(shù)據(jù)的應(yīng)用如安防、醫(yī)療時(shí)必須確保數(shù)據(jù)處理的合法合規(guī)性考慮在本地部署而非上傳云端。偏見(jiàn)與公平性像所有大數(shù)據(jù)訓(xùn)練的模型一樣SAM 可能反映訓(xùn)練數(shù)據(jù)SA-1B中的偏見(jiàn)。在關(guān)鍵應(yīng)用如自動(dòng)駕駛、司法鑒定中需在其輸出之上建立人工審核或后處理流程。用途限制明確你的產(chǎn)品服務(wù)條款禁止將 SAM 及相關(guān)技術(shù)用于侵犯他人隱私、制作虛假信息或其他非法用途。SAM 的出現(xiàn)標(biāo)志著視覺(jué)基礎(chǔ)模型時(shí)代的到來(lái)。它不僅僅是一個(gè)好用的分割工具更是一個(gè)強(qiáng)大的視覺(jué)感知基座。你可以將其與檢測(cè)模型YOLO, DINO、識(shí)別模型CLIP、生成模型Stable Diffusion相結(jié)合構(gòu)建出前所未有的應(yīng)用如智能摳圖、圖像編輯、3D重建、機(jī)器人感知等。掌握 SAM 的核心在于理解其“提示”的工作范式并熟練運(yùn)用點(diǎn)、框等交互元素來(lái)引導(dǎo)模型。從運(yùn)行官方 Demo 開(kāi)始到集成進(jìn)自己的數(shù)據(jù)處理流水線再到探索與多模態(tài)模型的結(jié)合每一步都能帶來(lái)新的洞見(jiàn)和價(jià)值。