簡介這是一套面向醫(yī)學(xué)圖像分割學(xué)習(xí)者的FCN腹部多臟器五分割完整實(shí)戰(zhàn)資源。項(xiàng)目基于ResNet50/ResNet101作為特征提取網(wǎng)絡(luò)配合余弦退火學(xué)習(xí)率、交叉熵?fù)p失與收斂更快的Adam優(yōu)化器在僅測試20個(gè)epoch時(shí)全局像素準(zhǔn)確度即達(dá)0.99、mIoU達(dá)0.80若加大訓(xùn)練輪次性能還有進(jìn)一步提升空間。壓縮包共1025個(gè)文件、約456.22MB其中991張PNG圖像覆蓋數(shù)據(jù)集與可視化結(jié)果7個(gè)Python腳本承擔(dān)訓(xùn)練與推理流程3個(gè)pth權(quán)重文件可直接加載另有README、日志與工程配置文件等目錄結(jié)構(gòu)清晰小白也能快速上手。目前已有221人學(xué)習(xí)下載。資源內(nèi)包含完整訓(xùn)練與預(yù)測代碼、預(yù)處理后的數(shù)據(jù)集及訓(xùn)練日志日志中可查看各類別的iou、recall、precision和全局準(zhǔn)確率等指標(biāo)將待推理圖像放入inference目錄后直接運(yùn)行predict.py即可輸出結(jié)果無需額外調(diào)參適合具備一定深度學(xué)習(xí)基礎(chǔ)、希望快速復(fù)現(xiàn)FCN分割任務(wù)的讀者。1. 用 FCN 網(wǎng)絡(luò)做腹部多臟器 5 分割一個(gè)模型同時(shí)分清四種器官腹部多臟器分割和單器官分割完全是兩碼事FCN 要在同一張 CT 上同時(shí)把肝臟、脾臟、左右腎或胃、胰腺取決于標(biāo)簽定義逐像素分開。器官之間密度接近、邊界粘連模型稍有不慎就把兩個(gè)器官糊成一片。全卷積網(wǎng)絡(luò)FCN是最早把分類網(wǎng)絡(luò)端到端變成像素級(jí)分類的語義分割模型用全卷積化加轉(zhuǎn)置卷積恢復(fù)分辨率天然適合這種“整圖上下文決定邊界”的任務(wù)。這篇實(shí)戰(zhàn)文章面向準(zhǔn)備用 FCN 跑腹部多臟器 5 分割、卻被 NIfTI 預(yù)處理和訓(xùn)練細(xì)節(jié)卡住的工程師從數(shù)據(jù)整理、模型搭建到常見坑完整走一遍。2. 從 NIfTI 到模型輸入腹部 CT 數(shù)據(jù)整理與預(yù)處理細(xì)節(jié)2.1 FCN 的分割原理以及 5 分類任務(wù)的定義FCN 語義分割的完整流程可以拆成兩件事把 VGG 這類分類網(wǎng)絡(luò)里最后幾個(gè)全連接層替換成卷積層讓網(wǎng)絡(luò)接受任意尺寸的圖像并輸出二維空間上的類別得分再用轉(zhuǎn)置卷積也叫反卷積把 stride 不斷減小的特征圖一步步放大回輸入分辨率。經(jīng)典版本按上采樣融合深度分成 FCN-32s、FCN-16s、FCN-8s其中 FCN-8s 同時(shí)融合了第三、四、五個(gè)池化層的輸出淺層細(xì)節(jié)和深層語義都照顧到了在器官邊界這種灰度漸變區(qū)域表現(xiàn)比 32s 穩(wěn)得多。這里說的“5 分割”常規(guī)定義是背景加上四種目標(biāo)器官。比如 Synapse / BTCV 這類公開腹部 CT 多器官數(shù)據(jù)集原始標(biāo)簽覆蓋脾臟、右腎、左腎、膽囊、肝臟、胃、主動(dòng)脈、胰腺共 8 類你需要把其中 4 個(gè)器官映射成類別 14其余器官以及所有非目標(biāo)組織一律歸為背景 0。選哪四個(gè)器官取決于臨床目的常見做法是選體積最大、最容易出現(xiàn)邊界粘連的肝、脾、雙腎想提高難度就再加一個(gè)胃或胰腺。類別編號(hào)順序直接影響后續(xù)混淆矩陣的解讀建議在代碼里用顯式映射表寫清楚不要靠記憶。2.2 讀取 NIfTI 與標(biāo)簽合并保持空間對(duì)齊是底線腹部 CT 公開數(shù)據(jù)集大多是 NIfTI 格式一個(gè) volume 是一個(gè)三維數(shù)組加一個(gè) affine 矩陣。第一步是把 CT 和分割標(biāo)簽成對(duì)讀進(jìn)來做強(qiáng)度歸一化、尺寸縮放和標(biāo)簽合并。最容易翻車的地方是CT 和 seg 的 voxel spacing 不一致時(shí)直接 resize 會(huì)讓兩個(gè)空間錯(cuò)位訓(xùn)練出的模型邊界會(huì)整體偏移一塊。常見做法是先讀兩個(gè)文件的 header算出目標(biāo) spacing再用同一套 zoom 因子同時(shí)作用于 CT 和標(biāo)簽標(biāo)簽部分必須用最近鄰插值不能引入新的灰度值。import nibabel as nib import numpy as np from scipy.ndimage import zoom # 標(biāo)簽合并規(guī)則Synapse/BTCV 的 8 器官映射到 4 類 背景 LABEL_MAP {1: 1, 2: 2, 3: 3, 4: 4} # 這里把原始標(biāo)簽 1/2/3/4 分別映射成類別 1/2/3/4 # 用不到的 5/6/7/8 以及 0 都保留在背景類里 def load_and_resample(ct_path, seg_path, target_spacing(1.0, 1.0, 1.0)): ct_img nib.load(ct_path) seg_img nib.load(seg_path) ct ct_img.get_fdata().astype(np.float32) seg seg_img.get_fdata().astype(np.int16) # 1) 強(qiáng)度歸一化窗寬窗位把非目標(biāo)灰度壓掉 hu_min, hu_max -200, 200 # 腹部實(shí)質(zhì)器官常用窗位 40、窗寬 400 ct np.clip(ct, hu_min, hu_max) ct (ct - hu_min) / (hu_max - hu_min) # 2) 重采樣按 spacing 比例計(jì)算 zoom 因子 ct_spacing ct_img.header.get_zooms()[:3] seg_spacing seg_img.header.get_zooms()[:3] ct_zoom [orig / target for orig, target in zip(ct_spacing, target_spacing)] seg_zoom [orig / target for orig, target in zip(seg_spacing, target_spacing)] ct zoom(ct, zoomct_zoom, order3) # 圖像用三階樣條 seg zoom(seg, zoomseg_zoom, order0) # 標(biāo)簽必須最近鄰 # 3) 標(biāo)簽合并 merged np.zeros_like(seg) for src, dst in LABEL_MAP.items(): merged[seg src] dst return ct, merged邏輯說明代碼先讀雙模態(tài)文件用 clip 把 Hounsfield 值限制在 -200200 HU這是腹部實(shí)質(zhì)器官對(duì)比度較明顯的常用范圍然后按兩個(gè)文件各自的實(shí)際 spacing 計(jì)算 zoom 因子統(tǒng)一到 1mm 各向同性采樣。圖像用三階樣條會(huì)帶來亞像素平滑標(biāo)簽用零階最近鄰避免插值產(chǎn)生類別 2.7 這種非法值。最后把 8 類標(biāo)簽合并成 4 類目標(biāo)其余值歸零。參數(shù)說明窗寬窗位不是死的分割胃和腸道時(shí)空氣多視野要放寬到 -300300只做肝脾時(shí) -150250 更聚焦。重采樣目標(biāo)建議 1.0mm 或 1.5mm太細(xì)顯存撐不住太粗小器官比如胰腺尾部直接丟像素。zoom 之后 CT 和 seg 可能出現(xiàn) 1 像素尺寸差穩(wěn)妥做法是用切片對(duì)齊兩數(shù)組形狀。注意zoom的order0是最近鄰order3是三階樣條。標(biāo)簽絕不能跟著圖像一起用三階否則類別值會(huì)被插成小數(shù)交叉熵計(jì)算直接報(bào)錯(cuò)。2.3 按病人劃分訓(xùn)練集而不是按切片隨機(jī)分另一個(gè)反復(fù)踩的點(diǎn)是數(shù)據(jù)劃分。CT 是三維 volume切片之間高度相關(guān)如果直接用隨機(jī) shuffle 把二維切片分開同一病人的相鄰切片會(huì)同時(shí)進(jìn)訓(xùn)練集和驗(yàn)證集模型等于提前“見過”驗(yàn)證圖像Dice 虛高 5 到 10 個(gè)點(diǎn)。正確做法是先按病人編號(hào)分組把一個(gè)病人的所有層整體分進(jìn)訓(xùn)練/驗(yàn)證/測試。腹部數(shù)據(jù)集中一個(gè)病人動(dòng)輒上百層按病人劃分后驗(yàn)證集通常還有幾百張圖足夠評(píng)估。增強(qiáng)這里我一般只做輕度隨機(jī)水平翻轉(zhuǎn)、旋轉(zhuǎn) ±10 度、亮度擾動(dòng)。腹部器官解剖位置固定上下翻轉(zhuǎn)會(huì)把肝臟翻到左邊違背生理結(jié)構(gòu)模型反而學(xué)偏。彈性形變對(duì)醫(yī)學(xué)圖像有用但早期不建議用FCN 上它會(huì)破壞連續(xù)邊界。增強(qiáng)操作必須在同一個(gè)隨機(jī)狀態(tài)下同時(shí)作用于 CT 和標(biāo)簽否則增強(qiáng)完標(biāo)簽就對(duì)不上。import numpy as np from scipy.ndimage import rotate def augment(img_slice, seg_slice, angle_range10): # img_slice: (1, H, W) 單通道圖像seg_slice: (H, W) 標(biāo)簽 seed np.random.randint(0, 2**32) rng np.random.default_rng(seed) if rng.random() 0.5: img_slice np.flip(img_slice, axis2) # 水平翻轉(zhuǎn) seg_slice np.flip(seg_slice, axis1) angle rng.uniform(-angle_range, angle_range) img_slice rotate(img_slice, angle, axes(2, 1), reshapeFalse, order1) seg_slice rotate(seg_slice, angle, axes(1, 0), reshapeFalse, order0) return img_slice.copy(), seg_slice.copy()邏輯說明同一個(gè)seed生成的隨機(jī)數(shù)同時(shí)決定翻轉(zhuǎn)和旋轉(zhuǎn)圖像和標(biāo)簽永遠(yuǎn)不會(huì)錯(cuò)位。圖像旋轉(zhuǎn)用一階線性插值標(biāo)簽用零階最近鄰原因和重采樣相同。reshapeFalse保證旋轉(zhuǎn)后尺寸不變不會(huì)產(chǎn)生裁剪對(duì)齊問題。參數(shù)說明angle_range10對(duì)腹部 CT 夠用超過 15 度會(huì)把器官形態(tài)拉得太畸形。如果你覺得手寫增強(qiáng)麻煩直接用 albumentations 的RandomHorizontalFlip和Rotate同時(shí)傳入image和mask兩個(gè)參數(shù)效果一樣。2.4 三維體積切成二維切片后的 Dataset 封裝FCN 的輸入是單張二維圖像CT 是幾十上百層的三維體積所以訓(xùn)練管線里必須有一個(gè)“切層”的動(dòng)作。最常見做法是沿軸狀位axial腳往頭方向看逐層切把每一層 CT 和對(duì)應(yīng)標(biāo)簽當(dāng)成一個(gè)樣本。注意要保留病人 ID 和層號(hào)否則后期做三維后處理時(shí)無法把概率圖拼回完整體積。from torch.utils.data import Dataset class AbdominalDataset(Dataset): def __init__(self, case_list, transformNone): self.items [] for case_id in case_list: ct, seg load_and_resample( fdata/ct/{case_id}.nii.gz, fdata/seg/{case_id}.nii.gz ) for z in range(ct.shape[2]): self.items.append((case_id, z, ct[:, :, z], seg[:, :, z])) self.transform transform def __len__(self): return len(self.items) def __getitem__(self, idx): _, z, ct_slice, seg_slice self.items[idx] ct_slice ct_slice[None, ...].astype(np.float32) # (1, H, W) seg_slice seg_slice.astype(np.int64) # (H, W) if self.transform is not None: ct_slice, seg_slice self.transform(ct_slice, seg_slice) return ct_slice, seg_slice邏輯說明構(gòu)造函數(shù)里提前把每個(gè)病人的每層切好放入內(nèi)存適合單機(jī)小數(shù)據(jù)量數(shù)據(jù)量大時(shí)應(yīng)該改成__init__只存路徑__getitem__再去nibabel讀取。seg_slice的 dtype 必須是int64PyTorch 的交叉熵不接受 float 類型的標(biāo)簽索引這個(gè)細(xì)節(jié)讓不少人訓(xùn)練時(shí)報(bào)錯(cuò)。3. 搭一個(gè) FCN-8sVGG16 主干、轉(zhuǎn)置卷積與損失函數(shù)3.1 為什么選 VGG16 做主干而不是白手起家或直接上 ResNetFCN 的原始實(shí)現(xiàn)基于 VGG16后續(xù)很多工作換成 ResNet 主干能拿到更高精度。但對(duì)腹部多臟器 5 分割這個(gè)任務(wù)我的建議是先把 VGG16 版本跑通。原因有三一是 VGG16 的 ImageNet 預(yù)訓(xùn)練權(quán)重遷移到醫(yī)學(xué)灰度圖上前幾層提取的低級(jí)邊緣紋理特征依然可靠二是 VGG16 結(jié)構(gòu)規(guī)整各 stage 邊界清晰做跳躍連接時(shí)不容易數(shù)錯(cuò)層數(shù)三是顯存占用相對(duì)可控256 輸入、batch 8 在單張 11G 顯卡上能跑。ResNet 的殘差結(jié)構(gòu)理論上更好但 FCN 的框架本身就是“先學(xué)會(huì)怎么上采樣”主干換得越晚調(diào)試成本越低。FCN-32s 直接對(duì)第五個(gè)池化層的輸出做 32 倍上采樣邊界非常糊FCN-16s 融合了 pool4 的 2 倍上采樣結(jié)果FCN-8s 再融合 pool3額外補(bǔ)上 4 像素級(jí)別的細(xì)節(jié)。腹部器官邊界處的灰度差本來就小我直接用 FCN-8s代價(jià)只是多兩條跳躍連接訓(xùn)練收益卻很明顯。3.2 模型定義PyTorch 手寫 FCN-8s下面是基于 torchvision VGG16 features 構(gòu)造 FCN-8s 的完整代碼。注意features是一個(gè)Sequential內(nèi)部每個(gè)模塊的下標(biāo)是固定的拆成五個(gè) stage 時(shí)不要數(shù)錯(cuò)。import torch import torch.nn as nn from torchvision.models import vgg16 class FCN8s(nn.Module): def __init__(self, n_class5, pretrainedTrue): super().__init__() features list(vgg16(pretrainedpretrained).features.children()) # VGG16 features 共 31 層按 pool 位置拆成 5 段 self.stage1 nn.Sequential(*features[:5]) # conv1 到 pool1 self.stage2 nn.Sequential(*features[5:10]) # conv2 到 pool2 self.stage3 nn.Sequential(*features[10:17]) # conv3 到 pool3 self.stage4 nn.Sequential(*features[17:24]) # conv4 到 pool4 self.stage5 nn.Sequential(*features[24:31]) # conv5 到 pool5 # 用卷積替換原 FC6 / FC7保持 4096 通道 self.conv6 nn.Conv2d(512, 4096, kernel_size7, padding3) self.relu6 nn.ReLU(inplaceTrue) self.drop6 nn.Dropout2d(0.5) self.conv7 nn.Conv2d(4096, 4096, kernel_size1) self.relu7 nn.ReLU(inplaceTrue) self.drop7 nn.Dropout2d(0.5) # 三個(gè)下采樣層各出一個(gè) 1x1 分類頭 self.score_pool3 nn.Conv2d(256, n_class, 1) self.score_pool4 nn.Conv2d(512, n_class, 1) self.score_pool5 nn.Conv2d(4096, n_class, 1) # 兩個(gè) 2 倍轉(zhuǎn)置卷積 一個(gè) 8 倍轉(zhuǎn)置卷積 self.upsample2 nn.ConvTranspose2d(n_class, n_class, kernel_size4, stride2, padding1) self.upsample_pool4 nn.ConvTranspose2d(n_class, n_class, kernel_size4, stride2, padding1) self.upsample8 nn.ConvTranspose2d(n_class, n_class, kernel_size16, stride8, padding4) def forward(self, x): pool1 self.stage1(x) # H/2 pool2 self.stage2(pool1) # H/4 pool3 self.stage3(pool2) # H/8 pool4 self.stage4(pool3) # H/16 pool5 self.stage5(pool4) # H/32 v self.relu6(self.conv6(pool5)) v self.drop6(v) v self.relu7(self.conv7(v)) v self.drop7(v) s5 self.score_pool5(v) # H/32, n_class s5 self.upsample2(s5) # H/16, n_class s4 self.score_pool4(pool4) # H/16, n_class # 對(duì)齊最后一像素 s5 s5 s4[:, :, :s5.size(2), :s5.size(3)] s4 self.upsample_pool4(s5) # H/8, n_class s3 self.score_pool3(pool3) # H/8, n_class s4 s4 s3[:, :, :s4.size(2), :s4.size(3)] out self.upsample8(s4) # H, n_class return out邏輯說明前向里所有尺寸按輸入 256 假定如果輸入不是 256 的整數(shù)倍最后一兩個(gè)像素會(huì)出現(xiàn) 1 像素差切片對(duì)齊是通用保險(xiǎn)手段。stage 拆分嚴(yán)格對(duì)應(yīng) VGG16 features 的 31 層想換 ResNet 時(shí)把 features 換成 resnet50 的 layer1layer4再在 score head 上做對(duì)應(yīng)通道數(shù)替換。參數(shù)說明conv6的kernel_size7保留了原 FC6 的大感受野padding3保證特征圖尺寸不變?nèi)齻€(gè) score head 都是 1x1 卷積本質(zhì)是在每個(gè)空間位置對(duì)特征做類別打分。upsample8的kernel_size16與stride8配合輸出尺寸滿足out (in - 1) * stride kernel - 2 * padding。輸入改成 512 時(shí) kernel 和 padding 不用改顯存會(huì)翻 4 倍。3.3 損失函數(shù)交叉熵極易偏向大器官腹部多臟器分割最典型的現(xiàn)象是“肝臟分割很好胃和胰腺幾乎為零”。原因是背景、肝臟、脾臟占了訓(xùn)練樣本里絕大多數(shù)像素普通交叉熵會(huì)把梯度集中在大類別上。我通常用 Dice Loss 和交叉熵的組合并對(duì)小器官類別額外加權(quán)重這個(gè)思路在 fcn 語義分割模型里同樣適用。import torch.nn.functional as F class DiceCEWithWeights(nn.Module): def __init__(self, n_class5, class_weightsNone, smooth1.0): super().__init__() if class_weights is None: class_weights torch.tensor([0.1, 1.0, 1.0, 1.5, 1.5]) self.class_weights class_weights self.smooth smooth self.n_class n_class def forward(self, pred, target): # pred: (B, C, H, W) logitstarget: (B, H, W) long prob F.softmax(pred, dim1) target_onehot F.one_hot(target, self.n_class).permute(0, 3, 1, 2).float() inter (prob * target_onehot).sum(dim(2, 3)) union prob.sum(dim(2, 3)) target_onehot.sum(dim(2, 3)) dice (2.0 * inter self.smooth) / (union self.smooth) # 按類別權(quán)重累加背景 0 給最小權(quán)重 dice_loss (self.class_weights.to(pred.device) * (1 - dice)).mean() ce F.cross_entropy(pred, target, weightself.class_weights.to(pred.device)) return ce dice_loss邏輯說明one-hot 在通道維展開Dice 逐類計(jì)算背景權(quán)重給 0.1避免背景主導(dǎo)肝臟、脾臟給 1.0胃和胰腺給 1.5。交叉熵同時(shí)用 weight 加權(quán)。這個(gè)設(shè)計(jì)在訓(xùn)練初期能明顯改善小器官的召回率。參數(shù)說明class_weights要根據(jù)實(shí)際標(biāo)簽里各類像素占比重新統(tǒng)計(jì)通用做法是統(tǒng)計(jì)占比后取倒數(shù)再歸一化。smooth1.0是平滑項(xiàng)防止分母為零。target不能是 one-hot 后的 float交叉熵只接受類索引的 long 張量。訓(xùn)練循環(huán)部分和優(yōu)化器選擇核心就三行optimizer torch.optim.SGD(model.parameters(), lr0.001, momentum0.9, weight_decay1e-4) criterion DiceCEWithWeights(n_class5) model FCN8s(n_class5).cuda()SGD比 Adam 更容易穩(wěn)定收斂到平坦最優(yōu)點(diǎn)配合 poly 學(xué)習(xí)率衰減lr * (1 - iter/total)^0.9用 60 到 100 個(gè) epoch。如果發(fā)現(xiàn)訓(xùn)練震蕩先把lr降到 3e-4別的先別動(dòng)。4. 訓(xùn)練、調(diào)參與排查從顯存爆炸到標(biāo)簽錯(cuò)位的四個(gè)翻車現(xiàn)場4.1 訓(xùn)練參數(shù)速查表下面這組默認(rèn)參數(shù)在單張 11G 顯存上能穩(wěn)定跑通參數(shù)取值說明輸入尺寸256x256保留腹部實(shí)質(zhì)器官輪廓的最小尺寸batch size8小于 4 時(shí) BN 不穩(wěn)定優(yōu)化器SGD, momentum0.9比 Adam 更容易收斂初始學(xué)習(xí)率1e-3配 poly 衰減訓(xùn)練輪數(shù)60~100驗(yàn)證集 Dice 不再上升即停數(shù)據(jù)增強(qiáng)水平翻轉(zhuǎn) / 旋轉(zhuǎn)±10° / 亮度±20%禁止上下翻轉(zhuǎn)損失權(quán)重0.1 / 1.0 / 1.0 / 1.5 / 1.5按各類像素比例調(diào)整訓(xùn)練驗(yàn)證劃分按病人嚴(yán)禁按切片隨機(jī) shuffle監(jiān)控指標(biāo)建議每 epoch 打印每個(gè)類別的 Dice而不是只看平均 Dice。平均 Dice 會(huì)被肝脾拉高小器官翻車時(shí)根本看不出來。訓(xùn)練節(jié)奏上前 10 個(gè) epoch 總 loss 應(yīng)明顯下降Dice 從 0.2 附近爬到 0.7 左右如果 loss 降而 Dice 不動(dòng)先檢查標(biāo)簽是不是大部分都是背景。4.2 顯存不足batch 調(diào)到 2 仍然爆顯存現(xiàn)象輸入 512、batch 2加載模型后直接報(bào) CUDA out of memory。原因VGG16 的conv6是 4096 通道的 7x7 卷積特征圖通道數(shù)大顯存峰值出現(xiàn)在上采樣前的分類頭附近。不是模型寫錯(cuò)是容量設(shè)計(jì)超過了顯存。解決先把輸入降到 256batch 設(shè)為 8還不夠就用梯度累積每 4 個(gè) batch 更新一次參數(shù)模擬 batch 32。最后才是換 ResNet 主干降低通道數(shù)。torch.cuda.empty_cache()釋放不了顯存中被 PyTorch 緩存分配器占用的塊換參數(shù)后重啟訓(xùn)練腳本通常更有效。4.3 驗(yàn)證集 Dice 虛高換新病人就掉點(diǎn)現(xiàn)象按切片隨機(jī)劃分訓(xùn)練 10 個(gè) epoch 驗(yàn)證集肝臟 Dice 0.97換一個(gè)新病人測試掉到 0.85。原因同一病人的相鄰切片被同時(shí)分進(jìn)訓(xùn)練集和驗(yàn)證集相鄰層幾乎就是復(fù)制粘貼模型提前看到了驗(yàn)證分布。這是腹部數(shù)據(jù)集最容易出現(xiàn)的“虛假高分”比過擬合更難發(fā)現(xiàn)。解決在 2.3 節(jié)已經(jīng)強(qiáng)調(diào)過按case_id整體劃分。把劃分代碼放在預(yù)處理最前面打印每個(gè)集合的病人 ID 確認(rèn)沒有重疊。我第一版訓(xùn)練時(shí)驗(yàn)證集“完美”后來按病人重劃分直接掉了 5 個(gè)點(diǎn)那以后我再也不敢隨機(jī)切了。4.4 小器官 Dice 接近 0胃和胰腺全是噪點(diǎn)現(xiàn)象背景、肝臟、脾臟 Dice 正常胃和胰腺的預(yù)測結(jié)果全是散落噪點(diǎn)。原因小器官像素占比可能只有 1%普通交叉熵的梯度被大器官和背景淹沒模型根本不敢預(yù)測小類別。解決換成 3.3 節(jié)的 DiceCE 加權(quán)損失batch size 調(diào)大讓每個(gè) batch 盡量包含多個(gè)含小器官的切片訓(xùn)練前統(tǒng)計(jì)每類像素占比如果胃和胰腺確實(shí)太低對(duì)小器官切片做 3 倍過采樣比單純調(diào)權(quán)重更直接。4.5 標(biāo)簽錯(cuò)位所有預(yù)測邊界整體外擴(kuò)現(xiàn)象預(yù)測邊界比真實(shí)標(biāo)簽向外擴(kuò)一圈每個(gè)器官都一樣。原因CT 和 seg 的zoom因子不一致或者重采樣后沒有重新對(duì)齊尺寸。訓(xùn)練初期如果不做可視化這類系統(tǒng)性誤差很難發(fā)現(xiàn)。解決檢查load_and_resample里兩個(gè)文件是否用了同一組 zoom 因子在每個(gè) epoch 開始前隨機(jī)抽 3 張圖把 CT 和標(biāo)簽疊加可視化?？床坏竭@一步后面的調(diào)參全是玄學(xué)?？梢暬梢院唵斡胮lt.imshow(ct_slice, cmapgray)再疊一條標(biāo)簽輪廓。4.6 上采樣出現(xiàn)棋盤格紋理現(xiàn)象輸出概率圖有規(guī)則的棋盤格狀紋理疊加在器官邊界上。原因轉(zhuǎn)置卷積的 kernel 重疊不均勻stride 和 kernel 大小搭配不當(dāng)尤其是最后 8 倍上采樣時(shí)放大倍數(shù)大棋盤格更明顯。解決把最后的upsample8替換成nn.Upsample(scale_factor8, modebilinear, align_cornersTrue)前兩個(gè) 2 倍上采樣保留轉(zhuǎn)置卷積。棋盤格對(duì) Dice 影響不大但會(huì)干擾后期三維重建和臨床展示。5. 評(píng)估指標(biāo)、CRF 后處理與遷移到自己的數(shù)據(jù)5.1 用每類 Dice 和 mIoU 代替“整體準(zhǔn)確率”像素準(zhǔn)確率在這種嚴(yán)重類別不平衡的任務(wù)里沒有任何參考價(jià)值背景占 90% 的時(shí)候一直預(yù)測背景也有 90% 的準(zhǔn)確率。我習(xí)慣每類分別算 Dice再算排除背景后的 mIoUdef compute_dice(pred, target, n_class5): dice_per_class [] for c in range(1, n_class): p (pred c) t (target c) inter (p t).sum() union p.sum() t.sum() dice_per_class.append((2.0 * inter 1e-6) / (union 1e-6)) return dice_per_class def compute_miou(pred, target, n_class5): ious [] for c in range(1, n_class): p (pred c) t (target c) inter (p t).sum() union (p | t).sum() ious.append(inter / (union 1e-6)) return np.mean(ious)邏輯說明背景類不參與計(jì)算因?yàn)樗急忍邥?huì)稀釋指標(biāo)。評(píng)估時(shí)用測試集所有切片的預(yù)測結(jié)果在像素級(jí)累計(jì)再計(jì)算每類 Dice而不是對(duì)每張圖算完再取平均后者會(huì)被切片數(shù)量平衡掉權(quán)重。5.2 CRF 后處理在腹部 CT 上收益有限早期語義分割教程普遍推薦 DenseCRF 做后處理但我在腹部 CT 上的經(jīng)驗(yàn)是收益很小甚至翻車。腹部器官邊界不是顏色突變而是灰度漸變CRF 的依據(jù)是“相鄰像素強(qiáng)度接近則標(biāo)簽一致”它會(huì)把本來就是漸變的器官邊界“糊”得更平。如果預(yù)測圖有破碎噪聲先試 3x3 或 5x5 中值濾波無效再考慮 CRF做 CRF 時(shí) pairwise 項(xiàng)權(quán)重從 3 起步別一上來就調(diào)到 10。5.3 遷移到新數(shù)據(jù)集的最小改動(dòng)路徑換一個(gè)腹部數(shù)據(jù)集時(shí)改動(dòng)的順序應(yīng)該是標(biāo)簽映射、窗寬窗位、重采樣 spacing、類別權(quán)重統(tǒng)計(jì)backbone 預(yù)訓(xùn)練權(quán)重可以保留。數(shù)據(jù)量少時(shí)先凍結(jié) stage1stage3 只訓(xùn)練 score head 和上采樣層驗(yàn)證集 Dice 開始上升后再解凍全部層學(xué)習(xí)率同步降到 1e-4。一個(gè)有用的習(xí)慣是把每個(gè)病人的預(yù)處理結(jié)果CT 和標(biāo)簽疊加導(dǎo)出一批 PNG 存到debug/目錄換數(shù)據(jù)集時(shí)先看這幾十張圖再動(dòng)手訓(xùn)練。評(píng)估時(shí)把每個(gè) case 的每層 Dice 畫成曲線能直觀看出模型是在哪一層、哪個(gè)器官開始?jí)牡?。這個(gè)方向值不值得投入取決于你手頭數(shù)據(jù)的標(biāo)注質(zhì)量。FCN 8s 不是精度天花板但它是把數(shù)據(jù)管線、損失設(shè)計(jì)和評(píng)估流程扎穩(wěn)的底座底座穩(wěn)了后面換 U-Net、換 Transformer 都是一兩天的事。我第一版訓(xùn)練吃了按切片隨機(jī)分的虧得到一個(gè)虛假的 0.93 Dice后來按病人重劃分掉到 0.87從那以后預(yù)處理每一步都必須可視化看不見的邊界偏移和標(biāo)簽錯(cuò)位一定會(huì)變成訓(xùn)練后的事后后悔藥。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取