1. 搭建開發(fā)環(huán)境與準備數據集1.1 先想清楚框架選型為什么我這次用 PyTorch圖像分類是深度學習里最典型、也最適合上手的任務類型。你在網上隨便一搜這類項目遍地都是但絕大多數教程要么停留在理論層面要么代碼貼了滿屏卻跑不通。這次我拿模擬項目X的實戰(zhàn)過程來做演示從環(huán)境搭建一直帶到模型推理把每個環(huán)節(jié)里的為什么講清楚。框架選型上PyTorch 和 TensorFlow 各自都有龐大的用戶群我這次選 PyTorch 不是因為它比 TensorFlow 高級而是因為在圖像分類這個場景里PyTorch 的動態(tài)計算圖太適合初學者做調試。你在訓練過程中想打印某一層的輸出、想臨時改一下網絡結構都不用重構整個計算圖。加上 torchvision 里直接集成了 CIFAR-10、ImageNet 這類經典數據集的下載接口也有預訓練模型權重做遷移學習非常順手。TensorFlow 當然也能做但 Keras 高層 API 封裝太嚴很多內部機制被隱藏掉了對想深入理解訓練過程的人來說不如 PyTorch 直觀。我這里強調一下版本問題。PyTorch 的 API 在不同版本之間偶有變動比如舊版本的torchvision.transforms里某些函數在新版本已經改了位置。我這次用的是 2.x 版本理論上 1.12 以上都兼容但如果你裝的是很老的版本遇到 API 不存在或者參數對不上的報錯不要懷疑是自己的代碼寫錯了先查一下版本。習慣上我會用pip show torch確認當前版本。1.2 安裝依賴最小可運行環(huán)境裝環(huán)境不需要裝一堆亂七八糟的包最小集合就四個torch、torchvision、numpy、matplotlib。分類任務里 matplotlib 不是必須的但后期看損失曲線、可視化預測結果時沒有它就很痛苦。pip install torch torchvision numpy matplotlib如果你有 NVIDIA 顯卡建議裝 CUDA 版本的 PyTorch。安裝前先用命令nvidia-smi看一下支持的 CUDA 版本然后去 PyTorch 官網選對應的安裝命令。沒有顯卡也不用擔心CPU 版本能跑只是訓練慢一些。我最初跑項目時就是純 CPU 機器CIFAR-10 一個 epoch 要接近兩分鐘雖然慢但對理解訓練流程完全夠用。真實項目里我見過不少人花大量時間折騰 GPU 環(huán)境其實一個簡單的分類任務CPU 也完全能撐到模型收斂頂多多等一會兒。裝完之后寫三行代碼驗證是否安裝成功import torch import torchvision print(torch.__version__) print(torch.cuda.is_available())如果打印出版本號環(huán)境就算就緒。cuda.is_available()返回 False 不代表失敗只是說明當前機器沒有可用的 GPU。1.3 數據集準備自己整理一個貓狗分類數據目錄很多人一上來就直接調用torchvision.datasets.CIFAR10這當然是最省事的方式。但我建議真正的實戰(zhàn)項目還是自己整理一份圖片數據集因為工作里遇到的絕大多數情況都是你自己的圖片需要手動把數據組織成模型能吃的格式。我這次用的是某公開數據集里的貓狗圖片大概 25000 張。目錄結構如下data/ train/ cat/ cat_0001.jpg cat_0002.jpg dog/ dog_0001.jpg val/ cat/ cat_0001.jpg dog/ dog_0001.jpg這個結構看似簡單但它是 torchvision 的ImageFolder直接支持的格式。ImageFolder會自動把每個子目錄當作一個類別目錄名會變成標簽的索引。所以你的目錄命名一定要起對標簽名就是最終的分類類別。數據劃分的比例上我習慣按 8:2 拆訓練集和驗證集。這里有個經驗驗證集的圖片不要從訓練集里復制應該從原始數據里獨立抽樣保證驗證集和訓練集的圖片沒有任何重疊。如果訓練集和驗證集有相同圖片驗證集的準確率就會虛高看起來 99% 的模型上線后可能連 80% 都不到。dataset torchvision.datasets.ImageFolder( root./data, transformtransform ) train_size int(0.8 * len(dataset)) val_size len(dataset) - train_size train_dataset, val_dataset torch.utils.data.random_split( dataset, [train_size, val_size] )這段代碼中random_split是隨機劃分的但它打亂的是索引而不是圖片本身所以圖片不會重復出現(xiàn)在兩個集合中。如果你需要更精細的控制比如確保每類圖片在訓練集和驗證集中的比例都接近 8:2就需要用分層采樣的方式。不過對于大多數分類任務整體 8:2 的比例已經足夠了。2. 數據預處理與數據增強2.1 歸一化為什么要用固定的均值和方差圖像分類的第一步是數據預處理這個環(huán)節(jié)看起來不起眼但對最終準確率的影響非常大。預處理里最關鍵的一步是歸一化。一個常見的誤區(qū)是以為歸一化就是把像素值從 [0, 255] 縮放到 [0, 1]。沒錯這個過程是縮放但真正專業(yè)的做法是用每個通道的均值和標準差做標準化。標準化公式是x_norm (x - mean) / std為什么不能只做簡單的 [0,1] 縮放因為自然圖像的 RGB 三個通道的像素分布并不是均勻的。比如在貓狗照片里綠色通道的均值通常低于紅色通道直接用 [0,1] 縮放會讓網絡在初始階段對不同通道的響應不夠均衡。使用固定均值和標準差后每個通道的像素分布都被拉成標準正態(tài)分布輸入數據的尺度趨于一致網絡收斂速度會明顯加快。torchvision 里對在 ImageNet 上預訓練的模型標準做法是transform_normalize torchvision.transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] )這三個均值和標準差是從 ImageNet 數據集統(tǒng)計出來的。如果你用的是 torchvision 提供的預訓練權重那就必須用這一組數值否則遷移學習的效果會大打折扣。如果你是自己從零訓練模型理論上可以自己統(tǒng)計數據集的均值和方差但絕大多數人直接用 ImageNet 的那組數值也能取得不錯的效果。2.2 transforms.Compose 中的順序陷阱transforms.Compose是 torchvision 提供的串聯(lián)預處理操作的工具。我把訓練集和驗證集分別定義成兩套不同的預處理流程。訓練集完整配置train_transform torchvision.transforms.Compose([ torchvision.transforms.RandomResizedCrop(224), torchvision.transforms.RandomHorizontalFlip(), torchvision.transforms.ColorJitter( brightness0.2, contrast0.2, saturation0.2 ), torchvision.transforms.ToTensor(), torchvision.transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ])驗證集配置val_transform torchvision.transforms.Compose([ torchvision.transforms.Resize(256), torchvision.transforms.CenterCrop(224), torchvision.transforms.ToTensor(), torchvision.transforms.Normalize( mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225] ) ])這里有個很關鍵但容易被忽略的點驗證集不能做隨機增強操作。有人圖省事直接給驗證集也套了RandomHorizontalFlip導致每次驗證的結果都不一樣評估指標不穩(wěn)定最終模型的好壞完全沒法判斷。RandomResizedCrop也一樣它是隨機裁剪你每次跑驗證時輸入模型的圖片內容都不同驗證集就失去了穩(wěn)定衡量模型能力的意義。另一個需要注意的點是ToTensor()必須放在Normalize()之前。ToTensor會把 PIL Image 或 numpy 數組轉成 0-1 之間的浮點數張量Normalize才能在這個基礎上做標準化。順序反了會直接報錯。2.3 Dataset 與 DataLoader 的參數細節(jié)DataLoader是 PyTorch 里負責批量喂數據的工具。它的參數里batch_size的選擇會直接影響訓練效果和顯存占用shuffle只在訓練集上設為 Truenum_workers控制子進程數量。以我這次的貓狗分類為例我用的是 64 的 batch size。這個數值不是拍腦袋定的取決于顯存大小和單張圖片的尺寸。輸入圖片是 224×224ResNet18 在 12GB 顯存下可以跑到 128但 64 更穩(wěn)妥。batch size 太小比如 8 或 16梯度更新頻率高訓練過程會很震蕩模型不容易收斂batch size 太大比如 256 或 512每個 epoch 的步數少模型的泛化能力可能變弱。64 是個在多數任務上都不太會翻車的中間值。num_workers的值我最常用的是 4。如果你的機器性能一般也可以設 2甚至 0表示用主進程直接加載。設成 8 不一定更快因為進程調度本身也有開銷而且 Windows 環(huán)境下如果把num_workers設成非 0 值在 Jupyter 里跑經常會遇到重復導入的問題。train_loader torch.utils.data.DataLoader( train_dataset, batch_size64, shuffleTrue, num_workers4, pin_memoryTrue ) val_loader torch.utils.data.DataLoader( val_dataset, batch_size64, shuffleFalse, num_workers4, pin_memoryTrue )pin_memoryTrue是給 GPU 訓練提速用的它讓數據存儲在鎖頁內存里從 CPU 復制到 GPU 的傳速更快。如果使用 CPU 訓練這個參數沒什么意義。這里還有一個隱藏細節(jié)驗證集的shuffleFalse很重要。除了保證驗證結果穩(wěn)定之外后續(xù)分析錯誤樣本時你還需要知道模型預測錯的是哪些圖、原標簽是什么。如果驗證集被打亂了你很難把預測結果和原始圖片對應起來做可視化分析。3. 搭建模型并跑通訓練流程3.1 從零訓練還是用預訓練模型搭建模型的思路分兩條路從零訓練一個 CNN或者用 ImageNet 上預訓練好的模型做遷移學習。對新人來說我建議兩條路都走一遍先搭一個小 CNN 走通全流程再用 ResNet18 做遷移學習對比兩者的差距。一個最簡單的 CNN 結構是這樣import torch.nn as nn class SimpleCNN(nn.Module): def __init__(self, num_classes2): super().__init__() self.features nn.Sequential( nn.Conv2d(3, 32, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), nn.Conv2d(64, 128, kernel_size3, padding1), nn.ReLU(inplaceTrue), nn.MaxPool2d(2, 2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(128 * 28 * 28, 256), nn.ReLU(inplaceTrue), nn.Dropout(0.5), nn.Linear(256, num_classes) ) def forward(self, x): return self.classifier(self.features(x))這個結構里卷積層負責提取圖像特征全連接層負責把特征映射到類別。第一次跑的時候你會把大量時間花在調參上最終準確率可能只有 70%-80%。這很正常從零訓練需要大量數據和算力你的數據量和算力都不足以撐起一個非常有表達能力的網絡。用預訓練模型做遷移學習才是效率最高的方案。torchvision 里有很多現(xiàn)成的模型如 ResNet18、ResNet50、MobileNetV3、EfficientNet 等。ResNet18 算是輕量與效果平衡的最佳選擇。核心操作是替換最后一層全連接層讓輸出維度等于你的類別數import torchvision.models as models model models.resnet18(pretrainedTrue) num_features model.fc.in_features model.fc nn.Linear(num_features, 2)這里的關鍵是pretrainedTrue它會把在 ImageNet1000 類上訓練好的權重加載進來。ImageNet 覆蓋了貓、狗等多個類別的通用特征所以預訓練模型已經有很強的特征提取能力你只需要讓它適應貓狗二分類。通常準確率能輕松到 95% 以上。3.2 訓練的核心配置損失函數、優(yōu)化器與學習率圖像分類常用的損失函數是交叉熵損失CrossEntropyLoss。你不需要在前向傳播里單獨加 Softmax 激活函數nn.CrossEntropyLoss內部已經融合了 Softmax 和損失計算。使用的時候就一行criterion nn.CrossEntropyLoss()這里有個細節(jié)模型輸出的是類別數維度的 logits不是概率損失函數內部會對它做 Softmax 變換所以不要在最后一層再接額外的 Softmax。如果你在模型末尾加了 Softmax訓練時就會發(fā)現(xiàn)損失值很奇怪、收斂極慢因為梯度在 Softmax 那里被壓縮了。優(yōu)化器我用過最多的組合是 Adam 和帶動量的 SGD。對新手我推薦先試 Adam因為它對學習率不那么敏感。踩過坑的經驗是Adam 的默認學習率 0.001 在大多數分類任務上都能跑出不錯的效果而 SGD 需要配合學習率調度才能發(fā)揮威力。optimizer torch.optim.Adam( model.parameters(), lr1e-3, weight_decay1e-4 )weight_decay是 L2 正則化項它防止模型過擬合。如果訓練集不大幾千張圖我建議加上。常用值是 1e-4 或 5e-4。如果要用 SGD歷史代碼里最常見的組合是optimizer torch.optim.SGD( model.parameters(), lr1e-2, momentum0.9, weight_decay1e-4 )SGD 的收斂精度通常比 Adam 高一些但對學習率的要求更苛刻。我的建議是先把 Adam 跑通、拿到一個不錯的基線再換 SGD 試試能不能進一步提升。不要一開始就兩邊調參否則工作量直接翻倍。另外學習率調度器建議從一開始就加上。最常見的兩個是StepLR和ReduceLROnPlateau。前者是每隔固定 epoch 數對學習率做衰減后者是當驗證損失不再下降時自動調低學習率。我更常用ReduceLROnPlateau因為它的自適應程度更高。scheduler torch.optim.lr_scheduler.ReduceLROnPlateau( optimizer, modemin, factor0.1, patience3 )含義是連續(xù) 3 個 epoch 驗證損失不下降就把學習率乘以 0.1。這樣你不用手動盯學習率模型基本能自己找到合適的區(qū)間。3.3 訓練循環(huán)train/eval 模式切換是硬性要求訓練循環(huán)的框架可以固定成下面這個模式。這里有一個特別容易踩的坑訓練時模型要切換成訓練模式驗證時一定要切換成評估模式。for epoch in range(20): model.train() train_loss 0.0 for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() train_loss loss.item() # 驗證階段 model.eval() correct 0 total 0 with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) total labels.size(0) correct (predicted labels).sum().item() val_acc 100 * correct / total print(fEpoch {epoch1}, Loss: {train_loss/len(train_loader):.4f}, Val Acc: {val_acc:.2f}%) scheduler.step(val_loss)先解釋model.train()和model.eval()這兩個模式切換。它們的關鍵影響在于模型的 Dropout 和 BatchNorm 層行為完全不同。train()模式下 Dropout 會隨機丟棄一部分神經元BatchNorm 會使用當前 batch 的統(tǒng)計量eval()模式下 Dropout 被關閉BatchNorm 使用訓練階段累計的全局統(tǒng)計量。如果你驗證時忘記切換成eval()驗證集的準確率會忽高忽低甚至出現(xiàn)嚴重偏差。這個問題我在初學階段至少踩過三次每次都會浪費大量時間去排查為什么驗證集效果差。optimizer.zero_grad()必須放在每輪迭代前面。PyTorch 默認會累加梯度如果不清零上一 batch 的梯度會疊加到當前 batch 上導致參數更新方向完全錯誤。有人問既然默認累加是不是也有好處確實在個別特殊場景里有人故意不清零梯度的寫法但圖像分類任務不要這么干。驗證階段用torch.no_grad()包住迭代循環(huán)意思是這一階段不需要計算梯度。這樣做能顯著減少內存占用和計算量。如果你不小心漏了這一步你的顯存會在跑驗證時暴漲甚至直接 OOMOut Of Memory。有些人遇到 OOM 以為是 batch size 太大實際原因是沒有關閉梯度計算。訓練循環(huán)里我習慣每輪都打印訓練損失和驗證準確率。損失值的走勢能直接反映訓練狀態(tài)如果訓練損失持續(xù)下降但驗證準確率不再上升甚至下降說明模型開始過擬合可以考慮更早?；蛘呒訌姅祿鰪姟?.4 訓練過程中怎么判斷模型狀態(tài)盯著終端的輸出不要只是看一眼準確率數字就完了。幾個常見的狀態(tài)信號訓練損失穩(wěn)步下降驗證準確率也在同步上升這是最健康的狀態(tài)。你什么都不用動讓它繼續(xù)跑。訓練損失下降很快驗證準確率卻停滯不前甚至下降。這是典型的過擬合信號。解決辦法有三條增強數據增強的強度比如加RandomRotation或RandomAffine加大weight_decay提前停掉訓練。訓練損失在某個數值附近震蕩不下降。這可能是學習率太大或者輸入數據的預處理有問題比如圖片噪聲過大、歸一化的順序錯了?？梢栽囍褜W習率調低一個數量級再看看。訓練損失一開始就非常低比如降到 0.001 以下且驗證準確率很高這看起來很好但也要警惕。如果訓練集和驗證集分布不一致這種情況可能是模型學到了某些捷徑比如依賴圖片的背景、水印等非語義特征。做一次錯誤可視化分析就能發(fā)現(xiàn)這個問題。在這個階段我通常還會順手看一下模型預測的置信度分布。用torch.softmax(outputs, dim1)得到概率值再看看最高概率的平均值。如果模型對所有樣本都給出接近 1.0 的置信度很可能模型過擬合了如果置信度普遍在 0.5-0.7 之間徘徊說明模型的區(qū)分能力還不強。4. 評估模型與預測新圖片4.1 準確率不夠補充更多指標很多人訓練完模型只看準確率。單看一個指標很容易被誤導特別是當你面對一個類別不平衡的數據集時。比如 95% 的圖片都是狗模型只需要全部預測成狗就能拿到 95% 的準確率但這顯然不是一個好模型。所以除了準確率我還建議算一下精確率Precision、召回率Recall和 F1-score。這幾個指標在sklearn里有現(xiàn)成實現(xiàn)from sklearn.metrics import classification_report y_true [] y_pred [] model.eval() with torch.no_grad(): for images, labels in val_loader: images, labels images.to(device), labels.to(device) outputs model(images) _, predicted torch.max(outputs, 1) y_true.extend(labels.cpu().numpy()) y_pred.extend(predicted.cpu().numpy()) print(classification_report(y_true, y_pred, target_names[cat, dog]))拿到的報告會顯示每一類的精確率和召回率。簡單解釋一下精確率表示模型預測為貓的樣本中有多少確實是貓召回率表示所有真正的貓中有多大比例被模型正確找了出來。F1-score 是這兩者的調和平均。我這次跑出來的初始模型貓的召回率明顯低于狗的召回率原因是訓練集里狗的圖片比貓多。解決方式有兩個方向一是給少數類樣本過采樣或者降低多數類樣本權重二是換一個帶類別權重的損失函數。nn.CrossEntropyLoss自帶weight參數可以傳入一個權重向量讓損失值偏向少數類。class_weights torch.tensor([1.0, 0.8]).to(device) criterion nn.CrossEntropyLoss(weightclass_weights)這樣一來模型對貓的誤判成本更高訓練時它會更主動地去學習貓的特征。4.2 混淆矩陣一眼看出模型在哪些類別上容易混淆混淆矩陣是評估分類模型最直觀的表格。在二分類任務上就是一個 2×2 的矩陣橫軸是預測標簽縱軸是真實標簽。貓狗分類的混淆矩陣可能長這樣預測為貓預測為狗真實是貓923127真實是狗45905對著這個矩陣看你能快速發(fā)現(xiàn)模型把 127 只貓誤判成了狗卻只把 45 只狗誤判成了貓。這說明模型對貓的特征捕捉能力不足。接下來要做的不是盲目調參而是去查這些被誤判的貓圖看它們是不是本身長得就不典型比如毛發(fā)顏色與狗相近、面部被遮擋、或者拍攝角度傾斜。如果要看更多類別的混淆情況可以用 seaborn 的 heatmap 畫出來但白底黑字打印矩陣就夠了。建議在調整模型過程中每一次實驗都保存一份混淆矩陣這樣你能看到調整前后的改善方向而不是只盯著一個準確率數字。4.3 保存模型與加載模型的最佳實踐訓練結束后保存模型權重是必須做的事。PyTorch 提供了兩種常見方式# 方式一推薦只保存模型參數 torch.save(model.state_dict(), cat_dog_model.pth) # 方式二保存整個模型 torch.save(model, cat_dog_model.pth)我強烈建議用方式一。只保存參數的好處是模型結構變動時權重文件依然可控而且文件的體積更小、安全性更高。裝載時你需要先實例化一個和訓練時完全一樣的模型結構再把權重灌進去model models.resnet18() num_features model.fc.in_features model.fc nn.Linear(num_features, 2) model.load_state_dict(torch.load(cat_dog_model.pth)) model.eval()如果你訓練時用了 GPU 保存在只有 CPU 的機器上加載需要在torch.load里加一個參數map_locationcpu。不加的話會遇到警告或直接報錯。加載后還有一個重要操作model.eval()。如果加載的模型后續(xù)只用于推理這一步一定要加。不切換成 eval 模式推理結果會因為 Dropout 的隨機性而產生微小波動你可能會看到同一個樣本在不同時刻的預測結果不一致。4.4 單張圖片推理的完整流程訓練完模型之后最終目的是讓模型對新圖片做預測。單獨對一張圖片進行推理看起來簡單但還是要走完預處理流程。一個最典型的錯誤是拿原始尺寸的圖片直接丟進模型導致維度不匹配的報錯。完整的推理腳本應該長這樣from PIL import Image def predict_one_image(image_path, model, class_names, device): model.eval() # 必須使用訓練時驗證集的分處理流程尤其是尺寸 transform torchvision.transforms.Compose([ torchvision.transforms.Resize(256), torchvision.transforms.CenterCrop(224), torchvision.transforms.ToTensor(), torchvision.transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) img Image.open(image_path).convert(RGB) img_tensor transform(img).unsqueeze(0).to(device) with torch.inference_mode(): outputs model(img_tensor) probabilities torch.softmax(outputs, dim1) conf, pred_idx torch.max(probabilities, dim1) return class_names[pred_idx.item()], conf.item()unsqueeze(0)的作用是增加一個 batch 維度。模型輸入的 shape 是(batch_size, channels, height, width)單張圖沒有 batch 維度所以必須手動加。這里用torch.inference_mode()而不是torch.no_grad()是 2.x 版本更推薦的寫法功能上比 no_grad 多了一些推理優(yōu)化例如不對模型參數做版本跟蹤。二者在結果上沒有差異但新代碼我統(tǒng)一用inference_mode()。另外一個需要注意的點是convert(RGB)。如果你的圖片是 RGBA 四通道或者灰度單通道不轉換為 RGB 會在ToTensor()時產生 4 通道或 1 通道數據導致和訓練時的 3 通道輸入不匹配。這個報錯信息只會在運行到模型輸入階段才會出現(xiàn)處理起來雖然簡單但沒經驗的人容易卡在這。5. 常見報錯與排查技巧5.1 維度不匹配最常見的入門勸退官不管你用什么模型做圖像分類維度不匹配的報錯幾乎一定會遇到。最常見的幾種輸入通道數不對。報錯文本大概是Expected input batch_size X to match target size Y或者 Given groups1, weight of size [32, 3, 3, 3], expected input[1, 4, 224, 224] to have 3 channels。意思就是模型期望 3 通道輸入但你給了 4 通道。查一下你的Dataset返回的張量很可能是沒有做convert(RGB)導致圖片是 RGBA 格式。全連接層的輸入維度不對。這個報錯在自定義 CNN 里非常普遍。全連接層nn.Linear需要預先指定輸入長度但這個長度取決于前面卷積層輸出特征圖的大小。224×224 的輸入經過三次 MaxPool2d(2,2) 之后邊長會變成 224 ÷ 8 28通道數是 128所以特征會展平成128 * 28 * 28。如果你把輸入圖片尺寸改成 64×64 但忘了改全連接層的輸入維度就會報錯。最簡單的解決辦法在前面加一行打印看features(x).shape的結果是多少。標簽維度是 1D 但輸出是 2D。CrossEntropyLoss接受的標簽形狀是一維的索引張量不是 one-hot 編碼。如果你手工做了 one-hot就是自己給自己找麻煩。5.2 損失值變成 NaN 的排查思路訓練過程中 loss 突然變成 NaN這種情況我第一次遇到時真的懵了好一陣。排查順序我是固定的第一步檢查輸入數據是否有 NaN。圖片像素經過歸一化后都是有限數值一般不會有 NaN但如果做了某些特殊的數據增強操作比如把像素值除以了一個錯誤的值可能出現(xiàn)問題。在訓練循環(huán)里打印一下images.min()和images.max()快速確認范圍。第二步檢查標簽是否有問題。標簽的值必須小于類別數。如果你有 3 類但標簽里有數字 4CrossEntropyLoss就會算出一個異常數值反向傳播后梯度爆炸loss 直接變成 NaN。排查方式就是對labels做一次unique統(tǒng)計。第三步檢查學習率是否過大。學習率太大參數更新步長過大可能在損失函數的陡峭區(qū)域直接跨過最小值點造成梯度爆炸。把學習率調小一個數量級從 1e-3 降到 1e-4再跑一遍。如果不再出現(xiàn) NaN問題就在學習率上。第四步也是更隱蔽的一種情況模型某層的數值范圍在訓練后期變得過大?？梢栽趽p失函數前后分別打印輸出的均值。輸出值超過 1e3 往往會導致 Softmax 在求指數時溢出。如果實在找不到原因還有一個暴力排查手段把loss.backward()替換成torch.autograd.detect_anomaly()包住整個訓練循環(huán)PyTorch 會在梯度出現(xiàn)異常的第一時間給出具體是哪一層參數出了問題的提示。注意這個方法非常消耗性能只在排查模式下使用。5.3 訓練集精度高但驗證集精度低的應對清單這是最常見的一種訓練現(xiàn)象也是一個需要區(qū)分情況的場景。如果你的訓練準確率已經到 98%但驗證準確率只有 80%說明模型過擬合了也就是模型把訓練集里的一些特殊細節(jié)記住了而沒有學到通用的分類特征。我的排查順序是先檢查驗證集的數據預處理流程。確認是否誤用了隨機強化操作。這是最容易導致驗證集偏低的原因。然后檢查模型的 Dropout 層。如果模型結構里 Dropout 率設得過高比如 0.9訓練階段模型被迫用極少的信息做分類驗證時會處于完全不同的行為模式。通常 Dropout 0.5 已經足夠。接下來檢查數據增強是否過于激進。如果訓練集圖片被旋轉到一個離譜的角度或者裁剪得只剩一小部分模型學到的特征可能無法遷移到正常的驗證圖片上。把數據增強強度降低一些比如RandomResizedCrop的scale參數從(0.08, 1.0)改成(0.5, 1.0)。最后也是最容易被忽略的一個訓練集和驗證集之間是否存在數據泄漏。比如你從整個數據集劃分時沒有打亂或者驗證集里的圖片和訓練集中有重復。這種情況表面上是過擬合實際上是評估方式不科學。5.4 訓練非常慢調優(yōu)方向在 GPU 不夠的情況下訓練慢是一件很折磨人的事。有幾個方向可以嘗試按重要程度排序。第一是檢查當前是否真的在用 GPU 訓練。如果代碼里寫了images.to(device)但 device 沒有正確設置成 cuda那模型還是跑在 CPU 上。先打印一下next(model.parameters()).device確認。第二是調小num_workers和pin_memory的組合。num_workers設得過高不會讓訓練更快反而在數據加載上浪費大量資源。num_workers2加pin_memoryTrue在大多數配置下已經足夠。第三是開啟混合精度訓練。PyTorch 里用torch.cuda.amp可以把浮點運算改成半精度速度提升明顯而且顯存占用更少。以下是最小實現(xiàn)方式scaler torch.cuda.amp.GradScaler() for images, labels in train_loader: with torch.cuda.amp.autocast(): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()不過混合精度和ReduceLROnPlateau有一點不兼容要注意scaler 可能會導致梯度的數值出現(xiàn)輕微誤差但大多數分類任務影響不大。第四是考慮用更輕量的模型。如果數據量只有幾千張ResNet50 并不會比 ResNet18 好多少但訓練時間可能多一倍。換 MobileNetV3 或 EfficientNet-B0 這類輕量模型往往能在更短的時間里達到接近的精確率。6. 進階優(yōu)化從好的結果到穩(wěn)定可用的模型6.1 微調讓預訓練模型更貼合你的數據用預訓練模型做遷移學習一般有兩種做法。第一種是上面講過的凍結所有卷積層權重只訓練最后新增的全連接層。第二種是微調Fine-tuning把預訓練模型作為初始化然后對整個網絡的所有層或者靠近分類層的若干層重新訓練。微調的關鍵在于學習率的控制。預訓練模型前面的卷積層已經學到了通用的圖像特征如果學習率太大會把這些特征直接抹掉模型退化成從頭訓練。我常用的策略是把模型參數分成兩組新加的分類頭用較高的學習率如 1e-3預訓練的卷積層用較低的學習率如 1e-4。optimizer torch.optim.Adam([ {params: model.features.parameters(), lr: 1e-4}, {params: model.classifier.parameters(), lr: 1e-3} ], weight_decay1e-4)微調還有一個注意點不要從第一個 epoch 就對所有層做全面更新。我通常的做法是先凍結所有層只訓練分類頭 3 到 5 個 epoch然后解凍最后一個卷積塊如 ResNet 的 layer4以較低學習率繼續(xù)訓練全網絡。這種漸進式的解凍方式能避免早期訓練不穩(wěn)定。6.2 平滑準確率波動交叉驗證與模型集成當數據量不很大的時候一次隨機劃分的訓練集和驗證集可能會讓結果產生較大波動。有時候你只是換了一個隨機種子準確率就從 94% 變成 96%。為了確認模型的真實水平可以做 K 折交叉驗證。我常用的是 5 折也就是把數據分成 5 份每次取其中 4 份訓練、1 份驗證重復 5 次最終準確率取 5 次結果的平均值和標準差。這樣能更客觀地評估模型穩(wěn)定性。如果你追求極致的準確率可以試一下模型集成。訓練多個不同結構的模型比如 ResNet18 MobileNetV3或者同一個模型用不同的隨機種子訓練多次推理時對所有模型的預測結果做平均投票。這個策略不一定能讓你的模型在開源榜單上提升多少但在數據集量不大、噪聲較多的情況下確實能平滑掉明顯的波動。缺點就是推理耗時增加部署時需要權衡。6.3 導出模型并部署到生產環(huán)境訓練完成之后模型還在 PyTorch 的 Python 環(huán)境里要真正在生產環(huán)境用起來還需要做一步轉化。最常見的做法是導出為 ONNX 格式。ONNX 是個開放的模型交換格式可以跑在 ONNX Runtime 上也能轉換到 TensorRT 等推理引擎。導出很簡單model.eval() dummy_input torch.randn(1, 3, 224, 224).to(device) torch.onnx.export( model, dummy_input, cat_dog_model.onnx, input_names[input], output_names[output], dynamic_axes{input: {0: batch_size}, output: {0: batch_size}} )dynamic_axes這個參數很重要。加上它之后模型的輸入 batch 維度可以變化部署時就不限制每次只能預測一張圖。導出后可以用onnxruntime進行驗證確保導出的模型和 PyTorch 原始模型輸出一致。實際部署中ONNX Runtime 的推理速度通常比 PyTorch 原生態(tài)更快尤其是在 CPU 環(huán)境里。而且它不依賴 Python 的神經網絡框架可以用 C 調用對生產環(huán)境的依賴更干凈。6.4 算力不夠時的替代方案輕量模型與量化如果你的模型最后要在嵌入式設備或者低算力環(huán)境里跑ResNet50 這種規(guī)模的網絡是不現(xiàn)實的。這時 MobileNetV3、EfficientNet-Lite 這類專為移動端設計的模型會更合適。它們在保持不錯精確率的同時把計算量壓到了很低。除了換小模型量化也是常見的優(yōu)化手段。Quantization 可以把模型的浮點權重從 FP32 壓縮到 INT8模型體積縮小為原來的四分之一推理速度卻可能提高 2 到 4 倍。PyTorch 本身就提供了量化工具接口最常用的是訓練后動態(tài)量化import torch quantized_model torch.quantization.quantize_dynamic( model, {torch.nn.Linear}, dtypetorch.qint8 ) torch.save(quantized_model.state_dict(), cat_dog_model_quantized.pth)這個操作在 CPU 上對全連接層的壓縮效果最明顯。但如果模型以卷積層為主動態(tài)量化收益有限可以考慮試一下感知訓練量化Quantization Aware Training。這條路做完模型體積和推理耗時都能顯著下降代價是需要在訓練階段就引入量化相關的計算。我在實際項目里的經驗是如果從頭到尾都要自己維護一套深度學習訓練流程最容易出問題的地方其實不在模型結構而在數據加載和預處理這些邊緣環(huán)節(jié)。這些坑雖然都不大也沒有太高深的理論但每一個都足以讓你的實驗白白跑上好幾個小時最后得到一個錯誤的結論。把這一整套流程理順之后圖像分類對你的門檻就已經被踏平了后續(xù)再往目標檢測、圖像分割這類任務上走也會順手很多。最后再分享一個小技巧實驗過程中每一次訓練結果都順手存一份帶時間戳的權重文件和對應的驗證指標。很多人訓練完就隨手把權重覆蓋了等到要對比不同方案時才發(fā)現(xiàn)找不到之前的權重只能重新訓練。做好版本管理你能省下的時間不是一個小時兩個小時而是一整天的量。