實(shí)戰(zhàn)：原理、PyTorch實(shí)現(xiàn)與調(diào)參避坑指南)
簡(jiǎn)介面向深度學(xué)習(xí)與圖像生成初學(xué)者這套壓縮包提供了生成對(duì)抗網(wǎng)絡(luò)的完整實(shí)驗(yàn)素材可用于理解生成器與判別器的對(duì)抗訓(xùn)練機(jī)制并動(dòng)手實(shí)踐圖像生成與修復(fù)。資源共二十個(gè)文件核心為一份Python源碼配合十一張不同訓(xùn)練階段的手寫(xiě)數(shù)字輸出圖可直觀觀察從噪聲到清晰樣本的生成過(guò)程另有少量工程配置與忽略文件屬于輕量級(jí)項(xiàng)目包壓縮后僅三百七十五KB便于快速部署運(yùn)行。目前已有六百四十九人學(xué)習(xí)下載適合入門(mén)者結(jié)合源碼逐行閱讀也適合在圖像恢復(fù)、數(shù)據(jù)增強(qiáng)等場(chǎng)景中作為基礎(chǔ)模板使用。包內(nèi)目錄結(jié)構(gòu)簡(jiǎn)潔代碼與結(jié)果圖分離便于對(duì)照訓(xùn)練輸出進(jìn)行復(fù)盤(pán)借助典型的卷積與反卷積層實(shí)現(xiàn)能幫助開(kāi)發(fā)者理解特征提取、批量歸一化等關(guān)鍵操作在生成任務(wù)中的實(shí)際作用尤其適合想快速跑通生成對(duì)抗網(wǎng)絡(luò)流程的讀者。1. 當(dāng)圖像恢復(fù)從“摳細(xì)節(jié)”變成“憑記憶補(bǔ)全”DCGAN 是那條更野的路你要是只用傳統(tǒng)方法做過(guò)圖像恢復(fù)大概率會(huì)遇到同一個(gè)尷尬去噪、去模糊、超分這些任務(wù)本質(zhì)都是在做“已知像素之間的插值”。遇到大面積缺失或者嚴(yán)重退化傳統(tǒng)算法只能給出一個(gè)平滑但模糊的結(jié)果因?yàn)樗牡讓蛹僭O(shè)是局部像素有連續(xù)性。但真實(shí)圖像不是這樣。一塊被劃掉的天空、一張老照片折痕下的半張臉?biāo)鼈兊男畔⒉卦谌纸Y(jié)構(gòu)里藏在“這類東西本該長(zhǎng)什么樣”的先驗(yàn)里。這正是生成對(duì)抗網(wǎng)絡(luò)擅長(zhǎng)的事生成器不是去修補(bǔ)像素而是去生成一張可信的完整圖像讓判別器分不清恢復(fù)結(jié)果和真實(shí)圖像的區(qū)別。DCGAN 作為 GAN 家族里結(jié)構(gòu)最干凈、最容易復(fù)現(xiàn)的一版成了入門(mén)圖像恢復(fù)最合適的腳手架——它讓“用深度學(xué)習(xí)補(bǔ)圖”這件事從玄學(xué)變成可調(diào)試的工程。這篇文章面向兩類人剛接觸生成對(duì)抗網(wǎng)絡(luò)、想跑通第一個(gè)完整圖像生成/恢復(fù)項(xiàng)目的學(xué)生或新人工程師以及用過(guò)傳統(tǒng)圖像恢復(fù)算法、想在深度學(xué)習(xí)方向上找一個(gè)低門(mén)檻起點(diǎn)的從業(yè)者。你會(huì)看到 DCGAN 的完整原理拆解、基于 PyTorch 的最小可運(yùn)行代碼、六個(gè)讓我翻過(guò)車的參數(shù)坑位以及最后怎么評(píng)估恢復(fù)結(jié)果而不是只看 loss 曲線。它解決的是“能用”層面的問(wèn)題——不是把 DCGAN 調(diào)成 SOTA 級(jí)恢復(fù)模型而是讓你在兩天內(nèi)跑通、看懂、并且知道下一步該往哪走。2. DCGAN 的網(wǎng)絡(luò)結(jié)構(gòu)與圖像恢復(fù)原理先搞清楚它憑什么能補(bǔ)圖2.1 生成器和判別器的對(duì)抗關(guān)系以及圖像恢復(fù)為什么需要這種對(duì)抗DCGAN 的全稱是 Deep Convolutional Generative Adversarial Network核心思想不是一個(gè)網(wǎng)絡(luò)而是兩個(gè)網(wǎng)絡(luò)互相博弈。生成器 G 的任務(wù)是輸入一個(gè)隨機(jī)噪聲向量 z輸出一張偽造圖像判別器 D 的任務(wù)是判斷輸入圖像是真的來(lái)自訓(xùn)練集還是 G 生成的偽圖。訓(xùn)練過(guò)程就是讓 G 越來(lái)越擅長(zhǎng)騙 D讓 D 越來(lái)越擅長(zhǎng)識(shí)破 G。這個(gè)對(duì)抗的過(guò)程最終會(huì)讓 G 學(xué)會(huì)訓(xùn)練集圖像的分布——它不再記住某幾張具體圖片而是理解了“這類圖像長(zhǎng)什么樣”。圖像恢復(fù)任務(wù)和純圖像生成有個(gè)關(guān)鍵區(qū)別生成是從純?cè)肼暢霭l(fā)沒(méi)有任何約束恢復(fù)是給了一張退化圖像需要在“保持已知信息”和“補(bǔ)充未知信息”之間做權(quán)衡。所以用在恢復(fù)任務(wù)上時(shí)DCGAN 的生成器輸入不再是純?cè)肼暥峭嘶瘓D像本身或者“退化圖像 噪聲”的拼接。目標(biāo)從“生成一張看起來(lái)真實(shí)的圖”變成“生成一張看起來(lái)真實(shí)、并且保留原圖已知區(qū)域細(xì)節(jié)的圖”。這里有個(gè)值得想明白的點(diǎn)為什么 MSE 損失訓(xùn)練出來(lái)的恢復(fù)模型不夠用用 L2 損失訓(xùn)練的模型傾向于生成模糊結(jié)果——因?yàn)榘严袼仡A(yù)測(cè)成中間值能降低平均誤差但圖像的主觀質(zhì)量極差邊緣是糊的、紋理被抹平了。GAN 的對(duì)抗損失不直接比較像素而是讓判別器學(xué)會(huì)圖像級(jí)別的真實(shí)感判斷這逼著生成器去制造銳利的邊緣和合理的紋理。你可以在最終損失里同時(shí)保留 L2 和對(duì)抗損失讓恢復(fù)結(jié)果既貼近原始像素、又具備真實(shí)感。2.2 DCGAN 的四個(gè)關(guān)鍵結(jié)構(gòu)約束為什么卷積 GAN 非得這么搭DCGAN 在原始 GAN 的基礎(chǔ)上提出了四類結(jié)構(gòu)約定這四類約定直接影響圖像恢復(fù)任務(wù)的穩(wěn)定性和質(zhì)量。第一生成器里用轉(zhuǎn)置卷積做上采樣不用池化。轉(zhuǎn)置卷積或者叫反卷積能把低分辨率的特征圖逐步放大到目標(biāo)尺寸。判別器里用帶步長(zhǎng)的卷積做下采樣也不做池化。前后使用相同的步長(zhǎng)策略可以避免梯度在池化層附近變得稀疏。第二除了生成器最后一層用 Tanh、判別器第一層輸入不做 BN其余所有層都做批歸一化Batch Normalization。BN 的用途是讓每層輸入分布盡量一致避免訓(xùn)練中途分布漂移導(dǎo)致某個(gè)生成器或判別器突然占上風(fēng)。第三判別器內(nèi)部全部使用 LeakyReLU 激活斜率設(shè)為 0.2避免生成器那邊 ReLU 把負(fù)值全部截?cái)鄬?dǎo)致梯度死掉。第四生成器內(nèi)部使用 ReLU 激活最后一層用 Tanh 把像素值壓縮到 [-1, 1] 區(qū)間。訓(xùn)練時(shí)真實(shí)圖像也要同步歸一化到這個(gè)區(qū)間否則判別器只看數(shù)值范圍就能分辨真假對(duì)抗就失效了。2.3 從噪聲到圖像生成器內(nèi)部發(fā)生的變化假設(shè)輸入噪聲是 100 維的向量要輸出 64×64×3 的圖像生成器內(nèi)部其實(shí)就是一系列轉(zhuǎn)置卷積的級(jí)聯(lián)。常見(jiàn)結(jié)構(gòu)是第一層把 100 維向量投影成 4×4×1024 的特征圖然后逐層上采樣4×4 → 8×8 → 16×16 → 32×32 → 64×64每次尺寸翻倍通道數(shù)逐層減半。每一層都做 BN ReLU最后一層換成 Tanh。在圖像恢復(fù)場(chǎng)景里輸入從噪聲變成退化圖像后生成器的第一層實(shí)際上是“圖像編碼 → 瓶頸表示 → 圖像解碼”的結(jié)構(gòu)先用普通卷積把退化圖像壓成一個(gè)低維特征再經(jīng)過(guò)轉(zhuǎn)置卷積逐步恢復(fù)分辨率。你可以把它理解成一個(gè)加了對(duì)抗訓(xùn)練的自編碼器。瓶頸層的壓縮會(huì)迫使模型只保留結(jié)構(gòu)級(jí)信息丟掉噪聲和退化痕跡這就是恢復(fù)能力的來(lái)源。2.4 損失函數(shù)怎么組合純對(duì)抗 vs 對(duì)抗 內(nèi)容損失純 DCGAN 用二元交叉熵作為判別器和生成器的損失。判別器 D 的損失是“對(duì)真圖輸出接近 1、對(duì)假圖輸出接近 0”的分類誤差生成器 G 的損失是“讓判別器對(duì)假圖輸出接近 1”的欺騙誤差。這兩個(gè)損失交替優(yōu)化模型才會(huì)逐步收斂。但如果只靠這個(gè)對(duì)抗損失做圖像恢復(fù)大概率恢復(fù)出的圖會(huì)“局部走樣”——比如人臉恢復(fù)時(shí)眼睛位置偏移因?yàn)閷?duì)抗損失只關(guān)心整體分布不關(guān)心像素級(jí)對(duì)應(yīng)。所以用于恢復(fù)時(shí)我一般會(huì)加一項(xiàng)內(nèi)容損失L1 或者 L2 距離讓生成結(jié)果和原始清晰圖在像素層面靠近。最終的生成器損失是對(duì)抗損失 λ * 內(nèi)容損失λ 通常取 10 到 100 之間需要根據(jù)退化程度調(diào)。退化嚴(yán)重時(shí) λ 小一些讓對(duì)抗損失去發(fā)揮補(bǔ)全能力退化輕時(shí) λ 大一些防止生成器篡改已知區(qū)域的細(xì)節(jié)。3. 用 PyTorch 復(fù)現(xiàn) DCGAN 做圖像恢復(fù)從數(shù)據(jù)預(yù)處理到完整訓(xùn)練流程3.1 準(zhǔn)備數(shù)據(jù)高質(zhì)量清晰圖 人為退化配對(duì)樣本才有恢復(fù)目標(biāo)圖像恢復(fù)屬于監(jiān)督學(xué)習(xí)或者半監(jiān)督學(xué)習(xí)DCGAN 訓(xùn)練需要成對(duì)的退化圖和清晰圖。一個(gè)非常實(shí)用的做法是在訓(xùn)練階段用清晰圖人為制造退化——加高斯噪聲、高斯模糊、隨機(jī)遮擋。這樣做的最大好處是標(biāo)簽免費(fèi)且可控你能精確知道恢復(fù)目標(biāo)長(zhǎng)什么樣還能用代碼控制退化的嚴(yán)重程度。建議數(shù)據(jù)集CelebA 人臉數(shù)據(jù)集大約 20 萬(wàn)張人臉圖非常適合做入門(mén)驗(yàn)證尺寸統(tǒng)一為 64×64 或者 128×128如果沒(méi)有條件下載直接拿 COCO 數(shù)據(jù)集的部分子集或者自己爬 1 萬(wàn)張街景圖也行。關(guān)鍵在于圖像內(nèi)容必須“結(jié)構(gòu)性強(qiáng)”——有臉的、有物體的、有建筑輪廓的都行純紋理或純色塊不適合用來(lái)觀察 GAN 的恢復(fù)效果。我的習(xí)慣是把退化過(guò)程寫(xiě)成數(shù)據(jù)增強(qiáng)的一部分import torch from torch.utils.data import Dataset from torchvision import transforms from PIL import Image import numpy as np import os class DegradationDataset(Dataset): def __init__(self, img_dir, degrade_typenoise, degrade_factor25): self.img_paths [os.path.join(img_dir, f) for f in os.listdir(img_dir)] self.degrade_type degrade_type self.degrade_factor degrade_factor self.to_tensor transforms.ToTensor() self.resize transforms.Resize((64, 64)) def degrade(self, img_tensor): # 輸入是 3x64x64 的 tensor值域 [0,1] if self.degrade_type noise: # 加高斯噪聲degrade_factor 是噪聲標(biāo)準(zhǔn)差 noise torch.randn_like(img_tensor) * self.degrade_factor / 255.0 return torch.clamp(img_tensor noise, 0.0, 1.0) elif self.degrade_type blur: # 模擬高斯模糊用卷積核做平滑這里簡(jiǎn)化成 3x3 均值濾波 kernel torch.ones(1, 1, 3, 3) / 9.0 kernel kernel.expand(3, 1, 3, 3) return torch.nn.functional.conv2d( img_tensor.unsqueeze(0), kernel, padding1, groups3 ).squeeze(0) elif self.degrade_type mask: # 隨機(jī)遮擋生成一塊矩形黑斑 masked img_tensor.clone() h, w masked.shape[1], masked.shape[2] x1, y1 np.random.randint(0, h-16), np.random.randint(0, w-16) masked[:, x1:x116, y1:y116] 0.0 return masked def __getitem__(self, idx): img Image.open(self.img_paths[idx]).convert(RGB) img self.to_tensor(self.resize(img)) degraded self.degrade(img) # 歸一化到 [-1, 1]和生成器 Tanh 輸出對(duì)齊 return degraded * 2 - 1, img * 2 - 1 def __len__(self): return len(self.img_paths)這段代碼有三個(gè)要點(diǎn)。第一degrade_factor控制退化嚴(yán)重程度做去噪實(shí)驗(yàn)設(shè) 20~30做超分實(shí)驗(yàn)可以把退化改成先縮小再放大。第二歸一化到 [-1, 1] 是必需項(xiàng)不是可選項(xiàng)——判別器輸出的目標(biāo)是區(qū)分真實(shí)值和偽值如果輸入數(shù)值范圍不一致判別器會(huì)走捷徑直接按照數(shù)值范圍判斷真假不學(xué)習(xí)任何圖像結(jié)構(gòu)。第三mask退化類型對(duì)應(yīng)的是圖像修復(fù)任務(wù)每次取圖時(shí)隨機(jī)生成一塊 16×16 的黑色區(qū)域這要求生成器必須依靠上下文推理補(bǔ)全而不是簡(jiǎn)單復(fù)制周圍像素。3.2 生成器和判別器的具體實(shí)現(xiàn)通道配置與核大小的選擇邏輯接下來(lái)是網(wǎng)絡(luò)主體。生成器結(jié)構(gòu)5 層轉(zhuǎn)置卷積從 100 維噪聲上采樣到 64×64×3。判別器結(jié)構(gòu)5 層帶步長(zhǎng)卷積從 64×64×3 下采樣到 1 個(gè)標(biāo)量輸出。import torch.nn as nn class Generator(nn.Module): def __init__(self, latent_dim100): super().__init__() self.fc nn.Linear(latent_dim, 4 * 4 * 512) self.model nn.Sequential( nn.BatchNorm2d(512), nn.ReLU(True), # 4x4 - 8x8 nn.ConvTranspose2d(512, 256, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(256), nn.ReLU(True), # 8x8 - 16x16 nn.ConvTranspose2d(256, 128, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(128), nn.ReLU(True), # 16x16 - 32x32 nn.ConvTranspose2d(128, 64, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(64), nn.ReLU(True), # 32x32 - 64x64 nn.ConvTranspose2d(64, 3, kernel_size4, stride2, padding1, biasFalse), nn.Tanh() ) def forward(self, z): x self.fc(z).view(-1, 512, 4, 4) return self.model(x) class Discriminator(nn.Module): def __init__(self): super().__init__() self.model nn.Sequential( nn.Conv2d(3, 64, kernel_size4, stride2, padding1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 512, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(512, 1, kernel_size4, stride1, padding0, biasFalse), ) def forward(self, img): return self.model(img).view(-1, 1)注意生成器的第一層不是直接接轉(zhuǎn)置卷積而是先經(jīng)過(guò)一個(gè)全連接層把 100 維噪聲投影成 1024 個(gè) 4×4 特征圖。這個(gè)投影是為了讓噪聲向量能夠均勻地分布到空間維度避免信息集中在某個(gè)局部區(qū)域。判別器的最后一層卷積核大小為 4、步長(zhǎng)為 1、無(wú)填充目的是把 4×4 的特征圖壓成 1×1 輸出。如果做的是圖像恢復(fù)而不是純生成生成器部分的修改方式把噪聲輸入替換為退化圖像第一層換成一個(gè) 3 通道輸入的卷積層用于把退化圖編碼到 512 維特征。這意味著生成器變成“圖像到圖像”的結(jié)構(gòu)權(quán)重初始化方式不變。3.3 訓(xùn)練循環(huán)adam 參數(shù)、標(biāo)簽平滑和真實(shí)圖像判別方向的坑訓(xùn)練 DCGAN 的循環(huán)幾乎和所有 GAN 訓(xùn)練循環(huán)一樣每個(gè) batch 先訓(xùn)練判別器再訓(xùn)練生成器。但有幾個(gè)參數(shù)設(shè)置必須調(diào)整到合適范圍否則模型百分之百翻車。import torch.optim as optim def train_dcgan(generator, discriminator, dataloader, epochs50, lr0.0002): g_opt optim.Adam(generator.parameters(), lrlr, betas(0.5, 0.999)) d_opt optim.Adam(discriminator.parameters(), lrlr, betas(0.5, 0.999)) criterion nn.BCEWithLogitsLoss() for epoch in range(epochs): for degraded, clean in dataloader: batch_size degraded.size(0) real_labels torch.ones(batch_size, 1) * 0.9 # 標(biāo)簽平滑 fake_labels torch.zeros(batch_size, 1) # ---- 訓(xùn)練判別器 ---- d_opt.zero_grad() real_out discriminator(clean) d_real_loss criterion(real_out, real_labels) noise torch.randn(batch_size, 100) fake generator(noise) fake_out discriminator(fake.detach()) d_fake_loss criterion(fake_out, fake_labels) d_loss d_real_loss d_fake_loss d_loss.backward() d_opt.step() # ---- 訓(xùn)練生成器 ---- g_opt.zero_grad() fake_out discriminator(fake) g_adv_loss criterion(fake_out, real_labels) g_loss g_adv_loss g_loss.backward() g_opt.step()這段循環(huán)代碼里有三個(gè)容易出問(wèn)題的細(xì)節(jié)。第一real_labels填的是 0.9 而不是 1這是標(biāo)簽平滑防止判別器輸出過(guò)飽和導(dǎo)致梯度消失。第二fake.detach()是必須的——在訓(xùn)練判別器階段不能讓梯度流回生成器否則兩個(gè)網(wǎng)絡(luò)會(huì)同時(shí)更新這個(gè) batch 的對(duì)抗信號(hào)就亂了。第三Adam 的 beta1 必須設(shè)為 0.5不能用默認(rèn)的 0.9。原因在于動(dòng)量項(xiàng)太大時(shí)生成器容易陷入振蕩GAN 訓(xùn)練的穩(wěn)定性對(duì)平均歷史梯度的敏感度遠(yuǎn)高于普通分類任務(wù)。訓(xùn)練中需要每一定步數(shù)保存生成器參數(shù)和生成樣本否則后期發(fā)現(xiàn)模型崩了但沒(méi)有中間快照相當(dāng)于白跑。保存頻率建議每個(gè) epoch 結(jié)束保存一次generator_state.pth每 5 個(gè) epoch 保存生成的恢復(fù)圖對(duì)比原圖和退化圖。3.4 把生成器接到恢復(fù)任務(wù)上輸入退化圖、輸出清晰圖的訓(xùn)練分支上面訓(xùn)練的生成器還只是從噪聲生成圖像做恢復(fù)需要加一個(gè)分支把退化圖作為條件輸入。有兩種常見(jiàn)做法我推薦第二種。第一種是“前端拼接”把退化圖和隨機(jī)噪聲拼接后一起送給生成器噪聲部分負(fù)責(zé)引入隨機(jī)性。這種方式在強(qiáng)退化場(chǎng)景下容易產(chǎn)生不穩(wěn)定的恢復(fù)結(jié)果因?yàn)樵肼晻?huì)干擾已知區(qū)域的信息。第二種是“編碼器-解碼器 對(duì)抗”生成器變成一個(gè)自編碼器退化圖經(jīng)過(guò)編碼器壓成瓶頸向量解碼器從瓶頸向量恢復(fù)出完整圖。這種方式信息路徑清晰恢復(fù)結(jié)果更可控。class RestorationGenerator(nn.Module): def __init__(self, latent_dim100): super().__init__() # 編碼器3x64x64 - 512x4x4 self.encoder nn.Sequential( nn.Conv2d(3, 64, kernel_size4, stride2, padding1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, kernel_size4, stride2, padding1), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 512, kernel_size4, stride2, padding1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplaceTrue), ) # 解碼器和 DCGAN 生成器后半段一致 self.decoder nn.Sequential( nn.ConvTranspose2d(512, 256, kernel_size4, stride2, padding1), nn.BatchNorm2d(256), nn.ReLU(True), nn.ConvTranspose2d(256, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.ReLU(True), nn.ConvTranspose2d(128, 64, kernel_size4, stride2, padding1), nn.BatchNorm2d(64), nn.ReLU(True), nn.ConvTranspose2d(64, 3, kernel_size4, stride2, padding1), nn.Tanh() ) def forward(self, degraded_img): z self.encoder(degraded_img) return self.decoder(z)這個(gè)結(jié)構(gòu)的核心是編碼器沒(méi)有使用任何全連接層直接用卷積把空間尺寸逐步壓縮保留空間相對(duì)位置信息。這對(duì)圖像恢復(fù)是必需的——全連接層會(huì)丟掉“哪個(gè)位置缺失了什么”的空間信息而空間結(jié)構(gòu)恰恰是恢復(fù)的關(guān)鍵先驗(yàn)。解碼器部分沿用 DCGAN 的轉(zhuǎn)置卷積結(jié)構(gòu)每層通道減半、尺寸翻倍最終回到輸入分辨率。需要注意編碼器里使用了 LeakyReLU而解碼器使用 ReLU這個(gè)不對(duì)稱是有意為之編碼器負(fù)責(zé)提取特征需要保留負(fù)值信息防止梯度流失解碼器負(fù)責(zé)生成圖像ReLU 能產(chǎn)生更銳利的輸出。4. DCGAN 圖像恢復(fù)的關(guān)鍵參數(shù)配置學(xué)習(xí)率、損失權(quán)重和圖像尺寸之間的博弈4.1 六組默認(rèn)參數(shù)和它們的調(diào)節(jié)區(qū)間我收集了一套花過(guò)很多輪實(shí)驗(yàn)得出的參數(shù)區(qū)間直接給出結(jié)論方便你試參數(shù)默認(rèn)值合理區(qū)間調(diào)節(jié)方向說(shuō)明學(xué)習(xí)率0.00021e-4 ~ 5e-4大于 5e-4 時(shí)判別器快速收斂生成器永遠(yuǎn)追不上Adam beta10.50.4 ~ 0.6高于 0.7 會(huì)讓訓(xùn)練振蕩生成樣本出現(xiàn)周期性的扭曲batch size6432 ~ 128太小判別器過(guò)擬合太大生成器梯度被平均掉恢復(fù)細(xì)節(jié)變糊生成器內(nèi)容損失權(quán)重 λ10010 ~ 200退化嚴(yán)重時(shí)調(diào)小讓對(duì)抗損失主導(dǎo)補(bǔ)全圖像輸出尺寸64×6432×32 ~ 128×128超過(guò) 128 時(shí)純 DCGAN 收斂困難需要換殘差生成器判別器迭代次數(shù)11 ~ 5如果生成器崩了輸出全灰可以暫時(shí)調(diào)高到 3第一個(gè)要展開(kāi)的是內(nèi)容損失權(quán)重 λ。做純?nèi)ピ霑r(shí)退化程度低已知信息占比高λ 設(shè)到 100 以上讓恢復(fù)結(jié)果嚴(yán)格貼合原始像素。做遮擋修復(fù)時(shí)遮擋區(qū)域完全沒(méi)有像素信息λ 太高會(huì)讓生成器去猜測(cè)遮擋區(qū)域應(yīng)該如何貼近一個(gè)不存在的真實(shí)值結(jié)果就是模糊因?yàn)?L1/L2 損失在不確定區(qū)域的最優(yōu)解是均值——糊成一片。這種場(chǎng)景建議 λ 降到 10 ~ 20。第二個(gè)要展開(kāi)的是圖像尺寸和生成器結(jié)構(gòu)的關(guān)系。64×64 是 DCGAN 的舒適區(qū)在這個(gè)尺寸下轉(zhuǎn)置卷積可以很好地生成銳利結(jié)構(gòu)。如果用到 128×128最后兩層的感受野不足以覆蓋大范圍的空間關(guān)系很容易生成“局部合理、全局?jǐn)嗔选钡膱D。此時(shí)建議把解碼器中間層改成殘差塊或者直接把生成器換成 U-Net 結(jié)構(gòu)的變體否則純粹靠加深 DCGAN 會(huì)不斷翻車。4.2 學(xué)習(xí)率、batch size 和判別器迭代次數(shù)怎么搭配很多新手把 DCGAN 當(dāng)成普通 CNN 來(lái)調(diào)參學(xué)習(xí)率先從 0.01 開(kāi)始然后一路降——這是非常常見(jiàn)的誤區(qū)。DCGAN 在 0.01 學(xué)習(xí)率下幾乎必崩而且崩的方式很有迷惑性一開(kāi)始 loss 瘋狂下降看起來(lái)訓(xùn)練進(jìn)展不錯(cuò)然后某一輪生成器突然輸出全黑或者全噪點(diǎn)圖之后再也爬不起來(lái)。經(jīng)驗(yàn)做法是保持學(xué)習(xí)率固定不要用學(xué)習(xí)率衰減。GAN 訓(xùn)練在接近收斂時(shí)本來(lái)就會(huì)進(jìn)入動(dòng)態(tài)平衡如果生成器的學(xué)習(xí)率被調(diào)低了它會(huì)在判別器面前變得“任人宰割”判別器會(huì)把所有生成樣本都判為假生成器梯度爆炸輸出滿屏噪點(diǎn)。如果你的訓(xùn)練過(guò)程穩(wěn)定下來(lái)了不要想著讓 loss 更低不要隨手加個(gè) scheduler保持現(xiàn)狀是最優(yōu)解。batch size 和判別器迭代次數(shù)是配合使用的。batch size 小32時(shí)判別器每個(gè) batch 看到的真實(shí)樣本少更容易被生成器騙過(guò)訓(xùn)練不穩(wěn)定batch size 大128時(shí)判別器非常強(qiáng)生成器學(xué)不動(dòng)恢復(fù)圖會(huì)模糊。中庸的選擇是 64batch size 64 配合判別器每輪只更新一次能保持兩者的能力差距在合理范圍內(nèi)。如果出現(xiàn)“生成器崩塌”現(xiàn)象輸出圖像都是同一種紋理或者同一張臉優(yōu)先嘗試調(diào)高判別器更新次數(shù)到 2~3壓一壓生成器讓它更努力地逃生。4.3 歸一化方式和數(shù)據(jù)增強(qiáng)對(duì)恢復(fù)結(jié)果的影響歸一化這件事值得單獨(dú)拿出來(lái)寫(xiě)。做圖像恢復(fù)時(shí)退化圖像和真實(shí)圖像必須采用完全相同的歸一化方式否則判別器會(huì)直接通過(guò)亮度分布來(lái)區(qū)分真假。具體做法是訓(xùn)練集統(tǒng)計(jì)出的均值和標(biāo)準(zhǔn)差同時(shí)對(duì)退化圖和清晰圖做標(biāo)準(zhǔn)化歸一化后再做* 2 - 1轉(zhuǎn)換到 [-1, 1] 區(qū)間。有人喜歡直接用(x - 0.5) * 2的方式把 [0,1] 映射到 [-1,1]也可以但必須保證推理階段和訓(xùn)練階段一致。數(shù)據(jù)增強(qiáng)方面隨機(jī)水平翻轉(zhuǎn)可以用但不要用隨機(jī)裁剪——圖像恢復(fù)任務(wù)里裁剪會(huì)破壞退化圖和清晰圖之間的像素對(duì)應(yīng)關(guān)系生成器會(huì)學(xué)到錯(cuò)誤的映射。如果一定要做多尺度把退化圖和清晰圖用同一個(gè)隨機(jī)種子裁剪確保位置一致。顏色抖動(dòng)增強(qiáng)也建議關(guān)閉因?yàn)?DCGAN 的生成器對(duì)顏色分布非常敏感顏色擾動(dòng)會(huì)讓判別器學(xué)到錯(cuò)誤信號(hào)導(dǎo)致恢復(fù)圖的飽和度和色調(diào)出現(xiàn)偏差。5. DCGAN 訓(xùn)練避坑記錄五個(gè)我親手踩進(jìn)去又爬出來(lái)的坑5.1 生成器輸出全黑/全灰圖loss 看起來(lái)卻“正?！爆F(xiàn)象訓(xùn)練到第 3 ~ 5 個(gè) epoch生成器輸出的圖像全部變成同一張灰色模糊圖判別器的 loss 維持在一個(gè)不高不低的位置看起來(lái)訓(xùn)練還在進(jìn)行實(shí)際上已經(jīng)死了。原因判別器器先一步收斂它能輕易識(shí)別出生成樣本導(dǎo)致生成器梯度接近零。生成器不再學(xué)習(xí)直接停在某個(gè)局部最優(yōu)點(diǎn)通常是輸出全灰因?yàn)榛覉D的 L2 損失在所有候選圖里最小。GAN 的叫法給這種現(xiàn)象起了個(gè)名字叫“模式崩塌”但在 DCGAN 的圖像恢復(fù)場(chǎng)景下它通常是判別器太強(qiáng)導(dǎo)致的。解決把判別器的學(xué)習(xí)率降到生成器的一半具體做法是設(shè)置d_opt optim.Adam(discriminator.parameters(), lr0.0001)g_opt optim.Adam(generator.parameters(), lr0.0002)。同時(shí)檢查標(biāo)簽平滑——如果你用的是 1/0 硬標(biāo)簽換成 0.9/0.1 能避免判別器輸出過(guò)于自信保留更多梯度信號(hào)給生成器。5.2 恢復(fù)結(jié)果清晰但“不像原圖”內(nèi)容損失和對(duì)抗損失的權(quán)重失衡現(xiàn)象恢復(fù)出來(lái)的圖像銳利、清晰、細(xì)節(jié)豐富但是跟清晰原圖一對(duì)比像素級(jí)相似度很低。比如人臉恢復(fù)后眼睛位置偏移了幾毫米膚色和原圖不一致。原因λ 設(shè)得太小生成器只參考對(duì)抗損失它編造了“看起來(lái)合理但與輸入不對(duì)應(yīng)”的內(nèi)容。在圖像恢復(fù)場(chǎng)景里這意味著生成器在發(fā)揮想象力而不是做恢復(fù)。解決直接把 λ 從 10 提升到 100然后觀察 PSNR 和 SSIM 的變化。如果 PSNR 上升明顯說(shuō)明內(nèi)容損失正在起約束作用。如果 PSNR 上升但視覺(jué)質(zhì)量下降太模糊再把 λ 回調(diào)到 50 左右。這是一個(gè)需要反復(fù)橫跳的經(jīng)驗(yàn)值我建議每次改完 λ 都同時(shí)查看三組結(jié)果原圖、恢復(fù)圖、像素差熱力圖不要只看數(shù)值。5.3 訓(xùn)練到后期 loss 震蕩幅度越來(lái)越大圖像質(zhì)量時(shí)好時(shí)壞現(xiàn)象訓(xùn)練到第 30 個(gè) epoch 之后生成器 loss、判別器 loss 都在持續(xù)波動(dòng)每隔幾個(gè) epoch 恢復(fù)質(zhì)量差一次然后又變好往復(fù)循環(huán)。原因兩個(gè)網(wǎng)絡(luò)在動(dòng)態(tài)博弈中產(chǎn)生了周期性對(duì)抗生成器學(xué)到的策略一被判別器識(shí)破就要換策略換策略的過(guò)程中恢復(fù)質(zhì)量會(huì)有明顯波動(dòng)。這是 GAN 的正?，F(xiàn)象不是 bug但很多人在這里誤以為模型不收斂就提前終止。解決在訓(xùn)練腳本里加入最佳模型保存邏輯不只看最后一個(gè) epoch。每個(gè) epoch 結(jié)束后在固定的驗(yàn)證集上算一次 PSNR/SSIM把最優(yōu)指標(biāo)的模型保存為best_generator.pth。最后使用時(shí)直接加載這個(gè)最優(yōu)快照而不是加載最后一個(gè) epoch 的參數(shù)。這是最簡(jiǎn)單也最實(shí)用的后悔藥。5.4 加了內(nèi)容損失后判別器 loss 降到 0但生成圖像嚴(yán)重模糊現(xiàn)象內(nèi)容損失權(quán)重調(diào)到 100 以上之后判別器 loss 急速下降趨近 0但生成圖像變得非常模糊邊緣全部丟失。原因λ 太高內(nèi)容損失在總損失中占比過(guò)大梯度主要沿著 L1/L2 方向更新而 L1/L2 的最優(yōu)解是模糊。判別器雖然還在輸出“假”的判斷但它的梯度被淹沒(méi)在內(nèi)容損失的梯度里了。解決觀察兩個(gè)損失的數(shù)量級(jí)。如果內(nèi)容損失的數(shù)值比對(duì)抗損失大兩個(gè)數(shù)量級(jí)以上需要對(duì)總損失做加權(quán)歸一化把內(nèi)容損失除以它的均值把對(duì)抗損失除以它的均值再按 λ 加權(quán)合并。不要直接加直接加的話數(shù)值大的一方的確會(huì)無(wú)視另一方。5.5 恢復(fù)圖像出現(xiàn)塊狀偽影棋盤(pán)格效應(yīng)現(xiàn)象恢復(fù)圖的邊緣區(qū)域出現(xiàn)規(guī)則的棋盤(pán)格紋路尤其在強(qiáng)梯度區(qū)域邊緣、紋理最明顯。原因轉(zhuǎn)置卷積的步長(zhǎng)重疊導(dǎo)致權(quán)重分布不均某些位置的像素被多個(gè)卷積核覆蓋另一些位置覆蓋不足形成規(guī)則周期性的色塊。這在 DCGAN 中是經(jīng)典問(wèn)題圖像尺寸越大越明顯。解決三種常見(jiàn)做法任選其一。第一在轉(zhuǎn)置卷積后接一個(gè)普通卷積層做平滑第二把轉(zhuǎn)置卷積改為“上采樣 普通卷積”即先用最近鄰插值把尺寸放大一倍再用一個(gè) kernel_size3、stride1 的卷積做特征融合第三種做法最省事且有效保持 DCGAN 原結(jié)構(gòu)不動(dòng)但在 loss 里加一個(gè)總變差正則項(xiàng)TV loss懲罰相鄰像素之間的劇烈差異可以有效抑制棋盤(pán)格。TV loss 的實(shí)現(xiàn)如下def tv_loss(img): # img: batch x 3 x H x W batch_size, _, h, w img.shape diff_h torch.abs(img[:, :, 1:, :] - img[:, :, :-1, :]).mean() diff_w torch.abs(img[:, :, :, 1:] - img[:, :, :, :-1]).mean() return diff_h diff_w把tv_loss以 0.001 的權(quán)重加進(jìn)生成器總損失里棋盤(pán)格現(xiàn)象會(huì)出現(xiàn)明顯緩解。注意權(quán)重不要超過(guò) 0.01否則圖像會(huì)被過(guò)度平滑。6. 恢復(fù)效果怎么驗(yàn)證FID、PSNR/SSIM 和人眼判斷的取舍訓(xùn)練跑通了接下來(lái)是說(shuō)服自己的工作——和說(shuō)服合作方需要不同的話術(shù)。PSNR 和 SSIM 是圖像恢復(fù)領(lǐng)域最常用的兩個(gè)客觀指標(biāo)但它們和人類感知的相關(guān)性并不高尤其對(duì) GAN 生成的結(jié)果來(lái)說(shuō)一張模糊但色彩均勻的圖可能 PSNR 很高一張銳利但細(xì)節(jié)有微小錯(cuò)位的圖 PSNR 反而低。所以你需要三個(gè)指標(biāo)一起看PSNR 負(fù)責(zé)約束像素級(jí)偏差、SSIM 負(fù)責(zé)衡量結(jié)構(gòu)相似性、FID 負(fù)責(zé)評(píng)估分布級(jí)真實(shí)感。最后一個(gè)才是最有說(shuō)服力的。FIDFréchet Inception Distance的計(jì)算方式把真實(shí)清晰圖和恢復(fù)圖分別輸入 Inception-V3 網(wǎng)絡(luò)提取倒數(shù)第二層的特征向量計(jì)算這兩個(gè)特征分布之間的 Wasserstein 距離。FID 越低意味著恢復(fù)圖在語(yǔ)義特征層面更接近真實(shí)圖像分布。這對(duì) GAN 類模型很重要——它能捕捉到“紋理是否真實(shí)、結(jié)構(gòu)是否合理”這一類人類能感知但像素指標(biāo)測(cè)不出來(lái)的特征。import torch from torchvision.models import inception_v3 from scipy.linalg import sqrtm import numpy as np def calculate_fid(real_loader, fake_loader, device): inception inception_v3(pretrainedTrue, transform_inputFalse).to(device) inception.eval() def get_features(loader): features [] with torch.no_grad(): for batch, _ in loader: batch torch.nn.functional.interpolate(batch, size(299, 299), modebilinear) batch (batch 1) / 2 # 從 [-1,1] 恢復(fù)到 [0,1] if batch.shape[1] 1: batch batch.repeat(1, 3, 1, 1) feat inception(batch) features.append(feat.cpu().numpy()) return np.concatenate(features, axis0) real_feat get_features(real_loader) fake_feat get_features(fake_loader) mu1, sigma1 real_feat.mean(axis0), np.cov(real_feat, rowvarFalse) mu2, sigma2 fake_feat.mean(axis0), np.cov(fake_feat, rowvarFalse) diff mu1 - mu2 cov_mean sqrtm(sigma1 sigma2) if np.iscomplexobj(cov_mean): cov_mean cov_mean.real fid diff.dot(diff) np.trace(sigma1 sigma2 - 2 * cov_mean) return fid這段代碼的核心在最后幾行FID 的計(jì)算分三部分均值差異的平方、協(xié)方差矩陣跡的差異、協(xié)方差交叉項(xiàng)。sqrtm是對(duì)協(xié)方差乘積做矩陣平方根如果結(jié)果是復(fù)數(shù)就取實(shí)部——浮點(diǎn)計(jì)算導(dǎo)致的數(shù)值噪聲不影響量級(jí)判斷。你的驗(yàn)證流程應(yīng)該固定下來(lái)訓(xùn)練結(jié)束后跑 200 張測(cè)試圖分別計(jì)算 PSNR、SSIM、FID再隨機(jī)挑 5 組圖原圖/退化圖/恢復(fù)圖放到一張 grid 里肉眼對(duì)比。如果 FID 低但 PSNR 低說(shuō)明生成器在“發(fā)揮創(chuàng)造力”——適合遮擋修復(fù)不適合去噪如果 PSNR 高但 FID 高說(shuō)明恢復(fù)圖過(guò)于平滑、缺乏紋理細(xì)節(jié)——適合做內(nèi)容約束較重的任務(wù)不適合做真實(shí)感要求高的場(chǎng)景。最后一個(gè)進(jìn)階方向如果 64×64 的恢復(fù)分辨率不能滿足需求別急著把 DCGAN 放大到 256×256——結(jié)構(gòu)上可以直接升級(jí)為 SRGAN 或者 ESRGAN它們的生成器本質(zhì)上是“DCGAN 殘差塊 感知損失”訓(xùn)練技巧一脈相承。你先在 DCGAN 上把數(shù)據(jù)流、訓(xùn)練循環(huán)、評(píng)估流程全部跑通再遷移到 SRGAN 上會(huì)發(fā)現(xiàn)遷移成本極低因?yàn)?DCGAN 是它們最小公共子集。我自己就是從 DCGAN 起步做圖像修復(fù)的當(dāng)時(shí)被棋盤(pán)格和模式崩塌來(lái)回折磨了兩周回過(guò)頭看這些坑反而讓我理解了 GAN 訓(xùn)練的本質(zhì)它不是一個(gè)優(yōu)化問(wèn)題而是一個(gè)平衡問(wèn)題。希望這些經(jīng)驗(yàn)?zāi)軒湍闵僮呶易哌^(guò)的彎路如果你按照上面的步驟跑通了記得把你的 FID 基線記下來(lái)——那才是真正屬于你的起跑線。本文還有配套的精品資源點(diǎn)擊獲取 DCGAN圖像恢復(fù)實(shí)戰(zhàn)：原理、PyTorch實(shí)現(xiàn)與調(diào)參避坑指南
簡(jiǎn)介面向深度學(xué)習(xí)與圖像生成初學(xué)者這套壓縮包提供了生成對(duì)抗網(wǎng)絡(luò)的完整實(shí)驗(yàn)素材可用于理解生成器與判別器的對(duì)抗訓(xùn)練機(jī)制并動(dòng)手實(shí)踐圖像生成與修復(fù)。資源共二十個(gè)文件核心為一份Python源碼配合十一張不同訓(xùn)練階段的手寫(xiě)數(shù)字輸出圖可直觀觀察從噪聲到清晰樣本的生成過(guò)程另有少量工程配置與忽略文件屬于輕量級(jí)項(xiàng)目包壓縮后僅三百七十五KB便于快速部署運(yùn)行。目前已有六百四十九人學(xué)習(xí)下載適合入門(mén)者結(jié)合源碼逐行閱讀也適合在圖像恢復(fù)、數(shù)據(jù)增強(qiáng)等場(chǎng)景中作為基礎(chǔ)模板使用。包內(nèi)目錄結(jié)構(gòu)簡(jiǎn)潔代碼與結(jié)果圖分離便于對(duì)照訓(xùn)練輸出進(jìn)行復(fù)盤(pán)借助典型的卷積與反卷積層實(shí)現(xiàn)能幫助開(kāi)發(fā)者理解特征提取、批量歸一化等關(guān)鍵操作在生成任務(wù)中的實(shí)際作用尤其適合想快速跑通生成對(duì)抗網(wǎng)絡(luò)流程的讀者。1. 當(dāng)圖像恢復(fù)從“摳細(xì)節(jié)”變成“憑記憶補(bǔ)全”DCGAN 是那條更野的路你要是只用傳統(tǒng)方法做過(guò)圖像恢復(fù)大概率會(huì)遇到同一個(gè)尷尬去噪、去模糊、超分這些任務(wù)本質(zhì)都是在做“已知像素之間的插值”。遇到大面積缺失或者嚴(yán)重退化傳統(tǒng)算法只能給出一個(gè)平滑但模糊的結(jié)果因?yàn)樗牡讓蛹僭O(shè)是局部像素有連續(xù)性。但真實(shí)圖像不是這樣。一塊被劃掉的天空、一張老照片折痕下的半張臉?biāo)鼈兊男畔⒉卦谌纸Y(jié)構(gòu)里藏在“這類東西本該長(zhǎng)什么樣”的先驗(yàn)里。這正是生成對(duì)抗網(wǎng)絡(luò)擅長(zhǎng)的事生成器不是去修補(bǔ)像素而是去生成一張可信的完整圖像讓判別器分不清恢復(fù)結(jié)果和真實(shí)圖像的區(qū)別。DCGAN 作為 GAN 家族里結(jié)構(gòu)最干凈、最容易復(fù)現(xiàn)的一版成了入門(mén)圖像恢復(fù)最合適的腳手架——它讓“用深度學(xué)習(xí)補(bǔ)圖”這件事從玄學(xué)變成可調(diào)試的工程。這篇文章面向兩類人剛接觸生成對(duì)抗網(wǎng)絡(luò)、想跑通第一個(gè)完整圖像生成/恢復(fù)項(xiàng)目的學(xué)生或新人工程師以及用過(guò)傳統(tǒng)圖像恢復(fù)算法、想在深度學(xué)習(xí)方向上找一個(gè)低門(mén)檻起點(diǎn)的從業(yè)者。你會(huì)看到 DCGAN 的完整原理拆解、基于 PyTorch 的最小可運(yùn)行代碼、六個(gè)讓我翻過(guò)車的參數(shù)坑位以及最后怎么評(píng)估恢復(fù)結(jié)果而不是只看 loss 曲線。它解決的是“能用”層面的問(wèn)題——不是把 DCGAN 調(diào)成 SOTA 級(jí)恢復(fù)模型而是讓你在兩天內(nèi)跑通、看懂、并且知道下一步該往哪走。2. DCGAN 的網(wǎng)絡(luò)結(jié)構(gòu)與圖像恢復(fù)原理先搞清楚它憑什么能補(bǔ)圖2.1 生成器和判別器的對(duì)抗關(guān)系以及圖像恢復(fù)為什么需要這種對(duì)抗DCGAN 的全稱是 Deep Convolutional Generative Adversarial Network核心思想不是一個(gè)網(wǎng)絡(luò)而是兩個(gè)網(wǎng)絡(luò)互相博弈。生成器 G 的任務(wù)是輸入一個(gè)隨機(jī)噪聲向量 z輸出一張偽造圖像判別器 D 的任務(wù)是判斷輸入圖像是真的來(lái)自訓(xùn)練集還是 G 生成的偽圖。訓(xùn)練過(guò)程就是讓 G 越來(lái)越擅長(zhǎng)騙 D讓 D 越來(lái)越擅長(zhǎng)識(shí)破 G。這個(gè)對(duì)抗的過(guò)程最終會(huì)讓 G 學(xué)會(huì)訓(xùn)練集圖像的分布——它不再記住某幾張具體圖片而是理解了“這類圖像長(zhǎng)什么樣”。圖像恢復(fù)任務(wù)和純圖像生成有個(gè)關(guān)鍵區(qū)別生成是從純?cè)肼暢霭l(fā)沒(méi)有任何約束恢復(fù)是給了一張退化圖像需要在“保持已知信息”和“補(bǔ)充未知信息”之間做權(quán)衡。所以用在恢復(fù)任務(wù)上時(shí)DCGAN 的生成器輸入不再是純?cè)肼暥峭嘶瘓D像本身或者“退化圖像 噪聲”的拼接。目標(biāo)從“生成一張看起來(lái)真實(shí)的圖”變成“生成一張看起來(lái)真實(shí)、并且保留原圖已知區(qū)域細(xì)節(jié)的圖”。這里有個(gè)值得想明白的點(diǎn)為什么 MSE 損失訓(xùn)練出來(lái)的恢復(fù)模型不夠用用 L2 損失訓(xùn)練的模型傾向于生成模糊結(jié)果——因?yàn)榘严袼仡A(yù)測(cè)成中間值能降低平均誤差但圖像的主觀質(zhì)量極差邊緣是糊的、紋理被抹平了。GAN 的對(duì)抗損失不直接比較像素而是讓判別器學(xué)會(huì)圖像級(jí)別的真實(shí)感判斷這逼著生成器去制造銳利的邊緣和合理的紋理。你可以在最終損失里同時(shí)保留 L2 和對(duì)抗損失讓恢復(fù)結(jié)果既貼近原始像素、又具備真實(shí)感。2.2 DCGAN 的四個(gè)關(guān)鍵結(jié)構(gòu)約束為什么卷積 GAN 非得這么搭DCGAN 在原始 GAN 的基礎(chǔ)上提出了四類結(jié)構(gòu)約定這四類約定直接影響圖像恢復(fù)任務(wù)的穩(wěn)定性和質(zhì)量。第一生成器里用轉(zhuǎn)置卷積做上采樣不用池化。轉(zhuǎn)置卷積或者叫反卷積能把低分辨率的特征圖逐步放大到目標(biāo)尺寸。判別器里用帶步長(zhǎng)的卷積做下采樣也不做池化。前后使用相同的步長(zhǎng)策略可以避免梯度在池化層附近變得稀疏。第二除了生成器最后一層用 Tanh、判別器第一層輸入不做 BN其余所有層都做批歸一化Batch Normalization。BN 的用途是讓每層輸入分布盡量一致避免訓(xùn)練中途分布漂移導(dǎo)致某個(gè)生成器或判別器突然占上風(fēng)。第三判別器內(nèi)部全部使用 LeakyReLU 激活斜率設(shè)為 0.2避免生成器那邊 ReLU 把負(fù)值全部截?cái)鄬?dǎo)致梯度死掉。第四生成器內(nèi)部使用 ReLU 激活最后一層用 Tanh 把像素值壓縮到 [-1, 1] 區(qū)間。訓(xùn)練時(shí)真實(shí)圖像也要同步歸一化到這個(gè)區(qū)間否則判別器只看數(shù)值范圍就能分辨真假對(duì)抗就失效了。2.3 從噪聲到圖像生成器內(nèi)部發(fā)生的變化假設(shè)輸入噪聲是 100 維的向量要輸出 64×64×3 的圖像生成器內(nèi)部其實(shí)就是一系列轉(zhuǎn)置卷積的級(jí)聯(lián)。常見(jiàn)結(jié)構(gòu)是第一層把 100 維向量投影成 4×4×1024 的特征圖然后逐層上采樣4×4 → 8×8 → 16×16 → 32×32 → 64×64每次尺寸翻倍通道數(shù)逐層減半。每一層都做 BN ReLU最后一層換成 Tanh。在圖像恢復(fù)場(chǎng)景里輸入從噪聲變成退化圖像后生成器的第一層實(shí)際上是“圖像編碼 → 瓶頸表示 → 圖像解碼”的結(jié)構(gòu)先用普通卷積把退化圖像壓成一個(gè)低維特征再經(jīng)過(guò)轉(zhuǎn)置卷積逐步恢復(fù)分辨率。你可以把它理解成一個(gè)加了對(duì)抗訓(xùn)練的自編碼器。瓶頸層的壓縮會(huì)迫使模型只保留結(jié)構(gòu)級(jí)信息丟掉噪聲和退化痕跡這就是恢復(fù)能力的來(lái)源。2.4 損失函數(shù)怎么組合純對(duì)抗 vs 對(duì)抗 內(nèi)容損失純 DCGAN 用二元交叉熵作為判別器和生成器的損失。判別器 D 的損失是“對(duì)真圖輸出接近 1、對(duì)假圖輸出接近 0”的分類誤差生成器 G 的損失是“讓判別器對(duì)假圖輸出接近 1”的欺騙誤差。這兩個(gè)損失交替優(yōu)化模型才會(huì)逐步收斂。但如果只靠這個(gè)對(duì)抗損失做圖像恢復(fù)大概率恢復(fù)出的圖會(huì)“局部走樣”——比如人臉恢復(fù)時(shí)眼睛位置偏移因?yàn)閷?duì)抗損失只關(guān)心整體分布不關(guān)心像素級(jí)對(duì)應(yīng)。所以用于恢復(fù)時(shí)我一般會(huì)加一項(xiàng)內(nèi)容損失L1 或者 L2 距離讓生成結(jié)果和原始清晰圖在像素層面靠近。最終的生成器損失是對(duì)抗損失 λ * 內(nèi)容損失λ 通常取 10 到 100 之間需要根據(jù)退化程度調(diào)。退化嚴(yán)重時(shí) λ 小一些讓對(duì)抗損失去發(fā)揮補(bǔ)全能力退化輕時(shí) λ 大一些防止生成器篡改已知區(qū)域的細(xì)節(jié)。3. 用 PyTorch 復(fù)現(xiàn) DCGAN 做圖像恢復(fù)從數(shù)據(jù)預(yù)處理到完整訓(xùn)練流程3.1 準(zhǔn)備數(shù)據(jù)高質(zhì)量清晰圖 人為退化配對(duì)樣本才有恢復(fù)目標(biāo)圖像恢復(fù)屬于監(jiān)督學(xué)習(xí)或者半監(jiān)督學(xué)習(xí)DCGAN 訓(xùn)練需要成對(duì)的退化圖和清晰圖。一個(gè)非常實(shí)用的做法是在訓(xùn)練階段用清晰圖人為制造退化——加高斯噪聲、高斯模糊、隨機(jī)遮擋。這樣做的最大好處是標(biāo)簽免費(fèi)且可控你能精確知道恢復(fù)目標(biāo)長(zhǎng)什么樣還能用代碼控制退化的嚴(yán)重程度。建議數(shù)據(jù)集CelebA 人臉數(shù)據(jù)集大約 20 萬(wàn)張人臉圖非常適合做入門(mén)驗(yàn)證尺寸統(tǒng)一為 64×64 或者 128×128如果沒(méi)有條件下載直接拿 COCO 數(shù)據(jù)集的部分子集或者自己爬 1 萬(wàn)張街景圖也行。關(guān)鍵在于圖像內(nèi)容必須“結(jié)構(gòu)性強(qiáng)”——有臉的、有物體的、有建筑輪廓的都行純紋理或純色塊不適合用來(lái)觀察 GAN 的恢復(fù)效果。我的習(xí)慣是把退化過(guò)程寫(xiě)成數(shù)據(jù)增強(qiáng)的一部分import torch from torch.utils.data import Dataset from torchvision import transforms from PIL import Image import numpy as np import os class DegradationDataset(Dataset): def __init__(self, img_dir, degrade_typenoise, degrade_factor25): self.img_paths [os.path.join(img_dir, f) for f in os.listdir(img_dir)] self.degrade_type degrade_type self.degrade_factor degrade_factor self.to_tensor transforms.ToTensor() self.resize transforms.Resize((64, 64)) def degrade(self, img_tensor): # 輸入是 3x64x64 的 tensor值域 [0,1] if self.degrade_type noise: # 加高斯噪聲degrade_factor 是噪聲標(biāo)準(zhǔn)差 noise torch.randn_like(img_tensor) * self.degrade_factor / 255.0 return torch.clamp(img_tensor noise, 0.0, 1.0) elif self.degrade_type blur: # 模擬高斯模糊用卷積核做平滑這里簡(jiǎn)化成 3x3 均值濾波 kernel torch.ones(1, 1, 3, 3) / 9.0 kernel kernel.expand(3, 1, 3, 3) return torch.nn.functional.conv2d( img_tensor.unsqueeze(0), kernel, padding1, groups3 ).squeeze(0) elif self.degrade_type mask: # 隨機(jī)遮擋生成一塊矩形黑斑 masked img_tensor.clone() h, w masked.shape[1], masked.shape[2] x1, y1 np.random.randint(0, h-16), np.random.randint(0, w-16) masked[:, x1:x116, y1:y116] 0.0 return masked def __getitem__(self, idx): img Image.open(self.img_paths[idx]).convert(RGB) img self.to_tensor(self.resize(img)) degraded self.degrade(img) # 歸一化到 [-1, 1]和生成器 Tanh 輸出對(duì)齊 return degraded * 2 - 1, img * 2 - 1 def __len__(self): return len(self.img_paths)這段代碼有三個(gè)要點(diǎn)。第一degrade_factor控制退化嚴(yán)重程度做去噪實(shí)驗(yàn)設(shè) 20~30做超分實(shí)驗(yàn)可以把退化改成先縮小再放大。第二歸一化到 [-1, 1] 是必需項(xiàng)不是可選項(xiàng)——判別器輸出的目標(biāo)是區(qū)分真實(shí)值和偽值如果輸入數(shù)值范圍不一致判別器會(huì)走捷徑直接按照數(shù)值范圍判斷真假不學(xué)習(xí)任何圖像結(jié)構(gòu)。第三mask退化類型對(duì)應(yīng)的是圖像修復(fù)任務(wù)每次取圖時(shí)隨機(jī)生成一塊 16×16 的黑色區(qū)域這要求生成器必須依靠上下文推理補(bǔ)全而不是簡(jiǎn)單復(fù)制周圍像素。3.2 生成器和判別器的具體實(shí)現(xiàn)通道配置與核大小的選擇邏輯接下來(lái)是網(wǎng)絡(luò)主體。生成器結(jié)構(gòu)5 層轉(zhuǎn)置卷積從 100 維噪聲上采樣到 64×64×3。判別器結(jié)構(gòu)5 層帶步長(zhǎng)卷積從 64×64×3 下采樣到 1 個(gè)標(biāo)量輸出。import torch.nn as nn class Generator(nn.Module): def __init__(self, latent_dim100): super().__init__() self.fc nn.Linear(latent_dim, 4 * 4 * 512) self.model nn.Sequential( nn.BatchNorm2d(512), nn.ReLU(True), # 4x4 - 8x8 nn.ConvTranspose2d(512, 256, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(256), nn.ReLU(True), # 8x8 - 16x16 nn.ConvTranspose2d(256, 128, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(128), nn.ReLU(True), # 16x16 - 32x32 nn.ConvTranspose2d(128, 64, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(64), nn.ReLU(True), # 32x32 - 64x64 nn.ConvTranspose2d(64, 3, kernel_size4, stride2, padding1, biasFalse), nn.Tanh() ) def forward(self, z): x self.fc(z).view(-1, 512, 4, 4) return self.model(x) class Discriminator(nn.Module): def __init__(self): super().__init__() self.model nn.Sequential( nn.Conv2d(3, 64, kernel_size4, stride2, padding1, biasFalse), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 512, kernel_size4, stride2, padding1, biasFalse), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(512, 1, kernel_size4, stride1, padding0, biasFalse), ) def forward(self, img): return self.model(img).view(-1, 1)注意生成器的第一層不是直接接轉(zhuǎn)置卷積而是先經(jīng)過(guò)一個(gè)全連接層把 100 維噪聲投影成 1024 個(gè) 4×4 特征圖。這個(gè)投影是為了讓噪聲向量能夠均勻地分布到空間維度避免信息集中在某個(gè)局部區(qū)域。判別器的最后一層卷積核大小為 4、步長(zhǎng)為 1、無(wú)填充目的是把 4×4 的特征圖壓成 1×1 輸出。如果做的是圖像恢復(fù)而不是純生成生成器部分的修改方式把噪聲輸入替換為退化圖像第一層換成一個(gè) 3 通道輸入的卷積層用于把退化圖編碼到 512 維特征。這意味著生成器變成“圖像到圖像”的結(jié)構(gòu)權(quán)重初始化方式不變。3.3 訓(xùn)練循環(huán)adam 參數(shù)、標(biāo)簽平滑和真實(shí)圖像判別方向的坑訓(xùn)練 DCGAN 的循環(huán)幾乎和所有 GAN 訓(xùn)練循環(huán)一樣每個(gè) batch 先訓(xùn)練判別器再訓(xùn)練生成器。但有幾個(gè)參數(shù)設(shè)置必須調(diào)整到合適范圍否則模型百分之百翻車。import torch.optim as optim def train_dcgan(generator, discriminator, dataloader, epochs50, lr0.0002): g_opt optim.Adam(generator.parameters(), lrlr, betas(0.5, 0.999)) d_opt optim.Adam(discriminator.parameters(), lrlr, betas(0.5, 0.999)) criterion nn.BCEWithLogitsLoss() for epoch in range(epochs): for degraded, clean in dataloader: batch_size degraded.size(0) real_labels torch.ones(batch_size, 1) * 0.9 # 標(biāo)簽平滑 fake_labels torch.zeros(batch_size, 1) # ---- 訓(xùn)練判別器 ---- d_opt.zero_grad() real_out discriminator(clean) d_real_loss criterion(real_out, real_labels) noise torch.randn(batch_size, 100) fake generator(noise) fake_out discriminator(fake.detach()) d_fake_loss criterion(fake_out, fake_labels) d_loss d_real_loss d_fake_loss d_loss.backward() d_opt.step() # ---- 訓(xùn)練生成器 ---- g_opt.zero_grad() fake_out discriminator(fake) g_adv_loss criterion(fake_out, real_labels) g_loss g_adv_loss g_loss.backward() g_opt.step()這段循環(huán)代碼里有三個(gè)容易出問(wèn)題的細(xì)節(jié)。第一real_labels填的是 0.9 而不是 1這是標(biāo)簽平滑防止判別器輸出過(guò)飽和導(dǎo)致梯度消失。第二fake.detach()是必須的——在訓(xùn)練判別器階段不能讓梯度流回生成器否則兩個(gè)網(wǎng)絡(luò)會(huì)同時(shí)更新這個(gè) batch 的對(duì)抗信號(hào)就亂了。第三Adam 的 beta1 必須設(shè)為 0.5不能用默認(rèn)的 0.9。原因在于動(dòng)量項(xiàng)太大時(shí)生成器容易陷入振蕩GAN 訓(xùn)練的穩(wěn)定性對(duì)平均歷史梯度的敏感度遠(yuǎn)高于普通分類任務(wù)。訓(xùn)練中需要每一定步數(shù)保存生成器參數(shù)和生成樣本否則后期發(fā)現(xiàn)模型崩了但沒(méi)有中間快照相當(dāng)于白跑。保存頻率建議每個(gè) epoch 結(jié)束保存一次generator_state.pth每 5 個(gè) epoch 保存生成的恢復(fù)圖對(duì)比原圖和退化圖。3.4 把生成器接到恢復(fù)任務(wù)上輸入退化圖、輸出清晰圖的訓(xùn)練分支上面訓(xùn)練的生成器還只是從噪聲生成圖像做恢復(fù)需要加一個(gè)分支把退化圖作為條件輸入。有兩種常見(jiàn)做法我推薦第二種。第一種是“前端拼接”把退化圖和隨機(jī)噪聲拼接后一起送給生成器噪聲部分負(fù)責(zé)引入隨機(jī)性。這種方式在強(qiáng)退化場(chǎng)景下容易產(chǎn)生不穩(wěn)定的恢復(fù)結(jié)果因?yàn)樵肼晻?huì)干擾已知區(qū)域的信息。第二種是“編碼器-解碼器 對(duì)抗”生成器變成一個(gè)自編碼器退化圖經(jīng)過(guò)編碼器壓成瓶頸向量解碼器從瓶頸向量恢復(fù)出完整圖。這種方式信息路徑清晰恢復(fù)結(jié)果更可控。class RestorationGenerator(nn.Module): def __init__(self, latent_dim100): super().__init__() # 編碼器3x64x64 - 512x4x4 self.encoder nn.Sequential( nn.Conv2d(3, 64, kernel_size4, stride2, padding1), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(64, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(128, 256, kernel_size4, stride2, padding1), nn.BatchNorm2d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Conv2d(256, 512, kernel_size4, stride2, padding1), nn.BatchNorm2d(512), nn.LeakyReLU(0.2, inplaceTrue), ) # 解碼器和 DCGAN 生成器后半段一致 self.decoder nn.Sequential( nn.ConvTranspose2d(512, 256, kernel_size4, stride2, padding1), nn.BatchNorm2d(256), nn.ReLU(True), nn.ConvTranspose2d(256, 128, kernel_size4, stride2, padding1), nn.BatchNorm2d(128), nn.ReLU(True), nn.ConvTranspose2d(128, 64, kernel_size4, stride2, padding1), nn.BatchNorm2d(64), nn.ReLU(True), nn.ConvTranspose2d(64, 3, kernel_size4, stride2, padding1), nn.Tanh() ) def forward(self, degraded_img): z self.encoder(degraded_img) return self.decoder(z)這個(gè)結(jié)構(gòu)的核心是編碼器沒(méi)有使用任何全連接層直接用卷積把空間尺寸逐步壓縮保留空間相對(duì)位置信息。這對(duì)圖像恢復(fù)是必需的——全連接層會(huì)丟掉“哪個(gè)位置缺失了什么”的空間信息而空間結(jié)構(gòu)恰恰是恢復(fù)的關(guān)鍵先驗(yàn)。解碼器部分沿用 DCGAN 的轉(zhuǎn)置卷積結(jié)構(gòu)每層通道減半、尺寸翻倍最終回到輸入分辨率。需要注意編碼器里使用了 LeakyReLU而解碼器使用 ReLU這個(gè)不對(duì)稱是有意為之編碼器負(fù)責(zé)提取特征需要保留負(fù)值信息防止梯度流失解碼器負(fù)責(zé)生成圖像ReLU 能產(chǎn)生更銳利的輸出。4. DCGAN 圖像恢復(fù)的關(guān)鍵參數(shù)配置學(xué)習(xí)率、損失權(quán)重和圖像尺寸之間的博弈4.1 六組默認(rèn)參數(shù)和它們的調(diào)節(jié)區(qū)間我收集了一套花過(guò)很多輪實(shí)驗(yàn)得出的參數(shù)區(qū)間直接給出結(jié)論方便你試參數(shù)默認(rèn)值合理區(qū)間調(diào)節(jié)方向說(shuō)明學(xué)習(xí)率0.00021e-4 ~ 5e-4大于 5e-4 時(shí)判別器快速收斂生成器永遠(yuǎn)追不上Adam beta10.50.4 ~ 0.6高于 0.7 會(huì)讓訓(xùn)練振蕩生成樣本出現(xiàn)周期性的扭曲batch size6432 ~ 128太小判別器過(guò)擬合太大生成器梯度被平均掉恢復(fù)細(xì)節(jié)變糊生成器內(nèi)容損失權(quán)重 λ10010 ~ 200退化嚴(yán)重時(shí)調(diào)小讓對(duì)抗損失主導(dǎo)補(bǔ)全圖像輸出尺寸64×6432×32 ~ 128×128超過(guò) 128 時(shí)純 DCGAN 收斂困難需要換殘差生成器判別器迭代次數(shù)11 ~ 5如果生成器崩了輸出全灰可以暫時(shí)調(diào)高到 3第一個(gè)要展開(kāi)的是內(nèi)容損失權(quán)重 λ。做純?nèi)ピ霑r(shí)退化程度低已知信息占比高λ 設(shè)到 100 以上讓恢復(fù)結(jié)果嚴(yán)格貼合原始像素。做遮擋修復(fù)時(shí)遮擋區(qū)域完全沒(méi)有像素信息λ 太高會(huì)讓生成器去猜測(cè)遮擋區(qū)域應(yīng)該如何貼近一個(gè)不存在的真實(shí)值結(jié)果就是模糊因?yàn)?L1/L2 損失在不確定區(qū)域的最優(yōu)解是均值——糊成一片。這種場(chǎng)景建議 λ 降到 10 ~ 20。第二個(gè)要展開(kāi)的是圖像尺寸和生成器結(jié)構(gòu)的關(guān)系。64×64 是 DCGAN 的舒適區(qū)在這個(gè)尺寸下轉(zhuǎn)置卷積可以很好地生成銳利結(jié)構(gòu)。如果用到 128×128最后兩層的感受野不足以覆蓋大范圍的空間關(guān)系很容易生成“局部合理、全局?jǐn)嗔选钡膱D。此時(shí)建議把解碼器中間層改成殘差塊或者直接把生成器換成 U-Net 結(jié)構(gòu)的變體否則純粹靠加深 DCGAN 會(huì)不斷翻車。4.2 學(xué)習(xí)率、batch size 和判別器迭代次數(shù)怎么搭配很多新手把 DCGAN 當(dāng)成普通 CNN 來(lái)調(diào)參學(xué)習(xí)率先從 0.01 開(kāi)始然后一路降——這是非常常見(jiàn)的誤區(qū)。DCGAN 在 0.01 學(xué)習(xí)率下幾乎必崩而且崩的方式很有迷惑性一開(kāi)始 loss 瘋狂下降看起來(lái)訓(xùn)練進(jìn)展不錯(cuò)然后某一輪生成器突然輸出全黑或者全噪點(diǎn)圖之后再也爬不起來(lái)。經(jīng)驗(yàn)做法是保持學(xué)習(xí)率固定不要用學(xué)習(xí)率衰減。GAN 訓(xùn)練在接近收斂時(shí)本來(lái)就會(huì)進(jìn)入動(dòng)態(tài)平衡如果生成器的學(xué)習(xí)率被調(diào)低了它會(huì)在判別器面前變得“任人宰割”判別器會(huì)把所有生成樣本都判為假生成器梯度爆炸輸出滿屏噪點(diǎn)。如果你的訓(xùn)練過(guò)程穩(wěn)定下來(lái)了不要想著讓 loss 更低不要隨手加個(gè) scheduler保持現(xiàn)狀是最優(yōu)解。batch size 和判別器迭代次數(shù)是配合使用的。batch size 小32時(shí)判別器每個(gè) batch 看到的真實(shí)樣本少更容易被生成器騙過(guò)訓(xùn)練不穩(wěn)定batch size 大128時(shí)判別器非常強(qiáng)生成器學(xué)不動(dòng)恢復(fù)圖會(huì)模糊。中庸的選擇是 64batch size 64 配合判別器每輪只更新一次能保持兩者的能力差距在合理范圍內(nèi)。如果出現(xiàn)“生成器崩塌”現(xiàn)象輸出圖像都是同一種紋理或者同一張臉優(yōu)先嘗試調(diào)高判別器更新次數(shù)到 2~3壓一壓生成器讓它更努力地逃生。4.3 歸一化方式和數(shù)據(jù)增強(qiáng)對(duì)恢復(fù)結(jié)果的影響歸一化這件事值得單獨(dú)拿出來(lái)寫(xiě)。做圖像恢復(fù)時(shí)退化圖像和真實(shí)圖像必須采用完全相同的歸一化方式否則判別器會(huì)直接通過(guò)亮度分布來(lái)區(qū)分真假。具體做法是訓(xùn)練集統(tǒng)計(jì)出的均值和標(biāo)準(zhǔn)差同時(shí)對(duì)退化圖和清晰圖做標(biāo)準(zhǔn)化歸一化后再做* 2 - 1轉(zhuǎn)換到 [-1, 1] 區(qū)間。有人喜歡直接用(x - 0.5) * 2的方式把 [0,1] 映射到 [-1,1]也可以但必須保證推理階段和訓(xùn)練階段一致。數(shù)據(jù)增強(qiáng)方面隨機(jī)水平翻轉(zhuǎn)可以用但不要用隨機(jī)裁剪——圖像恢復(fù)任務(wù)里裁剪會(huì)破壞退化圖和清晰圖之間的像素對(duì)應(yīng)關(guān)系生成器會(huì)學(xué)到錯(cuò)誤的映射。如果一定要做多尺度把退化圖和清晰圖用同一個(gè)隨機(jī)種子裁剪確保位置一致。顏色抖動(dòng)增強(qiáng)也建議關(guān)閉因?yàn)?DCGAN 的生成器對(duì)顏色分布非常敏感顏色擾動(dòng)會(huì)讓判別器學(xué)到錯(cuò)誤信號(hào)導(dǎo)致恢復(fù)圖的飽和度和色調(diào)出現(xiàn)偏差。5. DCGAN 訓(xùn)練避坑記錄五個(gè)我親手踩進(jìn)去又爬出來(lái)的坑5.1 生成器輸出全黑/全灰圖loss 看起來(lái)卻“正?！爆F(xiàn)象訓(xùn)練到第 3 ~ 5 個(gè) epoch生成器輸出的圖像全部變成同一張灰色模糊圖判別器的 loss 維持在一個(gè)不高不低的位置看起來(lái)訓(xùn)練還在進(jìn)行實(shí)際上已經(jīng)死了。原因判別器器先一步收斂它能輕易識(shí)別出生成樣本導(dǎo)致生成器梯度接近零。生成器不再學(xué)習(xí)直接停在某個(gè)局部最優(yōu)點(diǎn)通常是輸出全灰因?yàn)榛覉D的 L2 損失在所有候選圖里最小。GAN 的叫法給這種現(xiàn)象起了個(gè)名字叫“模式崩塌”但在 DCGAN 的圖像恢復(fù)場(chǎng)景下它通常是判別器太強(qiáng)導(dǎo)致的。解決把判別器的學(xué)習(xí)率降到生成器的一半具體做法是設(shè)置d_opt optim.Adam(discriminator.parameters(), lr0.0001)g_opt optim.Adam(generator.parameters(), lr0.0002)。同時(shí)檢查標(biāo)簽平滑——如果你用的是 1/0 硬標(biāo)簽換成 0.9/0.1 能避免判別器輸出過(guò)于自信保留更多梯度信號(hào)給生成器。5.2 恢復(fù)結(jié)果清晰但“不像原圖”內(nèi)容損失和對(duì)抗損失的權(quán)重失衡現(xiàn)象恢復(fù)出來(lái)的圖像銳利、清晰、細(xì)節(jié)豐富但是跟清晰原圖一對(duì)比像素級(jí)相似度很低。比如人臉恢復(fù)后眼睛位置偏移了幾毫米膚色和原圖不一致。原因λ 設(shè)得太小生成器只參考對(duì)抗損失它編造了“看起來(lái)合理但與輸入不對(duì)應(yīng)”的內(nèi)容。在圖像恢復(fù)場(chǎng)景里這意味著生成器在發(fā)揮想象力而不是做恢復(fù)。解決直接把 λ 從 10 提升到 100然后觀察 PSNR 和 SSIM 的變化。如果 PSNR 上升明顯說(shuō)明內(nèi)容損失正在起約束作用。如果 PSNR 上升但視覺(jué)質(zhì)量下降太模糊再把 λ 回調(diào)到 50 左右。這是一個(gè)需要反復(fù)橫跳的經(jīng)驗(yàn)值我建議每次改完 λ 都同時(shí)查看三組結(jié)果原圖、恢復(fù)圖、像素差熱力圖不要只看數(shù)值。5.3 訓(xùn)練到后期 loss 震蕩幅度越來(lái)越大圖像質(zhì)量時(shí)好時(shí)壞現(xiàn)象訓(xùn)練到第 30 個(gè) epoch 之后生成器 loss、判別器 loss 都在持續(xù)波動(dòng)每隔幾個(gè) epoch 恢復(fù)質(zhì)量差一次然后又變好往復(fù)循環(huán)。原因兩個(gè)網(wǎng)絡(luò)在動(dòng)態(tài)博弈中產(chǎn)生了周期性對(duì)抗生成器學(xué)到的策略一被判別器識(shí)破就要換策略換策略的過(guò)程中恢復(fù)質(zhì)量會(huì)有明顯波動(dòng)。這是 GAN 的正?，F(xiàn)象不是 bug但很多人在這里誤以為模型不收斂就提前終止。解決在訓(xùn)練腳本里加入最佳模型保存邏輯不只看最后一個(gè) epoch。每個(gè) epoch 結(jié)束后在固定的驗(yàn)證集上算一次 PSNR/SSIM把最優(yōu)指標(biāo)的模型保存為best_generator.pth。最后使用時(shí)直接加載這個(gè)最優(yōu)快照而不是加載最后一個(gè) epoch 的參數(shù)。這是最簡(jiǎn)單也最實(shí)用的后悔藥。5.4 加了內(nèi)容損失后判別器 loss 降到 0但生成圖像嚴(yán)重模糊現(xiàn)象內(nèi)容損失權(quán)重調(diào)到 100 以上之后判別器 loss 急速下降趨近 0但生成圖像變得非常模糊邊緣全部丟失。原因λ 太高內(nèi)容損失在總損失中占比過(guò)大梯度主要沿著 L1/L2 方向更新而 L1/L2 的最優(yōu)解是模糊。判別器雖然還在輸出“假”的判斷但它的梯度被淹沒(méi)在內(nèi)容損失的梯度里了。解決觀察兩個(gè)損失的數(shù)量級(jí)。如果內(nèi)容損失的數(shù)值比對(duì)抗損失大兩個(gè)數(shù)量級(jí)以上需要對(duì)總損失做加權(quán)歸一化把內(nèi)容損失除以它的均值把對(duì)抗損失除以它的均值再按 λ 加權(quán)合并。不要直接加直接加的話數(shù)值大的一方的確會(huì)無(wú)視另一方。5.5 恢復(fù)圖像出現(xiàn)塊狀偽影棋盤(pán)格效應(yīng)現(xiàn)象恢復(fù)圖的邊緣區(qū)域出現(xiàn)規(guī)則的棋盤(pán)格紋路尤其在強(qiáng)梯度區(qū)域邊緣、紋理最明顯。原因轉(zhuǎn)置卷積的步長(zhǎng)重疊導(dǎo)致權(quán)重分布不均某些位置的像素被多個(gè)卷積核覆蓋另一些位置覆蓋不足形成規(guī)則周期性的色塊。這在 DCGAN 中是經(jīng)典問(wèn)題圖像尺寸越大越明顯。解決三種常見(jiàn)做法任選其一。第一在轉(zhuǎn)置卷積后接一個(gè)普通卷積層做平滑第二把轉(zhuǎn)置卷積改為“上采樣 普通卷積”即先用最近鄰插值把尺寸放大一倍再用一個(gè) kernel_size3、stride1 的卷積做特征融合第三種做法最省事且有效保持 DCGAN 原結(jié)構(gòu)不動(dòng)但在 loss 里加一個(gè)總變差正則項(xiàng)TV loss懲罰相鄰像素之間的劇烈差異可以有效抑制棋盤(pán)格。TV loss 的實(shí)現(xiàn)如下def tv_loss(img): # img: batch x 3 x H x W batch_size, _, h, w img.shape diff_h torch.abs(img[:, :, 1:, :] - img[:, :, :-1, :]).mean() diff_w torch.abs(img[:, :, :, 1:] - img[:, :, :, :-1]).mean() return diff_h diff_w把tv_loss以 0.001 的權(quán)重加進(jìn)生成器總損失里棋盤(pán)格現(xiàn)象會(huì)出現(xiàn)明顯緩解。注意權(quán)重不要超過(guò) 0.01否則圖像會(huì)被過(guò)度平滑。6. 恢復(fù)效果怎么驗(yàn)證FID、PSNR/SSIM 和人眼判斷的取舍訓(xùn)練跑通了接下來(lái)是說(shuō)服自己的工作——和說(shuō)服合作方需要不同的話術(shù)。PSNR 和 SSIM 是圖像恢復(fù)領(lǐng)域最常用的兩個(gè)客觀指標(biāo)但它們和人類感知的相關(guān)性并不高尤其對(duì) GAN 生成的結(jié)果來(lái)說(shuō)一張模糊但色彩均勻的圖可能 PSNR 很高一張銳利但細(xì)節(jié)有微小錯(cuò)位的圖 PSNR 反而低。所以你需要三個(gè)指標(biāo)一起看PSNR 負(fù)責(zé)約束像素級(jí)偏差、SSIM 負(fù)責(zé)衡量結(jié)構(gòu)相似性、FID 負(fù)責(zé)評(píng)估分布級(jí)真實(shí)感。最后一個(gè)才是最有說(shuō)服力的。FIDFréchet Inception Distance的計(jì)算方式把真實(shí)清晰圖和恢復(fù)圖分別輸入 Inception-V3 網(wǎng)絡(luò)提取倒數(shù)第二層的特征向量計(jì)算這兩個(gè)特征分布之間的 Wasserstein 距離。FID 越低意味著恢復(fù)圖在語(yǔ)義特征層面更接近真實(shí)圖像分布。這對(duì) GAN 類模型很重要——它能捕捉到“紋理是否真實(shí)、結(jié)構(gòu)是否合理”這一類人類能感知但像素指標(biāo)測(cè)不出來(lái)的特征。import torch from torchvision.models import inception_v3 from scipy.linalg import sqrtm import numpy as np def calculate_fid(real_loader, fake_loader, device): inception inception_v3(pretrainedTrue, transform_inputFalse).to(device) inception.eval() def get_features(loader): features [] with torch.no_grad(): for batch, _ in loader: batch torch.nn.functional.interpolate(batch, size(299, 299), modebilinear) batch (batch 1) / 2 # 從 [-1,1] 恢復(fù)到 [0,1] if batch.shape[1] 1: batch batch.repeat(1, 3, 1, 1) feat inception(batch) features.append(feat.cpu().numpy()) return np.concatenate(features, axis0) real_feat get_features(real_loader) fake_feat get_features(fake_loader) mu1, sigma1 real_feat.mean(axis0), np.cov(real_feat, rowvarFalse) mu2, sigma2 fake_feat.mean(axis0), np.cov(fake_feat, rowvarFalse) diff mu1 - mu2 cov_mean sqrtm(sigma1 sigma2) if np.iscomplexobj(cov_mean): cov_mean cov_mean.real fid diff.dot(diff) np.trace(sigma1 sigma2 - 2 * cov_mean) return fid這段代碼的核心在最后幾行FID 的計(jì)算分三部分均值差異的平方、協(xié)方差矩陣跡的差異、協(xié)方差交叉項(xiàng)。sqrtm是對(duì)協(xié)方差乘積做矩陣平方根如果結(jié)果是復(fù)數(shù)就取實(shí)部——浮點(diǎn)計(jì)算導(dǎo)致的數(shù)值噪聲不影響量級(jí)判斷。你的驗(yàn)證流程應(yīng)該固定下來(lái)訓(xùn)練結(jié)束后跑 200 張測(cè)試圖分別計(jì)算 PSNR、SSIM、FID再隨機(jī)挑 5 組圖原圖/退化圖/恢復(fù)圖放到一張 grid 里肉眼對(duì)比。如果 FID 低但 PSNR 低說(shuō)明生成器在“發(fā)揮創(chuàng)造力”——適合遮擋修復(fù)不適合去噪如果 PSNR 高但 FID 高說(shuō)明恢復(fù)圖過(guò)于平滑、缺乏紋理細(xì)節(jié)——適合做內(nèi)容約束較重的任務(wù)不適合做真實(shí)感要求高的場(chǎng)景。最后一個(gè)進(jìn)階方向如果 64×64 的恢復(fù)分辨率不能滿足需求別急著把 DCGAN 放大到 256×256——結(jié)構(gòu)上可以直接升級(jí)為 SRGAN 或者 ESRGAN它們的生成器本質(zhì)上是“DCGAN 殘差塊 感知損失”訓(xùn)練技巧一脈相承。你先在 DCGAN 上把數(shù)據(jù)流、訓(xùn)練循環(huán)、評(píng)估流程全部跑通再遷移到 SRGAN 上會(huì)發(fā)現(xiàn)遷移成本極低因?yàn)?DCGAN 是它們最小公共子集。我自己就是從 DCGAN 起步做圖像修復(fù)的當(dāng)時(shí)被棋盤(pán)格和模式崩塌來(lái)回折磨了兩周回過(guò)頭看這些坑反而讓我理解了 GAN 訓(xùn)練的本質(zhì)它不是一個(gè)優(yōu)化問(wèn)題而是一個(gè)平衡問(wèn)題。希望這些經(jīng)驗(yàn)?zāi)軒湍闵僮呶易哌^(guò)的彎路如果你按照上面的步驟跑通了記得把你的 FID 基線記下來(lái)——那才是真正屬于你的起跑線。本文還有配套的精品資源點(diǎn)擊獲取