欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

條件擴(kuò)散模型合成病理圖像評(píng)估實(shí)戰(zhàn)

條件擴(kuò)散模型合成病理圖像評(píng)估實(shí)戰(zhàn) 之前在做病理圖像分類項(xiàng)目時(shí)最頭疼的不是模型結(jié)構(gòu)怎么選而是數(shù)據(jù)根本不夠用。醫(yī)院病理科收集的切片數(shù)據(jù)本身就需要專家逐張標(biāo)注標(biāo)注一塊 Tiles 往往就要耗費(fèi)大量時(shí)間再加上罕見(jiàn)病樣本稀缺、患者隱私保護(hù)嚴(yán)格想湊齊一個(gè)類別均衡的訓(xùn)練集非常困難。后來(lái)我們?cè)诜桨咐镆肓藯l件擴(kuò)散模型Conditional Diffusion Model做合成組織病理學(xué)圖像生成把類別標(biāo)簽當(dāng)成生成條件成功補(bǔ)充了低樣本類別下游模型效果也有明顯提升。這篇文章就把這套評(píng)估流程完整記錄下來(lái)包含原理講解、可運(yùn)行代碼、量化評(píng)估方法和常見(jiàn)踩坑總結(jié)希望對(duì)做病理AI、醫(yī)學(xué)圖像生成的朋友有幫助。1. 為什么需要生成合成組織病理學(xué)圖像1.1 病理AI的數(shù)據(jù)瓶頸組織病理學(xué)圖像是病理醫(yī)生診斷腫瘤類型、分級(jí)、判斷預(yù)后最重要的依據(jù)。在進(jìn)行全玻片掃描成像WSI后一張切片往往能達(dá)到數(shù)萬(wàn)像素甚至十億像素級(jí)別直接訓(xùn)練深度學(xué)習(xí)模型并不現(xiàn)實(shí)常規(guī)做法是先將其切分為 256×256 或 512×512 的 Tiles再針對(duì)這些 Tiles 做分類、分割或特征提取。但數(shù)據(jù)層面存在幾個(gè)難以繞開(kāi)的瓶頸。首先是隱私合規(guī)病理圖像涉及患者診斷信息直接跨機(jī)構(gòu)共享樣本需要經(jīng)過(guò)嚴(yán)格的倫理審批和數(shù)據(jù)脫敏流程。其次是標(biāo)注成本病理結(jié)構(gòu)與自然圖像差異極大判定一個(gè)組織區(qū)域是良性、惡性還是腫瘤浸潤(rùn)前沿往往需要多年經(jīng)驗(yàn)的病理醫(yī)生參與標(biāo)注費(fèi)用高、周期長(zhǎng)。第三是類別不均衡某些罕見(jiàn)病變類型在真實(shí)臨床數(shù)據(jù)里占比很低模型在訓(xùn)練時(shí)很容易被多數(shù)類主導(dǎo)對(duì)少樣本類別幾乎學(xué)不到有效特征。合成圖像生成技術(shù)成為緩解上述問(wèn)題的關(guān)鍵手段。通過(guò)生成模型構(gòu)造符合目標(biāo)類別分布的新樣本可以在不直接復(fù)用患者原始數(shù)據(jù)的前提下擴(kuò)充訓(xùn)練集為分類、分割、檢測(cè)等下游任務(wù)提供額外樣本。這類合成樣本不是簡(jiǎn)單的裁剪、翻轉(zhuǎn)、顏色抖動(dòng)而是從數(shù)據(jù)分布層面產(chǎn)生了全新圖像對(duì)提升模型泛化能力更有價(jià)值。1.2 為什么是條件擴(kuò)散模型過(guò)去幾年生成對(duì)抗網(wǎng)絡(luò)GAN是醫(yī)學(xué)圖像生成的主流方案尤其是 StyleGAN 系列在人臉和自然圖像上取得了很好的效果。但在病理圖像場(chǎng)景中GAN 存在訓(xùn)練不穩(wěn)定、模式坍塌、生成圖像紋理重復(fù)等明顯問(wèn)題。組織病理圖像有極強(qiáng)的形態(tài)學(xué)特征比如腺管結(jié)構(gòu)、核異型性、間質(zhì)纖維化一旦模型坍塌到少數(shù)幾種模式生成結(jié)果對(duì)整個(gè)訓(xùn)練集的補(bǔ)充意義就非常有限。擴(kuò)散模型Diffusion Model提供了一個(gè)更穩(wěn)定的生成范式。它的思路不是像 GAN 那樣直接讓生成器與判別器對(duì)抗而是先給真實(shí)圖像逐步加入高斯噪聲直到圖像幾乎完全變成噪聲再訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)逐步去噪從而恢復(fù)原始圖像。這個(gè)過(guò)程可以看作從目標(biāo)數(shù)據(jù)分布驅(qū)動(dòng)的噪聲還原訓(xùn)練過(guò)程相對(duì)穩(wěn)定生成質(zhì)量也更容易通過(guò)增加去噪步數(shù)來(lái)提升。無(wú)條件擴(kuò)散模型雖然能生成逼真圖像但無(wú)法控制生成類別這在醫(yī)學(xué)場(chǎng)景中很難直接用。條件擴(kuò)散模型則在噪聲預(yù)測(cè)網(wǎng)絡(luò)中引入額外條件信息比如類別標(biāo)簽、文本描述、圖像引導(dǎo)等。它解決了病理 AI 中非常核心的訴求我們不僅需要生成一張圖像更需要生成一張指定類別、指定病理特征的圖像。這也就是為什么在合成組織病理學(xué)圖像生成任務(wù)中條件擴(kuò)散模型逐步成為主流研究方向。1.3 本文評(píng)估方案與閱讀路線本文圍繞條件擴(kuò)散模型在組織病理學(xué)圖像生成中的評(píng)估展開(kāi)完整流程包括核心原理、數(shù)據(jù)預(yù)處理、基于 Diffusers 庫(kù)的最小實(shí)現(xiàn)、FID、IS、MS-SSIM 評(píng)估方法以及訓(xùn)練穩(wěn)定性和工程落地建議。如果你是剛開(kāi)始接觸擴(kuò)散模型建議先完整閱讀第 3 章原理部分再對(duì)照代碼運(yùn)行。如果已經(jīng)跑過(guò)相關(guān)實(shí)驗(yàn)可以直接跳到第 5 章看評(píng)估指標(biāo)再對(duì)照第 6 章常見(jiàn)問(wèn)題排查。整篇文章的代碼以 PyTorch 生態(tài)為基礎(chǔ)可以按你自己的數(shù)據(jù)集替換數(shù)據(jù)路徑和類別配置。2. 環(huán)境準(zhǔn)備與實(shí)驗(yàn)設(shè)計(jì)2.1 硬件與依賴環(huán)境訓(xùn)練擴(kuò)散模型對(duì)算力有一定要求。本文示例使用 128×128 分辨率和較淺的 UNet顯存占用約 6GB 到 12GB一張 NVIDIA GTX 3060 或更高顯存的顯卡可以完成訓(xùn)練。如果只有普通 CPU 環(huán)境也可以通過(guò)減小圖像尺寸、降低 batch size 跑通流程但生成質(zhì)量會(huì)受限制。跨設(shè)備訓(xùn)練時(shí)建議使用顯存 16GB 以上的 GPU或使用云 GPU 平臺(tái)。軟件環(huán)境以 Python 3.9 以上版本為基準(zhǔn)依賴庫(kù)包括 PyTorch、Diffusers、Torchvision、Accelerate、Tqdm、Pillow、Scikit-learn、OpenCV、Pytorch-FID 和 Torchmetrics。這里不固定具體版本號(hào)因?yàn)?PyTorch 和 Diffusers 迭代較快建議安裝時(shí)使用當(dāng)前穩(wěn)定版本。以下命令可以創(chuàng)建基礎(chǔ)環(huán)境pip install torch torchvision diffusers accelerate tqdm pillow pip install scikit-learn opencv-python pytorch-fid torchmetrics實(shí)際項(xiàng)目中版本需要根據(jù)你的項(xiàng)目環(huán)境調(diào)整。如果使用 Conda也可以先創(chuàng)建虛擬環(huán)境再安裝依賴避免與系統(tǒng) Python 環(huán)境沖突。2.2 項(xiàng)目結(jié)構(gòu)設(shè)計(jì)開(kāi)始寫代碼前先把項(xiàng)目結(jié)構(gòu)規(guī)劃清楚。本文采用以下結(jié)構(gòu)histo_diffusion_eval/ ├── config.py # 全局配置數(shù)據(jù)路徑、訓(xùn)練輪數(shù)、圖像尺寸 ├── dataset.py # 病理 Tiles 數(shù)據(jù)集加載與增強(qiáng) ├── model.py # 條件 UNet 構(gòu)建 ├── train.py # 訓(xùn)練入口 ├── sample.py # 條件生成采樣 └── evaluate.py # 評(píng)估腳本FID、IS、MS-SSIM這種按功能拆分的結(jié)構(gòu)便于復(fù)現(xiàn)實(shí)驗(yàn)也方便后續(xù)更換數(shù)據(jù)集或調(diào)整模型。配置集中在config.py中可以避免在多個(gè)文件里硬編碼參數(shù)。3. 條件擴(kuò)散模型原理與條件注入方式3.1 擴(kuò)散模型的核心過(guò)程擴(kuò)散模型由前向過(guò)程和逆向過(guò)程組成。前向過(guò)程是一個(gè)固定的加噪過(guò)程每一時(shí)間步都向圖像中添加少量高斯噪聲經(jīng)過(guò)足夠多步之后圖像近似變成標(biāo)準(zhǔn)高斯噪聲。若用 T 表示總時(shí)間步數(shù)通常取 1000則前向過(guò)程可以寫成從原始圖像 x? 出發(fā)逐步得到 x?, x?, ..., x_T。訓(xùn)練階段并不需要逐步迭代采樣擴(kuò)散模型的數(shù)學(xué)性質(zhì)允許直接根據(jù)任意時(shí)間步 t 計(jì)算出帶噪圖像。設(shè) α?_t 是噪聲調(diào)度器的累計(jì)系數(shù)隨機(jī)噪聲為 ε則帶噪圖像 x_t 可以表示為x_t sqrt(α?_t) * x_0 sqrt(1 - α?_t) * ε神經(jīng)網(wǎng)絡(luò)的任務(wù)是預(yù)測(cè)噪聲 ε。只要模型能準(zhǔn)確預(yù)測(cè)出當(dāng)前時(shí)刻添加的噪聲逆向過(guò)程就可以從 x_t 中減去預(yù)測(cè)噪聲逐步得到更接近原始圖像的 x_{t-1}最終從純?cè)肼曋羞€原出清晰圖像。這個(gè)方法被驗(yàn)證為穩(wěn)定的生成方案也是近年擴(kuò)散模型在圖像生成領(lǐng)域快速發(fā)展的基礎(chǔ)。3.2 條件信息的三種注入方式條件擴(kuò)散模型與無(wú)條件擴(kuò)散模型最大的區(qū)別在于去噪網(wǎng)絡(luò)需要額外接收條件信息。不同任務(wù)的數(shù)據(jù)形態(tài)不同條件注入方式也有區(qū)別。第一類是類別條件最典型的做法是把類別標(biāo)簽通過(guò)nn.Embedding映射成類別嵌入向量再在 UNet 的殘差塊中與時(shí)間嵌入向量相加引導(dǎo)每個(gè)特征層在去噪時(shí)保持對(duì)應(yīng)類別的語(yǔ)義。本文后續(xù)代碼使用的UNet2DModel支持通過(guò)class_labels參數(shù)傳入類別標(biāo)簽屬于這一類。第二類是圖像條件常用于圖像修復(fù)、超分辨率、分割引導(dǎo)等任務(wù)比如把低分辨率圖或掩碼圖與噪聲圖像在通道維度拼接或者通過(guò)交叉注意力機(jī)制讓網(wǎng)絡(luò)參考條件圖像的特征。這種方法在病理場(chǎng)景中也可以用于指定生成區(qū)域的形態(tài)結(jié)構(gòu)。第三類是文本條件常見(jiàn)做法是使用 CLIP 文本編碼器提取文本特征再通過(guò)交叉注意力層與 UNet 內(nèi)部圖像特征交互。這類方法在自然圖像生成中很流行但病理文本描述標(biāo)注成本高因此目前醫(yī)學(xué)圖像生成研究中使用類別條件和圖像條件的場(chǎng)景更多。本文的病理圖像生成屬于多類別組織分類場(chǎng)景適合使用類別條件。實(shí)際項(xiàng)目中如果數(shù)據(jù)集中包含病變區(qū)域分割掩碼也可以進(jìn)一步改成圖像條件讓模型生成指定區(qū)域的病理結(jié)構(gòu)。3.3 訓(xùn)練目標(biāo)與采樣要點(diǎn)條件擴(kuò)散模型的訓(xùn)練目標(biāo)非常簡(jiǎn)潔。給定干凈圖像 x?、類別標(biāo)簽 c、隨機(jī)時(shí)間步 t 和噪聲 ε模型輸出其對(duì)噪聲的預(yù)測(cè) ε_(tái)θ(x_t, t, c)損失函數(shù)采用噪聲預(yù)測(cè)與真實(shí)噪聲的均方誤差L E[ || ε - ε_(tái)θ(x_t, t, c) ||2 ]這個(gè)目標(biāo)函數(shù)不依賴對(duì)抗訓(xùn)練因此訓(xùn)練過(guò)程相對(duì)穩(wěn)定。需要注意的是時(shí)間步 t 應(yīng)該隨機(jī)均勻采樣讓模型學(xué)會(huì)在所有噪聲強(qiáng)度下都能正確去噪而不是只擅長(zhǎng)某幾個(gè)時(shí)間步。條件信息在訓(xùn)練時(shí)也不能總是參與否則模型會(huì)過(guò)度依賴條件導(dǎo)致無(wú)條件采樣時(shí)效果明顯退化。采樣階段可以使用 DDPM 調(diào)度器逐步去噪。DDPM 的采樣步數(shù)與訓(xùn)練步數(shù)一致速度較慢如果需要更快生成可以使用 DDIM 采樣器用更少的采樣步數(shù)達(dá)到接近的效果。實(shí)際項(xiàng)目中我通常先用 DDPM 完整采樣確認(rèn)質(zhì)量再調(diào)整為 DDIM 加速實(shí)驗(yàn)迭代。4. 完整實(shí)戰(zhàn)條件擴(kuò)散模型生成病理圖像4.1 數(shù)據(jù)集準(zhǔn)備與預(yù)處理本文代碼假設(shè)數(shù)據(jù)集目錄按類別組織每個(gè)類別一個(gè)子文件夾文件夾內(nèi)是已經(jīng)切好的病理 Tiles。Camelyon16、TCGA 等公開(kāi)組織病理數(shù)據(jù)集都可以作為實(shí)驗(yàn)來(lái)源但使用時(shí)需要核對(duì)數(shù)據(jù)授權(quán)協(xié)議按自己的科研或業(yè)務(wù)場(chǎng)景合規(guī)使用。切塊預(yù)處理通常包含以下幾個(gè)步驟從 WSI 中讀取組織區(qū)域過(guò)濾掉純白色背景和玻璃雜質(zhì)區(qū)域?qū)⒂行ЫM織區(qū)域切分為固定尺寸的 Tiles最后人工或基于已有標(biāo)簽完成類別標(biāo)注。對(duì)于快速?gòu)?fù)現(xiàn)實(shí)驗(yàn)可以先收集每類 200 到 500 張 Tiles數(shù)量不多但足夠驗(yàn)證完整流程。dataset.py中實(shí)現(xiàn)一個(gè)讀取本地病理 Tiles 數(shù)據(jù)集的Dataset類。它掃描根目錄下的子文件夾把類別名稱轉(zhuǎn)換成數(shù)字標(biāo)簽并返回圖像和標(biāo)簽。數(shù)據(jù)增強(qiáng)部分使用了隨機(jī)水平和垂直翻轉(zhuǎn)保持病理圖像的結(jié)構(gòu)語(yǔ)義不變。import os from PIL import Image import torch from torch.utils.data import Dataset from torchvision import transforms class HistologyTileDataset(Dataset): def __init__(self, root_dir, image_size128): self.image_paths [] self.labels [] self.class_names sorted(os.listdir(root_dir)) self.class_to_idx {name: i for i, name in enumerate(self.class_names)} for cls_name in self.class_names: cls_dir os.path.join(root_dir, cls_name) if not os.path.isdir(cls_dir): continue for fname in os.listdir(cls_dir): if fname.lower().endswith((.png, .jpg, .jpeg)): self.image_paths.append(os.path.join(cls_dir, fname)) self.labels.append(self.class_to_idx[cls_name]) self.transform transforms.Compose([ transforms.Resize((image_size, image_size)), transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)), ]) def __len__(self): return len(self.image_paths) def __getitem__(self, idx): img Image.open(self.image_paths[idx]).convert(RGB) label self.labels[idx] img self.transform(img) return img, label這里把圖像像素歸一化到 -1 到 1 范圍與擴(kuò)散模型噪聲調(diào)度器的輸出范圍保持一致。如果你的數(shù)據(jù)集圖像不是正方形Resize會(huì)統(tǒng)一拉伸到指定尺寸實(shí)際項(xiàng)目中也可以考慮中心裁剪后再縮放減少形變影響。4.2 構(gòu)建條件UNet模型部分直接使用 Hugging Face Diffusers 庫(kù)提供的UNet2DModel它內(nèi)部已經(jīng)實(shí)現(xiàn)了時(shí)間嵌入、類別嵌入、殘差塊、注意力機(jī)制和上下采樣路徑。這樣可以在保持代碼簡(jiǎn)潔的同時(shí)使用經(jīng)過(guò)大規(guī)模實(shí)驗(yàn)驗(yàn)證的模型結(jié)構(gòu)。model.py中的構(gòu)建函數(shù)接收Config對(duì)象返回一個(gè)支持類別條件的 UNet。num_class_embeds對(duì)應(yīng)類別數(shù)量block_out_channels控制每一層的通道數(shù)sample_size需要與數(shù)據(jù)集中圖像尺寸一致。from diffusers import UNet2DModel def build_unet(config): return UNet2DModel( sample_sizeconfig.image_size, in_channels3, out_channels3, layers_per_block2, block_out_channelsconfig.block_out_channels, num_class_embedsconfig.num_class_embeds, dropout0.1, )如果想更深入理解條件注入機(jī)制可以在UNet2DModel的源碼中看到它把類別標(biāo)簽映射為嵌入向量并在多個(gè)殘差塊中與時(shí)間嵌入相加。這種做法可以有效引導(dǎo)生成過(guò)程讓不同類別的圖像在去噪階段逐漸分離開(kāi)來(lái)。config.py中統(tǒng)一管理所有參數(shù)這里給出一個(gè)可運(yùn)行的默認(rèn)配置import torch class Config: # 數(shù)據(jù) data_dir data/tiles image_size 128 num_classes 2 class_names [benign, malignant] # 訓(xùn)練 batch_size 16 num_epochs 100 lr 2e-4 weight_decay 1e-4 grad_clip 1.0 ema_decay 0.995 device cuda if torch.cuda.is_available() else cpu # 模型 block_out_channels (64, 128, 128, 256) time_emb_dim 256 class_emb_dim 128 num_class_embeds 2 # 擴(kuò)散 timesteps 1000 beta_start 1e-4 beta_end 0.02 # 采樣與評(píng)估 ddim_steps 100 sample_batch_size 16 ckpt_dir checkpoints4.3 訓(xùn)練循環(huán)配置訓(xùn)練過(guò)程包括加噪、噪聲預(yù)測(cè)、損失計(jì)算和參數(shù)更新四個(gè)核心步驟。train.py使用DDPMScheduler管理噪聲調(diào)度調(diào)用add_noise方法一步生成帶噪圖像然后用模型預(yù)測(cè)噪聲計(jì)算 MSE 損失。import os import torch import torch.nn.functional as F from torch.utils.data import DataLoader from torchvision import transforms from diffusers import DDPMScheduler from tqdm.auto import tqdm from config import Config from dataset import HistologyTileDataset from model import build_unet def train(config): device torch.device(config.device) dataset HistologyTileDataset(config.data_dir, config.image_size) loader DataLoader( dataset, batch_sizeconfig.batch_size, shuffleTrue, num_workers4, drop_lastTrue, ) noise_scheduler DDPMScheduler( num_train_timestepsconfig.timesteps, beta_startconfig.beta_start, beta_endconfig.beta_end, ) model build_unet(config).to(device) optimizer torch.optim.AdamW(model.parameters(), lrconfig.lr, weight_decayconfig.weight_decay) lr_scheduler torch.optim.lr_scheduler.CosineAnnealingLR( optimizer, T_maxlen(loader) * config.num_epochs ) os.makedirs(config.ckpt_dir, exist_okTrue) global_step 0 for epoch in range(config.num_epochs): model.train() pbar tqdm(loader, descfEpoch {epoch 1}/{config.num_epochs}) for images, labels in pbar: images images.to(device) labels labels.to(device) noise torch.randn_like(images) timesteps torch.randint( 0, config.timesteps, (images.shape[0],), devicedevice ).long() noisy_images noise_scheduler.add_noise(images, noise, timesteps) noise_pred model(noisy_images, timesteps, class_labelslabels).sample loss F.mse_loss(noise_pred, noise) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), config.grad_clip) optimizer.step() lr_scheduler.step() optimizer.zero_grad() global_step 1 pbar.set_postfix(lossloss.item()) # 每個(gè) epoch 結(jié)束后保存一次 torch.save(model.state_dict(), os.path.join(config.ckpt_dir, fmodel_epoch{epoch 1}.pt)) if __name__ __main__: train(Config())訓(xùn)練中同時(shí)使用了余弦退火學(xué)習(xí)率調(diào)度和梯度裁剪這兩項(xiàng)對(duì)穩(wěn)定訓(xùn)練很有幫助。noise_scheduler.add_noise的第三個(gè)參數(shù)是隨機(jī)采樣的時(shí)間步不要固定成一個(gè)值。模型輸出的.sample字段才是預(yù)測(cè)噪聲這一點(diǎn)在使用UNet2DModel時(shí)需要注意。如果顯存較小可以調(diào)低image_size到 64 或 96或者減小batch_size。如果 GPU 利用率過(guò)低可以增加num_workers來(lái)加速數(shù)據(jù)加載。4.4 生成采樣與保存模型訓(xùn)練完成后使用DDPMScheduler的timesteps從 T 到 0 逐步去噪。每步將當(dāng)前時(shí)刻的帶噪圖像和類別標(biāo)簽輸入模型得到預(yù)測(cè)噪聲再調(diào)用調(diào)度器的step方法獲取去噪后的prev_sample。循環(huán)結(jié)束后即可得到生成圖像。import os import torch from torchvision.utils import save_image from diffusers import DDPMScheduler from tqdm.auto import tqdm from config import Config from model import build_unet def sample(config, class_label0, ckpt_namemodel_epoch100.pt): device torch.device(config.device) noise_scheduler DDPMScheduler( num_train_timestepsconfig.timesteps, beta_startconfig.beta_start, beta_endconfig.beta_end, ) model build_unet(config).to(device) ckpt_path os.path.join(config.ckpt_dir, ckpt_name) model.load_state_dict(torch.load(ckpt_path, map_locationdevice)) model.eval() labels torch.full( (config.sample_batch_size,), fill_valueclass_label, dtypetorch.long, devicedevice, ) x torch.randn( config.sample_batch_size, 3, config.image_size, config.image_size, devicedevice, ) for t in tqdm(noise_scheduler.timesteps): with torch.no_grad(): noise_pred model(x, t, class_labelslabels).sample x noise_scheduler.step(noise_pred, t, x).prev_sample # 從 [-1, 1] 轉(zhuǎn)回 [0, 1] 并保存 x (x 1) / 2 x torch.clamp(x, 0.0, 1.0) save_image(x, fgenerated_class{class_label}.png, nrow4) return x if __name__ __main__: config Config() sample(config, class_label0)生成的圖像可以保存為一個(gè)網(wǎng)格圖片肉眼檢查生成結(jié)果是否具備目標(biāo)類別的基本組織形態(tài)。后續(xù)定量評(píng)估時(shí)則需要把生成圖像批量導(dǎo)出到文件夾中作為 FID 等指標(biāo)的輸入。5. 量化評(píng)估與對(duì)比分析5.1 FID評(píng)估FIDFréchet Inception Distance是圖像生成任務(wù)中最常用的評(píng)估指標(biāo)之一。它先使用特征提取網(wǎng)絡(luò)提取真實(shí)圖像和生成圖像的高維特征再計(jì)算兩個(gè)特征分布之間的 Wasserstein-2 距離。FID 越低說(shuō)明生成圖像與真實(shí)圖像的分布越接近。對(duì)于病理圖像直接用 ImageNet 預(yù)訓(xùn)練的 InceptionV3 提取特征并不是最優(yōu)選擇因?yàn)?ImageNet 的自然圖像特征與病理圖像的形態(tài)特征差異很大。更合理的做法是使用病理圖像預(yù)訓(xùn)練模型作為特征提取器例如在 WSI 數(shù)據(jù)上訓(xùn)練的病理基礎(chǔ)模型。如果只是為了橫向?qū)Ρ炔煌赡P偷南鄬?duì)好壞使用通用的pytorch_fid實(shí)現(xiàn)也能得到一個(gè)有效的參考指標(biāo)。from pytorch_fid import fid_score real_dir data/real_images_class0 gen_dir data/generated_images_class0 fid_value fid_score.calculate_fid_given_paths( [real_dir, gen_dir], batch_size32, devicecuda, dims2048, ) print(fFID: {fid_value:.4f})計(jì)算 FID 時(shí)真實(shí)圖像和生成圖像最好保持相同的數(shù)量和預(yù)處理方式避免因分辨率不一致導(dǎo)致指標(biāo)偏差。生成圖像數(shù)量太少會(huì)帶來(lái)較大方差實(shí)際評(píng)估時(shí)建議每類生成 1000 張以上。5.2 IS評(píng)估ISInception Score從兩個(gè)維度衡量生成質(zhì)量清晰度和多樣性。它使用 InceptionV3 對(duì)生成圖像進(jìn)行分類如果每張圖像的類別預(yù)測(cè)置信度很高同時(shí)整體預(yù)測(cè)分布足夠分散IS 就高。IS 并不需要真實(shí)圖像作為參考因此計(jì)算簡(jiǎn)單但它對(duì)病理圖像的指導(dǎo)意義有限。病理圖像類別的定義與 ImageNet 類別完全不同高 IS 只能說(shuō)明生成圖像在自然圖像特征空間中可分和清晰不能說(shuō)明其病理學(xué)特征是否真實(shí)。所以建議在病理場(chǎng)景中將 IS 作為輔助指標(biāo)重點(diǎn)仍然看 FID 和下游任務(wù)性能。使用torchmetrics可以快速計(jì)算 ISimport torch from torchmetrics.image.inception import InceptionScore inception InceptionScore(splits10) # gen_tensors 是歸一化到 [0, 1] 的生成圖像 Tensor形狀為 [N, C, H, W] inception.update(gen_tensors) score, std inception.compute() print(fIS: {score:.4f} ± {std:.4f})5.3 MS-SSIM與下游任務(wù)評(píng)估FID 和 IS 主要從感知分布上評(píng)估生成質(zhì)量無(wú)法直接反映生成圖像內(nèi)部結(jié)構(gòu)是否合理。組織病理圖像有腺管、細(xì)胞核、間質(zhì)等結(jié)構(gòu)特征因此結(jié)構(gòu)相似性指標(biāo)也有一定參考價(jià)值。MS-SSIMMulti-Scale Structural Similarity Index Measure通過(guò)多尺度比較亮度、對(duì)比度和結(jié)構(gòu)信息衡量生成圖像與真實(shí)圖像之間的結(jié)構(gòu)相似程度。需要強(qiáng)調(diào)MS-SSIM 衡量的是兩幅圖像逐像素級(jí)別的結(jié)構(gòu)相似性它天然適合圖像修復(fù)、超分辨率類任務(wù)。在無(wú)條件生成任務(wù)中生成圖像和真實(shí)圖像本來(lái)就不應(yīng)該完全一致因此 MS-SSIM 更適合作為生成樣本與真實(shí)樣本之間是否出現(xiàn)大面積結(jié)構(gòu)崩壞的參考而不能作為唯一的生成效果指標(biāo)。實(shí)際使用建議分兩類分別計(jì)算比如良性和惡性 Tiles 各自比較避免混合類別導(dǎo)致指標(biāo)失真。更貼近業(yè)務(wù)價(jià)值的評(píng)估方式是下游任務(wù)評(píng)估。將真實(shí)數(shù)據(jù)加上生成數(shù)據(jù)混合訓(xùn)練一個(gè)病理圖像分類模型在獨(dú)立測(cè)試集上評(píng)估分類準(zhǔn)確率或 AUC。如果加入合成數(shù)據(jù)后分類效果有提升說(shuō)明生成樣本確實(shí)能夠補(bǔ)充有效信息。這也是很多醫(yī)學(xué)圖像生成論文使用的評(píng)估思路。最終評(píng)估報(bào)告建議同時(shí)包含生成質(zhì)量指標(biāo)和下游任務(wù)指標(biāo)結(jié)論更有說(shuō)服力。6. 常見(jiàn)問(wèn)題與排查清單6.1 高頻問(wèn)題匯總條件擴(kuò)散模型訓(xùn)練和評(píng)估過(guò)程中會(huì)遇到一些高頻問(wèn)題下面整理成表格方便對(duì)照排查。問(wèn)題現(xiàn)象常見(jiàn)原因解決思路訓(xùn)練損失不下降學(xué)習(xí)率過(guò)大或過(guò)小、數(shù)據(jù)歸一化不一致調(diào)整學(xué)習(xí)率檢查圖像是否歸一化到 [-1,1]生成圖像模糊訓(xùn)練輪數(shù)不足、模型容量偏小增加訓(xùn)練輪數(shù)適當(dāng)增大 UNet 通道數(shù)類別條件失效生成結(jié)果與標(biāo)簽無(wú)關(guān)標(biāo)簽沒(méi)有傳入模型、類別嵌入維度過(guò)大導(dǎo)致過(guò)擬合檢查class_labels參數(shù)考慮類別條件 dropout顯存溢出batch size 過(guò)大、圖像分辨率過(guò)高減小 batch size降低分辨率使用梯度累積FID 偏高生成數(shù)據(jù)量少、評(píng)估特征提取器不匹配增加采樣量使用病理預(yù)訓(xùn)練特征提取器采樣時(shí)出現(xiàn) NaN學(xué)習(xí)率過(guò)高導(dǎo)致模型發(fā)散降低學(xué)習(xí)率使用梯度裁剪檢查 beta 配置訓(xùn)練速度非常慢UNet 注意力層計(jì)算量大使用小分辨率跑通減少block_out_channels6.2 訓(xùn)練不穩(wěn)定排查訓(xùn)練不穩(wěn)定是擴(kuò)散模型最需要注意的問(wèn)題。如果損失曲線出現(xiàn)劇烈抖動(dòng)先檢查學(xué)習(xí)率。擴(kuò)散模型一般使用 1e-4 到 3e-4 的 AdamW 學(xué)習(xí)率過(guò)大會(huì)導(dǎo)致噪聲預(yù)測(cè)目標(biāo)震蕩。其次是檢查beta_start和beta_end配置是否合理默認(rèn)值適合絕大多數(shù)自然圖像任務(wù)自定義數(shù)據(jù)集也可以適當(dāng)調(diào)整。另一個(gè)常見(jiàn)問(wèn)題是條件信息在訓(xùn)練時(shí)分布過(guò)分集中。病理數(shù)據(jù)往往類別樣本量差異很大如果某個(gè)類別只有幾十張圖模型很難學(xué)會(huì)該類別的條件映射。一個(gè)簡(jiǎn)單做法是在訓(xùn)練時(shí)以一定概率比如 10%將類別標(biāo)簽隨機(jī)替換成其他類別或者使用條件 dropout讓模型即使丟掉條件信息也能保持一定生成能力這也有助于避免類別條件過(guò)擬合。采樣階段如果發(fā)現(xiàn)生成圖像中混有非目標(biāo)類別的結(jié)構(gòu)可以檢查采樣時(shí)傳入的class_labels是否與訓(xùn)練時(shí)的標(biāo)簽編號(hào)一致。num_class_embeds的編號(hào)是從 0 開(kāi)始的類別名稱排序過(guò)后的索引必須保持一致否則會(huì)生成錯(cuò)誤類別。7. 最佳實(shí)踐與工程建議7.1 數(shù)據(jù)工程建議病理圖像生成首先要重視數(shù)據(jù)質(zhì)量。原始 WSI 中大量區(qū)域是背景、玻璃、氣泡或邊緣陰影這些區(qū)域如果進(jìn)入訓(xùn)練集模型會(huì)把無(wú)意義紋理當(dāng)作病理結(jié)構(gòu)生成圖像就會(huì)包含大量無(wú)用區(qū)域。預(yù)處理時(shí)建議先分割組織區(qū)域過(guò)濾低對(duì)比度的空白 Tiles再用顏色歸一化降低不同染色方案帶來(lái)的色彩差異。類別劃分需要基于真實(shí)病理標(biāo)注不能只靠文件名約定。如果使用弱標(biāo)簽數(shù)據(jù)還需要額外處理標(biāo)簽噪聲。擴(kuò)展樣本時(shí)要避免同一張 WSI 的近鄰 Tiles 同時(shí)出現(xiàn)在訓(xùn)練集和測(cè)試集防止數(shù)據(jù)泄漏導(dǎo)致評(píng)估虛高。對(duì)于小數(shù)據(jù)集先不要追求分辨率。可以用 64×64 跑通流程確認(rèn)模型能夠擬合訓(xùn)練集后再逐步提高到 128×128 或 256×256。過(guò)早使用高分辨率不僅訓(xùn)練慢排查問(wèn)題也會(huì)更困難
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
天天操天天曰| 激情99| 亚洲熟妇无码乱子AV电影| 噜噜狠狠色综无码久久合欧美| 大香蕉婷婷久久| 996热re视频精品视频| 99久久66| 亚洲激情综合免费| 99久久9| 综合激情五月丁香| 《丁香激情综合久久伊人久久》影视在线观看 -高清预告手机免费播放 -三妹影院 | 日本五月天一页| 色99在线| av亚洲国产小电影| 九热视频精品| 欧美美女国产日韩一区二区久| 操日本人妻视频| 97色色色色色| 五月开心网| 影音先锋五月婷婷| 日本99久久| 五月丁香啪啪激情| 成人国产综合| 久久婷五月影院| 色一情一乱一乱91Av| 91无码色色| 亚洲图色五月天| 久婷婷婷| 国产精品视频久久99| 色情五月天丁香社区| 九九黄色网| 任你干aa| 99热免费网站| 婷婷五月,偷窥偷拍网| 亚洲色五月| 婷婷五月丁香综合瑟瑟| 做爱夜夜干天天操| 五月激情在线| 色色色色丁香| 亚洲精品网站色视频| 婷婷丁香五月,狠狠综合| 久久最新色| 亚洲操操| 五月丁香无码| 色色性爱视频| 久久99久久99精品,久国产,久久精品免费,99久在线,久久久久国产精品免费网站,9 | 丁香五月婷婷六月婷婷| 99在线免费视频| 少妇人妻人伦A片| 在线综合网| 91午夜婷婷狠狠久久综合9色| 国产精品99久久久久久猫咪| 九九热只有精品| 99热官网| 超碰在线视屏| 亚洲综合五月天婷婷| 色色五月丁香| 日本 欧美在线| 婷婷五月天成人综合网| 九九热视频在线观看| 涩涩婷婷五月| 五月花综合视频| 激情99| 狠狠九九婷婷韩| 五月丁香视频在线观看| 五月婷婷之综合激情| 天天综合网色欲香| 色丁香五月综合网| 人人摸人人干| 人人澡天天色天天做| 丁香五月偷拍| 黄色AAAAAAA| 99热6这里只有精品6| 成人电影在线免费试看| 91九色超碰正在播放| HD久久精品视频| www.99热视频在线观看| 日日操夜夜爽| 色婷婷在线播放| 中文字幕色色色| 99操逼| 久久久欧美精品sm网站| 开心激情综合| 伊人久久大香线蕉AV最新午夜| 婷婷丁香五月激情图片| 青青久在线视频免费观看| 亚洲永久免费| 久久五月视频| 黄网在线免费观看| 日韩啪啪网| 区啪精品| 天天天干夜夜夜操| 偷拍九九五月丁香婷婷| 99免费| 999热在线观看视频| 色小说婷婷五月天天天| 亚洲精品V天堂中文字幕| 四月婷婷五月色综合| 91热视频色网站| 玖玖综合玖玖| 99爱视频| 日日日日日| 99热免费精品| 91丨九色丨熟女|新版| www.九九婷婷| 另类激情首页| 婷婷久久精品| 激情伊人| 7月婷婷六月丁香| 天天激情站| 婷婷五月综合久久中文字幕| 色婷丁香| 丁香综合婷婷开心激情网| 日韩成人无码人妻| 噜噜噜噜噜在线| 久久激情综合| 六月丁香婷婷拍拍| 强辱丰满人妻HD中文字幕| 日韩砖区| 丁香五月天久久| 五月丁香婷婷人体| 丁香五月桃花在线激情综合| 色导航色婷婷五月天在线观看| 九月婷婷人人操人人舔人人爱| 99久久久国产精品免费蜜乳tv| 成人av在线网| 色爱五月天| 97艹| 99热丁香| 俺也去在线久久精品23欧美综合视频网站,丰满人妻一区二区三区在线视频53,丰满 | 五月成人网站| 最新av在线观看| 九九色婷婷| WWW.99热| 香蕉久久国产AV一区二区| 中文字幕簧片| 狠狠色婷婷丁香五月| 欧美激情综合五月色丁香| 丁香五月色激情| 五月婷婷五月天激情网| 五月婷婷啪啪啪| 日日干天天射| 人人爱天天摸摸天天爱| 婷婷九月久久| 一级精品999WWW| 激情五月天色色网| 四川BBB搡BBB搡多人乱亂| 9这里只有精品| AⅤ在线播放网| 丁香五月AV| av网址在线| 日日夜夜狠狠| 武汉美女啪啪视频免费一级片| 蒲京久久无码视频| 久久九九爽| 亭亭丁香久久五月| AV网址大全在| 99re思思久久| 噜噜噜精品欧美成人在线观看| 婷婷五月日本| 婷婷五月天色色| wuyuedingxiang99| 婷婷五月乱交换| 成人网站免费在线播放| 婷婷成人综合免费视频| 人人草碰| 亚洲中文字幕av| 人人干Av| 偷偷操九九| 色婷婷五月综合在线| 色综合色| 99爱在线| 99热.com| 五月天天爽| 99欧州偷拍视频| 欧美激情综合色综合啪啪五月| 婷婷五月天综合中文| 亚洲成人超碰| 国产午夜成人免费看片无遮挡| 国产成人99久久亚洲综合精品| 色碰干| 亚洲人妻AV| 久久久久人妻精选| 婷婷偷拍网| 色色色五月天婷婷| 超碰免费人妻| 日日舔夜夜操| 婷婷激情伍月网| 97啪在线观看视频| 色色婷婷五月天| 99色视频在线观看| 婷婷五月花| 五月婷婷色欲| 另类视频一区| 日日综合网| 香蕉综合网| 色综啪啪| 八戒青柠影视剧在线观看| 综合图片色色| 丁香网五月网| 色一情一乱一乱一区91Av| www.lchjjc.com| 亚洲综合99| 狠狠干伊人| 成人午夜无码视频| 4438国产免费看| 99综合免费视频| 精品色色| 狠狠插日日干撸| 天天爱天天做天天日| 丁香婷婷老司机久操| 夜夜操狠狠操| 91精品婷婷国产综合久久| 激情九九综合网| 中文字幕在线免费观看视频| 日韩无码系列| 五月丁香六月激情| 99在线精品免费视频| 久久婷婷五月天激情四射| 2023天天日夜夜爽| 日日噜人人人做人| 97碰| 婷婷丁香视频| 视频一区二区在线| 亚洲宗合激情| 色综合五月天| 丁香五月在线播放| 色五月天堂| 开心婷婷五月中文字幕组| 99精品视频免费在线播放| 婷婷色狠狠| 色情婷婷| 五月天婷婷丁香| 婷婷色在线播放| 亚洲色综合性| 天天日人人爽| 五月色丁香婷婷中文字幕| 亚洲AV人人操| 久久精品五月天| 色婷婷五月综合激情中文字幕| 996er热| 婷婷中文字幕网| 婷婷五月天美女视频| 立川无码av| 亚洲中文字幕av| 婷婷终合色图| 婷婷久久影院| 丁香五月综合久久| 伊人热婷婷| 国产精品成av人在线视午夜片| 色色操| 激情AV| 婷婷97碰碰| 亚洲最大激情无码| 久久久久这里只有精品| 九九精品免费| 99视频在线观看网址| 婷婷性爱无码视频| 99综合99| 99在线国| 六月狠狠综合| 婷婷五月天中文字幕| 天天插天天| 婷婷激情综合网| 欧美久草在线日本一级特黄大片做受9在线观看韩国电影《两个女人》未删减-毛片 | 色五月激情网| 婷婷色五月婷| 综合伊人久久| 婷婷97碰碰| 99色综合| 婷婷操超碰| 99只有这里有精品在线视频| 天天在线XXX| 婷婷五月激情视频| 丁香五月播播| 日本爆乳片手机在线播放| www.五月丁香| 激情丁香九九五月综合网| 岛国av网站| 色色色婷| 这里只有精品视频视频在线观看| ri电影在线| 操操操www.com| 99热大全在线观看| 天天爽,天天操。| 色婷婷激情小说网| 99久久久国产精品免费蜜乳tv| 五月婷AV| 色婷婷亚洲六月婷婷中文字幕| 色婷婷婷婷五月天| 五月婷婷六月丁香五月| www.色综合| 丁香九月久久| 二色av| 国产成人精品一区二三区熟女在线| av国产精品| 久久视频在线视频| 五月色亭丁香| 国产精品色婷婷久久久精品| 久久性爱视频| 色五月激情五月丁香五月婷婷啪啪综合| 婷婷五月天.com| 天天干天天操天天干天天操天天干天天操| 99r这里| 国产偷人妻精品一区| 五月丁香综合| 丁香五月AV| 亚洲日本韩国| 五月天婷婷色色首页| 色婷婷a| 九月婷婷综合| 婷婷激情五月综合丁| 91精品久久久久久综合五月天| 色99在线观看| 天天爽天天干| 色婷婷亚洲综合网站| 91pornav在线| 久月丁香爱婷婷综合| 日韩av干| 天天射影院| 人人干av| 在线视频九色97| 天堂爱啪啪| 久热99| 青青热久久综合| 日本va视频| 婷婷六月激情| 亚洲免费看片| 综合久久综合综合| 亚洲性受XXXX五月丁香| 看国产探花操逼三级片| 99热在线观看| 91婷婷视频| 国产激情在线| 夜夜噜夜夜奇| 五月天婷综合| 丁香婷婷五月份| 色婷婷精品视频| 九九视频免费| 天天五月天综合网址| 成人精品在线观看| Av狠狠色丁香婷| 婷婷激情综合色五月久久图片| 丁香五月情色| 五月丁香婷婷六月| 欧美激情综合色综合啪啪五月| 波多野结衣不卡AV| 天天看A片| 噜噜噜精品欧美成人在线观看| 在线中文亚洲| 激情网 久久| 激情五月天啪啪| 色五月丁香一区在线| 综合噜噜| 日韩在线观看网址| 婷婷丁香五月综合| www色哟哟| 久久伊人大香蕉| 天天干天天爽天天操| 色99在线视频| 免费视频1区| www.婷婷五月天.com| 思思热再线视频| 色一情一乱一乱一区91| 伊人影院久久网| Av性爱网站| 丁香五月婷婷五月| 七月婷婷色香综合网| 开心五月激情| 狠狠高潮精品亚洲1| 日韩野外 无套| 九九热这里只有精品12| 色五天综合| 一本道综合网| 欧美久久九九| 五月婷婷丁香婷婷| 99re热在线视频观看| 五月婷婷开心五月| 偷偷操99| 婷婷金品综合视频| 激情99。| 色伊人91在线视频| 2025色婷婷| 一本九九色| 日日操日日撸| 日韩AV片| 91操操| 另类婷婷丁香| 日噜噜色| 99干视频| 五月丁香爱婷婷深深| 五月丁香六月激情| 婷婷天天综合| 91丨九色丨国产在线| 五月婷婷日| 九九99九九99| 婷婷爱五月| 五月婷成人网| www.久久色.com| 播五月丁香三月婷婷| 久久99精品久久久久子伦| 亚洲成人免费电影| 婷婷激情综合色五月久久,色婷婷丁香花,丁香婷婷五月情天,久久婷婷五月综合色 | 51精品国自产在线| 99精品网| 免费的日逼视频| 中国无码av| 激情小说婷婷五月| 九九久久99| 无码激情AAAAA片-区区| 国产美女视频久| 亚洲激情网| 激情色播| 亚洲色婷婷五月天| 国产视频久色| 五月婷婷导航| 国产真实乱了老女人视频| 操日挥操日日| 亚洲小视频免费观看| 超碰在线观看三级片| 五月丁香六月婷婷欧美综合| 丁香五月综合久久八| 色婷婷AV在线观看| 丁香五月天视频| 99热这里只有精品2024| 热九九精品| 香蕉影院色| 日韩在线视频网站| 亚州性爱99| 五月丁香免费视频| 五月婷视频在线观看| 91九色首页| 亚洲VA在线| 五月天婷婷操逼视频| 国产做爰视频免费播放| WWW.99热| 色色色热| 亚洲色色精品| 99热在这里只有免费精品| 九伊人网| 国产AV成人精品| 久久九九热视频| 九九热精品6| 青草网在线观看| 9色免费网| 色人久久| 超碰99在线观看| 99久在线精品99re8| 丁香婷婷综合五月天| 99男人的天堂| 五月婷婷综合性爱噜噜| 色婷婷很很丝袜| 国产成人亚洲综合A∨婷婷| 婷婷深爱五月| 丁香五月激情婷婷| 久久久久久五月天| 婷婷综合五月天| 超碰资源在线| 99热只有| 色五月婷婷DVD| 人操91在线| 99热国产免费| www九九热| 成人短视频在线观看| 天天综合插插| 99热这里有精品6| 久久sp免费视频| 五月丁香婷婷狠狠操| 777精品久无码人妻蜜桃| 996热| av在线激情| 无套内射极品大美女| 天天爽日日爽夜夜爽| 婷婷五月天亚洲天堂| 夜夜骑操AV| 久久丁香婷婷五月天| 久久9视频| 狠狠爱婷婷爱| www色婷婷| 91色九| 欧美日本黄色| 99re在线视频精品,这里只有精品18,| 超碰人妻在线| 五月丁香啪啪啪免费看| 日日色五月天| 日本性激情色播| 五月婷婷激情四月| 婷婷激情小说| 五月丁香色婷婷| 国产婷婷综合| 色综合综合色| 婷婷五月天网| 丁香五月综合| 超碰人人摸人人操| 99ri国产精品| 五月丁香综合啪啪| 这里只有精品,日韩视频| 天天AV导航网| 婷婷五月天开心激情网| www.色综合.com| www色婷婷| 亚洲色五月天| 色五月亚洲| av五月天婷婷丁香| 欧美日韩成人在线网站| 久久五月婷婷电影| 激情丁香五月激情婷婷| 天天婷婷综合亚洲亚洲| 五月天天天天天天天天天天天婷婷婷| 大香蕉人妻| 亚洲中文字幕在线观看| 伊人影院久久网| 91精品91久久久中77777久久玖玖九九 | 丁香五月婷婷基地| 天堂美国久久| 四虎成人精品永久免费AV九九| 日日骑夜夜撸| 天天激情站| 久9久9久9久9久9久9| 五月丁香综合| 丁香五月97视频| 9 1超碰九色| 色国产五月| 婷婷五月草| 久操人妻| 91久女| 琪琪色热色色| 热99久久这里只有精品| 97操碰在线视频| 五月丁香影院| 超碰在线中文字幕| 性色99| av在线中文| 亚洲国产精品SUV| 四季AV综合网| 欧美va亚洲va在线播放| 中文字幕av网站| 99欧美| 婷婷色网站| 日日夜夜天天综合| 99热精品9| 性爱先锋AV| av五月丁香婷婷网| 狠狠干五月| 99久在线精品99re8| av在线免费网站| 这里只有精品免费观看网占| 色综合五月婷婷狠狠干| 韩日在线熟女| 久久激情五月| 色婷婷五月色| 海外网站专业操老外| 日本二级毛片二级毛片| 99这里有精品视频| 国内外色色色色色成人视频| 色色色干| 99热精品观看| 久狠狠| 九九久热| 婷婷精品综合| 密乳视频| 婷婷伊人激情婷婷| 婷婷免费成人视频| eeuus五月婷| 色综合久久天天综合网| 五月综合无码| 9999三级片| 日本成人噜噜噜| 丁香五月无码| 夜丁香五月婷婷| 影音先锋 婷婷| 激情网站综合五月天| 国产精品色婷婷久久久精品| 五月综合丁| 99在线免费视频播放| 8050一级网| 99热免费| 精品夜夜澡人妻无码AV| 色婷婷99| 精品一二三区久久AAA片| 开心激情网五月天| 五月天激情小说| 26UUU精品一区二区| 国产激情久久| 另类激情五月| 五月婷色色| 91精品久久久久| 99人人干| 99九色视频在线观看| 日本啪啪网| 99在线资源| 九九热99免费视频| 激情综合久久| 六月婷婷色综合| 丁香激情网| 激情五月婷婷综合| 色狠狠色噜噜AV天堂五区| 欧洲第一无人区观看| 99国产精品白浆在线观看免费 | 久久久久9999| 五月婷丁香花| 亚洲视频丁香网va| 激情小说之五月| 色色色.COM| 欧美丁香婷婷五月天| 日日操夜夜爽| 丁香六月婷婷综合激情欧美| 五月玖玖| 欧美激情VA永久在线播放| 久久xx| 香蕉久久国产AV一区二区| 久久无码成人| 久久999久久999久久999久久| 中文字幕综合| 91久久| 这里只有精品久久| 成人国产欧美大片一区| 一区=区操屄高清大全av| 婷婷九月丁香天堂丁香天堂| 大香蕉婷婷丁香视频在线| 91碰碰| 色播五月丁香婷婷| 天天天天天日| 综合色色网| 大香蕉av在线| 青青草伊人婷婷| 一本九九色| av国产精品偷| 亚洲经典三级| 日日撸天天干| 9色在线视频| 风流少妇A片一区二区蜜桃| 五月天激情久色| 色九亚洲| 国产99久| 日本丁香五月| 99综合| 亚洲视频丁香网va| 九九热大香蕉| 五月刺激丁香月综合| 久久婷婷热| 激情久久综合网| 久久五月天婷婷| 丁香深五月婷婷| 色偷偷五月天| 99热综合| 色婷婷丁香中文在线播放| 久久 婷婷 五月天| 超级97碰碰| 99性爱| 六月婷婷色色色| 久久这里只有国产精品视频| 日日骑夜夜撸| 久草性爱| 精品热九九| 婷婷五月激情图片| 人人妻人人澡| 色五月AV| 99色在线观看视频| 久久这里只有精品07| 久久久.COM| 综合久久十| 性av| 婷婷伊人綜合中文字幕| 激情九月婷婷| 91视频一起草| 九九综合九| 五月丁香亭亭操逼| 丁香5月啪啪| 激情AV在线| 精品久久穴| 黄色成人网站在线播放| 丁香五月六月欧美| 99热在线播放| 97操男人的天堂| 第2色五月婷| 天天干天天干天天干天天干天天干| 综合激情在线| 一级片无码| 99精品热视频只有精品10| 婷婷五月无码| 荫道BBWBBB高潮潮喷| 狠狠爱婷婷爱| 婷婷五月丁香伊人| 黑人糟蹋人妻HD中文字幕| 99热网址| 天天情色综合网| 色色色网站| 日本精品干| 婷婷五月天免费| 天天色天天日| 色婷六月| 天天爽综合网| AA片在线观看视频在线播放| 五月丁香婷婷啪啪| 天天综合色| www.久99| 天干天天干天天天天天| 91操人视频| 五月丁香A∨在线| 五月丁香六月婷婷,婷| 天天在线XXX| 丁香五月激情婷婷婷婷在线观看| 9久热精品在线视频| 热中文字幕| 美欧成人视频| 99在线小视频| 《》【无码】想被搞到爽AV应募而来的超M素人 西纯子 10musume-011723-01 | 婷婷色五月天在线观看| 激情爱爱网站超大免费| 九九性视频| 色欧美一级| 丁香五月婷婷久久久| 九色PORNY自拍成人精彩视频| 天色色综合网| www.丁香黄色五月天人与| 粉嫩AV久久一区二区三区| 亚洲性爱AV在线| 图片区 小说区 区 亚洲五月| 96自拍视频九色在线观看| 丁香六月婷婷激情| 色色丁香色五月| 五月丁香啪啪啪综合网| 99热香港| 婷婷五月天国产| 色优久久| 99操| 亚洲av午夜精品一区二区| 五月婷婷激情| 开心五月天激情| 天天干天天操天天射| 狠狠色成人影片| 激情综合网激情五月丁香五月俺也去| 亚洲XX网| 五月丁香色五月| 激情六月色| 激情综合无码| 丁香情色五月| 伊人久久艹| 婷婷丁香人妻久久在线观看| 99色热视频| 国产看真人毛片爱做A片| 五月丁香人妻| 国产精品噜噜在线视频| 久久婷婷内射| www九九免费视频| 九九久久99精品免费观看www| 婷婷亚洲五月丁香综合在线| 99免费热视频在线| 婷婷不卡基地| 亚洲激情av| 亚洲色情在线| 天天综合精品| 大香蕉九操| 日日插日日干| 国产成人精品亚洲线观看| 久色五月天| 五月丁香六月婷婷手机无线| 欧美日比视频| 婷婷九月丁香中文| 激情伊人六| www.zbzhongsen.com| 婷婷情色五月| 丁香六月激情综合网| 91九色在线| 97狠狠碰| 伊人五月天婷婷| 欧美色五月| 五月丁香操婷逼| 亚洲成人五月| 五月婷婷六月丁香色| 一起草av| 色六月婷婷| 五月婷婷五月| 人人草碰| 久久激情五月天| 99精品综合视频| 色婷婷综合亚洲| 婷婷五月六月丁香| 欧美三级韩国三级日本三斤| 狠狠五月天婷婷| 丁香桃色网| 国产精品操| 99热这里只| 第四色色六月色综合| 很很干五月天| 激情五月婷婷| 呦呦v线| 色婷婷狠狠| 成人五月天丁香婷| www.maotanji.com| 日91高清无玛| 久久久久久久人妻| 日韩国产在线免费观看| 人人草人人爱| 久婷自拍视频| 激情五月婷| 五月久久丁香| 性生活久久人妻| 丁香五月瑟瑟| 欧美xx激情视频在线观看| 国产精品24r| 五月丁香婷婷激情澎湃四射| 99热超碰人| 99在这里有精品| 碰碰碰碰碰99| 激情综合网激情五月天| 久久99网址| 色欲一二三| 亚洲AV无码一区二| 九九99九九99偷拍视频免费看| 超级黄色片| 亲子乱AV一区二区三区下载| 婷婷伊人綜合中文字幕| 91久久99久久91熟女精品| 欧洲亚洲免费视频区| 99国产精品久久久久久久久久久| 伊人狠狠狠综合| 韩国不卡AC视频| 婷婷五月六月丁香| 國語久久婷| 人妻人人操| 五月综合777| 婷婷五月另类网站| 思思99久久| 婷婷色婷婷亚洲成人| 久久精彩视频| 日韩色色视频www| 色五月婷婷大香蕉| 99久视频| 色婷婷六月天在线| 色五月婷婷影院| 精品久久艹| 日日做天天操夜夜爽| 国产综合A片| 九色PORNY自拍成人精彩视频| www.久久| 婷婷操无码| 久久色五月天| 丁香六月亚洲| 中文字幕高清av| 热久久91| 天天日夜夜爽。| 99精品97| www.激情| 这里只有精品免费观看网占| 久久久.COM| 四川BBB搡BBB搡多人乱亂| 综合成人小说婷婷| 3pAV| www.久久爱.c n| 久久久久久欧美精品se一二三四| 国产午夜精品久久久观看| 婷婷在线综合| 五月丁香婷婷欧美色图视频五月丁香777电影| 国产精品VA在线| 狠狠色噜噜狠狠色噜噜噜999| 国产干逼片| 伊人久久艹| 丁香六月激情网C0W| 91久久久久久| 婷婷色五月天色色| 极品人妻VIDEOSSS人妻| 超碰不卡在线| 婷婷五月色网| 26uuu视频欧美| 97人妻碰碰碰碰碰久久久久久| 日日夜夜狠狠| 天天综合精品| 五月激情基地| site:901-07.com| 97精品综合久久内射| 国产成人精品一区二三区熟女在线| www.婷婷| 99热这里只有精品50| 亚洲在线操| AV大片在线观看| 97碰碰碰免费公开在线视频| 中文字幕丰满人妻无码专区| 欧美成人精品一区二区 | 99性爱| 大香蕉人妻| 97色热| 99视频网址| 天天玩夜夜操| 久久开心五月天激情| 激情宗合网激情五月天| 五月丁香花伦理电影| 99热精品在线播放观看| 99久久久久| 激情綜合網址| 99热超| 久久99精品久| 91热久88| 丁香88AV五月婷婷| 99精品偷自拍| 午夜大香蕉| 激情色色色| 97人人干人人操| 琪琪色五月天| 情色婷婷五月天| 91肏| 91视频五月丁香| 色狠狠婷婷| 久色欧美| 亚洲精品激情| 婷婷丁香激情| 五月婷婷色情| 日日懆天天懆| 色色 9| 99热这里只有精品最新| 激情五月天免费视频| Av性爱网站| 六月激情婷婷色| 色网站99| 三级成人网站| 丁香激情五月综合网| 五月激情五月丁香| 99久热这里有精品| 色欲日日躁| 99re6在线视频精品免费| 丁香六月婷婷| 91碰碰| 亚洲国产精品SUV| 99re热视频这里只精品| 亚洲字幕AV一区二区三区四区| 欧美色综合天天久久综合精品 | 激情黄色五月天| 最新亚洲色色网| 五月综合六月婷婷| 99性爱视频网站| 激情五月影院| 操操自拍| 激情五月丁香五月| 日日日日日| 大香蕉九九| 99热国品| 色99久草在线| 婷婷色情五月| 亚洲旡码| 天天婷婷综合| 日本va网站| www.日日日.com| 婷婷亚洲在线| 五月天婷婷亚洲| 夜夜大香蕉婷婷丁香| 婷婷九月色| 五月天激情国产综合婷婷婷| 一级黄色片看看| 色婷婷国产精品综合在线观看| 亚洲中文av| 激情五月天之六月婷婷| 五月六月婷婷| 成人 在线 日韩| 国产高潮A片羞羞视频涩涩| 嘿嘿视频免费看9| 玖玖无码中文| 六月伊人婷婷| 99re这里只有| 丁香五月综合| 啪啪视频99| 婷婷综合五月天| 内射激情在线| 思思热在线视频精品| 婷婷播播五月天| 五月五婷婷| 激情综合五月| 久久精品凹凸分类| 91免费看片| 五月激情精品视频| www天天色天天射| 狠狠做婷婷| 久久这里只有精品视频15| AV操逼网| 婷婷五月天熟妇| 婷婷五月色综合| 欧美槡BBBB槡BBB少妇| 麻豆精品| AV天堂淫乩| 五月婷婷视频在线观看| 婷婷久久网| 一区二区三区XXXXXX| 夜夜躁狠狠 | 婷婷久久五月丁香| 97干干干丁香| 影音先锋一区| anquye五月| 操操啪| 丁香婷婷综合喷| 欧美激情五月天婷婷| 久久99热这里只有精品| 五月婷丁香| 99啪啪网| 色五月成人在线| a网站免费观看| 色约约视频一区二区三区四区五区| 99久久亚洲精品视频| 色色网五月激情| 五月激情天| 《久久综合九色综合97婷婷| 丁香五月综合在线| 五月婷婷av| 在线成人国产| 丁香五月在线视频| 玖玖99免费视频| 综合网精品99| 色五月婷婷狠狠撸| 亚洲精品在线视频| 久久涩视频| 六月丁香五月激情亚洲AV| 九九精品亚洲| 欧美日韩成人综合9| 丁香婷婷综合精品六月初| 激情五月色婷婷| 熟女强人妻一区二区三区四区无| 妇激情基地| 五月亭亭狠狠| 超碰在线观看三级片| 97在线视频观看| 激情都市丁香婷婷| 色婷婷中文| 色欲操| 97色片| 涩 五月 婷婷 狠狠| 精品色色网| 婷婷五月影院| 激情综合色图| 丁香五月天中文字幕| 亚洲在线免费成人| 五月婷六月综合在线观看| 五月综合丁香婷婷| 97操男人的天堂| 99久久成人| 超碰九色| 第四色激情网| 99热这里都是精品| 婷婷桃色网| 五月天综合区| 色啪网| 久久ww| 色婷婷9| 成人在线视频一区| 噜噜色com| 日木WWW视频| 啪啪婷婷五月天激情| 人妻久久久久久| 日本啪啪天堂| 888精品福利地址| 日韩综合天堂| 久久久久久久久久久97| 思思热在线播放| 97操资源婷婷| 夜夜操狠狠操天天操| 三男玩一女三A片| 99综合视频在线| 九九激情网| 婷婷综合色| 97人妻碰碰碰久久香蕉| 视频1区2区| 激情五月五月婷婷| 婷婷久久色| 色五XX| 在线色婷婷| 五月天深爱激情网| 久久R激情| 操丝袜视频影院导航| 1024在线一区| 综合视频五月| 操B视频在线播放| 亚洲mm色| 国产一二区爆乳_1国产日韩一区二区三-成人AV| 色情·com| 色色五月婷| 色六月天天激情综合网| 六月丁香网| 六月婷婷六月天天在线免费| 亚洲午夜av| 欧美成人无码高清一区二区三区| 精品色色| 久久久精品AV| 色六月天天激情综合网| 色天堂操| 久久AV无码精品人妻系列试探| enecarbon-materials.comWu染请涟系Bao护@wip1688 | 欧洲激情精品婷婷| 日本色婷婷综合| 精品网站:999WWW| 婷婷丁香18| 来吧亚洲综合网| 色激情五月天| 开心激情站婷婷五月天| 超碰狠狠操| 婷婷综合网性| 97超级碰人人| 午夜大香蕉| av在线观看网站| 99久久大片| 这里只有视频精品| 99精品热视频| 色五月婷婷影视| 久久黄色片| 中文激情网| 99久在线观看| 婷婷丁香五月色| 色色色色色色色色色999| www.99热日韩.com| 日韩综合久久| 婷婷五月天精品| 亚洲9久久精品| 婷婷成人基地| 天天做天天爱| 五月婷婷丁香| 久久9热| 精品人妻久久久久久| 五月婷婷激情综合拍| www.久久五月天.com| 第2色五月婷| 异能之下短剧免费观看全集| 99碰碰视频| 日韩黄色网络| 婷婷七月丁香色色| 亚洲色五月婷婷| 激情婷婷五月社区| 五月天久久婷| 在线观看免费观看在线9久| 大香蕉手机视频| 五月天伊人网| 狠狠干在线| 久久综合丁香激情五月| 91超碰九色| 91色色色| 九九热视频精品| 一级黄色影片| 婷婷六月久久综合导航| 在线99热| 色五月婷婷影院| 色色色色色网| 五月丁香激情啪啪| 免费看欧美成人A片无码| 激情综合五月| 久久人妻熟女一区二区| 精品久久久91久久影视网| 亚洲妇女熟BBW| 97色精品视频| 综久久久| 色玖玖玖| 中文精品在| 性爱综合网| 99热九九这里只有精品10| 天天激情夜夜干| 天天成人丁香美女AV| 色婷婷综合网站| 美女丁香五婷婷| 国产性爱一级| www.狠狠| 思思99热| 91久久网站| 色色色色色五月| 最新色色五月天| 五月综合亚洲色| 亚洲十月婷婷综合| 99re鈥哸鈥唙| AV网站免费在线| 国产成人网站在线观看| 成人无码髙潮喷水A片| 婷婷成人av| 婷婷五月色色| 综合欧美五月婷婷| 婷婷五月天论坛| 婷婷日欧美在线观看| 97自拍视频在线| 麻豆AV一区二区三区| 久草婷婷视频| av久热| 深爱开心激情网| 亚洲色优| 1024日韩| 综合久久激情久久| 中文字幕丰满人妻无码专区| 看婷婷五月天网| 9久热这里只有精品| 婷婷五月天视| 中文字幕,综合,91| 天天爽天天爽天天爽天天爽天天爽| 26UUU在线观看| 狠狠色噜噜狠狠| 九九综合| 性爱七区| 99久久99热| 丁香五月香蕉| 婷婷色中文字幕| 99视频极品在线香蕉| 激情综合啪啪啪| 五月婷婷色激情| 高清无码视频网址| 另类视频一区| 91无码视频| 亚洲AV网站在线观看| 亚洲婷婷丁香| 色狠狠色噜噜AV天堂五区| 激情婷婷色色| 婷婷五月天激情电影小说| 伊人综合网4| 任你草| 任你日热视频| 久久久全国免费视频| 精品草原久久视频| 国产成人一区二区三区在线观看| 天天爽天天日人人爱| 国产全是老熟女太爽了| 九九在线免费观看| 激情性爱五月天网页| 久久久久久五月天| 久久182| 99热资源在线| 99激情网| 色丁香五月| 日本精品。999| 人妻无码视频网| 丁香婷婷婷五月| 91精产一区三区免费观看| 成人综合视频在线| 婷婷五月激情网| 色99在线| 五月色丁香激情| 激情婷婷综合网| 天天色五月| 丁香五月婷婷六月丁香| 综合色在线| 色色色综合视频| 久久婷五月天| 九九综舍久久| 激情五月六月婷婷| 北条麻妃九九九国产精品视频| 99热免费网站| 操久久网| 日韩在线99| 另类综合色| 97婷婷五月丁香| RenRenSe在线视频网站| 可以看的av| 久综合网| 99九九在线| 91婷婷色| 五月丁香激情综合啪啪| 欧美在线视频9| 成人五月天视频播放| 久久se 综合网| 亚洲色情激情丁香五月| 九九碰九九爱97超碰| av九九| 狠狠色婷婷| 五月天激情四射| 91久久久久久久| 丁香激情网| 操久久网| 久热九九| 色婷婷久久综合中文久久一本| 丁香六月啪啪啪| 色婷婷大香蕉| 超碰激情网| 婷婷综合在线| 99热只有精品综合| 五月丁香色综合| mmm1717.6dbm人人爱人人操| 性一交一乱一交A片久|