欧美成人午夜精品久久久,国产?V天堂一区二区三区,欧美精品va在线观看,亚洲一区二区三区免费在线观看,av无码精品一区二区久久,欧美性爱视频不卡一区三区,欧美乱人伦视频在线观看,国产一级牲交高潮

ARTICLE DETAIL

資訊詳情

深耕商務(wù)建站與企業(yè)官網(wǎng)運(yùn)營(yíng)的一線實(shí)戰(zhàn)洞察。

Cosmos 3合成數(shù)據(jù)與VLM后訓(xùn)練實(shí)戰(zhàn):物理AI場(chǎng)景落地

Cosmos 3合成數(shù)據(jù)與VLM后訓(xùn)練實(shí)戰(zhàn):物理AI場(chǎng)景落地 在物理 AI 與具身智能項(xiàng)目里最讓人頭疼的往往不是模型算法本身而是兩件事第一真實(shí)場(chǎng)景數(shù)據(jù)太貴、太難采集第二模型在垂直領(lǐng)域里表現(xiàn)不穩(wěn)定。比如做智慧城市車流識(shí)別晴天效果尚可一到雨霧天氣誤報(bào)率就明顯上升做農(nóng)業(yè)機(jī)器人采摘換一個(gè)果園、換一種光照之前調(diào)好的視覺模型又要重新調(diào)參。這些問題背后其實(shí)都繞不開三個(gè)關(guān)鍵詞世界基礎(chǔ)模型World Foundation Model, WFM、視覺語言模型Vision-Language Model, VLM和合成數(shù)據(jù)Synthetic Data。本文圍繞 Cosmos 3 后訓(xùn)練實(shí)戰(zhàn)完整梳理一條可落地的技術(shù)鏈路先用 Cosmos 3 生成農(nóng)業(yè)機(jī)器人場(chǎng)景的合成數(shù)據(jù)再結(jié)合少量真實(shí)數(shù)據(jù)構(gòu)建 VLM 后訓(xùn)練集微調(diào)后部署到智慧城市視頻流推理任務(wù)中做效果驗(yàn)證。文章會(huì)說明每個(gè)環(huán)節(jié)為什么這樣做也會(huì)給出可運(yùn)行的示例代碼、常見報(bào)錯(cuò)排查表和工程落地建議。如果你正在做視覺語言模型選型、VLM 后訓(xùn)練、合成數(shù)據(jù)增強(qiáng)或者想了解 Cosmos 3 能干什么這篇文章會(huì)比較適合你。全文采用中英雙語的術(shù)語注釋方式代碼關(guān)鍵位置也保留雙語注釋方便對(duì)照學(xué)習(xí)。1. 背景與核心概念1.1 Cosmos 3 是什么Cosmos 3 是 NVIDIA 推出的世界基礎(chǔ)模型World Foundation Model系列在 3.x 版本中的核心成果。它并不是一個(gè)單一模型而是一組面向物理 AI 場(chǎng)景的模型和工具鏈主要目標(biāo)是讓模型理解“物理世界如何運(yùn)轉(zhuǎn)”并能夠生成接近真實(shí)物理規(guī)律的視頻幀序列。在機(jī)器人、自動(dòng)駕駛、智慧城市等場(chǎng)景中模型需要理解的不只是靜態(tài)圖像里的物體類別還包括物體的空間關(guān)系、運(yùn)動(dòng)趨勢(shì)、光照變化、遮擋關(guān)系、因果推斷等。這類能力很難從普通圖像分類數(shù)據(jù)集中學(xué)習(xí)而 Cosmos 3 等世界模型的核心價(jià)值就是通過對(duì)海量物理世界視頻的學(xué)習(xí)建立對(duì)“下一秒可能發(fā)生什么”的預(yù)測(cè)能力。與傳統(tǒng)的文生視頻模型相比Cosmos 3 更強(qiáng)調(diào)可控性和物理合理性。它能夠在文本指令、相機(jī)參數(shù)、運(yùn)動(dòng)軌跡等條件的約束下生成指定場(chǎng)景的連續(xù)視頻幀。這樣的合成視頻可以作為下游視覺模型的訓(xùn)練數(shù)據(jù)從而減少對(duì)真實(shí)數(shù)據(jù)的依賴。1.2 什么是后訓(xùn)練Post-training大模型領(lǐng)域通常把訓(xùn)練過程分為預(yù)訓(xùn)練Pre-training和后訓(xùn)練Post-training兩個(gè)階段。預(yù)訓(xùn)練負(fù)責(zé)讓模型學(xué)習(xí)通用語言、視覺和世界知識(shí)而后訓(xùn)練則負(fù)責(zé)讓模型適配特定任務(wù)、特定領(lǐng)域和特定的交互方式。常見的后訓(xùn)練方法包括方法英文全稱說明監(jiān)督微調(diào)Supervised Fine-Tuning, SFT用帶標(biāo)注的任務(wù)數(shù)據(jù)調(diào)整模型參數(shù)低秩適配Low-Rank Adaptation, LoRA凍結(jié)原模型只訓(xùn)練低秩矩陣節(jié)省顯存基于人類反饋的強(qiáng)化學(xué)習(xí)RLHF通過獎(jiǎng)勵(lì)模型優(yōu)化生成質(zhì)量直接偏好優(yōu)化Direct Preference Optimization, DPO用偏好對(duì)直接優(yōu)化無需獎(jiǎng)勵(lì)模型在本文的場(chǎng)景中后訓(xùn)練的主要目的是讓預(yù)訓(xùn)練 VLM 更好地理解智慧城市和農(nóng)業(yè)機(jī)器人這兩個(gè)垂直領(lǐng)域的圖像內(nèi)容例如能夠正確回答“畫面中是否有行人闖紅燈”“這個(gè)番茄的成熟度是多少”等細(xì)粒度問題。1.3 VLM 推理解決什么問題視覺語言模型Vision-Language Model, VLM能夠同時(shí)處理圖像輸入和文本輸入輸出文本描述或結(jié)構(gòu)化信息。與傳統(tǒng)的目標(biāo)檢測(cè)模型相比VLM 的優(yōu)勢(shì)在于支持開放詞匯不僅能識(shí)別訓(xùn)練集中出現(xiàn)過的類別還能理解自然語言描述的新類別。具備上下文理解能結(jié)合畫面中的物體關(guān)系、場(chǎng)景背景進(jìn)行推理。輸出更靈活可以直接輸出自然語言答案也可以借助提示詞輸出 JSON 等結(jié)構(gòu)化格式。在智慧城市場(chǎng)景里VLM 可以完成事件檢測(cè)、要素描述、異常預(yù)警等任務(wù)。例如給定一段監(jiān)控視頻幀模型能輸出“畫面中有 3 輛機(jī)動(dòng)車1 輛正在左轉(zhuǎn)行人處于等待狀態(tài)”這類結(jié)構(gòu)化描述。1.4 為什么需要合成數(shù)據(jù)智慧城市和農(nóng)業(yè)機(jī)器人場(chǎng)景的數(shù)據(jù)采集都有明顯瓶頸。智慧城市視頻涉及隱私與合規(guī)問題農(nóng)業(yè)機(jī)器人的田間數(shù)據(jù)受季節(jié)、天氣、地域限制采集成本高且難以覆蓋長(zhǎng)尾場(chǎng)景。合成數(shù)據(jù)Synthetic Data可以在一定程度上緩解這些問題。使用 Cosmos 3 生成帶有物理規(guī)律的運(yùn)動(dòng)視頻讓模型在訓(xùn)練階段見過更多“對(duì)抗樣本”例如夜間強(qiáng)光、雨天反光、果實(shí)遮擋等情況。這樣當(dāng)模型部署到真實(shí)環(huán)境時(shí)泛化能力會(huì)更強(qiáng)。但需要強(qiáng)調(diào)合成數(shù)據(jù)不是萬能的它不能完全替代真實(shí)數(shù)據(jù)。更合理的做法是“真實(shí)數(shù)據(jù) 合成數(shù)據(jù)”混合訓(xùn)練并通過驗(yàn)證集持續(xù)評(píng)估數(shù)據(jù)質(zhì)量。2. 環(huán)境準(zhǔn)備與版本說明在開始實(shí)操之前先理清當(dāng)前示例環(huán)境。后續(xù)代碼基于以下配置運(yùn)行如果你的環(huán)境不同需要根據(jù)實(shí)際情況調(diào)整。2.1 硬件與系統(tǒng)要求Cosmos 3 合成數(shù)據(jù)生成和 VLM 后訓(xùn)練都屬于資源密集型任務(wù)建議使用 NVIDIA GPU。顯存規(guī)模直接決定了可以生成的視頻分辨率以及微調(diào)時(shí)使用的批量大小。資源建議要求GPUNVIDIA RTX 3090 / 4090 / A100 / H100 或更高顯存16 GB 以上生成高分辨率視頻或微調(diào) 7B 以上模型時(shí)需要更大顯存系統(tǒng)Ubuntu 22.04 或 Windows 11WSL2磁盤建議預(yù)留 100 GB 以上空間存放模型權(quán)重和數(shù)據(jù)集如果暫時(shí)沒有足夠顯存可以先使用小模型、低分辨率和更小的 batch size 驗(yàn)證流程再遷移到更大規(guī)模環(huán)境。2.2 Python 與深度學(xué)習(xí)框架以下版本組合是當(dāng)前比較常見且穩(wěn)定的配置具體以官方文檔為準(zhǔn)Python 3.10 或 3.11CUDA 12.1 或更高PyTorch 2.1 或更高Transformers 4.40 或更高PEFT 0.10 或更高Datasets 2.18 或更高Accelerate 0.30 或更高先創(chuàng)建一個(gè)獨(dú)立的 Conda 環(huán)境conda create -n cosmos-ai python3.11 -y conda activate cosmos-ai pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pip install transformers peft accelerate datasets pillow tensorboard注意PyTorch 的安裝命令需要結(jié)合 CUDA 版本調(diào)整。如果使用 WSL2需要確保 Windows 側(cè)已安裝最新的 NVIDIA 驅(qū)動(dòng)并在 WSL2 內(nèi)執(zhí)行nvidia-smi確認(rèn) GPU 可見。2.3 項(xiàng)目目錄結(jié)構(gòu)為了方便后續(xù)操作建議按照下面結(jié)構(gòu)組織項(xiàng)目cosmos-finetune-lab/ ├── data/ │ ├── real/ # 真實(shí)圖像與標(biāo)注 │ ├── synthetic/ # Cosmos 生成數(shù)據(jù) │ └── annotations/ # 標(biāo)注 JSON ├── models/ │ ├── pretrained/ # 預(yù)訓(xùn)練 VLM 權(quán)重 │ └── finetuned/ # 后訓(xùn)練輸出權(quán)重 ├── scripts/ │ ├── generate_synthetic.py # 合成數(shù)據(jù)生成腳本 │ ├── prepare_dataset.py # 數(shù)據(jù)集構(gòu)建腳本 │ ├── train_lora.py # LoRA 后訓(xùn)練腳本 │ └── inference.py # VLM 推理腳本 ├── configs/ │ ├── lora_config.yaml │ └── data_config.yaml └── output/ ├── logs/ └── results/3. 核心原理拆解后訓(xùn)練、VLM 推理與合成數(shù)據(jù)生成在進(jìn)入完整代碼前先拆解三個(gè)關(guān)鍵模塊的原理這能幫助你理解后面每一步操作的意義。3.1 后訓(xùn)練到底改了什么預(yù)訓(xùn)練模型已經(jīng)具備很強(qiáng)的通用能力但在垂直領(lǐng)域中會(huì)出現(xiàn)“能力有但不在點(diǎn)子上”的情況。例如模型知道番茄是紅色的果實(shí)但無法判斷“番茄表面有明顯褐色斑點(diǎn)”是否意味著病蟲害。后訓(xùn)練就是通過新的標(biāo)注數(shù)據(jù)把模型原先分散的知識(shí)引導(dǎo)到特定任務(wù)上。以 LoRA 為例它的做法是在原始權(quán)重矩陣旁邊新增兩個(gè)低秩矩陣訓(xùn)練時(shí)只更新這兩個(gè)矩陣。# 示意LoRA 的更新邏輯簡(jiǎn)化版 # 原始公式output W * input # LoRA 公式output (W A B) * input # 其中 W 被凍結(jié)A 和 B 是低秩矩陣秩為 r import torch import torch.nn as nn class LoRALinear(nn.Module): def __init__(self, in_features, out_features, r16): super().__init__() self.weight nn.Parameter(torch.randn(out_features, in_features)) self.weight.requires_grad False # 凍結(jié)原權(quán)重 self.lora_a nn.Parameter(torch.randn(in_features, r) * 0.01) self.lora_b nn.Parameter(torch.randn(r, out_features) * 0.01) def forward(self, x): # 原始輸出 低秩增量 base_out x self.weight.T lora_out (x self.lora_a) self.lora_b return base_out lora_outLoRA 的核心優(yōu)勢(shì)是顯存占用小、訓(xùn)練速度快同時(shí)可以通過切換不同的 LoRA 權(quán)重實(shí)現(xiàn)多任務(wù)適配很適合在單卡環(huán)境下做垂直領(lǐng)域探索。3.2 VLM 推理從圖像到文字的基本鏈路VLM 的推理鏈路通常包含三個(gè)部分視覺編碼器Vision Encoder把圖像轉(zhuǎn)換為視覺令牌visual tokens。投影層Projection Layer把視覺特征映射到語言模型的嵌入空間。語言模型Language Model結(jié)合文本提示詞和視覺令牌逐步生成回答。理解這條鏈路很重要因?yàn)楹笥?xùn)練通常需要決定“改哪一部分”。如果任務(wù)主要是理解圖像語義視覺編碼器可以凍結(jié)只微調(diào)語言模型如果任務(wù)涉及特殊的圖像特征例如紅外波段或高空俯拍視角則需要考慮是否解凍視覺編碼器。# 一個(gè)標(biāo)準(zhǔn)的 VLM 推理調(diào)用流程 from transformers import AutoProcessor, AutoModelForVision2Seq from PIL import Image model_id your-finetuned-model-path processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained(model_id) image Image.open(test_frame.jpg) prompt Describe the traffic status in this image. inputs processor(imagesimage, textprompt, return_tensorspt) outputs model.generate(**inputs, max_new_tokens256) print(processor.decode(outputs[0], skip_special_tokensTrue))這段代碼把圖像和文本提示詞送入模型模型輸出文本描述。這里的processor負(fù)責(zé)將圖像和文本轉(zhuǎn)換成模型需要的張量格式。3.3 Cosmos 合成數(shù)據(jù)生成的工作流Cosmos 3 生成合成數(shù)據(jù)的工作流可以概括為文本描述 條件控制 → 視頻生成 → 抽幀標(biāo)注 → 數(shù)據(jù)集構(gòu)建。其中文本描述的質(zhì)量直接影響生成效果。為了生成符合農(nóng)業(yè)機(jī)器人視角的數(shù)據(jù)需要在提示詞中明確以下信息相機(jī)視角第一人稱、第三人稱、固定視角等。場(chǎng)景內(nèi)容農(nóng)作物種類、成熟度、病蟲害特征。運(yùn)動(dòng)行為機(jī)械臂運(yùn)動(dòng)、果實(shí)抓取、自主移動(dòng)等。環(huán)境條件光照、天氣、季節(jié)。下面是一個(gè)雙語提示詞模板English prompt: A first-person view from an agricultural robot moving between tomato rows. The robotic arm extends forward and gently picks a ripe red tomato. Natural sunlight, slight shadow on the left side, leaves are green and healthy. 中文提示詞 農(nóng)業(yè)機(jī)器人第一人稱視角在番茄種植行中移動(dòng)。 機(jī)械臂向前伸展輕輕摘取一顆成熟的紅色番茄。 自然光照左側(cè)有輕微陰影葉片翠綠健康。建議在合成數(shù)據(jù)生成時(shí)將英文提示詞作為主輸入中文提示詞作為輔助描述這樣可以在一定程度上提高生成結(jié)果與中文標(biāo)注的一致性。3.4 圖像批量推理的效率問題在智慧城市場(chǎng)景中VLM 推理往往需要處理大量圖像比如每隔幾秒從視頻流中抽幀檢測(cè)一次。如果逐張圖像調(diào)用模型耗時(shí)較長(zhǎng)也不利于 GPU 利用率。常見的做法是批量推理batch inference將多張圖像組成一個(gè) batch 送入模型。# 圖像批量推理的常見思路 from PIL import Image import torch images [Image.open(fframes/frame_{i:04d}.jpg) for i in range(1, 9)] prompts [Describe the traffic condition.] * len(images) inputs processor( imagesimages, textprompts, return_tensorspt, paddingTrue, ) with torch.no_grad(): outputs model.generate(**inputs, max_new_tokens128)批量推理的核心收益是提高 GPU 利用率減少推理總時(shí)間。但它也有代價(jià)batch 中不同圖像的 token 長(zhǎng)度不同模型需要做 padding在處理超長(zhǎng)視頻抽幀時(shí)可能遇到顯存壓力。后續(xù)在“常見問題”章節(jié)會(huì)進(jìn)一步展開。4. 完整實(shí)戰(zhàn)從合成數(shù)據(jù)生成到 VLM 后訓(xùn)練與推理下面進(jìn)入本文的核心實(shí)戰(zhàn)。整個(gè)流程分為五個(gè)步驟每一部分都提供完整代碼和運(yùn)行說明。4.1 準(zhǔn)備智慧城市監(jiān)控?cái)?shù)據(jù)先準(zhǔn)備一組智慧城市場(chǎng)景的真實(shí)圖像。出于示例目的我們假設(shè)你有少量來自公開數(shù)據(jù)集的圖像和標(biāo)注。你可以先創(chuàng)建data/real目錄并準(zhǔn)備如下格式的標(biāo)注文件data/annotations/real_annotations.json[ { filename: frame_001.jpg, question: 這段路口有哪些交通參與者, answer: 畫面中有兩輛直行的小汽車、一輛左轉(zhuǎn)的電動(dòng)車以及一名正在斑馬線旁等候的行人。 }, { filename: frame_002.jpg, question: 是否有車輛違規(guī), answer: 沒有。所有車輛均在車道線內(nèi)行駛行人信號(hào)燈為綠色通行狀態(tài)正常。 } ]然后運(yùn)行下面的數(shù)據(jù)準(zhǔn)備腳本將標(biāo)注轉(zhuǎn)換為后訓(xùn)練所需的統(tǒng)一格式# 文件路徑scripts/prepare_dataset.py import json import os import argparse def build_dataset(image_dir, annotation_file, output_file): # 讀取原始標(biāo)注 with open(annotation_file, r, encodingutf-8) as f: annotations json.load(f) samples [] for item in annotations: # 每個(gè)樣本包含圖像路徑和一輪對(duì)話 samples.append({ images: [os.path.join(image_dir, item[filename])], conversations: [ { role: user, content: item[question] }, { role: assistant, content: item[answer] } ] }) with open(output_file, w, encodingutf-8) as f: json.dump(samples, f, ensure_asciiFalse, indent2) print(f[INFO] Dataset ready, total {len(samples)} samples.) if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--image_dir, typestr, defaultdata/real) parser.add_argument(--annotation_file, typestr, defaultdata/annotations/real_annotations.json) parser.add_argument(--output_file, typestr, defaultdata/dataset_real.json) args parser.parse_args() build_dataset(args.image_dir, args.annotation_file, args.output_file)運(yùn)行python scripts/prepare_dataset.py如果看到Dataset ready, total 2 samples.說明真實(shí)數(shù)據(jù)準(zhǔn)備完成。在實(shí)際項(xiàng)目中樣本數(shù)量建議至少在數(shù)百條以上否則后訓(xùn)練效果非常有限。4.2 用 Cosmos 生成農(nóng)業(yè)機(jī)器人合成數(shù)據(jù)接下來使用 Cosmos 3 生成農(nóng)業(yè)機(jī)器人場(chǎng)景的合成視頻。由于不同版本的 Cosmos 對(duì)模型導(dǎo)入方式和推理接口差異較大下面的代碼是演示思路具體 API 名稱需要參考你部署的官方文檔。# 文件路徑scripts/generate_synthetic.py # 演示代碼實(shí)際接口請(qǐng)參考 Cosmos 官方倉(cāng)庫 import os import json from PIL import Image # 假設(shè) Cosmos 提供了一個(gè)生成器對(duì)象 # 這里用注釋說明初始化方式不綁定具體類名 # from cosmos import CosmosVideoGenerator def generate_agriculture_frame(prompt_en, prompt_zh, save_dir): 使用 Cosmos 生成農(nóng)業(yè)機(jī)器人視角的視頻幀。 參數(shù): prompt_en: 英文提示詞 prompt_zh: 中文提示詞 save_dir: 輸出目錄 # 1. 構(gòu)造生成請(qǐng)求 generation_prompt f{prompt_en}. {prompt_zh} # 2. 調(diào)用 Cosmos 生成視頻 # generator CosmosVideoGenerator.from_pretrained(nvidia/cosmos-3-wfm) # output_video generator.generate( # promptgeneration_prompt, # duration3.0, # 生成 3 秒視頻 # height720, # width1280, # fps30 # ) # 3. 將視頻流抽幀保存為 JPEG 圖像 # frames extract_frames(output_video) # 這里僅做目錄初始化 os.makedirs(save_dir, exist_okTrue) # 4. 記錄對(duì)應(yīng)的文本描述 annotation { prompt_en: prompt_en, prompt_zh: prompt_zh, scene: agriculture_robot, frames: [ # 假設(shè)抽幀后得到 10 幀 fsynthetic_agri_001_frame_{i:02d}.jpg for i in range(10) ] } with open(os.path.join(save_dir, annotation.json), w, encodingutf-8) as f: json.dump(annotation, f, ensure_asciiFalse, indent2) print(f[INFO] Synthetic data saved to {save_dir}) if __name__ __main__: save_dir data/synthetic/agriculture_01 generate_agriculture_frame( prompt_enFirst-person view of an agricultural robot in a tomato greenhouse, a robotic arm reaches out and gently picks a ripe tomato, natural light., prompt_zh農(nóng)業(yè)機(jī)器人第一人稱視角在番茄溫室中機(jī)械臂伸出并輕輕摘取一顆成熟的番茄自然光照。, save_dirsave_dir )你需要根據(jù)實(shí)際模型版本替換初始化與生成邏輯。生成后的視頻幀可以繼續(xù)用作圖像級(jí) VLM 后訓(xùn)練數(shù)據(jù)也可以保留視頻序列用于后續(xù)世界模型訓(xùn)練或行為預(yù)測(cè)任務(wù)。4.3 構(gòu)建混合后訓(xùn)練數(shù)據(jù)集合成數(shù)據(jù)與真實(shí)數(shù)據(jù)需要統(tǒng)一格式才能送入訓(xùn)練腳本。這里寫一個(gè)融合腳本將真實(shí)數(shù)據(jù)集和合成數(shù)據(jù)集合并并寫入訓(xùn)練集與驗(yàn)證集。# 文件路徑scripts/merge_datasets.py import json import random import argparse def load_json(path): with open(path, r, encodingutf-8) as f: return json.load(f) def split_dataset(samples, val_ratio0.2): random.shuffle(samples) val_size int(len(samples) * val_ratio) train_set samples[val_size:] val_set samples[:val_size] return train_set, val_set if __name__ __main__: parser argparse.ArgumentParser() parser.add_argument(--real_data, typestr, defaultdata/dataset_real.json) parser.add_argument(--synthetic_data, typestr, defaultdata/dataset_synthetic.json) parser.add_argument(--output_train, typestr, defaultdata/dataset_train.json) parser.add_argument(--output_val, typestr, defaultdata/dataset_val.json) parser.add_argument(--val_ratio, typefloat, default0.2) args parser.parse_args() real_samples load_json(args.real_data) synthetic_samples load_json(args.synthetic_data) all_samples real_samples synthetic_samples train_set, val_set split_dataset(all_samples, args.val_ratio) with open(args.output_train, w, encodingutf-8) as f: json.dump(train_set, f, ensure_asciiFalse, indent2) with open(args.output_val, w, encodingutf-8) as f: json.dump(val_set, f, ensure_asciiFalse, indent2) print(f[INFO] Train samples: {len(train_set)}, Val samples: {len(val_set)})合并數(shù)據(jù)的比例需要根據(jù)實(shí)際情況調(diào)整。如果合成數(shù)據(jù)出現(xiàn)明顯重復(fù)模式應(yīng)該適度降低合成數(shù)據(jù)占比避免模型對(duì)合成數(shù)據(jù)過擬合。4.4 LoRA 微調(diào) VLM下面使用 PEFT 庫對(duì) VLM 做 LoRA 后訓(xùn)練。示例中使用的是 Hugging Face 生態(tài)的AutoModelForVision2Seq你可以替換成自己選定的 VLM 基座模型。# 文件路徑scripts/train_lora.py import json import torch from transformers import ( AutoProcessor, AutoModelForVision2Seq, TrainingArguments, Trainer, DataCollatorForLanguageModeling, ) from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training from PIL import Image from torch.utils.data import Dataset class VLMDataset(Dataset): 讀取統(tǒng)一格式的 VLM 對(duì)話數(shù)據(jù)集。 def __init__(self, json_path, processor): self.data json.load(open(json_path, r, encodingutf-8)) self.processor processor def __len__(self): return len(self.data) def __getitem__(self, idx): item self.data[idx] image_path item[images][0] conversations item[conversations] user_text conversations[0][content] assistant_text conversations[1][content] image Image.open(image_path).convert(RGB) # 構(gòu)造模型輸入 messages [ {role: user, content: user_text}, {role: assistant, content: assistant_text}, ] text self.processor.apply_chat_template( messages, tokenizeFalse, add_generation_promptFalse ) inputs self.processor( imagesimage, texttext, return_tensorspt, paddingTrue, ) # 移除 batch 維度簡(jiǎn)化 item 結(jié)構(gòu) return { pixel_values: inputs[pixel_values][0], input_ids: inputs[input_ids][0], attention_mask: inputs[attention_mask][0], } def collate_fn(batch): 動(dòng)態(tài) padding 到 batch 內(nèi)最大長(zhǎng)度。 pixel_values torch.stack([b[pixel_values] for b in batch]) input_ids torch.nn.utils.rnn.pad_sequence( [b[input_ids] for b in batch], batch_firstTrue, padding_value0 ) attention_mask torch.nn.utils.rnn.pad_sequence( [b[attention_mask] for b in batch], batch_firstTrue, padding_value0 ) return { pixel_values: pixel_values, input_ids: input_ids, attention_mask: attention_mask, } def main(): model_id your-base-vlm-id # 例如 meta-llama/Llama-3.2-11B-Vision-Instruct train_json data/dataset_train.json val_json data/dataset_val.json processor AutoProcessor.from_pretrained(model_id) model AutoModelForVision2Seq.from_pretrained( model_id, torch_dtypetorch.bfloat16, device_mapauto, ) # 配置 LoRA lora_config LoraConfig( r16, lora_alpha32, lora_dropout0.05, target_modules[q_proj, v_proj, k_proj, o_proj], task_typeCAUSAL_LM, ) model prepare_model_for_kbit_training(model) model get_peft_model(model, lora_config) model.print_trainable_parameters() train_dataset VLMDataset(train_json, processor) val_dataset VLMDataset(val_json, processor) training_args TrainingArguments( output_diroutput/logs/, per_device_train_batch_size2, per_device_eval_batch_size2, gradient_accumulation_steps4, learning_rate2e-4, num_train_epochs3, logging_steps10, eval_strategysteps, eval_steps100, save_steps100, remove_unused_columnsFalse, report_totensorboard, ) trainer Trainer( modelmodel, argstraining_args, train_datasettrain_dataset, eval_datasetval_dataset, data_collatorcollate_fn, ) trainer.train() # 保存 LoRA 權(quán)重和處理器 model.save_pretrained(models/finetuned/lora_weights) processor.save_pretrained(models/finetuned/lora_weights) if __name__ __main__: main()這段代碼有幾個(gè)關(guān)鍵點(diǎn)需要注意VLMDataset里使用了apply_chat_template不同模型對(duì)對(duì)話模板的處理方式不同。collate_fn負(fù)責(zé)動(dòng)態(tài) padding確保不同長(zhǎng)度的輸入可以在一個(gè) batch 內(nèi)計(jì)算。LoRA 的target_modules需要與模型結(jié)構(gòu)匹配。如果模型使用了不同的線性層命名需要調(diào)整。4.5 智慧城市 VLM 推理完成 LoRA 后訓(xùn)練后將 LoRA 權(quán)重加載到預(yù)訓(xùn)練模型上對(duì)智慧城市場(chǎng)景的圖像進(jìn)行推理。# 文件路徑scripts/inference.py import torch from transformers import AutoProcessor, AutoModelForVision2Seq from peft import PeftModel from PIL import Image def load_finetuned_model(base_model_id, lora_path): processor AutoProcessor.from_pretrained(lora_path) model AutoModelForVision2Seq.from_pretrained( base_model_id, torch_dtypetorch.bfloat16, device_mapauto, ) model PeftModel.from_pretrained(model, lora_path) model.eval() return processor, model def infer_image(processor, model, image_path, prompt): image Image.open(image_path).convert(RGB) inputs processor(imagesimage, textprompt, return_tensorspt).to(model.device) with torch.no_grad(): outputs model.generate( **inputs, max_new_tokens256, do_sampleFalse, ) result processor.decode(outputs[0], skip_special_tokensTrue) return result if __name__ __main__: base_model_id your-base-vlm-id lora_path models/finetuned/lora_weights processor, model load_finetuned_model(base_model_id, lora_path) # 分別測(cè)試智慧城市和農(nóng)業(yè)場(chǎng)景 test_cases [ (data/real/frame_001.jpg, 描述該路口的交通參與者及通行狀態(tài)。), (data/synthetic/agriculture_01/annotation.json_frame_00.jpg, 判斷番茄果實(shí)是否成熟。), ] for image_path, prompt in test_cases: result infer_image(processor, model, image_path, prompt) print(fImage: {image_path}) print(fPrompt: {prompt}) print(fResult: {result}) print(- * 60)輸出示例Image: data/real/frame_001.jpg Prompt: 描述該路口的交通參與者及通行狀態(tài)。 Result: 畫面中有兩輛直行的小汽車、一輛左轉(zhuǎn)的電動(dòng)車以及一名正在斑馬線旁等候的行人。4.6 運(yùn)行與驗(yàn)證依次執(zhí)行以下命令即可完整復(fù)現(xiàn)本文流程# 1. 準(zhǔn)備真實(shí)數(shù)據(jù) python scripts/prepare_dataset.py # 2. 生成合成數(shù)據(jù)需要 Cosmos 環(huán)境 python scripts/generate_synthetic.py # 3. 合并數(shù)據(jù)集 python scripts/merge_datasets.py # 4. 后訓(xùn)練 python scripts/train_lora.py # 5. 推理驗(yàn)證 python scripts/inference.py如果使用的是自己的模型路徑需要修改腳本中的model_id、base_model_id等參數(shù)。后訓(xùn)練過程中建議保存訓(xùn)練日志方便后續(xù)定位是否過擬合或欠擬合。5. 常見問題與排查思路在實(shí)際運(yùn)行過程中常見問題集中在環(huán)境依賴、數(shù)據(jù)格式、顯存限制和推理結(jié)果異常幾個(gè)方面。下面用表格整理排查思路。問題現(xiàn)象常見原因解決思路nvidia-smi不可用WSL2 未啟用 GPU 或驅(qū)動(dòng)版本過低更新 Windows 驅(qū)動(dòng)確保 WSL2 內(nèi)執(zhí)行nvidia-smi正常導(dǎo)入 Cosmos 包報(bào)錯(cuò)官方庫名或依賴與版本不匹配查閱官方文檔確認(rèn)安裝命令檢查 Python 版本模型加載 CUDA out of memory顯存不足降低 batch size開啟 gradient_accumulation_steps或使用更小基座模型推理結(jié)果與預(yù)期差距大數(shù)據(jù)標(biāo)注質(zhì)量差或訓(xùn)練輪次過多檢查訓(xùn)練集標(biāo)注一致性觀察驗(yàn)證集損失降低 epoch 或?qū)W習(xí)率中文輸出質(zhì)量不穩(wěn)定基座模型中文能力有限替換中文能力更強(qiáng)的基座模型或增加中文示例在訓(xùn)練集中的占比批量推理時(shí) padding 導(dǎo)致結(jié)果異常不同輸入長(zhǎng)度差異大使用模型自帶的動(dòng)態(tài) padding或在構(gòu)建 batch 時(shí)按長(zhǎng)度排序LoRA 訓(xùn)練后模型輸出亂碼target_modules與模型結(jié)構(gòu)不匹配檢查模型參數(shù)名確認(rèn)q_proj、v_proj等名稱是否存在合成數(shù)據(jù)與真實(shí)數(shù)據(jù)風(fēng)格差異過大提示詞未覆蓋目標(biāo)場(chǎng)景加入更多環(huán)境、光照、相機(jī)參數(shù)描述生成后進(jìn)行人工篩選5.1 顯存不足的排查示例顯存不足是最常見的問題。先通過nvidia-smi查看占用情況nvidia-smi如果看到類似CUDA out of memory的錯(cuò)誤依次嘗試減小per_device_train_batch_size從 2 調(diào)整到 1。開啟gradient_accumulation_steps8保證有效 batch size 不變。使用bf16或fp16混合精度訓(xùn)練。對(duì)視頻抽幀時(shí)降低圖像分辨率例如從 1280x720 降到 640x360。5.2 推理加速的常見手段智慧城市場(chǎng)景對(duì)推理延遲有較高要求。這里給出幾種常見的推理加速手段不同方法的收益和復(fù)雜度不同。方法 1批量推理Batch Inference 適用離線批量抽幀檢測(cè) 收益提高 GPU 利用率 方法 2TensorRT / 模型編譯 適用服務(wù)化部署、線上推理 收益顯著降低單次推理延遲 注意需要針對(duì)具體模型與 GPU 做轉(zhuǎn)換 方法 3圖編譯Graph Compiler 適用PyTorch 生態(tài)下的動(dòng)態(tài)圖模型 收益減少算子調(diào)度開銷 注意可能與動(dòng)態(tài) video 輸入存在兼容問題 方法 4減小輸入尺寸 / 降低幀率 適用視頻流場(chǎng)景 收益直接減少計(jì)算量 注意需要評(píng)估精度損失關(guān)于 TensorRT 部署需要說明的是具體安裝方式和可支持的算子版本變化較快建議以官方部署文檔為準(zhǔn)。不要盲目追求把全部模型轉(zhuǎn)成 TensorRT圖編譯和批量推理往往已經(jīng)能帶來可觀的收益。6. 最佳實(shí)踐與工程建議6.1 合成數(shù)據(jù)質(zhì)量控制合成數(shù)據(jù)不是“生成多少用多少”必須經(jīng)過質(zhì)量篩。建議記錄每段生成視頻的提示詞、生成參數(shù)和標(biāo)注來源并通過可視化工具抽幀審查。建議建立如下篩選流程自動(dòng)過濾去掉黑幀、重復(fù)幀、畫面異常的視頻。規(guī)則校驗(yàn)利用目標(biāo)檢測(cè)模型檢查關(guān)鍵物體是否存在例如“畫面中是否出現(xiàn)番茄”。人工抽檢隨機(jī)抽 10% 左右的樣本由人工確認(rèn)語義一致性。標(biāo)注校準(zhǔn)如果 Cosmos 生成結(jié)果與文本描述不一致需要修正標(biāo)注或丟棄樣本。6.2 后訓(xùn)練數(shù)據(jù)混合策略真實(shí)數(shù)據(jù)與合成數(shù)據(jù)的比例需要謹(jǐn)慎控制。一般來說如果合成數(shù)據(jù)與真實(shí)場(chǎng)景分布差距較大合成數(shù)據(jù)占比過高會(huì)導(dǎo)致模型在真實(shí)數(shù)據(jù)上反而變差。一個(gè)比較穩(wěn)妥的做法是訓(xùn)練集 80% 真實(shí)數(shù)據(jù) 20% 合成數(shù)據(jù) 驗(yàn)證集 100% 真實(shí)數(shù)據(jù)先用這個(gè)比例評(píng)估再根據(jù)驗(yàn)證集表現(xiàn)逐步調(diào)整。如果合成數(shù)據(jù)覆蓋了真實(shí)場(chǎng)景缺乏的長(zhǎng)尾情況可以適當(dāng)提高比例。6.3 后訓(xùn)練超參數(shù)調(diào)優(yōu)建議超參數(shù)建議范圍說明LoRA rank8 ~ 32rank 越大表達(dá)能力越強(qiáng)但顯存占用也更高learning rate1e-5 ~ 5e-4視覺語言模型微調(diào)通常比純文本模型更小的學(xué)習(xí)率batch size1 ~ 8根據(jù)顯存調(diào)整配合梯度累積epoch2 ~ 5從 2 開始觀察驗(yàn)證集損失防止過擬合warmup ratio0.03 ~ 0.1避免訓(xùn)練初期不穩(wěn)定6.4 安全與合規(guī)邊界在智慧城市場(chǎng)景中處理視頻數(shù)據(jù)時(shí)要特別注意隱私和合規(guī)問題。實(shí)際項(xiàng)目中建議做到以下幾點(diǎn)對(duì)涉及個(gè)人的視頻幀做匿名化處理例如人臉模糊、車牌脫敏。只在授權(quán)范圍內(nèi)采集和使用真實(shí)數(shù)據(jù)。使用 Cosmos 生成合成數(shù)據(jù)時(shí)保留提示詞和生成參數(shù)方便追溯數(shù)據(jù)來源。對(duì)外發(fā)布模型權(quán)重時(shí)檢查基座模型的許可協(xié)議是否允許二次分發(fā)。7. 總結(jié)與下一步學(xué)習(xí)路線到這里我們完整走通了一條“Cosmos 3 合成數(shù)據(jù)生成 → VLM 后訓(xùn)練 → 智慧城市推理”的技術(shù)鏈路。你掌握的是一套可以復(fù)用到多個(gè)物理 AI 場(chǎng)景的實(shí)驗(yàn)流程而不只是某個(gè)具體項(xiàng)目的配置。下一步可以從這幾個(gè)方向繼續(xù)深入把合成視頻從單一視角擴(kuò)展到多相機(jī)視角研究世界模型中的 3D 一致性問題。對(duì)比不同后訓(xùn)練方法SFT、LoRA、DPO在垂直場(chǎng)景中的效果差異。嘗試把后訓(xùn)練好的 VLM 接入實(shí)際機(jī)器人控制鏈路用人類反饋進(jìn)一步優(yōu)化行為策略。研究推理加速方案將模型部署到邊緣端服務(wù)于實(shí)時(shí)智慧城市監(jiān)控。實(shí)際項(xiàng)目中優(yōu)先關(guān)注數(shù)據(jù)質(zhì)量和評(píng)估指標(biāo)不要一上來就追求大模型。合成數(shù)據(jù)幫你拓寬數(shù)據(jù)邊界后訓(xùn)練幫你對(duì)齊業(yè)務(wù)需求VLM 推理幫你把能力落到具體應(yīng)用中三步缺一不可。希望這篇文章能幫你少踩一些坑也歡迎在評(píng)論區(qū)交流你的實(shí)測(cè)結(jié)果。
返回列表
PREV
查看更多資訊
NEXT
返回資訊列表
97婷婷丁香五月| 电影蜘蛛女| 五月天婷婷免费| 婷婷 伊人 久久| 激情五月天综合网| 五月丁香六月激情综合在线| 97久久久久| 婷婷五月天社区| 中出内射的人妻视频| 久热99久热| 五月天婷综合| 26uuu国产| 五月天婷婷五月| 久久99日本精品视频免费观看| 欧美日韩成人一区二区| 亚洲精品五月| 激情综合五月激情| 99热在线精品播放| 久热久操久热久草国产91| 大香蕉婷婷丁香视频在线| www.伊人天堂偷偷婷婷| 婷婷五月天成人导航| 99色热| 思思热在线免费视频| 超碰人人超碰| 婷婷九月丁香天堂丁香天堂| 伊人在线大香蕉网| 狠狠噪| 五月丁香久人妻中文| 性小说五月天| 五月天婷亚洲天综合网综合| 99热国产精品| 婷婷九月亚洲| 亚洲成人网站在线播放| 天堂久久大香蕉| 亚洲人妻av伦理| 国产亚洲色婷婷久久99精品91 www.riverspirits.org www.hnnun.com www.changh | 精品人妻伦九区久久AAA片| 无码人妻一区二区三区免费九色| 青草性爱视频| 久久成人性爱| 梁铮版《蜘蛛女侠》在线| 国产婷婷久久| 五月丁香啪。| 黄色一级影片| 97人人操| 激情综合五月| 九九热a| 婷婷丁香五月天熟女丝袜| 免费看欧美成人A片无码 | 五月天激情无码| 伊人丁香五月| 亚洲VA在线| 草综合网| 深爱网深爱综合网| 五月天狠狠干| 五月丁香无码视频| 丁香五月成人社区| 日韩淑女人妻luan伦激情精品一区二| 久99精品视频| 婷婷大乡焦噜噜| 久久综合婷婷激情| se婷97| 亚洲综合五月天婷婷| 99久久综合网| 成人无码免费一区二区中文| 色婷婷av综合网| 深夜婷婷 丁香| 亚洲激情四射色| 激情五月激情综合网| 99热| 久久在线视频免费观看| 美女被肏网站在线看| 9精品久久999| 超碰人人操人人9| 5Www色5夜| 狠狠爱成人综合网| 色九九七七| 色播五月天婷婷老师| 激情婷婷黄色五月 | 久久激情四射| 久久六月天| 99色色网| 婷婷综合网站| 六月丁香综合| 天天干夜夜欢| 曰韩少妇内射免费播放| 五月婷婷影视| 欧美大香蕉视频| 久久hd| 欧美WW在线网| 99re熱| 久久99热免费| 四月婷婷五月丁香| 九九黄色网| 日本色图综合| 怡红院AV亚洲一区二区三区H | 开心五月综合激情网| 欧美综合五月丁香六月婷| 激情九月婷婷| 性无码专区无码| 99色嘟嘟精品网站| 丁香六月啪| 丁香5月激情网| 精品一二三区视频立| 国产热精品| 五月丁香天堂网| 六月激情网| 综合网色| 免费成片在线观看| 五月丁香六月婷婷不卡免费无码| 天天综合色99| 综合色99| 免费在线观看欧美激情xx小视频| 99操视频| 久久9热| 六月丁香婷婷视频综合在线观看| 亚洲精品国产精品乱码视99| 香蕉AV福利精品导航| 色黄啪啪| 五月色欧洲| 激情网婷婷五月天| 天天肏在线视频| 日本啪啪天堂| 99久在线精品99re8热| 色欲av伊人久久大香线蕉影院 | 天天上天天爽| 91蜜桃婷婷狠狠久久综合9色| 精品一二三区久久AAA片| 欧美三级大片AA在线看| 五月香蕉婷婷| 激情五月天网站| 碰碰碰97免费精彩视频| 激情婷婷五月天在线观看| 五月欧美丁香在线观看| 婷婷九月久久| 亚洲精品国产精品乱码不99| 伊人综合网站| 嫩草AV久久伊人妇女超级A| 久爱综合| 99精品爱| 婷婷五月丁香青青草在线| 67194成I人在线观看线路1| 清色五月天| 久久停停超碰| 欧美熟女99| 五月天激情AV| 3DAV亚洲香蕉久久 一区二区| 99精品热视频只有精品10| 婷婷六月丁| 五月开心播播网| 18av天堂| 亚洲无码色| 色碰干| 激情5月婷婷| 久热久| 91啪啪视频| 日本狠狠色| 色情成人五月天| 婷婷在线操| 可以看的av网站| 在线成人网址| 五月激情综合网| 91丁香| 综合五月网| 五月婷婷黄色视频| 色狠狠色噜噜AV天堂五区| 综合色情网| 人妻久热| 亚洲国产色婷婷| 久久新地址| 91人妻人人操人人爽| 婷婷亚洲五月| 九月婷婷久久| 激情六月丁香| 午夜理论片最新午夜理论剧| 五月丁香婷婷五月色| 五月婷婷天天色| 丁香九月婷婷| 色情一区二区播放| 激情五月婷婷她| 色婷婷小说| 99热九九九九| 色情久久久| 99丁香五月婷| 超碰91在线| 做爱夜夜干天天操| 国产毛片操B| 丁香五月婷在线观看| 超碰2021| 在线网黄| 丁香五月AV综合激情| 97在线观看| 五月婷婷之激情五月| 思思网站| 综合激情九月婷婷,激情综合婷婷中文字| 丁香婷婷色情社区成人小说| 九色 在线| 婷婷五月激情欧美| 婷婷五月精品在线| 色欲婷婷五月天丁香| 九热免费视频| 99爱视频在线免费观看| 色偷偷色婷婷| 成人无码髙潮喷水A片| 99色热视频| 亚洲啪啪精品| 免费黄色视频网址| 91精品久久久久、久五月天| 青青.com| 99er热精品视频| 婷婷天天日婷婷| 婷婷的久久网站| 亚洲妇女熟BBW| av免费人人| 亚洲黄色精品| 成人小说色图婷婷五月| 九九99精品视频在线观看| 色婷婷丁香六月| 欧美精品狠狠色丁香婷婷| 99热这里只有精| 思思热久久阴99| 色五月在线| 狠狠久久婷五月综合色| 99热这里只有精| 婷婷五月六月丁香综合| 亚州色婷婷| 91无码色色| 蜜桃五月天| 婷婷丁香五月亚洲欧美| 2022人人操人人看| 九月婷婷综合色干| 9久久狠狠的| 久久婷婷五月天激情| 乱女乱妇熟女熟妇综合网站| 日韩色五月| 秋霞少妇AV网站| 久久人人看| 这里只有精彩亚洲视频推荐| 欧美激情丁香五月天久久婷婷一区| 99碰在线视频| 7EzOBIhNq85TO| 182TV大香蕉| 亚洲五月婷天天操| 人妻久久做| 91色在线 | 日韩| 超碰免费成人网站| 男妓跪趴把舌头伸进我的嘴巴| 五月婷无码| www.91婷婷| 丁香婷婷老司机久操| 天天插天天插| 91碰碰| 丁香综合婷婷五月天| 五月天伊人日日噜影片AV| 丁香婷婷老司机久操| 婷婷97狠狠成人网站| 91色在线 | 日韩| 99国产性感视频| 色色色色热热| 99人这里只有精品| 婷婷 亚洲图片 丁香| 91碰碰| 婷婷综合精品| 日韩AV在线免费观看| 七七久久婷婷| 涩涩激情五月婷婷| WWW.久久久久久久久久久久久| 99燥99日| 色婷大香蕉| 先锋影音男人的天堂AV| 欧美三级大片AA在线看| 婷婷色色亚洲| 婷婷综合久久综合| 亚洲黄色av网站| 久久艹网| 99热在线中文字幕| WWW色综合| 俺来也综合网精品一区| 翔田千里aV中文字幕| 五月花婷婷在线精品视频| 激情网第九色| 日本一级一级一级一级| 欧洲激情五月天婷婷| 五月色情婷婷开心五月天| 97人人干| www·五月天| 超碰精品手机在线| 青青草激情网| 婷婷综合五月| www.色五月| 第九色区av天堂| 日韩免费视频| 色婷婷色和| WWW久| 五月婷婷色啪| 国产亚洲色婷婷99精品| 天天操夜夜爽| 天天噜| 久久电影4399| 色五月六月| 天天干天天插| 9精品一区| 人人干女人| 91狠狠综合久久久久久| 99热精品一区| 人人干女人| 婷婷丁香花五月天| 国产成人精品一区二三区熟女在线 | 北条麻妃九九九国产精品视频| AV在线不卡播放| 亚洲一二三网| 在线你懂的亚洲欧| 五月婷色丁香| 亚洲在线操| 色丁香五月婷婷| 婷婷视频在线| 日本久久婷| 丁香五月婷婷亚洲色图| 五月综合缴情网| 婷婷的色色五月天| 91av传媒高清在线视频网| 五月婷婷黄色毛片| WWW五月天| 五月天激情www| 丁香五月欧美激情| 久久五月天激情婷婷| 啪啪啪综合网| 天天天天干| 狠狠色综合网| 日韩精品一区二区亚洲AV观看| 丁香综合网| 丁香五月激情六月综合| 依人大香蕉| 五月天婷婷青青草| 99视频久久免费视频| 可以免费看AV网站| 色色色综合网| 久久亚洲婷婷| 色色综合网络| av免费在线看不卡无毒| 色欲人妻综合aaaaaaaa网| 青草激情综合| www免费在线视频| 超碰猛烈的性猛交| 丁香五月另类小说| 99丁香婷婷综合网| 久久人操| 综合久久久| 欧美性爱丁香五月| 五月丁香综合伦理片| 激情视频综合| 久久九九亚洲| 色婷婷五月天不卡| 青青草青青草五月天| 五月伊人网| 开心五月网| 激情五月天视频| 日本啪啪网| 这里只有精品2| 嫩草AV久久伊人妇女超级A| 久久综合干| 66色在线日韩| 影音先锋 萱萱| 色色色在线免费视频| 中文字幕av久久爽一区| 日韩人妻在线观看| 久久六月天| Caop在线| 国产无人区大片| www.久久色.com| 婷婷丁香五月天小说| 性一交一乱一交A片久久四色| 99久扒热| 99热精品在线播放| 日日日日做夜夜夜夜无码| 玖玖婷婷五月天| 久久一品区| 激情五月天伊人av| 五月激情综合性爱| 91婷婷色 | 99色在线视频| 99狠狠操一| 五月丁香六月在线| aaaa.黄| 五月婷综合| 久久久九九视频精品18| 91干视频| 丁香六月色婷婷欧美| 操碰97| 欧美婷婷| 婷婷综合激情| 丁香五月婷婷欧美成人色图| 9久操| 激情丁香五月| 婷五月丁香俺| 两性婷婷丁香五月| 思思久久99| 六月婷婷七月丁香| 久久九九色| 91艹人| 欧美成人在线观看| www.婷婷五月天| aaa9区免费在线观看| 99熟女啪啪视频| 色五月婷婷综合| www.婷婷五月| 欧美草久久五月天91| 亚洲av无码精品色午夜| 在线色色| 99精品爱| 亚洲精品亚洲人成人网| 五月婷婷综合激情| 丁香五月在线观看| www久久五月com| 996er在线观看| 免费无码毛片一区二区A片| 99精彩视频在线观看| 丁香五月综合狠狠| 色优久久| 大陆肏屄视频| 激情婷婷| 欧美激情久| 激情综合五月| 九九色热| 夜夜天天久久婷婷| 午夜激情综合| 色www99| 97人人看| 思思热高清在线观看| 玖玖综合网| 中字幕视频在线永久在线观看免费| 色优久久| www激情网站| 亚洲va综合va国产va中文| 天天干天干| 日本老女人黄页在线播放| 久久色大香蕉| 五月丁香五月综合欧美| 直接看的av| 99久热这里有精品| 九九亚洲综合| cao视频,现在观看| 亚洲人人操| 五月丁香中文| 99热这里有精品2| 久久婷婷啪啪视频| 九九偷拍网| 免费观看欧美成人AA片爱我多深| 玖玖五月丁香| 成 人 色 色| 五月天丁香啪啪综合| 日韩久综合| 99热这里有精品| 色婷婷啪啪啪啪啪啪| 色激情五月| 亚洲九九视频| 色噜噜狠狠插综合| 久热只有这里精品| 啪啪啪五月天| 国产六月婷婷| 啊v视频在线观看| 91超级碰人人操| 国产精品天天狠天天看| 欧美激情综合| 五月丁香大香蕉| 少妇搡BBBB搡BBB搡毛茸茸 | jiqingliuyuetian| www.色擼擼.com| 丁香开心深爱| 亚洲五月天天| 激情婷婷五月天伊人在线观看| 91人操人人人操人| 好色婷婷| 国产婷婷综合在线免费视频| 97超碰在线免费观看| 少妇高潮呻吟A片免费看软件| 夜夜爱网站| 91九色精品女同系列| 美欧成人视频| 免费视频无码| 九九色综合网| 丁香婷婷影院| 五月婷视频| 夜夜躁爽日日| 少妇AB又爽又紧无码网站| www99热| 五月丁香成人网| 婷婷社区五月天| 狠狠干婷婷| 激情六月婷婷| 丁香九月综合激情| 色偷偷色婷婷| 亚州色色色| 在线日韩视频| 97精品人人A片免费看| 五月激情天| 99热久久这里只有精品| 丁香五月狠狠在线观看| 日本九九九九九九| 成人短视频在线| 色情综合网| 第四色色六月色综合| 婷婷五月av| 欧美狠狠一在草| 99久久国产宗和精品1上映| 亚州激情在线视频| 99热官网精品在线| 色播婷婷大香蕉| 婷婷中文字幕| 国产一级黄色影片,| 99伊人婷婷在线| 在线天堂9| 天天爽成人综合网站| 狠狠色噜噜色狠狠狠综合久久成人波| 久久婷婷丁香| 四川BBB搡BBB搡多人乱亂| 综合五月激情| 婷婷色网站| 婷婷六月开心网| 亚洲mm色| 亚洲无码11| 丁香色婷婷| 蒲京久久无码视频| 色欲婷婷五月天| 狠狠干五月丁香| 五月天婷婷在线播放| 精品成人在线观看| 色和综合网| 九九热99免费视频| 国产片色| 久久狠狠干| 丁香五月亚洲综合| 色哟哟www| 亚洲色婷婷色| 五月天播播中文字幕| 久热人妻| www.玖玖九| 婷婷丁香九月| 思思热久久久在线| 丁香五月社区| 天天综合网~91综合网| 另类图片婷婷五月天| 五月停停999| 久草婷妨| 五月天播播综合| 超碰在线中文字幕| 亚洲第一成人AV| 激情网狠狠干| 99性爱视频| 操操熟女| 激情综合色| 天天做夜夜爽| 99久热这里只有精品视频删减版| 97碰碰在线观看视频| 国产69久久久欧美黑人A片| 色婷婷天堂| 婷婷伊人五月| 日本三级第一页| 久鲁鲁色网 | 热99精品视频观看| 丁香五月成人| 97干在线视频| 日韩成人电影在线播放| 色色综合五月| 婷婷丁香五月六月激情| 亚洲亚洲人成综合网络| 热的五码久久精品| 91操人视频| 4399欧美另类视频| 玖玖热视频| 亚洲黄网在线| 欧美激情综合色丁香婷婷五月天| 日本视频不卡123区| 激情综合网激情五月网| 99噜噜噜在线播放| 天天拍夜夜撸| 天天色亚洲| 9久久婷婷国产综合精品性色| 丁香五月天色婷婷| 五月婷婷六月综合| 91热视频色网站| 99九九视频| 夜夜撸夜夜骑| 色九月婷婷丁香| 深爱综合网| 五月亭亭色| 综合色色色| 97操男人的天堂| 直接看的AV| 人人操91色| www色婷婷com| 九月婷婷激情| 亚洲成人免费在线| 99色在线视频观看| 无码人妻丰满熟妇奶水区码| 99在线视频在线观看| 99久久久精品| 激情丁香五月| 成人午夜无码视频| 熟妇人妻中文字幕无码老熟妇| 91超级碰碰| 激情五月天婷婷| 五月婷婷六月激情在线| 爱操天堂| 婷婷五月天亚洲五码| www.色色五月天.com| 日韩欧美一级大黄网站| 五月丁色AV| 99久久国产宗和精品1上映| 天天日夜夜草进麻麻的子宫| 九月性爱网| 日韩aaaaa| 亚洲六月色婷婷| 99热这里只有精品9| 中文不卡一二区| 激情五月婷婷视频一区二区三区| 激情五月天视频| a69在线视频| 国产欧美大香蕉一区| AV性爱网| 蜜臀A∨在线水帘洞| 操逼五月婷婷| 五月丁香色综合| 五月丁香久人妻中文| 九九久久精品| 色婷婷狠狠| 色丁香五月婷婷| 丁香五月色情av| 九九自拍网| 99热欧| 亚洲激情六月| 久久曰曰| 激情五月婷婷在线观看| 亚洲在线激情婷婷五月| 婷婷五月丁香色播| 日本欧美成人片AAAA| 欧美成人网99网| 1024日韩| 欧美激情伊人| 少妇真实被内射视频三四区| 97操碰视频| 色色色.com| 99福利导航| 99在线免费观看| 激情五月综合| 亭亭五月激情亚洲在线| 五月综合色| 亚洲综合激情五月久久| 五月丁香大相交| 三十路磁力链接| 精品久久9| 婷婷桃色网| 亚州美女| 26uuu欧美日本| 天天五月情| 狠狠操.com| 91视频五月丁香| 五月停停大香蕉| 99热这里只有精品5| 五月婷婷中文字幕| 五月婷婷丁香在线视频| 怡红院院在线导航网 | 九九热99视频在线| 日韩 mm 不卡| 久久99大| 亚洲情综合五月天| 激情综合久久| 久久久久人妻网址| 超碰人人草| 丁香五月天婷婷激情| 老司机日日夜夜青草| 亚洲色情激情丁香五月| 很很操96| 这里有精品99| VA五月激情在线| 色婷视频| 亚洲激情在线| 狠狠色97| 五月婷婷亚洲| 丁香久久综合| 手机旧版看人妻1025| 久久久久久久8| 在线91日韩| 伦乱人妻| 婷婷综合久久综合| 久色五月| 艹| 深爱五月天天| 开心五月激情五月丁香五月婷婷| 久久性爱网站| 亚洲色vA| 免费五月婷婷网| 五月丁香六月婷婷网站| 激情综合网五月婷婷| 思思re99视频在线观看| 婷婷五月AV| 国产精品激情五月天色婷婷| 在线综合婷婷| 丁香六月婷婷一区二区三区| 五月婷婷丁香俺日污视频| 五月婷婷丁香在线| 综合婷婷五月丁香在线观看| 天天 青草 丝袜制服 在线| 我爱va亚洲va52| 五月婷婷色吧!| 国产成人亚洲综合A∨婷婷| 色播五月婷婷| 99热国内精品| 丁香五月自拍| 99日本视频在线观看专区| 97在线视频 欧美| 人人插9| 色色色国产| 亚州激情网| 五月丁香六月婷婷亚洲激情综合| 亚洲激情97五月天| 99热99久久| 色五月激情五月开心五月| 婷婷久久五月天| 天天干天天日蜜臀av| 我想看国产大学生口爆吞精的视频| www.激情com| 99久久99九九99九九九| 一區四區歐美日韓| 激情五月六月婷婷| 97自拍视频在线| 蜜桃五月天| 99久久久精品| 1024日韩| www.夜夜.com| 九九99精品| 色综啪啪网| 婷婷综合97| 色五月之第四色| 五月激情综合五月| 成人网在线视频| 五月婷婷五月天| 婷婷久久婷婷色五月| 色婷婷久久| 五月香六月婷| 99re热视频这里只精品| 婷婷五月天av小说| 丁香五月精品视频| 九九热这里| 色婷婷丁香五月| 五月丁香婷婷综合网色欲| 丁香五月天在线观看视频| 久热播这里只有精品| 99无码超碰| 久久探花91swag| 免费黄色视频网址| 色丁香影院| 99精在线| 97碰碰视频在线观看| 久久这里只有精品1| 99视频自拍| 97超级碰人人| 亚洲五月婷婷在线| 久久久久亚洲AV成人无码电影| 香港九九六区八区99| a色色色色色| 婷婷综合在线| 九色在线五月婷婷网址| 超碰AAAAAAV| 狠狠狠狠狠狠狠狠| 丁香伊人五月色婷婷五十路| 婷婷开心激情综合五月天| 伊人在线视频| 久久大香蕉同僚| 这里只有久久精99| 激情五月天福利| 五月天五月婷五月激情网| 五月婷婷深深爱| 91色九| 激情五月婷婷网| 久久九九热38| 五月婷色丁香| 香蕉AV福利精品导航| 亚洲AV网站在线观看| 五月婷婷69| 另类婷婷五月天啪帕帕| 婷婷六月激情丁香| 欧美操人| 五月视频日本免费观看| 五月婷婷激情综合| 色色色色欧洲| 日韩成人电影AV| 中美月韩免费A片| 久久婷婷久久| 99热精品在线| 人人干人人看| 天天爽夜夜爽夜夜爽精品| 婷婷射综合| 六月丁香停| 九九无码| 日本色频| 狠狠五月天| 色婷婷婷婷| 狠狠色色| 久久天天天| 亚洲精品亚洲人成人网| 丁香五月婷婷婷婷欧美综合| 99噜噜噜在线播放| www.伊人天堂偷偷婷婷| 午夜无码熟熟妇丰满人妻| 深爱网深爱综合网| 丁香五月天成人| 婷婷深爱网| 色噜久| 婷婷月综合| 综合久久综合| 狠狠色色| 丁香五月天五码婷婷| 黃色三级三级三级三级 qixing300.shrkbk.com www.jinbozs.com tianmiaosw.com | 超碰啪啪网| 综合五月天完整| 久久网婷婷| 婷婷情色五月天| 五月大香蕉| 九九性视频| 婷婷天天综合| 另类激情四射| 香蕉久久国产AV一区二区| 五月深爱婷婷| 色五月激情综合网站| 五月天激情婷婷| 99操视频| 婷婷综合网| 婷婷综合成人五月天| 综合另类激情| 久久九九@| 日韩成人精品一区久久久久| 国产操逼视频网站| 狠狠色丁香| 五月丁香六月婷婷中合网| 婷五月天| 99久久婷婷国产综合精品草原| 欧美噜噜噜草| 99啪在线视频| 色婷婷色99国产综合精品| 我要看激情五月天| 爱久综合| 婷婷五月天天| 超碰免费大香蕉| 亚洲五月情| 色色丁香婷婷综合| 色欧美一级| 大香蕉久久婷婷| ...婷婷国产成人亚洲日韩| 婷婷五月丁香激情图片| 中国女人做爰A片| 五月婷婷69| 梁铮版蜘蛛女在线观看| 久久婷婷五月天丁香| 成人av中文字幕| 99热精品综合| 丁香婷婷人妻| 亚洲av无码影院| 色色国产| 五月天六月婷婷| 丁香婷婷偷拍| 区美毛片子| 久久九⑨| 丁香香蕉射射射| 午夜免费试看| 99热在线只有精品| 欧美婷婷五月激情| 在线观看的av| 怡春院久操| 日本久久久97| 99re在线观看| 免费黄色AV| 79色色色色| 欧洲激情五月天婷婷| 99色激| 麻豆忘忧草午夜| 亚洲国产精品SUV| 亚洲免费看片| 黄色五月婷婷| 亚洲精品国产精品乱码视99| 日本五月丁香| 丁香婷婷久久| 大香蕉婷婷久久| 五月丁香黄色| 色色五月激情| 超碰免费电影| 播丁香五月婷婷欧美| 99视频精品| 91久热| 久热69| 久久综合五月| 天天操综合网| 99热99热在线| www.丁香五月| 精品皮股午夜AV| 婷婷六月丁香1| 一夜福利不卡| 99 这里只有精品| 丁香六月狠狠| 免费国产视频| 99re热在线视频| 大香蕉婷婷丁香| 亚洲一级色电影| AV色婷婷| 国产成人综合在线| 六月丁香综合| 青青草原中文字幕| 九九视频免费| 久久黄色免费视频| 五月停停直播| 久久婷婷五月草视频在线播放| 99视频这里只有免费精品| 日韩人妻无码专区| 色哟哟精品| 色色免费网站| 超碰在线观看99| 久久婷婷色| 一根材五月婷成人| 五月丁香综合精品| 密乳视频| 亚洲激情97五月天| 色爱亚洲| 97色97干| 色色婷| 六月色婷婷| 思思久久久婷婷| 丝雨一区二区| 丁香花成人区| 久久综合这里只有精品1| 精品久久人妻热| 九九九午夜影院成人| 99热这里只有精品50| 久久66成人网站| 26uuu日韩| 久久久91| 欧美激情综合色综合啪啪五月| 成人久碰| 午夜色丁香| 99色在线观看视频| 久久99热免费| 色婷婷裸体色性在线| 中文字幕在线免费| 久久精彩视频| 99精品久久久久久久久| 99精品久久久久| 丁香婷婷激情综合五月激情 | 97婷婷丁香五月天激情图片| 伊人五月网| 日韩AAAAAAAAAAA片| www.91九色| 超碰人人色| 久久性都花花世界成人免费视频| 婷婷六月色情| www,8050,午夜三级| 99色播| 香蕉人在线香蕉人在线 | 91久久久久久| 久久九九99.www| 五月丁香操婷逼| 热99视频精品| 99热在线观看免费精品| 伊人无码高清| 色五月大| 激情伍月 欧美| 丁香桃色网| 饮料下药迷倒漂亮女同事强干| 婷婷丁香成人色综合| 另类激情五月| 一区二区三区四区无码| 久久这里只有精品热在99| 久久久全国免费视频| 超碰人人操在线| 色婷婷先锋| 九九香蕉网| 涩 五月 婷婷 狠狠| 婷婷97狠狠干| 久草五月天| 少妇搡BBBB搡BBB搡毛茸茸 | 亚洲亚洲人成综合网络| 大香蕉五月天| 六月丁香久久| 人人操AV| 一级精品999WWW| 国产精品激情五月天色婷婷| yellow视频在线观看91| 68热超碰在线| 激情四射五月天偷偷看婷婷| 丁香五月婷婷日本| 久热在线中文字幕色999舞 | 久久A区B区| 在线播放中文字幕| 狠狠综合| 丁香五婷婷| 五月婷婷色在线| 91超级碰碰碰| 97色色网| 亚洲成Av人片乱码色第1集| 丁香五月大片| 热99在线| 99热精品观看| 婷婷五月天成人小说| 成人AV片播放| 人妻久久久久久久久妻久久久久| 丁香六月婷婷| 五月激情婷婷综合| 99成人在线观看| 99热99在线精品| 激情网综合| 激情玖玖综合网| 人人射av| 开心婷婷五月| 五月婷伊人| 成人午夜无码视频| 三区激情四射av| 人人操AV| 六月婷婷狠狠色在线观看| 狠狠色成人影片| 五月婷婷与六月丁香图片激情| 天堂色婷婷| 亚洲婷婷基地| 亚洲网视屏| 超碰九九热| 激情综合国产| 综合激情伊人影视在线| 97天堂| 99精品视频在线6| 五月丁香综合激情| Se.婷婷五月天| 久久丁香五月| 亚洲艹网| 亚洲偷| 久久五月天综合视频网站| 99热精品免费| 丁香六月婷婷综合激情欧美| 五月激情天天干| 五月天婷综合| av在线资源| 久综合网| 激情深爱综合| AA片在线观看视频在线播放| 五月婷婷色丁香| 色99xx| 五月丁香六月婷婷亚洲综合| 九月婷婷激情| 色丁香五月婷婷| 色综合久久88色综合天天99| 亚洲激情网| 五月丁综合在线观看| www.色欲丁香婷婷| 狠狠xx| 99婷婷| 成人免费120分钟啪啪| 开心五激情网| www久久久久久久| 五月激情站| 丁香亭亭久久| 一级黄在线| 情趣视频66| 婷婷五月丁香91| 午夜五月天| 99色在线视频| 亚洲第一色色色| 久777| 五月天天天天天天天天天天天婷婷婷| www.综合久久.com| 天天精品视频免费观看| 激情五月天免费视频| 伊人久热91| AA丁香综合激情| 激情婷婷五月天在线观看| 激婷网| 亚洲AV人人操| 五月丁香WWW| 97极品在线| 久久怡红院| 婷婷五月激情视频在线| 丁香五月综合| 欧美成人精品A片免费一区99| 婷婷五月噜噜| 超碰在线国产9| 三男玩一女三A片| 精品色| 97涩涩丁香五月天| 大香蕉啪啪啪啪啪啪| 99精彩视频| 五月丁香五月综合欧美| 日日干夜夜撸夜夜骑| 99日视频在线| 色色五月丁香| jiZZdr| 玖玖资源站国产| 97人人干。| 久久久久婷婷| 开心五月网| 婷婷五月天改成什么了| 丁香激情五月| 五月开心播播网| 天天色视频| 欧美激情综合五月色丁香| 最新日本A片| 五月天AV大香蕉| 成人国产欧美大片一区| www.maotanji.com| 激情五月婷婷网在线观看| 波多野结衣AV无码Porn| 99久久户外勾搭| 可以看的av| 久操激情| 丁香五月天天高清在线| 在线网黄| 久草免费福利视频| 婷婷香草网| 色五月丁香网| 无码激情| 国产欧美va| 婷婷射图五月天| 五月天天天综合| www。五月天激情| 五月天婷综合| 玖玖婷婷婷丁香五月| 激情涩播| 亚洲色五月| 色墦五月丁香| 丁香五月性| 婷婷成人五月天| 婷婷五月天六月丁香| 婷婷五月天电影在线| 五月婷婷视频啪啪美女| 久久99免费视屏| 丁香久久激情俄| 欧美 色婷婷| 99欧美| 开心五月婷婷| 日本色色色| 午夜色婷婷| 99热这里只有精彩| 五月婷婷六月丁香在线| 五月婷婷啪啪综合网| 婷婷色情五月| 丁香五月婷婷天| 就爱射中文字幕资源网| 五月天三级| 五月婷婷九| 婷婷成人丁香色情基地30| 久久久色婷婷五月天| 久9热| 26uuu.| 欧日美女Va| 婷婷色色播五月天| 97干婷婷五月天| 婷婷五月天伦理| 97激情五月天| 久热这里只有精品在线| 丁香六月亚洲综合| 另类激情综合| 五月丁香六月欧美综合网站| www.99情趣网| 中文在线视频久1| 婷婷日韩| 色级停停| 91九色PORNY中文啦| 99噜噜| 色婷婷欧美| 日日干综合| 五月天激情综合10p| 婷婷五月图片小说视频| 色五月天在线观看| 六月婷婷激情图片| 99热这| 日日操天堂| 99丁香五月婷婷在线| 婷婷综合视频| 99九九久久| 99惹精品视频| 久久精品视频在这里有| 五月丁香六月婷综合成人综合| 色色网站在线| 久久人妻视频| 国产在线激情视频| 丁香婷婷超碰 | 色综合天天网| 九九婷婷五月天影视| 五月之婷婷| 人人操人人爰人人一天天碰夜夜拍夜夜爽-中国A级毛片天天看天天谢… | 亚洲视频无| 亚洲愉拍99热成人精品| 久久久婷婷五月天| 丁香六月欧美| 一级无码作爱片| 久久九九99桃花视频| 天天激情5月天亚洲| 九九免费在线视频| 五月婷婷69| 99久在线精品99re5热视频| 婷婷色片| 婷婷综合网| 九九99九九精品视频| 九九99精品视频| 婷五月天天| 婷婷五月激情六月| 99精品偷自拍| 久久九九囯产| 99综合婷婷五月| 婷婷深爱五月丁香| 五月天激情国产综合婷婷婷| 99国产97在线,| 99热这里只有精品手机在线观看| 日日夜夜综合| 亚洲精品视频在线播放| 欧美色五月天| 六月婷婷开心| 中文超碰视在线| 97综合在线| 妻久久人久久| 天天天天天日| 热九九九九| 操操操av| 在线播放中文字幕| 精品久久久91久久影视网| 五月天激情图片| 野战毛片三一3| 丁香五月天堂网| 天天色天天射天天日| 伊人久久五月天| 97碰免费视频在线| 日韩AC在线免费观看| 99精品色色| 成人在线日韩欧美| 国产精产国品一二三在观看| 五月丁香影院| 色播五月丁香| 99这里都是精品| 五月天婷婷久草丁香| 色色免费网战视频| 120分钟婬片免费看| 99热在线资源| 日 日干 日日做| 丁香色色网| 国产白丝在线一区| 99热这里只有在线| 欧美色图片88| 天天综合激情| 色碰碰| 九月丁香婷婷网| 激情五月婷婷啪啪| 六月丁丁香| 国产老熟妇亲子乱对白| 婷婷深爱五月天| 激情五月丁香五月色| 久久五月天激情美女| 成人精品人妻| 伊人五月天97| 五月天开心色情网| 婷婷金品综合视频| 99色视频| 中文字幕不卡+婷婷五月| 日本人妻操| 五月丁香婷婷成人综合网| 可以看的av| 伍月婷丁香婷| 五月天激情小说| 婷婷五月天成人在线视频| 五月天久久久| 久久综合综合综合| 欧美丁香婷婷五月|