練秘訣：原生多模態(tài)預(yù)訓(xùn)練與 MPO 深度解析)
InternVL3-78B-AWQ 訓(xùn)練秘訣原生多模態(tài)預(yù)訓(xùn)練與 MPO 深度解析【免費(fèi)下載鏈接】InternVL3-78B-AWQ項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3-78B-AWQInternVL3-78B-AWQ是開源多模態(tài)大模型 InternVL3-78B 的 4-bit AWQ 量化版本背后藏著一段極具啟發(fā)性的訓(xùn)練故事它沒有沿用先訓(xùn)語言模型、再對齊視覺的傳統(tǒng)路線而是通過原生多模態(tài)預(yù)訓(xùn)練Native Multimodal Pre-Training與MPO 混合偏好優(yōu)化Mixed Preference Optimization兩大殺手锏讓模型在多模態(tài)推理、OCR、GUI 操作等任務(wù)上全面超越前代。本文面向新手和普通用戶用最通俗的語言拆解這套訓(xùn)練秘訣。一、為什么訓(xùn)練方式如此關(guān)鍵模型的能力上限由三件事決定架構(gòu)、數(shù)據(jù)、訓(xùn)練方法。InternVL3 系列的架構(gòu)延續(xù)了經(jīng)典的ViT-MLP-LLM三段式視覺編碼器InternViT-6B-448px負(fù)責(zé)理解圖像投影器MLP把視覺特征映射到語言空間語言模型Qwen2.5-72B負(fù)責(zé)推理與生成這套架構(gòu)在modeling_internvl_chat.py的InternVLChatModel類中定義配置細(xì)節(jié)見 config.json。但真正讓 InternVL3 拉開差距的是它全新的訓(xùn)練流水線。官方文檔在 README.md 的 Training Strategy 章節(jié)中有完整描述。與傳統(tǒng)路線的本質(zhì)區(qū)別傳統(tǒng)多模態(tài)模型如早期 InternVL分三步走先大規(guī)模預(yù)訓(xùn)練純語言模型用圖文對齊數(shù)據(jù)熱身投影器MLP warmup再做指令微調(diào)而 InternVL3 把語言學(xué)習(xí)和視覺學(xué)習(xí)合并到同一個(gè)預(yù)訓(xùn)練階段這就是原生多模態(tài)預(yù)訓(xùn)練的核心思想——讓模型從一開始就在圖文交織的數(shù)據(jù)中成長而不是先學(xué)說話、再學(xué)看圖。二、第一招原生多模態(tài)預(yù)訓(xùn)練Native Multimodal Pre-Training2.1 它到底做了什么簡單說在預(yù)訓(xùn)練階段把圖像-文本、視頻-文本、圖文交錯(cuò)序列與大規(guī)模純文本語料混合在一起喂給同一個(gè)模型一起訓(xùn)練。模型在學(xué)語言的同時(shí)學(xué)視覺兩個(gè)模態(tài)互相促進(jìn)而不是先固定語言能力再打補(bǔ)丁。2.2 三個(gè)配套技巧預(yù)訓(xùn)練還搭配了三項(xiàng)從 InternVL2.5 繼承的技術(shù)隨機(jī) JPEG 壓縮模擬真實(shí)世界圖片的壓縮失真提升魯棒性平方損失重加權(quán)Square Loss Re-weighting讓模型更關(guān)注難樣本多模態(tài)數(shù)據(jù)打包Data Packing把多組樣本打包進(jìn)一個(gè)序列提高訓(xùn)練效率2.3 消融實(shí)驗(yàn)證明了什么團(tuán)隊(duì)在 InternVL2-8B 上做了嚴(yán)格對照把傳統(tǒng)的MLP 熱身 指令微調(diào)換成原生多模態(tài)預(yù)訓(xùn)練 指令微調(diào)后模型在大多數(shù)多模態(tài)基準(zhǔn)上的表現(xiàn)與全流程訓(xùn)練版本相當(dāng)甚至更好。也就是說原生多模態(tài)預(yù)訓(xùn)練用更簡單的流程就達(dá)到了同樣的效果訓(xùn)練效率大幅提升。三、第二招SFT 監(jiān)督微調(diào)喂高質(zhì)量數(shù)據(jù)預(yù)訓(xùn)練之后是監(jiān)督微調(diào)Supervised Fine-Tuning。InternVL3 在這一階段的進(jìn)步不在方法而在數(shù)據(jù)質(zhì)量與多樣性工具使用Tool Use樣本3D 場景理解GUI 操作長上下文任務(wù)視頻理解、科學(xué)圖表、創(chuàng)意寫作、多模態(tài)推理數(shù)據(jù)更豐富模型的能力邊界自然更寬。四、核心大招MPO 混合偏好優(yōu)化 4.1 為什么要 MPO訓(xùn)練時(shí)模型是看著標(biāo)準(zhǔn)答案一步步預(yù)測下一個(gè) token 的但推理時(shí)模型只能依賴自己之前生成的 token。這種訓(xùn)練與推理的分布偏移會(huì)削弱模型的思維鏈Chain-of-Thought推理能力。MPO 正是為了解決這個(gè)問題而生它額外引入正樣本和負(fù)樣本的監(jiān)督信號把模型回答分布拉回正確答案分布。4.2 MPO 的三大損失函數(shù)MPO 的訓(xùn)練目標(biāo)由三部分組成偏好損失Preference Loss Lp讓模型學(xué)會(huì)選更好回答的偏好質(zhì)量損失Quality Loss Lq衡量回答質(zhì)量的直接信號生成損失Generation Loss Lg保持基本的生成能力三者加權(quán)求和公式為L wp·Lp wq·Lq wg·Lg其中 w 是每個(gè)損失的權(quán)重。公式細(xì)節(jié)在 README.md 中有完整展示。4.3 MPO 效果有多強(qiáng)在七個(gè)多模態(tài)推理基準(zhǔn)上使用 MPO 的模型全面勝出模型對比提升InternVL3-78B4.1 分InternVL3-38B4.5 分更關(guān)鍵的是MPO 用的訓(xùn)練數(shù)據(jù)只是 SFT 數(shù)據(jù)的一個(gè)子集也就是說性能提升主要來自算法本身而不是更多數(shù)據(jù)。這含金量極高。五、隱藏加分項(xiàng)V2PE 與測試時(shí)擴(kuò)展5.1 V2PE 可變視覺位置編碼InternVL3 還集成了Variable Visual Position EncodingV2PE為視覺 token 使用更小、更靈活的位置增量。好處是顯著增強(qiáng)了模型的長上下文理解能力尤其在處理超長圖文序列時(shí)優(yōu)勢明顯。5.2 Test-Time Scaling 測試時(shí)擴(kuò)展在數(shù)學(xué)和推理評測中團(tuán)隊(duì)采用Best-of-N 策略生成多個(gè)候選答案再用VisualPRM-8B作為評判模型挑出最優(yōu)解。這相當(dāng)于給推理能力加了一個(gè)質(zhì)檢環(huán)節(jié)大幅提升最終得分。六、這個(gè)倉庫為什么是 AWQ 版本本倉庫是 InternVL3-78B 的4-bit AWQ 量化版權(quán)重以qweight / qzeros / scales三件套形式存儲(chǔ)見 pytorch_model.bin.index.json量化配置4-bit、group_size128同樣記錄在 config.json 中。AWQ 量化的核心價(jià)值是大幅降低部署門檻原始 78B 模型需要 3 張 80GB 顯卡才能跑 bf16 推理量化后顯存占用顯著下降消費(fèi)級多卡也能部署推理速度更快精度損失卻極小倉庫共 27 個(gè)分片文件總大小約 52.8GB配合 transformers 的trust_remote_codeTrue即可加載推理入口在 modeling_internvl_chat.py 的chat()與batch_chat()方法中。七、三步走訓(xùn)練路線圖總結(jié)階段目標(biāo)關(guān)鍵手段① 原生多模態(tài)預(yù)訓(xùn)練語言視覺同步學(xué)習(xí)圖文/視頻/文本混合語料② SFT 監(jiān)督微調(diào)對齊指令、擴(kuò)展能力高質(zhì)量多樣化數(shù)據(jù)③ MPO 混合偏好優(yōu)化修復(fù)分布偏移、強(qiáng)化推理偏好質(zhì)量生成三損失結(jié)語給普通用戶的啟示即使你不做模型訓(xùn)練理解這套訓(xùn)練秘訣也大有裨益原生多模態(tài)預(yù)訓(xùn)練代表了一種從源頭融合的建模哲學(xué)MPO則揭示了訓(xùn)練與推理不一致這一被低估的問題。而 AWQ 量化版本讓這些頂尖能力變得觸手可及——克隆倉庫git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternVL3-78B-AWQ即可開始體驗(yàn)這套開源多模態(tài)大模型的魅力。如果你對多模態(tài)大模型感興趣InternVL3-78B-AWQ 絕對是你研究架構(gòu)、訓(xùn)練方法與量化部署的絕佳范本。【免費(fèi)下載鏈接】InternVL3-78B-AWQ項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3-78B-AWQ創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 InternVL3-78B-AWQ 訓(xùn)練秘訣：原生多模態(tài)預(yù)訓(xùn)練與 MPO 深度解析
InternVL3-78B-AWQ 訓(xùn)練秘訣原生多模態(tài)預(yù)訓(xùn)練與 MPO 深度解析【免費(fèi)下載鏈接】InternVL3-78B-AWQ項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3-78B-AWQInternVL3-78B-AWQ是開源多模態(tài)大模型 InternVL3-78B 的 4-bit AWQ 量化版本背后藏著一段極具啟發(fā)性的訓(xùn)練故事它沒有沿用先訓(xùn)語言模型、再對齊視覺的傳統(tǒng)路線而是通過原生多模態(tài)預(yù)訓(xùn)練Native Multimodal Pre-Training與MPO 混合偏好優(yōu)化Mixed Preference Optimization兩大殺手锏讓模型在多模態(tài)推理、OCR、GUI 操作等任務(wù)上全面超越前代。本文面向新手和普通用戶用最通俗的語言拆解這套訓(xùn)練秘訣。一、為什么訓(xùn)練方式如此關(guān)鍵模型的能力上限由三件事決定架構(gòu)、數(shù)據(jù)、訓(xùn)練方法。InternVL3 系列的架構(gòu)延續(xù)了經(jīng)典的ViT-MLP-LLM三段式視覺編碼器InternViT-6B-448px負(fù)責(zé)理解圖像投影器MLP把視覺特征映射到語言空間語言模型Qwen2.5-72B負(fù)責(zé)推理與生成這套架構(gòu)在modeling_internvl_chat.py的InternVLChatModel類中定義配置細(xì)節(jié)見 config.json。但真正讓 InternVL3 拉開差距的是它全新的訓(xùn)練流水線。官方文檔在 README.md 的 Training Strategy 章節(jié)中有完整描述。與傳統(tǒng)路線的本質(zhì)區(qū)別傳統(tǒng)多模態(tài)模型如早期 InternVL分三步走先大規(guī)模預(yù)訓(xùn)練純語言模型用圖文對齊數(shù)據(jù)熱身投影器MLP warmup再做指令微調(diào)而 InternVL3 把語言學(xué)習(xí)和視覺學(xué)習(xí)合并到同一個(gè)預(yù)訓(xùn)練階段這就是原生多模態(tài)預(yù)訓(xùn)練的核心思想——讓模型從一開始就在圖文交織的數(shù)據(jù)中成長而不是先學(xué)說話、再學(xué)看圖。二、第一招原生多模態(tài)預(yù)訓(xùn)練Native Multimodal Pre-Training2.1 它到底做了什么簡單說在預(yù)訓(xùn)練階段把圖像-文本、視頻-文本、圖文交錯(cuò)序列與大規(guī)模純文本語料混合在一起喂給同一個(gè)模型一起訓(xùn)練。模型在學(xué)語言的同時(shí)學(xué)視覺兩個(gè)模態(tài)互相促進(jìn)而不是先固定語言能力再打補(bǔ)丁。2.2 三個(gè)配套技巧預(yù)訓(xùn)練還搭配了三項(xiàng)從 InternVL2.5 繼承的技術(shù)隨機(jī) JPEG 壓縮模擬真實(shí)世界圖片的壓縮失真提升魯棒性平方損失重加權(quán)Square Loss Re-weighting讓模型更關(guān)注難樣本多模態(tài)數(shù)據(jù)打包Data Packing把多組樣本打包進(jìn)一個(gè)序列提高訓(xùn)練效率2.3 消融實(shí)驗(yàn)證明了什么團(tuán)隊(duì)在 InternVL2-8B 上做了嚴(yán)格對照把傳統(tǒng)的MLP 熱身 指令微調(diào)換成原生多模態(tài)預(yù)訓(xùn)練 指令微調(diào)后模型在大多數(shù)多模態(tài)基準(zhǔn)上的表現(xiàn)與全流程訓(xùn)練版本相當(dāng)甚至更好。也就是說原生多模態(tài)預(yù)訓(xùn)練用更簡單的流程就達(dá)到了同樣的效果訓(xùn)練效率大幅提升。三、第二招SFT 監(jiān)督微調(diào)喂高質(zhì)量數(shù)據(jù)預(yù)訓(xùn)練之后是監(jiān)督微調(diào)Supervised Fine-Tuning。InternVL3 在這一階段的進(jìn)步不在方法而在數(shù)據(jù)質(zhì)量與多樣性工具使用Tool Use樣本3D 場景理解GUI 操作長上下文任務(wù)視頻理解、科學(xué)圖表、創(chuàng)意寫作、多模態(tài)推理數(shù)據(jù)更豐富模型的能力邊界自然更寬。四、核心大招MPO 混合偏好優(yōu)化 4.1 為什么要 MPO訓(xùn)練時(shí)模型是看著標(biāo)準(zhǔn)答案一步步預(yù)測下一個(gè) token 的但推理時(shí)模型只能依賴自己之前生成的 token。這種訓(xùn)練與推理的分布偏移會(huì)削弱模型的思維鏈Chain-of-Thought推理能力。MPO 正是為了解決這個(gè)問題而生它額外引入正樣本和負(fù)樣本的監(jiān)督信號把模型回答分布拉回正確答案分布。4.2 MPO 的三大損失函數(shù)MPO 的訓(xùn)練目標(biāo)由三部分組成偏好損失Preference Loss Lp讓模型學(xué)會(huì)選更好回答的偏好質(zhì)量損失Quality Loss Lq衡量回答質(zhì)量的直接信號生成損失Generation Loss Lg保持基本的生成能力三者加權(quán)求和公式為L wp·Lp wq·Lq wg·Lg其中 w 是每個(gè)損失的權(quán)重。公式細(xì)節(jié)在 README.md 中有完整展示。4.3 MPO 效果有多強(qiáng)在七個(gè)多模態(tài)推理基準(zhǔn)上使用 MPO 的模型全面勝出模型對比提升InternVL3-78B4.1 分InternVL3-38B4.5 分更關(guān)鍵的是MPO 用的訓(xùn)練數(shù)據(jù)只是 SFT 數(shù)據(jù)的一個(gè)子集也就是說性能提升主要來自算法本身而不是更多數(shù)據(jù)。這含金量極高。五、隱藏加分項(xiàng)V2PE 與測試時(shí)擴(kuò)展5.1 V2PE 可變視覺位置編碼InternVL3 還集成了Variable Visual Position EncodingV2PE為視覺 token 使用更小、更靈活的位置增量。好處是顯著增強(qiáng)了模型的長上下文理解能力尤其在處理超長圖文序列時(shí)優(yōu)勢明顯。5.2 Test-Time Scaling 測試時(shí)擴(kuò)展在數(shù)學(xué)和推理評測中團(tuán)隊(duì)采用Best-of-N 策略生成多個(gè)候選答案再用VisualPRM-8B作為評判模型挑出最優(yōu)解。這相當(dāng)于給推理能力加了一個(gè)質(zhì)檢環(huán)節(jié)大幅提升最終得分。六、這個(gè)倉庫為什么是 AWQ 版本本倉庫是 InternVL3-78B 的4-bit AWQ 量化版權(quán)重以qweight / qzeros / scales三件套形式存儲(chǔ)見 pytorch_model.bin.index.json量化配置4-bit、group_size128同樣記錄在 config.json 中。AWQ 量化的核心價(jià)值是大幅降低部署門檻原始 78B 模型需要 3 張 80GB 顯卡才能跑 bf16 推理量化后顯存占用顯著下降消費(fèi)級多卡也能部署推理速度更快精度損失卻極小倉庫共 27 個(gè)分片文件總大小約 52.8GB配合 transformers 的trust_remote_codeTrue即可加載推理入口在 modeling_internvl_chat.py 的chat()與batch_chat()方法中。七、三步走訓(xùn)練路線圖總結(jié)階段目標(biāo)關(guān)鍵手段① 原生多模態(tài)預(yù)訓(xùn)練語言視覺同步學(xué)習(xí)圖文/視頻/文本混合語料② SFT 監(jiān)督微調(diào)對齊指令、擴(kuò)展能力高質(zhì)量多樣化數(shù)據(jù)③ MPO 混合偏好優(yōu)化修復(fù)分布偏移、強(qiáng)化推理偏好質(zhì)量生成三損失結(jié)語給普通用戶的啟示即使你不做模型訓(xùn)練理解這套訓(xùn)練秘訣也大有裨益原生多模態(tài)預(yù)訓(xùn)練代表了一種從源頭融合的建模哲學(xué)MPO則揭示了訓(xùn)練與推理不一致這一被低估的問題。而 AWQ 量化版本讓這些頂尖能力變得觸手可及——克隆倉庫git clone https://gitcode.com/hf_mirrors/OpenGVLab/InternVL3-78B-AWQ即可開始體驗(yàn)這套開源多模態(tài)大模型的魅力。如果你對多模態(tài)大模型感興趣InternVL3-78B-AWQ 絕對是你研究架構(gòu)、訓(xùn)練方法與量化部署的絕佳范本。【免費(fèi)下載鏈接】InternVL3-78B-AWQ項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/OpenGVLab/InternVL3-78B-AWQ創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考