強烈推薦AI編程巴士網(wǎng)站穩(wěn)定純凈的ClaudeCode套餐供應(yīng) (https://code.ai80.vip/home)本文將深入介紹AI模型訓(xùn)練的核心技術(shù)和方法幫助你理解從零預(yù)訓(xùn)練、增量預(yù)訓(xùn)練、后訓(xùn)練以及基于現(xiàn)成基座模型進行訓(xùn)練的完整過程。:::tip 前置知識 本文重點講解AI模型訓(xùn)練技術(shù)。建議先提前了解AI模型的本質(zhì)(參數(shù)、架構(gòu)等)以及機器學(xué)習(xí)基礎(chǔ)概念(如機器學(xué)習(xí)、深度學(xué)習(xí)、神經(jīng)網(wǎng)絡(luò)等)請參考 AI模型與機器學(xué)習(xí)。 :::AI模型訓(xùn)練的基本概念訓(xùn)練就是通過大量數(shù)據(jù)和反復(fù)調(diào)整讓神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)并優(yōu)化其內(nèi)部參數(shù)(權(quán)重和偏置)讓模型從隨機猜測進化到精準預(yù)測使其能夠完成特定任務(wù)的過程。在了解具體的訓(xùn)練方法之前讓我們通過一個簡單的猜數(shù)字游戲來理解訓(xùn)練過程游戲規(guī)則我心里想一個1到100之間的數(shù)字假設(shè)是42你來猜。每次猜完我會告訴你太大了還是太小了。第1次你隨機猜50這就像模型初始化參數(shù)是隨機的我說太大了這就是計算損失發(fā)現(xiàn)預(yù)測錯了你意識到要往小的方向調(diào)整這就是反向傳播計算梯度第2次你猜30這就是參數(shù)更新我說太小了你知道答案在30-50之間第3次你猜40我說太小了范圍縮小到40-50第4-5次你繼續(xù)調(diào)整猜42我說答對了這就是收斂找到了正確答案這個過程完美展示了AI訓(xùn)練的核心思想隨機開始一開始什么都不知道隨便猜獲得反饋根據(jù)結(jié)果知道自己錯在哪里調(diào)整策略往正確的方向修正反復(fù)迭代多次嘗試逐步逼近答案達到目標最終找到正確答案訓(xùn)練的本質(zhì)通過不斷調(diào)整神經(jīng)網(wǎng)絡(luò)中數(shù)十億個參數(shù)的值讓模型的預(yù)測結(jié)果越來越接近真實答案最終讓模型學(xué)會解決特定問題的能力。就像猜數(shù)字游戲一樣通過反復(fù)嘗試和調(diào)整最終找到那個正確答案。AI模型訓(xùn)練的常見方法理解了訓(xùn)練的基本原理后你可能會想現(xiàn)實中是不是每次都要從零開始訓(xùn)練一個模型答案是否定的。就像蓋房子我們可以從地基開始蓋從零預(yù)訓(xùn)練也可以在已有建筑基礎(chǔ)上擴建增量預(yù)訓(xùn)練。不同的訓(xùn)練策略適用于不同的場景成本和效果也大相徑庭。讓我們看看業(yè)界主要采用哪些訓(xùn)練方法。預(yù)訓(xùn)練 (Pre-Training, PT)預(yù)訓(xùn)練是指在海量通用數(shù)據(jù)上從零開始訓(xùn)練一個大模型的過程這個模型會學(xué)習(xí)到廣泛的知識和能力成為后續(xù)任務(wù)的基礎(chǔ)。核心特點通俗理解就像培養(yǎng)一個孩子的通識教育階段讓他從小學(xué)到大學(xué)學(xué)習(xí)語文、數(shù)學(xué)、物理、化學(xué)、歷史、地理等各種知識建立廣泛的知識體系和思維能力。關(guān)鍵要素數(shù)據(jù)量超大通常使用整個互聯(lián)網(wǎng)的文本、圖片等數(shù)據(jù)規(guī)?？蛇_TB甚至PB級訓(xùn)練目標通用不針對特定任務(wù)而是學(xué)習(xí)通用的表示能力資源消耗巨大需要數(shù)百到數(shù)千塊GPU訓(xùn)練時間從數(shù)周到數(shù)月一次性投入通常由大公司或研究機構(gòu)完成訓(xùn)練完成后可被廣泛復(fù)用常見的預(yù)訓(xùn)練任務(wù)不同類型的模型有不同的預(yù)訓(xùn)練方式模型類型預(yù)訓(xùn)練任務(wù)訓(xùn)練目標通俗理解**語言模型GPT系列**下一個詞預(yù)測Next Token Prediction給定前面的文本預(yù)測下一個詞給你半句話讓你猜下一個字**掩碼語言模型BERT**掩碼詞預(yù)測Masked Language Modeling遮蓋句子中的部分詞讓模型預(yù)測完形填空題**圖像模型ResNet、ViT**圖像分類Image Classification在大規(guī)模圖像數(shù)據(jù)集上學(xué)習(xí)視覺特征看大量圖片學(xué)習(xí)識別物體**多模態(tài)模型CLIP**圖文對齊Image-Text Matching學(xué)習(xí)圖像和文本的對應(yīng)關(guān)系學(xué)習(xí)圖片和文字描述的匹配預(yù)訓(xùn)練的產(chǎn)物基座模型預(yù)訓(xùn)練完成后得到的模型稱為基座模型Base Model或預(yù)訓(xùn)練模型Pre-trained Model它具備以下特征?通用知識豐富學(xué)習(xí)了大量的語言、常識、推理能力?遷移能力強可以通過微調(diào)適應(yīng)各種下游任務(wù)?開箱即用即使不微調(diào)也能完成一些基礎(chǔ)任務(wù)?社區(qū)共享通常會開源供大家使用如BERT、LLaMA、GPT-2等著名的預(yù)訓(xùn)練模型國際模型模型名稱發(fā)布機構(gòu)數(shù)據(jù)規(guī)模參數(shù)量主要用途BERTGoogle16GB文本110M-340M文本理解、分類、問答GPT-3OpenAI45TB文本175B文本生成、對話、推理LLaMAMeta1.4TB文本7B-65B開源基座模型CLIPOpenAI4億圖文對400M圖像-文本理解ResNetMicrosoftImageNet 1.2M圖25M-60M圖像識別國內(nèi)模型模型名稱發(fā)布機構(gòu)數(shù)據(jù)規(guī)模參數(shù)量主要用途Qwen通義千問阿里云3TB中英文文本1.8B-72B中文理解生成、多語言、編程ChatGLM清華/智譜AI未公開6B-130B中文對話、文本生成Baichuan百川智能1.4TB多語言7B-13B開源中文基座模型ERNIE文心百度海量中文數(shù)據(jù)10B-260B中文理解、知識增強預(yù)訓(xùn)練的流程圖graph TB A[步驟1數(shù)據(jù)收集br/爬取互聯(lián)網(wǎng)數(shù)據(jù)]--B[步驟2數(shù)據(jù)清洗br/去重、過濾低質(zhì)量內(nèi)容]B --C[步驟3數(shù)據(jù)預(yù)處理br/分詞、歸一化等]C --D[步驟4模型架構(gòu)設(shè)計br/選擇Transformer等結(jié)構(gòu)]D --E[步驟5分布式訓(xùn)練br/使用數(shù)百/數(shù)千GPU]E --F[步驟6訓(xùn)練監(jiān)控br/損失下降、困惑度等指標]F --G{是否收斂?}G --|否|E G --|是|H[步驟7模型評估br/在測試集上驗證]H --I[步驟8模型發(fā)布br/開源或商用]style E fill:#ffe6e6style I fill:#e6ffe6增量預(yù)訓(xùn)練 (Continual Pre-Training, CPT)增量預(yù)訓(xùn)練是指在已有的預(yù)訓(xùn)練模型基礎(chǔ)上使用新的數(shù)據(jù)繼續(xù)進行預(yù)訓(xùn)練讓模型學(xué)習(xí)新的知識或增強特定領(lǐng)域的能力。核心特點通俗理解就像一個大學(xué)畢業(yè)生已經(jīng)有了基礎(chǔ)知識現(xiàn)在去讀研究生深造學(xué)習(xí)更專業(yè)、更前沿的知識。為什么需要增量預(yù)訓(xùn)練場景問題增量預(yù)訓(xùn)練的作用知識過時預(yù)訓(xùn)練模型的數(shù)據(jù)可能是幾年前的不了解最新事件用最新數(shù)據(jù)繼續(xù)訓(xùn)練更新知識領(lǐng)域?qū)I(yè)性不足通用模型在醫(yī)療、法律等專業(yè)領(lǐng)域表現(xiàn)不佳用領(lǐng)域數(shù)據(jù)訓(xùn)練增強專業(yè)能力語言覆蓋不足英文模型不擅長中文用中文數(shù)據(jù)訓(xùn)練提升中文能力特定能力欠缺需要增強代碼理解能力用代碼數(shù)據(jù)訓(xùn)練提升編程能力增量預(yù)訓(xùn)練 vs 從零預(yù)訓(xùn)練維度從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練起點隨機初始化參數(shù)已有預(yù)訓(xùn)練模型數(shù)據(jù)量需要海量數(shù)據(jù)TB級可以用較少數(shù)據(jù)GB-TB級訓(xùn)練時間數(shù)周到數(shù)月數(shù)天到數(shù)周計算成本極高數(shù)百萬美元中等數(shù)萬到數(shù)十萬美元適用場景構(gòu)建通用基座模型領(lǐng)域適配、知識更新典型應(yīng)用場景1. 領(lǐng)域適配案例基于通用的LLaMA模型使用醫(yī)學(xué)文獻進行增量預(yù)訓(xùn)練得到醫(yī)學(xué)領(lǐng)域的Med-LLaMA。效果醫(yī)學(xué)術(shù)語理解更準確醫(yī)學(xué)知識問答能力顯著提升臨床推理能力增強2. 多語言適配案例基于英文的GPT模型使用中文語料進行增量預(yù)訓(xùn)練得到中文能力更強的GPT模型。效果中文理解和生成能力提升中文文化相關(guān)知識增強保留原有的英文能力不會完全遺忘3. 知識更新案例2025年發(fā)布的模型不知道2026年的新聞使用2026年的新聞數(shù)據(jù)進行增量預(yù)訓(xùn)練。效果了解最新事件和知識時效性信息更準確保持原有的基礎(chǔ)能力4. 能力增強案例在通用語言模型基礎(chǔ)上使用大量代碼數(shù)據(jù)進行增量預(yù)訓(xùn)練得到Code-LLaMA這樣的代碼專用模型。效果代碼理解能力大幅提升代碼生成質(zhì)量更高支持更多編程語言增量預(yù)訓(xùn)練的技術(shù)要點1. 學(xué)習(xí)率設(shè)置增量預(yù)訓(xùn)練通常使用比從零訓(xùn)練更小的學(xué)習(xí)率參數(shù)更新步長的超參數(shù)避免破壞已有知識。通俗理解就像已經(jīng)學(xué)會的東西復(fù)習(xí)時要溫和一點不要用力過猛把以前學(xué)的都忘了。2. 數(shù)據(jù)配比通常會混合新數(shù)據(jù)和原始數(shù)據(jù)而不是只用新數(shù)據(jù)。原因防止災(zāi)難性遺忘Catastrophic Forgetting即學(xué)新知識時把舊知識全忘了。配比示例新領(lǐng)域數(shù)據(jù)70%原始通用數(shù)據(jù)30%3. 訓(xùn)練輪次增量預(yù)訓(xùn)練的輪次通常比從零訓(xùn)練少得多。原因模型已經(jīng)有了好的初始化不需要太多輪次就能學(xué)會新知識。增量預(yù)訓(xùn)練流程圖graph TB A[已有預(yù)訓(xùn)練模型br/例如LLaMA-7B]--B[收集新數(shù)據(jù)br/例如醫(yī)學(xué)文獻]B --C[數(shù)據(jù)預(yù)處理br/與原模型格式一致]C --D[設(shè)置訓(xùn)練參數(shù)br/較小學(xué)習(xí)率]D --E[增量訓(xùn)練br/使用新數(shù)據(jù)部分原數(shù)據(jù)]E --F[監(jiān)控指標br/新任務(wù)效果原任務(wù)效果]F --G{新舊能力平衡?}G --|否|H[調(diào)整數(shù)據(jù)配比br/或?qū)W習(xí)率]H --E G --|是|I[訓(xùn)練完成br/得到領(lǐng)域適配模型]style A fill:#e6f3ffstyle I fill:#e6ffe6預(yù)訓(xùn)練與增量預(yù)訓(xùn)練的關(guān)系graph LR A[從零預(yù)訓(xùn)練br/Pre-Training]--B[通用基座模型br/Base Model]B --C[增量預(yù)訓(xùn)練br/Continual Pre-Training]C --D[領(lǐng)域適配模型br/Domain-Adapted Model]D --E[后訓(xùn)練br/SFT、偏好與安全對齊]E --F[指令或任務(wù)模型br/Instruction/Task Model]style A fill:#ffe6e6style C fill:#fff4e6style E fill:#e6ffe6完整訓(xùn)練流程預(yù)訓(xùn)練在海量通用數(shù)據(jù)上訓(xùn)練得到通用基座模型增量預(yù)訓(xùn)練可選在特定領(lǐng)域數(shù)據(jù)上繼續(xù)訓(xùn)練得到領(lǐng)域模型后訓(xùn)練通過有監(jiān)督微調(diào)SFT、偏好對齊和安全對齊等方法讓模型能夠遵循指令并滿足應(yīng)用目標:::note 微調(diào)與后訓(xùn)練的關(guān)系 微調(diào)是后訓(xùn)練的重要組成部分但后訓(xùn)練不等于微調(diào)。例如SFT屬于微調(diào)完整的RLHF還包含偏好數(shù)據(jù)收集、獎勵模型訓(xùn)練和強化學(xué)習(xí)優(yōu)化因此更適合歸入后訓(xùn)練這個上位概念。 :::預(yù)訓(xùn)練的成本與價值成本分析模型參數(shù)量訓(xùn)練硬件訓(xùn)練時間估計成本BERT-Base110M16塊TPU4天~$7,000GPT-21.5B32塊V1001周~$43,000GPT-3175B10,000塊V100數(shù)月~$4,600,000LLaMA-65B65B2,048塊A10021天~$2,000,000價值體現(xiàn)盡管預(yù)訓(xùn)練成本高昂但其價值在于?一次訓(xùn)練多次復(fù)用一個預(yù)訓(xùn)練模型可以用于成千上萬種任務(wù)?社區(qū)共享開源后全世界的開發(fā)者都能受益?降低門檻讓小團隊也能開發(fā)AI應(yīng)用?加速創(chuàng)新不需要每個人都從零開始增量預(yù)訓(xùn)練的成本與價值相比完整的從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練的成本要低得多但仍需要可觀的投入。成本分析場景基座模型數(shù)據(jù)規(guī)模訓(xùn)練硬件訓(xùn)練時間估計成本中文適配LLaMA-7B100GB中文文本64塊A1005-7天~$50,000醫(yī)學(xué)領(lǐng)域LLaMA-13B50GB醫(yī)學(xué)文獻32塊A1003-5天~$30,000代碼能力GPT-3200GB代碼數(shù)據(jù)128塊A1007-10天~$100,000金融領(lǐng)域BERT-Base20GB金融文檔8塊V1002-3天~$5,000與從零預(yù)訓(xùn)練的成本對比讓我們看一個具體例子打造一個7B參數(shù)的中文大模型維度從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練節(jié)省比例數(shù)據(jù)需求1-2TB多語言數(shù)據(jù)100GB中文數(shù)據(jù)節(jié)省90%訓(xùn)練硬件256塊A10064塊A100節(jié)省75%訓(xùn)練時間30-40天5-7天節(jié)省80%總成本$400,000-$600,000$50,000-$80,000節(jié)省85%風(fēng)險高可能失敗低基于成熟模型-關(guān)鍵優(yōu)勢?成本降低通常只需要從零訓(xùn)練成本的10-20%?時間縮短訓(xùn)練時間減少70-85%?數(shù)據(jù)需求少只需要領(lǐng)域數(shù)據(jù)不需要海量通用數(shù)據(jù)?風(fēng)險更低基于已驗證的模型成功率更高?效果有保證繼承基座模型的通用能力只需增強特定領(lǐng)域價值體現(xiàn)增量預(yù)訓(xùn)練的價值在于平衡了成本和專業(yè)性價值點說明示例領(lǐng)域?qū)I(yè)化在特定領(lǐng)域達到專家水平醫(yī)學(xué)模型理解專業(yè)術(shù)語準確率提升40%語言本地化顯著提升特定語言能力中文模型在中文任務(wù)上超越原版30%知識更新學(xué)習(xí)最新知識和趨勢2024年數(shù)據(jù)讓模型了解最新事件企業(yè)可負擔(dān)中型企業(yè)也能承受的成本5-10萬美元的預(yù)算即可實現(xiàn)快速迭代幾天就能看到效果一周內(nèi)完成模型升級實際案例對比案例打造醫(yī)學(xué)AI助手方案從零訓(xùn)練醫(yī)學(xué)模型基于LLaMA增量預(yù)訓(xùn)練需要數(shù)據(jù)需要TB級通用數(shù)據(jù)醫(yī)學(xué)數(shù)據(jù)只需50-100GB醫(yī)學(xué)數(shù)據(jù)訓(xùn)練成本$500,000$30,000-$50,000訓(xùn)練時間2-3個月5-7天團隊規(guī)模10人的大團隊2-3人的小團隊成功率60-70%可能失敗90%基于成熟模型最終效果通用能力弱醫(yī)學(xué)能力強通用能力強醫(yī)學(xué)能力也強何時選擇增量預(yù)訓(xùn)練適合增量預(yù)訓(xùn)練的場景? 已有開源基座模型可用如LLaMA、Qwen? 需要增強特定領(lǐng)域或語言的能力? 預(yù)算在5-20萬美元范圍? 時間緊迫需要快速上線? 團隊規(guī)模有限2-5人必須從零訓(xùn)練的場景? 需要完全不同的架構(gòu)創(chuàng)新? 現(xiàn)有模型都不滿足基本要求? 有充足的預(yù)算百萬美元級和時間數(shù)月? 需要完全掌控模型的所有細節(jié)? 商業(yè)許可限制某些模型不允許商用預(yù)訓(xùn)練方法總結(jié)維度從零預(yù)訓(xùn)練增量預(yù)訓(xùn)練起點隨機初始化已有預(yù)訓(xùn)練模型數(shù)據(jù)規(guī)模TB級GB-TB級訓(xùn)練目標學(xué)習(xí)通用知識增強特定領(lǐng)域成本$100萬-$500萬$5萬-$20萬時間1-3個月5-15天適用場景構(gòu)建基座模型領(lǐng)域適配、語言適配主要玩家大公司、研究機構(gòu)中型企業(yè)、創(chuàng)業(yè)公司預(yù)訓(xùn)練和增量預(yù)訓(xùn)練構(gòu)成了現(xiàn)代AI模型的基礎(chǔ)前者建立通用能力后者實現(xiàn)專業(yè)適配。理解這兩種方法的成本和價值是掌握AI模型訓(xùn)練的關(guān)鍵第一步。AI模型訓(xùn)練的完整流程模型訓(xùn)練有兩個常見起點一種是從隨機參數(shù)開始訓(xùn)練自己的基座模型另一種是采用已經(jīng)完成預(yù)訓(xùn)練的基座模型在此基礎(chǔ)上繼續(xù)訓(xùn)練。兩條路線的前半段不同但都會進入領(lǐng)域適配、后訓(xùn)練、評估、優(yōu)化和部署階段。flowchart TB A[需求分析br/明確能力、質(zhì)量、成本和合規(guī)目標]--B{確定訓(xùn)練起點}B --|從零訓(xùn)練|C[準備預(yù)訓(xùn)練語料]C --D[設(shè)計模型架構(gòu)與分詞器]D --E[預(yù)訓(xùn)練]E --F[得到起始模型]B --|采用現(xiàn)成基座模型|G[選擇并評估基座模型br/預(yù)訓(xùn)練已由提供方完成]G --F F --H[準備領(lǐng)域、指令、偏好與評估數(shù)據(jù)]H --I{需要補充領(lǐng)域知識?}I --|是|J[增量預(yù)訓(xùn)練]I --|否|K{需要調(diào)整模型行為?}J --K K --|是|L[后訓(xùn)練br/SFT、偏好與安全對齊]K --|否|M[模型評估br/能力、質(zhì)量與安全]L --M M --N{是否達到目標?}N --|否|O[分析問題br/調(diào)整數(shù)據(jù)、模型或訓(xùn)練參數(shù)]O --H N --|是|P{需要部署優(yōu)化?}P --|是|Q[模型優(yōu)化br/量化、剪枝、蒸餾]P --|否|R[部署上線]Q --R R --S[監(jiān)控運營與持續(xù)迭代]S -.-|新數(shù)據(jù)或需求變化|H style E fill:#ffe6e6style J fill:#e6f3ffstyle L fill:#fff4e6style R fill:#e6ffe6其中“后訓(xùn)練”是一個階段性概念包含有監(jiān)督微調(diào)SFT、偏好對齊、安全對齊等方法。微調(diào)屬于后訓(xùn)練但不能覆蓋后訓(xùn)練的全部內(nèi)容。如果選用的已經(jīng)是經(jīng)過指令微調(diào)和安全對齊的Chat或Instruct模型并且評估結(jié)果滿足需求可以跳過增量預(yù)訓(xùn)練和后訓(xùn)練。步驟1需求分析先明確要解決的業(yè)務(wù)問題和最終交付物具體任務(wù)是什么例如分類、生成、問答、推理或工具調(diào)用最終需要基座模型、領(lǐng)域模型還是可直接對話的指令模型輸入和輸出是什么需要支持哪些語言和模態(tài)對準確率、安全性、延遲和吞吐量有什么要求可用的數(shù)據(jù)、算力、時間和預(yù)算是多少是否有隱私、版權(quán)、開源協(xié)議或行業(yè)合規(guī)限制需求決定后續(xù)是否需要預(yù)訓(xùn)練、增量預(yù)訓(xùn)練和后訓(xùn)練不能先選訓(xùn)練方法再尋找使用場景。步驟2確定訓(xùn)練起點與模型方案首先判斷是從零訓(xùn)練還是采用現(xiàn)成基座模型判斷因素從零訓(xùn)練采用現(xiàn)成基座模型模型需求需要新架構(gòu)、特殊模態(tài)或完全自主可控現(xiàn)有模型已具備大部分基礎(chǔ)能力數(shù)據(jù)規(guī)模擁有TB-PB級高質(zhì)量通用數(shù)據(jù)擁有領(lǐng)域或任務(wù)數(shù)據(jù)即可算力與預(yù)算能承擔(dān)大規(guī)模分布式訓(xùn)練希望控制成本和交付周期研發(fā)周期通常以月為單位通常以天或周為單位主要風(fēng)險訓(xùn)練不穩(wěn)定、數(shù)據(jù)和算力成本高許可證、能力上限和基座模型偏差采用現(xiàn)成基座模型時需要重點評估因素考慮點任務(wù)和模態(tài)文本、圖像、語音或多模態(tài)是否匹配基礎(chǔ)能力語言、領(lǐng)域知識、推理和工具調(diào)用能力是否滿足要求模型規(guī)模參數(shù)量、上下文長度與現(xiàn)有算力是否匹配模型類型Base模型還是已經(jīng)對齊的Chat/Instruct模型開源協(xié)議是否允許商用、微調(diào)和再分發(fā)工程生態(tài)訓(xùn)練、推理框架和社區(qū)工具是否成熟步驟3數(shù)據(jù)準備不同訓(xùn)練階段需要的數(shù)據(jù)并不相同不能把所有數(shù)據(jù)都簡單歸為“訓(xùn)練集”訓(xùn)練階段主要數(shù)據(jù)典型形式預(yù)訓(xùn)練大規(guī)模通用無標注數(shù)據(jù)網(wǎng)頁、書籍、代碼、圖像或多模態(tài)數(shù)據(jù)增量預(yù)訓(xùn)練領(lǐng)域或新增無標注數(shù)據(jù)醫(yī)學(xué)文獻、法律文件、企業(yè)知識、目標語言語料有監(jiān)督微調(diào)高質(zhì)量指令數(shù)據(jù)指令與回答、任務(wù)輸入與標準輸出偏好對齊偏好或反饋數(shù)據(jù)同一問題的優(yōu)劣回答對、評分、規(guī)則反饋模型評估獨立且未參與訓(xùn)練的數(shù)據(jù)能力測試集、安全集、真實業(yè)務(wù)樣本常見數(shù)據(jù)來源包括數(shù)據(jù)來源優(yōu)點風(fēng)險或限制適用場景企業(yè)內(nèi)部數(shù)據(jù)領(lǐng)域相關(guān)性強可能數(shù)量不足需處理隱私和權(quán)限垂直領(lǐng)域適配公開數(shù)據(jù)集獲取方便、覆蓋廣質(zhì)量和許可證需要審查通用能力和公開基準數(shù)據(jù)采購質(zhì)量和范圍相對可控成本較高商業(yè)訓(xùn)練項目人工標注可按目標定制周期長需要一致性管理SFT、偏好和安全數(shù)據(jù)合成數(shù)據(jù)成本低、易擴展可能放大生成模型的偏差數(shù)據(jù)增強和稀缺任務(wù)數(shù)據(jù)處理通常包括去重、質(zhì)量過濾、隱私與版權(quán)檢查、格式統(tǒng)一、分詞或特征處理、數(shù)據(jù)標注和污染檢測。監(jiān)督任務(wù)還需要把數(shù)據(jù)劃分為訓(xùn)練集、驗證集和測試集評估集必須與訓(xùn)練數(shù)據(jù)隔離。步驟4架構(gòu)與分詞器設(shè)計從零訓(xùn)練時必選采用現(xiàn)成基座模型時通常跳過。從零訓(xùn)練需要確定模型結(jié)構(gòu)、參數(shù)規(guī)模、上下文長度、注意力機制、分詞器和訓(xùn)練目標。這些選擇會共同決定模型能力、訓(xùn)練成本和部署成本而且在預(yù)訓(xùn)練開始后很難低成本修改?；诂F(xiàn)成模型時通常保持原有架構(gòu)和分詞器只選擇上下文長度、精度、并行策略及微調(diào)方式。只有目標語言或特殊符號覆蓋嚴重不足時才考慮擴充詞表修改詞表后還需要訓(xùn)練新增的嵌入?yún)?shù)并重新評估。步驟5預(yù)訓(xùn)練從零訓(xùn)練時必選基于現(xiàn)成基座模型時跳過。預(yù)訓(xùn)練從隨機初始化參數(shù)開始通過下一個詞預(yù)測、掩碼預(yù)測、圖文對齊等通用目標學(xué)習(xí)知識和表示能力產(chǎn)物是基座模型。這個階段通常消耗最多的數(shù)據(jù)和算力需要重點關(guān)注訓(xùn)練損失、困惑度和驗證集指標是否正常下降數(shù)據(jù)吞吐、GPU利用率和分布式訓(xùn)練穩(wěn)定性學(xué)習(xí)率、批次大小、數(shù)值精度和梯度是否穩(wěn)定檢查點保存、故障恢復(fù)和訓(xùn)練數(shù)據(jù)版本是否可追溯基礎(chǔ)能力、安全風(fēng)險和數(shù)據(jù)污染情況選擇現(xiàn)成基座模型意味著復(fù)用模型提供方的預(yù)訓(xùn)練結(jié)果并不意味著完整生命周期中不存在預(yù)訓(xùn)練。步驟6增量預(yù)訓(xùn)練可選增量預(yù)訓(xùn)練繼續(xù)使用預(yù)訓(xùn)練目標讓模型補充領(lǐng)域知識、目標語言或較新的信息。它適合以下情況領(lǐng)域數(shù)據(jù)與原預(yù)訓(xùn)練數(shù)據(jù)差異很大例如醫(yī)學(xué)、法律和金融模型缺少大量專業(yè)知識而不只是不會遵循回答格式有較多領(lǐng)域無標注數(shù)據(jù)但高質(zhì)量指令數(shù)據(jù)較少需要增強特定語言、代碼或其他數(shù)據(jù)類型的基礎(chǔ)能力訓(xùn)練時通常使用比從零預(yù)訓(xùn)練更小的學(xué)習(xí)率并混合一定比例的通用數(shù)據(jù)以降低災(zāi)難性遺忘風(fēng)險。除了觀察領(lǐng)域數(shù)據(jù)上的困惑度還要回歸測試原有通用能力。如果問題只是回答格式、任務(wù)行為或人類偏好不符合要求應(yīng)優(yōu)先考慮后訓(xùn)練而不是增量預(yù)訓(xùn)練。步驟7后訓(xùn)練后訓(xùn)練的目標是把“能夠續(xù)寫內(nèi)容的基座模型”轉(zhuǎn)變?yōu)椤澳軌蜃裱噶畈M足應(yīng)用要求的模型”?？筛鶕?jù)目標組合使用以下方法后訓(xùn)練環(huán)節(jié)主要目標常見方法或數(shù)據(jù)有監(jiān)督微調(diào)學(xué)習(xí)指令格式、任務(wù)行為和示例答案SFT、指令與回答數(shù)據(jù)偏好對齊讓輸出更符合人類或業(yè)務(wù)偏好DPO、獎勵模型、RLHF、RLAIF安全對齊減少有害、越權(quán)或不合規(guī)輸出安全數(shù)據(jù)、拒答樣本、紅隊反饋能力強化增強推理、工具調(diào)用或特定任務(wù)表現(xiàn)可驗證獎勵、強化學(xué)習(xí)、專項任務(wù)數(shù)據(jù):::tip 不要混淆訓(xùn)練目標和參數(shù)更新范圍SFT、DPO和RLHF描述訓(xùn)練目標或訓(xùn)練流程全量微調(diào)、LoRA和QLoRA描述更新多少參數(shù)及如何更新參數(shù)。這是兩個不同的分類維度。例如SFT既可以全量微調(diào)也可以使用LoRA完成。 :::后訓(xùn)練階段需要定期在驗證集上評估使用早停防止過擬合并回歸檢查基礎(chǔ)能力和安全性。顯存受限時可以使用梯度累積、混合精度和參數(shù)高效微調(diào)。步驟8模型評估模型評估不是只在訓(xùn)練結(jié)束后執(zhí)行一次而應(yīng)作為每個訓(xùn)練階段的質(zhì)量門禁評估對象重點指標預(yù)訓(xùn)練或增量預(yù)訓(xùn)練模型損失、困惑度、通用與領(lǐng)域基準、知識覆蓋后訓(xùn)練模型指令遵循、任務(wù)正確率、偏好勝率、安全性部署候選模型延遲、吞吐量、顯存、穩(wěn)定性和推理成本不同任務(wù)常用的自動評估指標包括任務(wù)類型常用指標分類準確率、F1分數(shù)、AUC生成BLEU、ROUGE、BERTScore或模型裁判評分問答EM精確匹配、F1、事實正確率推理最終答案正確率、步驟驗證通過率對話指令遵循、偏好勝率、安全違規(guī)率自動指標之外還要通過人工評估檢查回答的相關(guān)性、準確性、完整性、自然度和安全性。評估不通過時應(yīng)先判斷問題來自知識缺失、行為偏差、數(shù)據(jù)質(zhì)量還是推理性能再回到對應(yīng)階段迭代。步驟9模型優(yōu)化可選達到能力和安全目標后可以根據(jù)部署約束進一步優(yōu)化模型量化將32位或16位參數(shù)轉(zhuǎn)換為8位或4位降低顯存和計算開銷剪枝移除影響較小的權(quán)重、通道或結(jié)構(gòu)知識蒸餾讓較小的學(xué)生模型學(xué)習(xí)較大教師模型的能力推理優(yōu)化使用算子融合、緩存、批處理和并行策略提高吞吐量每次優(yōu)化后都要重新評估能力、安全性和性能確認性能收益沒有造成不可接受的質(zhì)量下降。原始模型7B 參數(shù)14GB 顯存100ms 延遲準確率92% 量化后INT47B 參數(shù)3.5GB 顯存110ms 延遲準確率90.5% 蒸餾后學(xué)生模型1.5B 參數(shù)3GB 顯存20ms 延遲準確率87%步驟10部署上線常見部署方式包括方式特點適用場景云端API易擴展、按需使用快速接入或并發(fā)波動較大的應(yīng)用邊緣部署低延遲、數(shù)據(jù)就地處理實時性和隱私要求較高的設(shè)備本地部署數(shù)據(jù)可控、無公網(wǎng)依賴企業(yè)內(nèi)網(wǎng)和敏感數(shù)據(jù)場景混合部署平衡效果、成本和隱私具有多級模型路由的復(fù)雜業(yè)務(wù)常用部署工具包括用于大模型推理的vLLM、用于構(gòu)建服務(wù)接口的FastAPI、用于NVIDIA硬件加速的TensorRT以及用于跨平臺推理的ONNX Runtime。上線前還需要完成容量評估、灰度發(fā)布、回滾方案、權(quán)限控制、內(nèi)容安全和可觀測性建設(shè)。步驟11監(jiān)控與持續(xù)迭代上線后需要持續(xù)監(jiān)控模型質(zhì)量任務(wù)成功率、事實錯誤、安全違規(guī)、用戶反饋和badcase服務(wù)性能響應(yīng)延遲、吞吐量、可用性和超時率資源成本GPU利用率、單次請求成本和緩存命中率數(shù)據(jù)變化領(lǐng)域知識更新、輸入分布漂移和新型安全風(fēng)險不同問題應(yīng)回到不同訓(xùn)練階段處理知識缺失或領(lǐng)域變化通常回到增量預(yù)訓(xùn)練指令和偏好問題回到后訓(xùn)練延遲和成本問題回到模型優(yōu)化或部署配置。這樣才能形成從監(jiān)控、數(shù)據(jù)積累、再訓(xùn)練、評估到重新發(fā)布的閉環(huán)。強烈推薦AI編程巴士網(wǎng)站穩(wěn)定純凈的ClaudeCode套餐供應(yīng) (https://code.ai80.vip/home)