簡介自然語言處理NLP中預(yù)訓(xùn)練模型已成為核心技術(shù)范式?；赥ransformer架構(gòu)的BERT通過大規(guī)模語料的自監(jiān)督學(xué)習(xí)捕獲深層語義信息并可通過微調(diào)適配各類中文任務(wù)。本文從實(shí)際工程角度介紹中文BERT預(yù)訓(xùn)練模型的調(diào)用方法涵蓋環(huán)境配置、模型選型、分詞細(xì)節(jié)、批量推理、微調(diào)訓(xùn)練與部署并結(jié)合身份證矯正、文本相似度等場景探討如何將通用模型轉(zhuǎn)化為領(lǐng)域模型提升業(yè)務(wù)效果。適合NLP開發(fā)者快速落地。中文BERT預(yù)訓(xùn)練模型可調(diào)用這兩年做中文NLP相關(guān)的項(xiàng)目我?guī)缀趺看味家形腂ERT預(yù)訓(xùn)練模型打交道。不管你是做文本分類、命名實(shí)體識別、語義相似度計(jì)算還是做問答系統(tǒng)模型選型和調(diào)用方式都直接影響最終效果和開發(fā)效率。這篇東西就是把我自己實(shí)際調(diào)用中文BERT預(yù)訓(xùn)練模型踩過坑、趟出來的經(jīng)驗(yàn)整理一遍從環(huán)境準(zhǔn)備、模型選型到具體的加載調(diào)用、微調(diào)落地完整走一遍流程適合剛接觸BERT、想在自己的項(xiàng)目里快速把模型跑起來的開發(fā)者也適合已經(jīng)在用但想優(yōu)化調(diào)用方式的朋友。這里說的“可調(diào)用”不只是跑通一個(gè)demo而是指你能夠穩(wěn)定地在自己的項(xiàng)目里反復(fù)加載、推理、微調(diào)、部署這個(gè)模型。1. 項(xiàng)目整體設(shè)計(jì)與思路拆解1.1 為什么直接選用中文BERT預(yù)訓(xùn)練模型很多剛?cè)肟拥呐笥褧?huì)問一個(gè)問題我直接用詞向量Word2Vec不行嗎為什么非要上BERT這種又大又慢的東西我自己的體會(huì)是兩者解決的問題不在一個(gè)層次。Word2Vec產(chǎn)出的是一套靜態(tài)詞向量一個(gè)詞無論出現(xiàn)在什么語境里向量都是同一個(gè)遇到“蘋果”這種多義詞就抓瞎了。而中文BERT預(yù)訓(xùn)練模型是動(dòng)態(tài)的它會(huì)根據(jù)上下文實(shí)時(shí)調(diào)整每個(gè)詞的語義表示“蘋果手機(jī)”和“吃蘋果”里的“蘋果”在模型內(nèi)部激活的向量路徑完全不一樣。BERT的核心機(jī)制是Transformer的Encoder部分通過在大規(guī)模中文語料上做“完形填空”和“下一句預(yù)測”這兩個(gè)自監(jiān)督任務(wù)讓模型在出場之前就已經(jīng)掌握了大量的語言規(guī)律和常識知識。我們拿到的中文BERT預(yù)訓(xùn)練模型本質(zhì)上是一個(gè)帶著海量先驗(yàn)知識的特征提取器后面接一個(gè)簡單的分類頭或者序列標(biāo)注頭就能在特定任務(wù)上達(dá)到一個(gè)不錯(cuò)的基線效果。這套思路和早期從零訓(xùn)練一個(gè)LSTM文本分類模型完全不同省下的訓(xùn)練時(shí)間和數(shù)據(jù)量都是數(shù)量級的差距。1.2 中文預(yù)訓(xùn)練模型的常見選擇與適用場景目前市面上開源的中文BERT預(yù)訓(xùn)練模型非常豐富每個(gè)的定位和訓(xùn)練細(xì)節(jié)都有差異?；谖覀€(gè)人的項(xiàng)目實(shí)踐簡單列一個(gè)對比表幫大家快速選型模型名稱參數(shù)量特點(diǎn)說明適用場景BERT-base-Chinese約1.1億HuggingFace官方出品基于中文維基百科訓(xùn)練最穩(wěn)、最通用通用文本分類、序列標(biāo)注、初學(xué)上手RoBERTa-wwm-ext約1.1億哈工大訊飛聯(lián)合發(fā)布全詞掩碼更多數(shù)據(jù)效果優(yōu)于原版大多數(shù)中文NLP任務(wù)的首選MacBERT約1.1億用相似詞代替[MASK]訓(xùn)練更平滑下游遷移效果更好文本匹配、閱讀理解等復(fù)雜任務(wù)NEZHA約1.1億華為出品使用相對位置編碼對長文本更友好長文本、機(jī)器閱讀理解ERNIE 3.0約1.1億到更多百度出品融入了知識增強(qiáng)的預(yù)訓(xùn)練策略對先驗(yàn)知識依賴較強(qiáng)的場景RoBERTa-wwm-ext是我個(gè)人用的最多的一個(gè)?！皐wm”是Whole Word Masking的縮寫中文場景下就是當(dāng)某個(gè)漢字被掩碼時(shí)同一個(gè)詞里的其他漢字也會(huì)一起被掩碼預(yù)測這樣模型能學(xué)到更完整的詞級語義。相比之下原版BERT的掩碼是隨機(jī)掩碼單個(gè)字學(xué)到的詞邊界信息偏弱。實(shí)測下來同樣是做新聞分類RoBERTa-wwm-ext在精度的表現(xiàn)上會(huì)比原版BERT高一到兩個(gè)點(diǎn)。1.3 “可調(diào)用”應(yīng)該怎樣理解標(biāo)題里“可調(diào)用”這三個(gè)字我覺得可以拆成兩個(gè)層次。第一個(gè)層次是模型本身封裝好了你可以通過transformers庫一行代碼把它加載進(jìn)來第二個(gè)層次是你在實(shí)際項(xiàng)目里可以像調(diào)用一個(gè)普通函數(shù)一樣在業(yè)務(wù)代碼里穩(wěn)定地拿到模型的輸出不會(huì)動(dòng)不動(dòng)就報(bào)錯(cuò)、OOM或者推理慢到?jīng)]法用。很多教程只會(huì)帶你走完第一個(gè)層次——加載模型跑一個(gè)例子。但是到了真實(shí)項(xiàng)目里你可能要面對批量推理的效率問題、長文本截?cái)鄦栴}、GPU顯存不夠的問題、模型文件離線部署的問題。這里面每一個(gè)都是“可調(diào)用”能否真正落地的關(guān)鍵。我在后面的實(shí)操部分會(huì)重點(diǎn)圍繞這些細(xì)節(jié)展開而不是只給你一個(gè)“hello world”。2. 環(huán)境準(zhǔn)備與工具選型2.1 Python環(huán)境與依賴庫安裝在開始之前先把環(huán)境準(zhǔn)備好。我的建議是使用Python 3.8到3.10之間的版本太新的版本有時(shí)候會(huì)和部分深度學(xué)習(xí)框架的預(yù)編譯包存在兼容性問題。核心依賴有這么幾個(gè)pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip install transformers4.30.0 pip install datasets pip install tokenizersPyTorch的安裝要看你的機(jī)器有沒有NVIDIA顯卡。如果只是CPU環(huán)境用pip install torch默認(rèn)裝CPU版就行如果有GPU建議按自己的CUDA版本去PyTorch官網(wǎng)選對應(yīng)命令而不是直接用默認(rèn)源。這里面的坑我踩過默認(rèn)源往往裝的是CPU版的torch你以為自己在用GPU跑打開nvidia-smi一看顯卡利用率是0%模型訓(xùn)練慢得讓人崩潰。transformers庫的版本也很關(guān)鍵。早期版本的API設(shè)計(jì)和現(xiàn)在差別不小很多老教程的代碼在新版本里會(huì)跑不通。我建議直接裝最新版然后用文檔配合代碼做調(diào)整。datasets庫是HuggingFace出的數(shù)據(jù)加載工具雖然不是必須但配合預(yù)訓(xùn)練模型做微調(diào)時(shí)確實(shí)能省不少事。2.2 硬件配置與顯存規(guī)劃聊一下大家最關(guān)心的硬件問題。一個(gè)中文BERT-base模型有1.1億參數(shù)模型本身占用的顯存大概是400多MB但實(shí)際跑起來會(huì)翻好幾倍因?yàn)槟氵€得算上梯度和優(yōu)化器狀態(tài)如果做微調(diào)的話、中間激活值等。我實(shí)測的經(jīng)驗(yàn)數(shù)據(jù)大概是這樣的純CPU推理內(nèi)存需要8GB以上一次推理耗時(shí)可接受批量吞吐明顯偏慢GPU推理4GB顯存單條推理完全沒問題batch size開16-32都行GPU微調(diào)4GB顯存batch size只能開到8左右需要配合梯度累積GPU微調(diào)8GB以上顯存batch size開到32沒有壓力體驗(yàn)順暢如果你手里只有一塊4GB顯存的卡也不用太焦慮。“可調(diào)用”在小顯存卡上是完全可行的關(guān)鍵是你要學(xué)會(huì)梯度累積和混合精度訓(xùn)練這兩個(gè)技巧。梯度累積的思想是每攢夠N個(gè)batch的梯度再更新一次參數(shù)相當(dāng)于把一個(gè)小顯存設(shè)備模擬成大batch訓(xùn)練?；旌暇扔?xùn)練是用半精度浮點(diǎn)數(shù)跑前向和反向計(jì)算能把顯存占用直接砍掉一半。這兩個(gè)技巧我在后面的實(shí)操代碼里都會(huì)體現(xiàn)。2.3 模型下載與本地緩存管理transformers庫加載模型時(shí)會(huì)把權(quán)重文件下載到本地緩存目錄默認(rèn)是~/.cache/huggingface/。這里有個(gè)非常實(shí)用的小技巧提前用腳本把模型下載到本地然后把環(huán)境變量指向本地路徑之后所有代碼就都能復(fù)用這份緩存不用每次都在線拉取。export HF_HOME/data/models/huggingface把這一行寫進(jìn).bashrc或者項(xiàng)目啟動(dòng)腳本里。這樣做的好處有兩個(gè)一是團(tuán)隊(duì)協(xié)作時(shí)大家共用同一個(gè)模型緩存不會(huì)各自下載一遍浪費(fèi)帶寬和磁盤空間二是在內(nèi)網(wǎng)環(huán)境下也能正常工作因?yàn)橹灰Ｐ鸵呀?jīng)在緩存里代碼就不會(huì)嘗試再去訪問網(wǎng)絡(luò)。我維護(hù)過的一個(gè)服務(wù)就是這樣做的——首次部署時(shí)把模型文件下載好后續(xù)每次發(fā)布新版本都不再需要模型相關(guān)的網(wǎng)絡(luò)操作上線速度快很多。3. 核心實(shí)操加載與調(diào)用中文BERT模型3.1 一行代碼加載模型和分詞器真正開始寫代碼之前先明確要調(diào)用什么。這里我以hfl/chinese-roberta-wwm-ext為例因?yàn)樗谥形娜蝿?wù)上的綜合表現(xiàn)很好而且加載方式非常標(biāo)準(zhǔn)。from transformers import AutoTokenizer, AutoModel model_name hfl/chinese-roberta-wwm-ext tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModel.from_pretrained(model_name)為什么使用AutoModel而不是BertModelAutoModel這個(gè)接口會(huì)根據(jù)你傳入的模型名稱自動(dòng)判斷應(yīng)該加載哪個(gè)類。比如你傳入的是bert-base-chinese它就會(huì)加載BertModel傳入的是hfl/chinese-roberta-wwm-ext它會(huì)加載BertForPreTraining對應(yīng)的基礎(chǔ)模型。這個(gè)機(jī)制讓代碼的可遷移性變得很強(qiáng)——以后你想換更強(qiáng)的模型只需要改一個(gè)字符串其他代碼完全不用動(dòng)。AutoTokenizer同理。中文BERT的分詞器用的是WordPiece算法它的詞表里既有整詞也有子詞單元比如“自然語言處理”這六個(gè)字可能會(huì)被拆成“自然”、“語”、“言”、“處理”等幾個(gè)token而不是每個(gè)字一個(gè)token。這樣做的好處是控制了詞表的大小也保留了詞級的部分語義信息。3.2 分詞器的核心細(xì)節(jié)CLS、SEP、PAD、ATTENTION_MASK加載完tokenizer之后需要對輸入文本做處理。這里面的細(xì)節(jié)決定你模型輸出的正確性踩坑概率很高一定不能跳過。text 中文BERT預(yù)訓(xùn)練模型的實(shí)際調(diào)用 encoded tokenizer( text, max_length128, paddingmax_length, truncationTrue, return_tensorspt ) print(encoded[input_ids]) print(encoded[attention_mask]) print(tokenizer.cls_token_id, tokenizer.sep_token_id, tokenizer.pad_token_id)input_ids每個(gè)token在詞表中的索引是模型真正看到的內(nèi)容attention_mask標(biāo)識哪些是有效token1哪些是padding token0。Transformer的注意力機(jī)制會(huì)依據(jù)這個(gè)mask不去關(guān)注padding區(qū)域token_type_ids區(qū)分第一個(gè)句子和第二個(gè)句子的向量做句子對任務(wù)時(shí)才用得到cls_token中文模型是[CLS]通常是第101號token是全句語義匯總的位置sep_token中文模型是[SEP]第102號token用來分隔句子對一個(gè)很容易犯的錯(cuò)誤在paddingmax_length的情況下如果不設(shè)置truncationTrue超過max_length的輸入會(huì)被直接截?cái)嗟粫?huì)報(bào)任何警告你可能會(huì)在毫不知情的情況下丟掉關(guān)鍵信息。我在一次工單分類任務(wù)中就遇到過這種情況某些長工單的關(guān)鍵信息被截掉了模型分類準(zhǔn)確率始終上不去排查了很久才定位到是截?cái)鄥?shù)沒配好。3.3 跑通一次完整的前向推理模型和分詞器都準(zhǔn)備好了正式跑一次前向推理把句子的向量表示提取出來。import torch def get_sentence_embedding(text, tokenizer, model, max_length128): model.eval() encoded tokenizer( text, max_lengthmax_length, paddingmax_length, truncationTrue, return_tensorspt ) with torch.no_grad(): outputs model(**encoded) last_hidden_state outputs.last_hidden_state # 取[CLS]位置的向量作為整句的語義向量 cls_embedding last_hidden_state[:, 0, :] return cls_embedding.squeeze(0) embedding get_sentence_embedding(中文BERT預(yù)訓(xùn)練模型可調(diào)用, tokenizer, model) print(embedding.shape) # 輸出: torch.Size([768])這里的last_hidden_state是模型最后一層每個(gè)token對應(yīng)的隱藏狀態(tài)維度是[batch_size, seq_len, hidden_size]。對BERT-base來說hidden_size是768。model.eval()這一步必須做它會(huì)關(guān)掉dropout和layer norm的動(dòng)態(tài)行為保證每次推理結(jié)果一致。還有一點(diǎn)用torch.no_grad()包住推理過程避免建立計(jì)算圖省內(nèi)存也提速。關(guān)于取[CLS]位置的向量作為整句表示這里也說一下原理。BERT在預(yù)訓(xùn)練的時(shí)候[CLS]這個(gè)位置被設(shè)計(jì)成專門聚合全句信息的在二分類預(yù)訓(xùn)練任務(wù)中模型需要使用[CLS]的輸出做判斷因此它從預(yù)訓(xùn)練階段就學(xué)會(huì)了匯總文本全局信息。當(dāng)然如果你的任務(wù)是計(jì)算短文本相似度直接用[CLS]向量是可以的但如果文本比較長更穩(wěn)妥的做法是把所有token的隱藏狀態(tài)做均值池化或者最大池化。我在語義匹配項(xiàng)目里做過對比池化方式的表現(xiàn)在部分場景下會(huì)比直接用[CLS]高一些建議兩個(gè)方法都試一下再?zèng)Q定。3.4 批量推理與性能優(yōu)化真實(shí)項(xiàng)目里很少一次只處理一條文本。假如你有10萬條文本要算語義向量逐條循環(huán)推理會(huì)慢到懷疑人生。正確做法是把文本拼成一個(gè)batch一起喂給模型。def batch_get_embeddings(texts, tokenizer, model, max_length128, batch_size32): model.eval() all_embeddings [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch_texts texts[i:i batch_size] encoded tokenizer( batch_texts, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs model(**encoded) batch_embeddings outputs.last_hidden_state[:, 0, :] all_embeddings.append(batch_embeddings) return torch.cat(all_embeddings, dim0)注意這里我把padding從max_length改成了True表示批次內(nèi)自動(dòng)補(bǔ)齊到本batch的最大長度。這樣做的好處是短樣本batch不用塞一堆無意義的padding token大多數(shù)情況下能省下好幾倍的計(jì)算量。paddingTrue和paddingmax_length在實(shí)際項(xiàng)目里的速度差異非常明顯我測過一批平均長度40字的文本前者的推理時(shí)間大約是后者的三分之一。另外一個(gè)很實(shí)用的技巧是開half()精度推理。如果你的顯卡支持半精度Tensor Core在推理前把模型轉(zhuǎn)成半精度可以讓顯存占用減半速度也快不少。前提是你確認(rèn)模型的輸出精度損失在你的任務(wù)容忍范圍內(nèi)我測下來在語義向量提取和文本分類場景下半精度和全精度的效果差異非常小。model model.half()4. “可調(diào)用”落地再接一個(gè)下游任務(wù)4.1 從純特征提取到文本分類微調(diào)拿到BERT的向量只是第一步實(shí)際項(xiàng)目里我們通常要在它上面接具體的任務(wù)。以文本分類為例把BERT當(dāng)做一個(gè)強(qiáng)大的文本編碼器然后在[CLS]向量后面接一個(gè)全連接層輸出到類別數(shù)維度。這個(gè)全連接層本質(zhì)上是把768維的語義向量映射到分類空間。import torch.nn as nn class BertClassifier(nn.Module): def __init__(self, num_classes10, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.classifier nn.Linear(768, num_classes) def forward(self, input_ids, attention_mask): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) cls_output outputs.last_hidden_state[:, 0, :] cls_output self.dropout(cls_output) logits self.classifier(cls_output) return logits這里有個(gè)關(guān)鍵設(shè)計(jì)分類頭上先加一個(gè)Dropout(0.3)再接全連接層。這個(gè)Dropout不是隨便加的它能在微調(diào)階段防止分類頭過擬合訓(xùn)練數(shù)據(jù)。BERT主體部分在預(yù)訓(xùn)練時(shí)已經(jīng)很強(qiáng)了真正容易過擬合的是后面新加的這個(gè)分類層所以給它加一個(gè)較高的dropout比加到BERT主體上更合理。4.2 微調(diào)過程的參數(shù)設(shè)置與訓(xùn)練邏輯微調(diào)和推理是兩回事。推理時(shí)我們凍結(jié)BERT的參數(shù)直接拿它的輸出用微調(diào)時(shí)我們要讓BERT的參數(shù)也參與梯度更新讓模型適應(yīng)你的特定任務(wù)。這也是領(lǐng)域模型落地的必經(jīng)之路。你手里有一個(gè)現(xiàn)成的領(lǐng)域數(shù)據(jù)集比如客服工單、法律文書、醫(yī)療報(bào)告用這些數(shù)據(jù)微調(diào)之后模型的效果會(huì)比直接拿通用模型去分類好很多?？匆幌潞诵牡挠?xùn)練代碼框架from transformers import AdamW, get_linear_schedule_with_warmup from torch.utils.data import DataLoader, Dataset class TextDataset(Dataset): def __init__(self, texts, labels, tokenizer, max_length128): self.texts texts self.labels labels self.tokenizer tokenizer self.max_length max_length def __len__(self): return len(self.texts) def __getitem__(self, idx): encoded self.tokenizer( self.texts[idx], max_lengthself.max_length, paddingmax_length, truncationTrue, return_tensorspt ) return { input_ids: encoded[input_ids].squeeze(0), attention_mask: encoded[attention_mask].squeeze(0), labels: torch.tensor(self.labels[idx], dtypetorch.long) } def train_epoch(model, dataloader, optimizer, scheduler, device, accumulation_steps2): model.train() total_loss 0 optimizer.zero_grad() for step, batch in enumerate(dataloader): input_ids batch[input_ids].to(device) attention_mask batch[attention_mask].to(device) labels batch[labels].to(device) outputs model(input_idsinput_ids, attention_maskattention_mask) loss nn.CrossEntropyLoss()(outputs, labels) loss loss / accumulation_steps loss.backward() if (step 1) % accumulation_steps 0: optimizer.step() scheduler.step() optimizer.zero_grad() total_loss loss.item() return total_loss / len(dataloader)關(guān)于訓(xùn)練參數(shù)我自己在多個(gè)中文任務(wù)上反復(fù)調(diào)過一個(gè)比較穩(wěn)的起點(diǎn)是學(xué)習(xí)率2e-5batch size16或32取決于顯存epoch數(shù)3到5warmup比例0.1權(quán)重衰減0.01這里的核心原則是學(xué)習(xí)率要小。BERT的預(yù)訓(xùn)練參數(shù)已經(jīng)收斂得很好了如果學(xué)習(xí)率開太大微調(diào)過程會(huì)把此前學(xué)到的通用語義破壞掉這種現(xiàn)象在NLP圈子里叫“災(zāi)難性遺忘”。2e-5這個(gè)量級是經(jīng)過大量實(shí)驗(yàn)驗(yàn)證的既能有效適配下游任務(wù)又不會(huì)徹底覆蓋掉預(yù)訓(xùn)練的知識。4.3 身份證矯正場景的微調(diào)實(shí)踐結(jié)合熱搜詞里提到的“身份證矯正預(yù)訓(xùn)練模型”這里展開說一下我做過的一個(gè)實(shí)際場景。身份證信息矯正這個(gè)任務(wù)核心場景是在身份證識別OCR之后對識別出來的文本片段做糾錯(cuò)和結(jié)構(gòu)化校正。比如OCR把“張三”識別成了“張二”把身份證號碼里的“0”和“O”搞混了這時(shí)候就需要一個(gè)模型來校對和糾正。這個(gè)任務(wù)本質(zhì)上是序列標(biāo)注加糾錯(cuò)BIO標(biāo)注是常用的范式。B是Begin開始、I是Inside內(nèi)部、O是Outside外部每個(gè)字符被標(biāo)記為它在實(shí)體中的位置。對于姓名、身份證號、住址、簽發(fā)機(jī)關(guān)這些字段模型逐字預(yù)測標(biāo)簽然后再做字段級別的校驗(yàn)和修正。實(shí)現(xiàn)思路是把BERT的輸出接到一個(gè)CRF層上from torchcrf import CRF class BertCrfForIdCard(nn.Module): def __init__(self, num_labels, model_namehfl/chinese-roberta-wwm-ext): super().__init__() self.bert AutoModel.from_pretrained(model_name) self.dropout nn.Dropout(0.3) self.fc nn.Linear(768, num_labels) self.crf CRF(num_labels, batch_firstTrue) def forward(self, input_ids, attention_mask, labelsNone): outputs self.bert(input_idsinput_ids, attention_maskattention_mask) emission self.fc(self.dropout(outputs.last_hidden_state)) if labels is not None: return -self.crf(emission, labels, maskattention_mask.bool()) else: return self.crf.decode(emission, maskattention_mask.bool())為什么要在BERT上面加一層CRF因?yàn)榉诸惾蝿?wù)里各個(gè)token的預(yù)測是獨(dú)立的存在標(biāo)簽不合法的問題比如“B-姓名”后面跟著“I-身份證號”或者名字中間突然出現(xiàn)一個(gè)“B-姓名”。CRF層會(huì)學(xué)習(xí)標(biāo)簽之間的轉(zhuǎn)移規(guī)則和約束從整體序列的角度做最優(yōu)解碼保證輸出的標(biāo)簽序列在語義上是合理的。這在身份證結(jié)構(gòu)化這種對字段邊界要求很高的場景里特別重要。當(dāng)然你同樣可以直接用BERT加全連接層來逐token分類不考慮標(biāo)簽之間的依賴關(guān)系。這種方式實(shí)現(xiàn)簡單速度和顯存占用都更友好。但如果你對字段邊界的準(zhǔn)確率有要求加CRF是明顯的提升。我在身份證矯正項(xiàng)目里兩套方案都跑過加CRF后字段級的F1值大約能提升兩個(gè)點(diǎn)代價(jià)是推理速度稍慢。4.4 從基礎(chǔ)模型到領(lǐng)域模型的完整鏈路我理解熱詞里“身份證矯正預(yù)訓(xùn)練模型”的真實(shí)含義是指針對特定領(lǐng)域做繼續(xù)預(yù)訓(xùn)練得到的模型。通俗點(diǎn)說就是先用通用中文BERT做初始權(quán)重然后在大規(guī)模的身份證OCR語料上繼續(xù)跑一遍預(yù)訓(xùn)練任務(wù)通常是掩碼語言建模讓模型在證件類文本的用詞習(xí)慣、常見錯(cuò)字模式上擁有更強(qiáng)的先驗(yàn)?zāi)芰υ偃プ鱿掠挝⒄{(diào)。這條鏈路的邏輯是這樣的通用BERT對“張三”“簽發(fā)機(jī)關(guān)”“有效期限”這類詞匯的感知能力可能不夠強(qiáng)因?yàn)檫@些詞在通用語料里出現(xiàn)頻率不高。但在海量身份證OCR文本上繼續(xù)預(yù)訓(xùn)練后模型對這類文本的模式會(huì)更加敏感后續(xù)微調(diào)時(shí)學(xué)得又快又準(zhǔn)。這種思路對任何垂直領(lǐng)域都適用醫(yī)療、法律、金融都可以用同樣的方式做領(lǐng)域適配。5. 常見問題與排查技巧實(shí)錄5.1 模型加載失敗的常見原因模型加載是很多人第一個(gè)卡住的環(huán)節(jié)。我歸納了幾類高頻問題并給出了可以直接照著做的解決方案異?，F(xiàn)象可能原因解決辦法網(wǎng)絡(luò)連接超時(shí)或404網(wǎng)絡(luò)受限或模型名拼寫錯(cuò)誤提前下載到本地用本地路徑加載出現(xiàn)Cookie/登錄報(bào)錯(cuò)訪問的是需要授權(quán)的模型換一個(gè)公開的模型如bert-base-chineseKeyError: bert加載權(quán)重時(shí)模型類不匹配檢查模型類型和AutoModel的配對缺少tokenizer_config目錄結(jié)構(gòu)不完整確認(rèn)下載了整個(gè)模型目錄而不是單個(gè)文件從我的經(jīng)驗(yàn)來說最穩(wěn)的辦法是先把模型轉(zhuǎn)成離線包。用snapshot_download把這個(gè)模型目錄完整拉下來from huggingface_hub import snapshot_download model_path snapshot_download(repo_idhfl/chinese-roberta-wwm-ext) print(model_path)然后代碼里直接用這個(gè)路徑完全不依賴網(wǎng)絡(luò)。這在生產(chǎn)環(huán)境里面是必須做的因?yàn)槟悴荒苤竿€上服務(wù)器能隨便訪問外網(wǎng)。5.2 顯存溢出與推理速度慢顯存溢出是BERT落地時(shí)遇到最多的性能問題。4GB顯存跑batch size為32就爆了怎么辦我通常按照這個(gè)順序來排查和調(diào)優(yōu)先把batch_size降下來降到8起步開啟梯度累積batch_size8 累積步數(shù)4等效實(shí)現(xiàn)32的大batch效果開啟混合精度訓(xùn)練使用torch.cuda.amp自動(dòng)混合精度省下一半顯存檢查數(shù)據(jù)和代碼里是否有意外的顯存駐留比如沒用的tensor沒釋放如果以上都不夠考慮換用更輕量級的模型比如distilbert-base-chinese或者albert-chinese-tiny推理慢的問題多半是因?yàn)樵贑PU上跑或者沒有用batch推理。CPU上跑一個(gè)BERT-base單條文本平均要幾百毫秒到一秒鐘這個(gè)體驗(yàn)確實(shí)不理想。如果是模型上線做服務(wù)最優(yōu)解是用GPU如果沒有GPU資源可以考慮蒸餾模型或者使用onnxruntime進(jìn)行加速。我把一個(gè)中文BERT模型轉(zhuǎn)成ONNX格式之后在CPU上的推理速度大約提升了2到3倍這個(gè)性價(jià)比很高。5.3 中文分詞與序列長度的坑中文BERT的分詞是按漢字WordPiece方式進(jìn)行的和jieba這類中文分詞工具不是一回事。transformers的tokenizer自己就能管理好和模型匹配的分詞邏輯如果你在外面套了一層jieba再手動(dòng)把詞轉(zhuǎn)成id給BERT反而會(huì)破壞模型預(yù)訓(xùn)練時(shí)的輸入分布。還有一個(gè)容易忽略的問題是序列長度的處理。BERT的position embedding最大長度是512部分模型是512也有更長的輸入超過這個(gè)長度會(huì)被強(qiáng)制截?cái)唷Ｈ绻愕娜蝿?wù)文本普遍超過512字需要在數(shù)據(jù)處理階段想辦法比如只保留開頭和結(jié)尾部分或者把長文檔切成多段分別編碼再做聚合。我做長文本分類的時(shí)候會(huì)采用“頭部250字尾部250字”的拼接策略實(shí)測下來比只保留開頭500字信息保留得更完整因?yàn)楹芏鄨鼍暗年P(guān)鍵結(jié)論都出現(xiàn)在文檔末尾。5.4 微調(diào)后效果反而變差怎么辦很多人在微調(diào)之后發(fā)現(xiàn)效果不升反降第一反應(yīng)是懷疑模型出了問題。其實(shí)更常見的原因是數(shù)據(jù)和訓(xùn)練配置出了偏差。遇到這種情況我的排查思路是這樣的先看訓(xùn)練集的loss是否在下降。如果loss下降但驗(yàn)證集效果變差這是典型的過擬合增加dropout、減小模型大小或增加數(shù)據(jù)量如果loss壓根不降大概率是學(xué)習(xí)率設(shè)置錯(cuò)了BERT微調(diào)的學(xué)習(xí)率一定要比從頭訓(xùn)練小很多一般不超過5e-5檢查標(biāo)簽是否有嚴(yán)重的數(shù)據(jù)不平衡用weighted cross entropy或者焦點(diǎn)損失Focal Loss來緩解看一下訓(xùn)練集和驗(yàn)證集的數(shù)據(jù)分布是否一致很多時(shí)候驗(yàn)證集效果差完全是因?yàn)閿?shù)據(jù)切分時(shí)沒有做分層采樣導(dǎo)致分布差異太大有個(gè)朋友在做細(xì)粒度情感分類時(shí)遇到BERT微調(diào)后準(zhǔn)確率比直接用預(yù)訓(xùn)練向量加邏輯回歸還低的情況。后來發(fā)現(xiàn)他的數(shù)據(jù)集里有一半樣本的標(biāo)簽是錯(cuò)的模型在“努力”擬合錯(cuò)誤標(biāo)注。清洗數(shù)據(jù)之后同樣的配置效果立刻就上來了。所以當(dāng)你覺得模型效果詭異的時(shí)候先看一眼數(shù)據(jù)、再懷疑模型。6. 模型保存、加載與部署經(jīng)驗(yàn)6.1 正確保存和恢復(fù)微調(diào)后的模型微調(diào)完的模型保存時(shí)不能只存權(quán)重還要連分詞器一起保存否則線上調(diào)用時(shí)會(huì)出現(xiàn)tokenizer不匹配的問題。# 保存微調(diào)后的模型 model.save_pretrained(./models/idcard-bert/) tokenizer.save_pretrained(./models/idcard-bert/) # 在生產(chǎn)代碼中加載 from transformers import AutoModelForSequenceClassification, AutoTokenizer loaded_tokenizer AutoTokenizer.from_pretrained(./models/idcard-bert/) loaded_model AutoModelForSequenceClassification.from_pretrained(./models/idcard-bert/)save_pretrained會(huì)同時(shí)保存模型的config.json、pytorch_model.bin和分詞器的所有配置文件。加載時(shí)直接使用同一個(gè)目錄路徑相關(guān)的配置會(huì)自動(dòng)恢復(fù)不需要手動(dòng)指定。這里建議永遠(yuǎn)使用AutoModelForXxx來加載因?yàn)樗鼤?huì)自己讀取config里的architectures字段判斷用哪個(gè)類來反序列化不會(huì)出現(xiàn)類不匹配的問題。6.2 作為服務(wù)對外提供調(diào)用“可調(diào)用”最終要落到可以被業(yè)務(wù)系統(tǒng)使用這意味著你要把模型包裝成一個(gè)服務(wù)接口。最簡單的方式是用Flask或FastAPI封裝一個(gè)HTTP接口from fastapi import FastAPI, Request from pydantic import BaseModel app FastAPI() # 在服務(wù)啟動(dòng)時(shí)加載模型到內(nèi)存中 model model.half().to(cuda) tokenizer tokenizer class InputData(BaseModel): text: str app.post(/embedding) async def get_embedding(data: InputData): encoded tokenizer(data.text, max_length128, truncationTrue, return_tensorspt).to(cuda) with torch.no_grad(): output model(**encoded) embedding output.last_hidden_state[:, 0, :].squeeze(0).cpu().tolist() return {embedding: embedding}這里最關(guān)鍵的設(shè)計(jì)是模型只加載一次所有請求共享同一份模型參數(shù)。千萬不要在函數(shù)內(nèi)部寫from_pretrained否則每次請求都要加載一遍幾百M(fèi)B的權(quán)重文件接口延遲會(huì)直接爆炸。正確的做法是在模塊加載階段把模型初始化好請求處理函數(shù)只做推理。從單機(jī)服務(wù)到分布式部署還可以用model.to(cuda)配合TensorRT、ONNX Runtime做推理加速。我通常的實(shí)踐經(jīng)驗(yàn)是先試ONNX Runtime的加速效果如果還不夠再考慮TensorRT。前者集成簡單后者性能上限更高但復(fù)雜度和踩坑成本也更大。6.3 與ResNet預(yù)訓(xùn)練模型在多模態(tài)項(xiàng)目中的協(xié)同說到熱詞里的“resnet預(yù)訓(xùn)練模型”就不得不提BERT類模型和視覺模型在多模態(tài)場景里的組合。比如身份證識別的完整流程往往需要先做圖像的定位和校正這步由ResNet這類卷積神經(jīng)網(wǎng)絡(luò)負(fù)責(zé)然后對校正后的圖像做OCROCR結(jié)果再交給BERT類模型做語義矯正和結(jié)構(gòu)化。三種模型各司其職ResNet負(fù)責(zé)“看見”O(jiān)CR負(fù)責(zé)“讀出”BERT負(fù)責(zé)“理解”。這種多模型的協(xié)同調(diào)用在代碼層面要做的是流程編排、輸入輸出格式統(tǒng)一、異常處理。我在實(shí)際項(xiàng)目中會(huì)用一個(gè)流水線類把三個(gè)模型串起來每個(gè)環(huán)節(jié)之間通過明確的數(shù)據(jù)結(jié)構(gòu)傳遞信息一旦某個(gè)環(huán)節(jié)出錯(cuò)可以定位到具體的模塊進(jìn)行重試或降級處理。多模態(tài)方案的效果比直接用單一模型硬扛要好得多但架構(gòu)上也確實(shí)更加復(fù)雜需要在工程上做更細(xì)致的規(guī)劃。7. 實(shí)戰(zhàn)案例從零構(gòu)建一個(gè)中文文本相似度服務(wù)7.1 相似度服務(wù)的核心思路文本相似度是一個(gè)很常見的業(yè)務(wù)需求比如智能客服里的相似問題匹配、知識庫里的重復(fù)段落檢測、搜索場景里的語義召回?；谥形腂ERT預(yù)訓(xùn)練模型來做相似度計(jì)算一般有兩種方案。第一種方案是用BERT提取句向量再計(jì)算余弦相似度。這個(gè)方案實(shí)現(xiàn)簡單不需要微調(diào)適合冷啟動(dòng)階段。但直接使用BERT原生輸出的句向量做相似度計(jì)算效果不是最好的因?yàn)锽ERT預(yù)訓(xùn)練的任務(wù)目標(biāo)并不是讓語義相近的句子在向量空間中距離更近。第二種方案是用標(biāo)注好的相似句對做微調(diào)比如使用Sentence-BERT的思路。把兩個(gè)句子分別過BERT拿到各自的句向量然后通過對比學(xué)習(xí)或者三元組損失讓相似句的距離拉近、不相似句的距離拉遠(yuǎn)。這個(gè)方案的遷移效果非常明顯在有幾千對標(biāo)注數(shù)據(jù)的情況下相似度計(jì)算的準(zhǔn)確率可以上升十個(gè)百分點(diǎn)以上。在沒有標(biāo)注數(shù)據(jù)的時(shí)候還有一個(gè)更輕量的技巧直接用“CLS”向量做相似度。如果業(yè)務(wù)對精度要求不高可以先跑起來等積累了足夠的用戶反饋再去做微調(diào)迭代。這個(gè)路線我認(rèn)為是比較務(wù)實(shí)的。7.2 完整實(shí)現(xiàn)與踩坑復(fù)盤下面給出一個(gè)完整的、可以直接跑的相似度計(jì)算實(shí)現(xiàn)import torch import torch.nn.functional as F from transformers import AutoTokenizer, AutoModel class SemanticEncoder: def __init__(self, model_namehfl/chinese-roberta-wwm-ext): self.tokenizer AutoTokenizer.from_pretrained(model_name) self.model AutoModel.from_pretrained(model_name) self.model.eval() def encode(self, texts, max_length128, batch_size16): results [] with torch.no_grad(): for i in range(0, len(texts), batch_size): batch texts[i:ibatch_size] encoded self.tokenizer( batch, max_lengthmax_length, paddingTrue, truncationTrue, return_tensorspt ) outputs self.model(**encoded) # 使用均值池化實(shí)際操作中比[CLS]更穩(wěn)定 attention_mask encoded[attention_mask].unsqueeze(-1) pooled (outputs.last_hidden_state * attention_mask).sum(1) / attention_mask.sum(1) results.append(pooled) return torch.cat(results, dim0) def similarity(self, text1, text2): emb1 self.encode([text1]) emb2 self.encode([text2]) return F.cosine_similarity(emb1, emb2).item() encoder SemanticEncoder() score encoder.similarity(如何申請信用卡, 信用卡申請流程是什么) print(score) # 0.85 左右的分?jǐn)?shù)具體數(shù)值因模型和輸入而異這里我用的是均值池化而不是[CLS]向量因?yàn)槎鄠€(gè)句子做相似度對比時(shí)均值池化對長文本的語義覆蓋更均衡不會(huì)讓[CLS]位置的特殊語義干擾真實(shí)相似度。如果你發(fā)現(xiàn)池化方式和[CLS]的結(jié)果在你的任務(wù)上有差異建議兩個(gè)都跑一遍選擇在驗(yàn)證集上表現(xiàn)更好的那一個(gè)。7.3 相似度服務(wù)的性能優(yōu)化要點(diǎn)服務(wù)上線的性能優(yōu)化我從兩個(gè)維度來說明。QPS做不上去一般瓶頸在tokenizer轉(zhuǎn)換和GPU推理這兩個(gè)環(huán)節(jié)。tokenizer轉(zhuǎn)換很容易被忽略transformers的tokenizer在Python里的運(yùn)行速度其實(shí)不算快對長文本列表進(jìn)行批量轉(zhuǎn)換時(shí)更明顯。有一個(gè)很常用的技巧是tokenizer(texts, max_length..., paddingTrue, truncationTrue)直接傳入列表而不是在Python循環(huán)里逐個(gè)調(diào)用這會(huì)走tokenizer內(nèi)部的batch邏輯能省下不少時(shí)間。GPU推理方面要盡量避免頻繁地在CPU和GPU之間拷貝數(shù)據(jù)。把所有輸入一次性放到GPU然后一次forward再一次性把結(jié)果拿回CPU這是最優(yōu)的。如果使用半精度推理推理速度還會(huì)再提升。我在一個(gè)生產(chǎn)環(huán)境中把這個(gè)相似度服務(wù)的整體吞吐量做到了單GPU每秒處理數(shù)百條文本已經(jīng)能滿足絕大多數(shù)中小業(yè)務(wù)的調(diào)用需求了。8. 我的一些經(jīng)驗(yàn)總結(jié)和后續(xù)擴(kuò)展建議8.1 模型選型要克制現(xiàn)在開源的中文預(yù)訓(xùn)練模型非常多新模型層出不窮。我建議在實(shí)際項(xiàng)目里保持克制優(yōu)先選擇生態(tài)成熟、文檔齊全、社區(qū)使用量大的模型。BERT-base-Chinese和RoBERTa-wwm-ext是目前最穩(wěn)的選擇。大模型的參數(shù)量動(dòng)輒幾十億效果確實(shí)好但部署成本和推理延遲也是真實(shí)存在的。小業(yè)務(wù)場景用一個(gè)大模型可能GPU成本就吃掉了一年的預(yù)算。先在小模型上驗(yàn)證數(shù)據(jù)質(zhì)量和業(yè)務(wù)邏輯再考慮要不要上大模型這是我反復(fù)踩坑之后得出的經(jīng)驗(yàn)。8.2 中文任務(wù)中數(shù)據(jù)質(zhì)量大于模型我見過太多團(tuán)隊(duì)把精力花在換模型、調(diào)超參上結(jié)果發(fā)現(xiàn)瓶頸根本不在模型而在訓(xùn)練數(shù)據(jù)的質(zhì)量。BERT的預(yù)訓(xùn)練已經(jīng)保證了下限你的標(biāo)注數(shù)據(jù)質(zhì)量決定上限。如果你的數(shù)據(jù)里有大量噪聲模型學(xué)到的是錯(cuò)誤模式再好的模型結(jié)構(gòu)也無濟(jì)于事。所以在做微調(diào)之前先把數(shù)據(jù)清洗、標(biāo)簽校驗(yàn)、樣本分布分析這幾件事做到位模型效果自然會(huì)上去。8.3 后續(xù)可以擴(kuò)展的方向如果你已經(jīng)完全掌握了一個(gè)中文BERT模型的調(diào)用和微調(diào)后續(xù)可以嘗試的擴(kuò)展方向還有很多用trainerAPI替代手寫的訓(xùn)練循環(huán)代碼量能減少一半嘗試PEFT參數(shù)高效微調(diào)技術(shù)用LoRA等方法只更新少量參數(shù)顯存占用大幅降低做模型蒸餾把大模型的知識遷移到一個(gè)小模型上讓推理成本降一個(gè)量級在垂直領(lǐng)域做繼續(xù)預(yù)訓(xùn)練打造你所在行業(yè)的專屬預(yù)訓(xùn)練模型也就是我們在4.4里說的“領(lǐng)域預(yù)訓(xùn)練”的完整路徑做多模態(tài)融合把中文BERT和ResNet這類視覺模型組合起來覆蓋圖像加文本的綜合業(yè)務(wù)場景我個(gè)人在實(shí)際操作中的體會(huì)是中文BERT預(yù)訓(xùn)練模型的生態(tài)已經(jīng)非常成熟了學(xué)習(xí)成本其實(shí)不高真正拉開差距的是對“可調(diào)用”這三個(gè)字的理解深度。能夠把模型穩(wěn)定地嵌入到業(yè)務(wù)系統(tǒng)里遇到問題能快速定位解決這比單純追求模型參數(shù)大小要重要得多。希望這篇文章能幫你少走一些彎路。本文還有配套的精品資源點(diǎn)擊獲取