督情感分析實戰(zhàn)：Stacking框架與弱標簽生成全流程)
簡介這是一份基于Stacking框架的弱監(jiān)督深度學(xué)習情感分析研究算法項目面向計算機相關(guān)專業(yè)學(xué)生及算法研究人員。項目以Python完整源碼為主體涵蓋LSTM、CNN、RNN、樸素貝葉斯、SVM等多種模型的獨立實現(xiàn)并在此基礎(chǔ)上結(jié)合Stacking集成策略完成弱監(jiān)督情感分類實驗適合用作課程設(shè)計、畢業(yè)設(shè)計或算法對比研究的參考范本。資源共包含9個文件主要由6個Python源碼腳本、2個情感語料Excel數(shù)據(jù)表和1個Markdown說明文檔構(gòu)成多個模型腳本可單獨運行與對比正負情感樣本數(shù)據(jù)便于直接開展實驗驗證README文檔提供項目結(jié)構(gòu)與使用方法說明整體包體積約994KB結(jié)構(gòu)清晰易上手。目前已有73人學(xué)習下載通過該資源可獲取完整可運行的情感分析模型代碼、Stacking集成學(xué)習實現(xiàn)思路、數(shù)據(jù)預(yù)處理與實驗對照方法對理解弱監(jiān)督學(xué)習與多模型融合具有不錯的實戰(zhàn)參考價值。1. 弱監(jiān)督深度學(xué)習情感分析為什么 Stacking 框架值得先試情感分析在實際業(yè)務(wù)里最缺的從來不是模型而是標注數(shù)據(jù)。一個電商評論項目從立項到能用往往一半時間耗在讓人工標 3 萬條正負樣本上標完還常發(fā)現(xiàn)標注員之間對“中評算正還是算負”吵了半個月。弱監(jiān)督深度學(xué)習的思路是先不急著雇人用情感詞典、規(guī)則模板、平臺自帶的點贊踩數(shù)這類廉價信號把訓(xùn)練集“粗標”出來再用模型去擬合。代價是標簽噪聲大單模型訓(xùn)練到后期幾乎必然過擬合噪聲表現(xiàn)為驗證集震蕩、類別偏斜。Stacking 框架在這條路上恰好能補位它把多個基學(xué)習器的輸出拿去做第二層訓(xùn)練讓元學(xué)習器學(xué)會“誰的話在哪個區(qū)間更可信”。這套方案適合手里有大量無標注文本、預(yù)算有限、又想盡快跑通情感分類基準線的團隊。下面按一條完整可復(fù)現(xiàn)的路徑展開從基學(xué)習器選型講到弱標簽生成再到 Stacking 元特征構(gòu)造和避坑。2. 基學(xué)習器搭建TextCNN 與 BiLSTM 為什么是弱監(jiān)督下的主力2.1 弱監(jiān)督下選基學(xué)習器先看穩(wěn)定性和訓(xùn)練速度不少人在弱監(jiān)督場景里上來就上 BERT理由是準確率高。但弱標簽訓(xùn)練的實踐中BERT 這類超大模型擬合噪聲的速度比小模型快得多訓(xùn)練成本高還容易讓模型記住錯誤標簽。而情感分析任務(wù)里真正穩(wěn)定的提升來源往往是詞序、否定結(jié)構(gòu)、程度副詞這些局部特征。TextCNN 用多尺寸卷積核抓局部短語BiLSTM 保留詞序信息兩個模型行為差異大恰好能讓第二層 Stacking 獲得互補的預(yù)測分布。何況文本長度通常被截斷在 128 到 256 之間兩個模型在一張消費級 GPU 上訓(xùn)練都只需要分鐘級迭代快適合弱監(jiān)督這種“多發(fā)實驗”的場景。2.2 先搭 TextCNN輕量、穩(wěn)、適合第一批弱標簽樣本第一個基學(xué)習器我一般用 TextCNN因為它訓(xùn)練快、收斂穩(wěn)在短文本情感分析里即使面對弱標簽也能抓住“難吃”“太慢”“差評”這類局部短語。PyTorch 實現(xiàn)如下import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters128, kernel_sizes(2, 3, 4), num_labels3, dropout0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) # 多尺寸卷積核并行提取 2-gram、3-gram、4-gram 局部特征 self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, k, paddingk // 2) for k in kernel_sizes ]) self.dropout nn.Dropout(dropout) self.classifier nn.Linear(num_filters * len(kernel_sizes), num_labels) def forward(self, tokens): emb self.embedding(tokens).permute(0, 2, 1) # B, embed_dim, L feats [] for conv in self.convs: h torch.relu(conv(emb)) h torch.max_pool1d(h, h.size(2)).squeeze(2) feats.append(h) return self.classifier(self.dropout(torch.cat(feats, dim1)))這段代碼里有三個參數(shù)值得重點說明。kernel_sizes(2, 3, 4)是短文本情感分析最常見的配置覆蓋二字詞、三字短語到四字固定搭配num_filters128在弱標簽場景下不需要調(diào)得太大過大反而更容易記住噪聲padding_idx0配合輸入序列統(tǒng)一補零讓 padding 位置不參與訓(xùn)練。訓(xùn)練時交叉熵配合weight_decay加到 Adam 優(yōu)化器里常用配置是lr1e-3, weight_decay1e-4每輪結(jié)束看驗證集準確率連續(xù)兩輪不升就把學(xué)習率降一半。2.3 再搭 BiLSTM補上順序和長距離依賴TextCNN 對詞序不敏感“我喜歡這個產(chǎn)品但不會復(fù)購”這類句子在 CNN 眼里可能是兩個獨立短語的簡單拼接而 BiLSTM 能按順序建模轉(zhuǎn)折結(jié)構(gòu)。實際落地時不要單獨用 LSTM 當主力訓(xùn)練速度慢且容易漂移但作為 Stacking 的第二個基學(xué)習器效果很好class BiLSTMAtt(nn.Module): def __init__(self, vocab_size, embed_dim100, hidden_dim128, num_labels3, dropout0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue, bidirectionalTrue) self.att nn.Linear(hidden_dim * 2, 1) # 注意力打分 self.dropout nn.Dropout(dropout) self.classifier nn.Linear(hidden_dim * 2, num_labels) def forward(self, tokens): out, _ self.lstm(self.embedding(tokens)) # B, L, 2H att_w torch.softmax(self.att(out).squeeze(-1), dim1) # 注意力加權(quán)求和把整句壓縮成一個向量 ctx torch.bmm(out.transpose(1, 2), att_w.unsqueeze(-1)).squeeze(-1) return self.classifier(self.dropout(ctx))注意這里hidden_dim128指的是單向隱藏維度雙向拼接后是 256。注意力機制的作用不是提升弱標簽下的絕對準確率而是讓模型在長句里不容易被某個強情感詞帶偏這一點在 Stacking 里面表現(xiàn)為預(yù)測概率分布更平滑。訓(xùn)練時 LSTM 收斂比 CNN 慢通常需要多跑 3 到 5 個 epoch 才能穩(wěn)定所以弱監(jiān)督訓(xùn)練中我會先跑完 TextCNN再用它的預(yù)測結(jié)果作為 LSTM 的初始偽標簽輔助。BiLSTM 對學(xué)習率更敏感常見做法是把學(xué)習率降到 CNN 的一半即lr5e-4。2.4 第三個視角加一個“非深度”基學(xué)習器提升堆疊多樣性Stacking 的收益來源不是單個模型有多準而是元學(xué)習器能看到不同模型的“分歧”。很多實踐里只堆兩個深度模型效果和直接平均差不多。我一般會加入第三個基學(xué)習器邏輯回歸配合 TF-IDF 特征。這類線性模型在短文本上往往不比深度模型差多少而且它對詞頻的感知方式完全不同深度模型學(xué)的是分布式表征線性模型學(xué)的是稀疏命中。第三路預(yù)測概率進入 Stacking 后元學(xué)習器能學(xué)到“當 CNN 和 LSTM 都猶豫時樸素線性模型的判斷更可信”這樣的規(guī)則。這個視角在弱監(jiān)督場景下尤其好用因為 TF-IDF 不會被 embedding 層放大噪聲。3. 弱標簽生成三個廉價信號來源與置信度校準3.1 情感詞典打分是弱監(jiān)督的起點但別直接當硬標簽弱監(jiān)督的第一步不是訓(xùn)練模型而是造標簽。最常見也最可控的來源是通用情感詞典把帶極性分數(shù)的詞表加載進來對每條文本分詞后累加分數(shù)。這一步在開源分詞工具配合下很容易實現(xiàn)import jieba import torch def weak_label(text_list, lexicon, negation_words(不, 沒, 別)): scores [] for sent in text_list: words jieba.lcut(sent) raw sum(lexicon.get(w, 0.0) for w in words) # 否定詞翻轉(zhuǎn)例如“不難吃”整體極性由負轉(zhuǎn)正 if any(nw in words for nw in negation_words): raw -raw scores.append(raw) scores torch.tensor(scores) pos scores 0.3 neg scores -0.3 neutral ~(pos | neg) labels torch.where(pos, 1, torch.where(neg, -1, 0)).numpy() return labels, scores.numpy()這里有個新手最容易翻車的點把詞典得分直接當作硬標簽使用。實際情感詞在語境里有程度差異“還不錯”和“太好了”得分可能一樣但置信度差很遠。代碼里的labels只是輔助信號真正訓(xùn)練時要額外把scores歸一化后作為樣本權(quán)重傳進損失函數(shù)讓得分高的樣本對梯度影響更大。閾值 0.3 是經(jīng)驗初值后續(xù)要用小規(guī)模人工標注校準。3.2 表情符號和點贊數(shù)據(jù)是第二個信號源召回勝過精度詞典覆蓋不了口語化表達比如“哈哈哈哈”和“裂開”在詞典里可能完全沒有。這時可以用平臺側(cè)的弱信號帶正面表情符號的評論推定為正負面表情符號推定為負有大量點踩的負面行為數(shù)據(jù)也可以用但這類信號偏斜嚴重更適合做召回而不是精標注。做法是把這批樣本單獨放在一個 DataFrame 里不并入詞典標出的樣本而是作為“高置信候選集”的一部分等 embedding 模型訓(xùn)完第一輪后再通過預(yù)測概率篩選加入。這個做法本質(zhì)上是從弱監(jiān)督平滑過渡到偽標簽自訓(xùn)練。3.3 用 200 條人工標注做閾值校準讓弱標簽分布和真實分布對齊弱監(jiān)督方案能不能用取決于生成的標簽分布和真實標簽分布有多接近。常見做法是人工標注 200 條樣本畫一條閾值 vs 精確率的曲線閾值調(diào)大保留的樣本更準但更少閾值調(diào)小樣本多了但噪聲變大。實操中我通常標三份各 200 條一份來自純詞典規(guī)則一份來自表情符來源一份是隨機抽樣跑通流程后的預(yù)測結(jié)果分別觀察它們在不同閾值下的精確率和召回率。多數(shù)時候 0.3 到 0.5 之間是甜區(qū)低于 0.2 的弱標簽噪聲會讓 Stacking 上層的元學(xué)習器學(xué)到虛假模式高于 0.8 則樣本量不夠基學(xué)習器欠擬合。3.4 弱標簽生成后必須檢查類別分布穩(wěn)定性弱監(jiān)督信號常常自帶分布偏差電商評論里純粹的中性句很少但規(guī)則引擎會把大量“發(fā)貨很快但質(zhì)量一般”判成中性因為正負分數(shù)抵消。這時候類別比例看起來合理實際是錯誤抵消的假象。我的習慣是每輪生成弱標簽后打印三件事類別占比、每類平均得分方差、詞典未命中率。未命中率超過 40% 說明當前詞典已經(jīng)撐不住這個領(lǐng)域的表達需要補充領(lǐng)域詞或增加新信號源。4. Stacking 框架實操用交叉驗證生成 OOF 特征避免自樣本泄漏4.1 Stacking 在弱監(jiān)督里的定位不是堆模型而是學(xué)分歧很多人對 Stacking 的理解停留在“把多個模型的預(yù)測結(jié)果平均一下”這其實是 Bagging 的思路。Stacking 的核心差異是第二層有一個可訓(xùn)練模型它學(xué)習的輸入是基學(xué)習器在樣本上的預(yù)測概率輸出是最終標簽。弱監(jiān)督場景下基學(xué)習器各自學(xué)到不同的錯誤模式元學(xué)習器如果能把“模型 A 給 0.7、模型 B 給 0.2 時更可能是噪聲”這樣的條件概率學(xué)出來整體效果就會比任何單一模型都穩(wěn)。但這一切的前提是元學(xué)習器的輸入特征必須來自交叉驗證否則基學(xué)習器看過訓(xùn)練標簽后給出的概率完全失真。4.2 五折 OOF 特征生成Stacking 的嫡系飯票每個基學(xué)習器都要先在自己的訓(xùn)練折上訓(xùn)練再對驗證折預(yù)測。這樣每個樣本獲得的預(yù)測概率都來自一個從未見過它的模型元學(xué)習器看到的就不帶自樣本樂觀偏差。代碼如下import numpy as np from sklearn.model_selection import StratifiedKFold from sklearn.linear_model import LogisticRegression def build_oof(estimator, X, y, n_fold5, seed42): skf StratifiedKFold(n_splitsn_fold, shuffleTrue, random_stateseed) oof np.zeros((len(X), 3)) for tr_idx, va_idx in skf.split(X, y): model estimator # 每個 fold 需要重新初始化 fold_model clone(estimator) fold_model.fit(X.iloc[tr_idx], y[tr_idx]) oof[va_idx] fold_model.predict_proba(X.iloc[va_idx]) return oof注意代碼里有兩個隱藏細節(jié)。第一clone(estimator)不是裝飾品如果直接把同一個模型對象放到循環(huán)里前面折訓(xùn)練的權(quán)重會被后面折覆蓋最終五折預(yù)測全部來自最后一次訓(xùn)練結(jié)果OOF 徹底失效。第二分層五折的前提是弱標簽三類都有足夠樣本如果某一類少于 50 條不要強行分層改用StratifiedKFold會報錯或產(chǎn)生空折這時先做下采樣或過采樣再進 OOF 流程。4.3 元特征不止預(yù)測概率加入置信度和文本統(tǒng)計特征元學(xué)習器的輸入不局限于基學(xué)習器的三分類概率。我常用的元特征分三組第一組是 CNN、LSTM、線性模型的預(yù)測概率向量共 9 維第二組是當前樣本弱標簽置信度得分和詞典得分這兩個數(shù)字告訴元學(xué)習器原始信號的可信度第三組是文本長度、否定詞個數(shù)、情感詞命中數(shù)。這些特征組合起來后元學(xué)習器能學(xué)到“文本很短且情感詞密集時深度模型更準文本很長時注意力 LSTM 的輸出更值得參考”這類規(guī)則。把特征拼好后第二層模型我一般選帶 L2 正則的邏輯回歸因為元特征維度低、噪聲標簽仍然存在過于復(fù)雜的 GBDT 反而容易過擬合meta_features np.hstack([ oof_cnn, # 3 列 oof_lstm, # 3 列 oof_lr, # 3 列 senti_score.reshape(-1, 1), # 詞典置信度 neg_count.reshape(-1, 1), # 否定詞數(shù)量 text_len.reshape(-1, 1), # 文本長度 ]) meta_clf LogisticRegression(C0.5, max_iter1000) meta_clf.fit(meta_features, y)C0.5的意思是正則強度適中。弱標簽場景下元學(xué)習器面對的特征本身已經(jīng)是從帶噪標簽里提煉出來的正則太弱會把基學(xué)習器的系統(tǒng)性偏差學(xué)進最終預(yù)測正則太強又退化成簡單平均。max_iter1000沒有必要改邏輯回歸在這個特征維度下幾百輪就能收斂。上線階段直接調(diào)用meta_clf.predict_proba即可基學(xué)習器的預(yù)測也要走完全相同的預(yù)處理流程這一步在工程上最容易漏。4.4 訓(xùn)練一個強基學(xué)習器和弱基學(xué)習器不如五個中等模型歧見是 Stacking 的核心但實踐里有個誤區(qū)把五個結(jié)構(gòu)幾乎相同的模型當五個基學(xué)習器只是改了隨機種子結(jié)果差別極小。真正有效的是結(jié)構(gòu)差異大的組合比如 TextCNN、BiLSTM、TF-IDF 線性模型之外再加一個基于詞向量的平均池化模型它計算的是整句語義的“重心”和 CNN、LSTM 的行為模式完全不同。五個中等準確率模型堆出來的 Stacking在弱標簽上往往超過兩個 90 分模型的簡單集成這個結(jié)論在多次實驗里都很穩(wěn)定。5. 避坑清單弱監(jiān)督 Stacking 最容易翻車的四個細節(jié)5.1 模型記住了噪聲表現(xiàn)為訓(xùn)練集準確率 97%驗證集跌回 70%這是弱監(jiān)督任務(wù)里最常見的現(xiàn)象。原因是弱標簽本身有系統(tǒng)性偏差比如詞典把“質(zhì)量堪憂”判為負、模型確實學(xué)到了這個規(guī)則但在真實驗證集上“質(zhì)量堪憂”可能被人工標成了中性。解決辦法是先別急著換模型結(jié)構(gòu)回到弱標簽生成環(huán)節(jié)看置信度分布。把低置信度樣本篩掉一部分再訓(xùn)比任何正則化都有效。另一個補救是給低置信度樣本降低損失權(quán)重我用過sample_weight 0.5 abs(senti_score) / max_score效果比單純刪樣本平滑。5.2 五折 OOF 之后直接復(fù)用了全部數(shù)據(jù)訓(xùn)練基學(xué)習器Stacker 驗證分數(shù)虛高現(xiàn)象是 Stacking 的驗證分數(shù)很高上線后立刻掉幾個百分點。原因是 OOF 只是元特征生成階段用了五折拿到 OOF 后有人順手用全量數(shù)據(jù)重新訓(xùn)練了一份基學(xué)習器再用這份全量模型去生成測試集特征。這不影響 OOF 自身但會讓 Stacker 見到的訓(xùn)練特征和生成特征的方式不一致。規(guī)范做法是保留五折模型測試集推理時把五個模型的結(jié)果取平均或直接做第五折預(yù)測這兩種方法都行但千萬別混合使用。5.3 弱標簽里正負樣本比例嚴重失調(diào)Stacker 輸出了“永遠預(yù)測多數(shù)類”弱監(jiān)督生成階段經(jīng)常出現(xiàn)正類樣本占比 80% 以上?；鶎W(xué)習器對這種分布學(xué)到的概率本身就偏向正類三個模型概率疊加后元學(xué)習器即使什么都不學(xué)預(yù)測正類也能拿高準確率。解決方式是做兩層校準。第一層是在基學(xué)習器階段用類別加權(quán)損失torch.nn.CrossEntropyLoss(weighttorch.tensor([1.0, 1.5, 2.0]))第二層是在 Stacker 訓(xùn)練前對元特征做標準化。注意此時不要在 Stacker 里再放開類別權(quán)重元學(xué)習器只需要學(xué)到基學(xué)習器輸出到真實標簽的映射二次加權(quán)反而引入新的偏斜。5.4 把 OOF 特征保存了但丟了歸一化參數(shù)第二天評估時整條鏈路報錯又定位不到這是工程踩坑。弱標簽方案里元特征里的文本長度、詞典得分量綱差異大有些實現(xiàn)會對元特征做 StandardScaler。如果只在訓(xùn)練時 fit推理時沒保存 scaler 對象線上接口接收到的特征全是原始量綱Stacker 預(yù)測結(jié)果直接失真。因為報錯不會出現(xiàn)模型還能跑掩蓋了問題。我的習慣是把 scaler 和 meta_clf 一起存進同一個 joblib 文件文件名里標注生成日期和弱標簽版本確保特征處理鏈路是同一個版本。這是弱監(jiān)督 Stacking 項目里最不起眼卻又最值得養(yǎng)成習慣的地方。6. 上線前的最后驗證用小樣本人工標注把整套系統(tǒng)拽回來6.1 給整套系統(tǒng)造一批“底火”測試集弱監(jiān)督項目的驗收不能只看 Stacking 在弱標簽上的分數(shù)因為那批標簽本身就是系統(tǒng)自己生成的循環(huán)驗證沒有說服力。我會額外人工標注 500 條樣本覆蓋正、負、中性三種分布和線上真實比例相近。把這 500 條放進評估流程后分別對三個基學(xué)習器和 Stacker 計算混淆矩陣重點關(guān)注“中性被分到正類”和“負類被分到中性”這兩類錯因為它們在業(yè)務(wù)里代價完全不同。觀察 Stacker 相對最佳單模型是否真的有提升如果只提升 0.5 個百分點以內(nèi)說明基學(xué)習器之間的互補性不強這時候與其堆模型不如回去補弱標簽質(zhì)量。6.2 逐條檢查失敗樣本確認弱監(jiān)督的收益來自哪一層我會從評估集里挑出真實標簽是負、但弱標簽給成了正的樣本看它們在哪幾個模型上判斷錯誤。這類樣本通常包含反諷句比如“真不錯三天就壞了”詞典得分會被“不錯”帶成正分三個基學(xué)習器可能都被騙Stacker 也沒有救回來。這種失敗說明當前弱信號里缺少反諷檢測不是 Stacking 能解決的問題考慮加反諷句式模板到弱標簽生成階段更有效。反過來如果 Stacker 能在某個模型錯、某個模型對的樣本上做出正確選擇就說明這一層確實學(xué)到了有用的條件關(guān)系這套方案就值得繼續(xù)投入。我的習慣是每次調(diào)完參數(shù)都把失敗樣本存成一個 CSV按類型分組。幾輪迭代之后回看往往發(fā)現(xiàn)真正拖后腿的不是模型而是弱標簽來源。這一套流程走下來弱監(jiān)督加 Stacking 的組合能幫你用很少的人工標注把情感分析基線跑到可接受水平后續(xù)再逐步加入更高質(zhì)量的標注數(shù)據(jù)替換弱標簽?zāi)Ｐ瓦€能繼續(xù)漲點。希望幫到你。本文還有配套的精品資源點擊獲取 弱監(jiān)督情感分析實戰(zhàn)：Stacking框架與弱標簽生成全流程
簡介這是一份基于Stacking框架的弱監(jiān)督深度學(xué)習情感分析研究算法項目面向計算機相關(guān)專業(yè)學(xué)生及算法研究人員。項目以Python完整源碼為主體涵蓋LSTM、CNN、RNN、樸素貝葉斯、SVM等多種模型的獨立實現(xiàn)并在此基礎(chǔ)上結(jié)合Stacking集成策略完成弱監(jiān)督情感分類實驗適合用作課程設(shè)計、畢業(yè)設(shè)計或算法對比研究的參考范本。資源共包含9個文件主要由6個Python源碼腳本、2個情感語料Excel數(shù)據(jù)表和1個Markdown說明文檔構(gòu)成多個模型腳本可單獨運行與對比正負情感樣本數(shù)據(jù)便于直接開展實驗驗證README文檔提供項目結(jié)構(gòu)與使用方法說明整體包體積約994KB結(jié)構(gòu)清晰易上手。目前已有73人學(xué)習下載通過該資源可獲取完整可運行的情感分析模型代碼、Stacking集成學(xué)習實現(xiàn)思路、數(shù)據(jù)預(yù)處理與實驗對照方法對理解弱監(jiān)督學(xué)習與多模型融合具有不錯的實戰(zhàn)參考價值。1. 弱監(jiān)督深度學(xué)習情感分析為什么 Stacking 框架值得先試情感分析在實際業(yè)務(wù)里最缺的從來不是模型而是標注數(shù)據(jù)。一個電商評論項目從立項到能用往往一半時間耗在讓人工標 3 萬條正負樣本上標完還常發(fā)現(xiàn)標注員之間對“中評算正還是算負”吵了半個月。弱監(jiān)督深度學(xué)習的思路是先不急著雇人用情感詞典、規(guī)則模板、平臺自帶的點贊踩數(shù)這類廉價信號把訓(xùn)練集“粗標”出來再用模型去擬合。代價是標簽噪聲大單模型訓(xùn)練到后期幾乎必然過擬合噪聲表現(xiàn)為驗證集震蕩、類別偏斜。Stacking 框架在這條路上恰好能補位它把多個基學(xué)習器的輸出拿去做第二層訓(xùn)練讓元學(xué)習器學(xué)會“誰的話在哪個區(qū)間更可信”。這套方案適合手里有大量無標注文本、預(yù)算有限、又想盡快跑通情感分類基準線的團隊。下面按一條完整可復(fù)現(xiàn)的路徑展開從基學(xué)習器選型講到弱標簽生成再到 Stacking 元特征構(gòu)造和避坑。2. 基學(xué)習器搭建TextCNN 與 BiLSTM 為什么是弱監(jiān)督下的主力2.1 弱監(jiān)督下選基學(xué)習器先看穩(wěn)定性和訓(xùn)練速度不少人在弱監(jiān)督場景里上來就上 BERT理由是準確率高。但弱標簽訓(xùn)練的實踐中BERT 這類超大模型擬合噪聲的速度比小模型快得多訓(xùn)練成本高還容易讓模型記住錯誤標簽。而情感分析任務(wù)里真正穩(wěn)定的提升來源往往是詞序、否定結(jié)構(gòu)、程度副詞這些局部特征。TextCNN 用多尺寸卷積核抓局部短語BiLSTM 保留詞序信息兩個模型行為差異大恰好能讓第二層 Stacking 獲得互補的預(yù)測分布。何況文本長度通常被截斷在 128 到 256 之間兩個模型在一張消費級 GPU 上訓(xùn)練都只需要分鐘級迭代快適合弱監(jiān)督這種“多發(fā)實驗”的場景。2.2 先搭 TextCNN輕量、穩(wěn)、適合第一批弱標簽樣本第一個基學(xué)習器我一般用 TextCNN因為它訓(xùn)練快、收斂穩(wěn)在短文本情感分析里即使面對弱標簽也能抓住“難吃”“太慢”“差評”這類局部短語。PyTorch 實現(xiàn)如下import torch import torch.nn as nn class TextCNN(nn.Module): def __init__(self, vocab_size, embed_dim100, num_filters128, kernel_sizes(2, 3, 4), num_labels3, dropout0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) # 多尺寸卷積核并行提取 2-gram、3-gram、4-gram 局部特征 self.convs nn.ModuleList([ nn.Conv1d(embed_dim, num_filters, k, paddingk // 2) for k in kernel_sizes ]) self.dropout nn.Dropout(dropout) self.classifier nn.Linear(num_filters * len(kernel_sizes), num_labels) def forward(self, tokens): emb self.embedding(tokens).permute(0, 2, 1) # B, embed_dim, L feats [] for conv in self.convs: h torch.relu(conv(emb)) h torch.max_pool1d(h, h.size(2)).squeeze(2) feats.append(h) return self.classifier(self.dropout(torch.cat(feats, dim1)))這段代碼里有三個參數(shù)值得重點說明。kernel_sizes(2, 3, 4)是短文本情感分析最常見的配置覆蓋二字詞、三字短語到四字固定搭配num_filters128在弱標簽場景下不需要調(diào)得太大過大反而更容易記住噪聲padding_idx0配合輸入序列統(tǒng)一補零讓 padding 位置不參與訓(xùn)練。訓(xùn)練時交叉熵配合weight_decay加到 Adam 優(yōu)化器里常用配置是lr1e-3, weight_decay1e-4每輪結(jié)束看驗證集準確率連續(xù)兩輪不升就把學(xué)習率降一半。2.3 再搭 BiLSTM補上順序和長距離依賴TextCNN 對詞序不敏感“我喜歡這個產(chǎn)品但不會復(fù)購”這類句子在 CNN 眼里可能是兩個獨立短語的簡單拼接而 BiLSTM 能按順序建模轉(zhuǎn)折結(jié)構(gòu)。實際落地時不要單獨用 LSTM 當主力訓(xùn)練速度慢且容易漂移但作為 Stacking 的第二個基學(xué)習器效果很好class BiLSTMAtt(nn.Module): def __init__(self, vocab_size, embed_dim100, hidden_dim128, num_labels3, dropout0.3): super().__init__() self.embedding nn.Embedding(vocab_size, embed_dim, padding_idx0) self.lstm nn.LSTM(embed_dim, hidden_dim, batch_firstTrue, bidirectionalTrue) self.att nn.Linear(hidden_dim * 2, 1) # 注意力打分 self.dropout nn.Dropout(dropout) self.classifier nn.Linear(hidden_dim * 2, num_labels) def forward(self, tokens): out, _ self.lstm(self.embedding(tokens)) # B, L, 2H att_w torch.softmax(self.att(out).squeeze(-1), dim1) # 注意力加權(quán)求和把整句壓縮成一個向量 ctx torch.bmm(out.transpose(1, 2), att_w.unsqueeze(-1)).squeeze(-1) return self.classifier(self.dropout(ctx))注意這里hidden_dim128指的是單向隱藏維度雙向拼接后是 256。注意力機制的作用不是提升弱標簽下的絕對準確率而是讓模型在長句里不容易被某個強情感詞帶偏這一點在 Stacking 里面表現(xiàn)為預(yù)測概率分布更平滑。訓(xùn)練時 LSTM 收斂比 CNN 慢通常需要多跑 3 到 5 個 epoch 才能穩(wěn)定所以弱監(jiān)督訓(xùn)練中我會先跑完 TextCNN再用它的預(yù)測結(jié)果作為 LSTM 的初始偽標簽輔助。BiLSTM 對學(xué)習率更敏感常見做法是把學(xué)習率降到 CNN 的一半即lr5e-4。2.4 第三個視角加一個“非深度”基學(xué)習器提升堆疊多樣性Stacking 的收益來源不是單個模型有多準而是元學(xué)習器能看到不同模型的“分歧”。很多實踐里只堆兩個深度模型效果和直接平均差不多。我一般會加入第三個基學(xué)習器邏輯回歸配合 TF-IDF 特征。這類線性模型在短文本上往往不比深度模型差多少而且它對詞頻的感知方式完全不同深度模型學(xué)的是分布式表征線性模型學(xué)的是稀疏命中。第三路預(yù)測概率進入 Stacking 后元學(xué)習器能學(xué)到“當 CNN 和 LSTM 都猶豫時樸素線性模型的判斷更可信”這樣的規(guī)則。這個視角在弱監(jiān)督場景下尤其好用因為 TF-IDF 不會被 embedding 層放大噪聲。3. 弱標簽生成三個廉價信號來源與置信度校準3.1 情感詞典打分是弱監(jiān)督的起點但別直接當硬標簽弱監(jiān)督的第一步不是訓(xùn)練模型而是造標簽。最常見也最可控的來源是通用情感詞典把帶極性分數(shù)的詞表加載進來對每條文本分詞后累加分數(shù)。這一步在開源分詞工具配合下很容易實現(xiàn)import jieba import torch def weak_label(text_list, lexicon, negation_words(不, 沒, 別)): scores [] for sent in text_list: words jieba.lcut(sent) raw sum(lexicon.get(w, 0.0) for w in words) # 否定詞翻轉(zhuǎn)例如“不難吃”整體極性由負轉(zhuǎn)正 if any(nw in words for nw in negation_words): raw -raw scores.append(raw) scores torch.tensor(scores) pos scores 0.3 neg scores -0.3 neutral ~(pos | neg) labels torch.where(pos, 1, torch.where(neg, -1, 0)).numpy() return labels, scores.numpy()這里有個新手最容易翻車的點把詞典得分直接當作硬標簽使用。實際情感詞在語境里有程度差異“還不錯”和“太好了”得分可能一樣但置信度差很遠。代碼里的labels只是輔助信號真正訓(xùn)練時要額外把scores歸一化后作為樣本權(quán)重傳進損失函數(shù)讓得分高的樣本對梯度影響更大。閾值 0.3 是經(jīng)驗初值后續(xù)要用小規(guī)模人工標注校準。3.2 表情符號和點贊數(shù)據(jù)是第二個信號源召回勝過精度詞典覆蓋不了口語化表達比如“哈哈哈哈”和“裂開”在詞典里可能完全沒有。這時可以用平臺側(cè)的弱信號帶正面表情符號的評論推定為正負面表情符號推定為負有大量點踩的負面行為數(shù)據(jù)也可以用但這類信號偏斜嚴重更適合做召回而不是精標注。做法是把這批樣本單獨放在一個 DataFrame 里不并入詞典標出的樣本而是作為“高置信候選集”的一部分等 embedding 模型訓(xùn)完第一輪后再通過預(yù)測概率篩選加入。這個做法本質(zhì)上是從弱監(jiān)督平滑過渡到偽標簽自訓(xùn)練。3.3 用 200 條人工標注做閾值校準讓弱標簽分布和真實分布對齊弱監(jiān)督方案能不能用取決于生成的標簽分布和真實標簽分布有多接近。常見做法是人工標注 200 條樣本畫一條閾值 vs 精確率的曲線閾值調(diào)大保留的樣本更準但更少閾值調(diào)小樣本多了但噪聲變大。實操中我通常標三份各 200 條一份來自純詞典規(guī)則一份來自表情符來源一份是隨機抽樣跑通流程后的預(yù)測結(jié)果分別觀察它們在不同閾值下的精確率和召回率。多數(shù)時候 0.3 到 0.5 之間是甜區(qū)低于 0.2 的弱標簽噪聲會讓 Stacking 上層的元學(xué)習器學(xué)到虛假模式高于 0.8 則樣本量不夠基學(xué)習器欠擬合。3.4 弱標簽生成后必須檢查類別分布穩(wěn)定性弱監(jiān)督信號常常自帶分布偏差電商評論里純粹的中性句很少但規(guī)則引擎會把大量“發(fā)貨很快但質(zhì)量一般”判成中性因為正負分數(shù)抵消。這時候類別比例看起來合理實際是錯誤抵消的假象。我的習慣是每輪生成弱標簽后打印三件事類別占比、每類平均得分方差、詞典未命中率。未命中率超過 40% 說明當前詞典已經(jīng)撐不住這個領(lǐng)域的表達需要補充領(lǐng)域詞或增加新信號源。4. Stacking 框架實操用交叉驗證生成 OOF 特征避免自樣本泄漏4.1 Stacking 在弱監(jiān)督里的定位不是堆模型而是學(xué)分歧很多人對 Stacking 的理解停留在“把多個模型的預(yù)測結(jié)果平均一下”這其實是 Bagging 的思路。Stacking 的核心差異是第二層有一個可訓(xùn)練模型它學(xué)習的輸入是基學(xué)習器在樣本上的預(yù)測概率輸出是最終標簽。弱監(jiān)督場景下基學(xué)習器各自學(xué)到不同的錯誤模式元學(xué)習器如果能把“模型 A 給 0.7、模型 B 給 0.2 時更可能是噪聲”這樣的條件概率學(xué)出來整體效果就會比任何單一模型都穩(wěn)。但這一切的前提是元學(xué)習器的輸入特征必須來自交叉驗證否則基學(xué)習器看過訓(xùn)練標簽后給出的概率完全失真。4.2 五折 OOF 特征生成Stacking 的嫡系飯票每個基學(xué)習器都要先在自己的訓(xùn)練折上訓(xùn)練再對驗證折預(yù)測。這樣每個樣本獲得的預(yù)測概率都來自一個從未見過它的模型元學(xué)習器看到的就不帶自樣本樂觀偏差。代碼如下import numpy as np from sklearn.model_selection import StratifiedKFold from sklearn.linear_model import LogisticRegression def build_oof(estimator, X, y, n_fold5, seed42): skf StratifiedKFold(n_splitsn_fold, shuffleTrue, random_stateseed) oof np.zeros((len(X), 3)) for tr_idx, va_idx in skf.split(X, y): model estimator # 每個 fold 需要重新初始化 fold_model clone(estimator) fold_model.fit(X.iloc[tr_idx], y[tr_idx]) oof[va_idx] fold_model.predict_proba(X.iloc[va_idx]) return oof注意代碼里有兩個隱藏細節(jié)。第一clone(estimator)不是裝飾品如果直接把同一個模型對象放到循環(huán)里前面折訓(xùn)練的權(quán)重會被后面折覆蓋最終五折預(yù)測全部來自最后一次訓(xùn)練結(jié)果OOF 徹底失效。第二分層五折的前提是弱標簽三類都有足夠樣本如果某一類少于 50 條不要強行分層改用StratifiedKFold會報錯或產(chǎn)生空折這時先做下采樣或過采樣再進 OOF 流程。4.3 元特征不止預(yù)測概率加入置信度和文本統(tǒng)計特征元學(xué)習器的輸入不局限于基學(xué)習器的三分類概率。我常用的元特征分三組第一組是 CNN、LSTM、線性模型的預(yù)測概率向量共 9 維第二組是當前樣本弱標簽置信度得分和詞典得分這兩個數(shù)字告訴元學(xué)習器原始信號的可信度第三組是文本長度、否定詞個數(shù)、情感詞命中數(shù)。這些特征組合起來后元學(xué)習器能學(xué)到“文本很短且情感詞密集時深度模型更準文本很長時注意力 LSTM 的輸出更值得參考”這類規(guī)則。把特征拼好后第二層模型我一般選帶 L2 正則的邏輯回歸因為元特征維度低、噪聲標簽仍然存在過于復(fù)雜的 GBDT 反而容易過擬合meta_features np.hstack([ oof_cnn, # 3 列 oof_lstm, # 3 列 oof_lr, # 3 列 senti_score.reshape(-1, 1), # 詞典置信度 neg_count.reshape(-1, 1), # 否定詞數(shù)量 text_len.reshape(-1, 1), # 文本長度 ]) meta_clf LogisticRegression(C0.5, max_iter1000) meta_clf.fit(meta_features, y)C0.5的意思是正則強度適中。弱標簽場景下元學(xué)習器面對的特征本身已經(jīng)是從帶噪標簽里提煉出來的正則太弱會把基學(xué)習器的系統(tǒng)性偏差學(xué)進最終預(yù)測正則太強又退化成簡單平均。max_iter1000沒有必要改邏輯回歸在這個特征維度下幾百輪就能收斂。上線階段直接調(diào)用meta_clf.predict_proba即可基學(xué)習器的預(yù)測也要走完全相同的預(yù)處理流程這一步在工程上最容易漏。4.4 訓(xùn)練一個強基學(xué)習器和弱基學(xué)習器不如五個中等模型歧見是 Stacking 的核心但實踐里有個誤區(qū)把五個結(jié)構(gòu)幾乎相同的模型當五個基學(xué)習器只是改了隨機種子結(jié)果差別極小。真正有效的是結(jié)構(gòu)差異大的組合比如 TextCNN、BiLSTM、TF-IDF 線性模型之外再加一個基于詞向量的平均池化模型它計算的是整句語義的“重心”和 CNN、LSTM 的行為模式完全不同。五個中等準確率模型堆出來的 Stacking在弱標簽上往往超過兩個 90 分模型的簡單集成這個結(jié)論在多次實驗里都很穩(wěn)定。5. 避坑清單弱監(jiān)督 Stacking 最容易翻車的四個細節(jié)5.1 模型記住了噪聲表現(xiàn)為訓(xùn)練集準確率 97%驗證集跌回 70%這是弱監(jiān)督任務(wù)里最常見的現(xiàn)象。原因是弱標簽本身有系統(tǒng)性偏差比如詞典把“質(zhì)量堪憂”判為負、模型確實學(xué)到了這個規(guī)則但在真實驗證集上“質(zhì)量堪憂”可能被人工標成了中性。解決辦法是先別急著換模型結(jié)構(gòu)回到弱標簽生成環(huán)節(jié)看置信度分布。把低置信度樣本篩掉一部分再訓(xùn)比任何正則化都有效。另一個補救是給低置信度樣本降低損失權(quán)重我用過sample_weight 0.5 abs(senti_score) / max_score效果比單純刪樣本平滑。5.2 五折 OOF 之后直接復(fù)用了全部數(shù)據(jù)訓(xùn)練基學(xué)習器Stacker 驗證分數(shù)虛高現(xiàn)象是 Stacking 的驗證分數(shù)很高上線后立刻掉幾個百分點。原因是 OOF 只是元特征生成階段用了五折拿到 OOF 后有人順手用全量數(shù)據(jù)重新訓(xùn)練了一份基學(xué)習器再用這份全量模型去生成測試集特征。這不影響 OOF 自身但會讓 Stacker 見到的訓(xùn)練特征和生成特征的方式不一致。規(guī)范做法是保留五折模型測試集推理時把五個模型的結(jié)果取平均或直接做第五折預(yù)測這兩種方法都行但千萬別混合使用。5.3 弱標簽里正負樣本比例嚴重失調(diào)Stacker 輸出了“永遠預(yù)測多數(shù)類”弱監(jiān)督生成階段經(jīng)常出現(xiàn)正類樣本占比 80% 以上?；鶎W(xué)習器對這種分布學(xué)到的概率本身就偏向正類三個模型概率疊加后元學(xué)習器即使什么都不學(xué)預(yù)測正類也能拿高準確率。解決方式是做兩層校準。第一層是在基學(xué)習器階段用類別加權(quán)損失torch.nn.CrossEntropyLoss(weighttorch.tensor([1.0, 1.5, 2.0]))第二層是在 Stacker 訓(xùn)練前對元特征做標準化。注意此時不要在 Stacker 里再放開類別權(quán)重元學(xué)習器只需要學(xué)到基學(xué)習器輸出到真實標簽的映射二次加權(quán)反而引入新的偏斜。5.4 把 OOF 特征保存了但丟了歸一化參數(shù)第二天評估時整條鏈路報錯又定位不到這是工程踩坑。弱標簽方案里元特征里的文本長度、詞典得分量綱差異大有些實現(xiàn)會對元特征做 StandardScaler。如果只在訓(xùn)練時 fit推理時沒保存 scaler 對象線上接口接收到的特征全是原始量綱Stacker 預(yù)測結(jié)果直接失真。因為報錯不會出現(xiàn)模型還能跑掩蓋了問題。我的習慣是把 scaler 和 meta_clf 一起存進同一個 joblib 文件文件名里標注生成日期和弱標簽版本確保特征處理鏈路是同一個版本。這是弱監(jiān)督 Stacking 項目里最不起眼卻又最值得養(yǎng)成習慣的地方。6. 上線前的最后驗證用小樣本人工標注把整套系統(tǒng)拽回來6.1 給整套系統(tǒng)造一批“底火”測試集弱監(jiān)督項目的驗收不能只看 Stacking 在弱標簽上的分數(shù)因為那批標簽本身就是系統(tǒng)自己生成的循環(huán)驗證沒有說服力。我會額外人工標注 500 條樣本覆蓋正、負、中性三種分布和線上真實比例相近。把這 500 條放進評估流程后分別對三個基學(xué)習器和 Stacker 計算混淆矩陣重點關(guān)注“中性被分到正類”和“負類被分到中性”這兩類錯因為它們在業(yè)務(wù)里代價完全不同。觀察 Stacker 相對最佳單模型是否真的有提升如果只提升 0.5 個百分點以內(nèi)說明基學(xué)習器之間的互補性不強這時候與其堆模型不如回去補弱標簽質(zhì)量。6.2 逐條檢查失敗樣本確認弱監(jiān)督的收益來自哪一層我會從評估集里挑出真實標簽是負、但弱標簽給成了正的樣本看它們在哪幾個模型上判斷錯誤。這類樣本通常包含反諷句比如“真不錯三天就壞了”詞典得分會被“不錯”帶成正分三個基學(xué)習器可能都被騙Stacker 也沒有救回來。這種失敗說明當前弱信號里缺少反諷檢測不是 Stacking 能解決的問題考慮加反諷句式模板到弱標簽生成階段更有效。反過來如果 Stacker 能在某個模型錯、某個模型對的樣本上做出正確選擇就說明這一層確實學(xué)到了有用的條件關(guān)系這套方案就值得繼續(xù)投入。我的習慣是每次調(diào)完參數(shù)都把失敗樣本存成一個 CSV按類型分組。幾輪迭代之后回看往往發(fā)現(xiàn)真正拖后腿的不是模型而是弱標簽來源。這一套流程走下來弱監(jiān)督加 Stacking 的組合能幫你用很少的人工標注把情感分析基線跑到可接受水平后續(xù)再逐步加入更高質(zhì)量的標注數(shù)據(jù)替換弱標簽?zāi)Ｐ瓦€能繼續(xù)漲點。希望幫到你。本文還有配套的精品資源點擊獲取