前些天整理算法實驗記錄時翻到一組線性LDA、k-means、SVM三種方法在鳶尾花數據集和月亮數據集上的二分類對比筆記覺得特別適合拿出來重新梳理一遍。這三個算法一個是有監(jiān)督線性分類器、一個是無監(jiān)督聚類算法、一個是帶核技巧的判別模型放在兩個難度完全不同的數據集上做對照實驗能非常直觀地暴露出每種算法對數據分布的假設是什么、在什么條件下會失靈。這篇文章就把整個實驗的設計、原理、代碼、踩坑點全部展開供做入門機器學習對比實驗的同學直接參考復現(xiàn)。這個實驗適合什么水平的讀者不管你是剛接觸分類算法的新手還是想系統(tǒng)對比經典模型的老手都能從里面拿到一些東西。新手可以照著代碼把流程跑通理解三類算法的核心思想老手可以直接跳到第5章那里整理了幾個非常容易踩的坑包括k-means的標簽錯位、標準化順序導致的評估污染、核函數參數選擇等。1. 方案選型三種算法放在一起到底要比什么1.1 為什么選這三個算法我在設計實驗時沒有貪多求全刻意選了線性LDA、k-means、SVM這三個核心原因是它們在分類這件事上代表了三條完全不同的技術路線。LDA全稱線性判別分析走的是投影分離路線找一個投影方向讓兩類樣本投影后類間距離盡量大、類內散度盡量小既當分類器又當降維工具。k-means嚴格來說不是分類器它是個無監(jiān)督聚類算法把樣本劃分成K個簇每個簇的中心就是簇的代表在實驗中我用它強行做二分類正好用來觀察無監(jiān)督方法在缺少標簽監(jiān)督時會發(fā)生什么。SVM走的是間隔最大化路線搜索一個超平面讓兩類樣本的間距最大配合核函數還能處理非線性邊界。這三種路線放在一起本質上是在逼問一個問題同一個分類任務在無監(jiān)督、線性有監(jiān)督、非線性有監(jiān)督三種條件下模型各有什么表現(xiàn)這種對比比單獨調某個模型的參數有價值得多它能幫你建立對算法本質的直覺。1.2 為什么選這兩個數據集數據集選型也花了點心思。鳶尾花數據集是機器學習界最經典的入門數據包含4個特征、3個類別我裁掉山鳶尾這一類只保留 versicolor 和 virginica 做二分類。為什么這么選如果拿 setosa 和其余兩類分邊界大得離譜模型太好區(qū)分了演示不出差異而 versicolor 和 virginica 在多個特征維度上本來就有重疊線性模型不是100%完美分割這才有對比的意義。月亮數據集是sklearn里make_moons生成的人工數據形狀像兩個月牙交錯在一起。這個數據集在二維平面上根本不存在一條直線能完全分開兩類天生就是為考驗非線性模型設計的。把這兩個數據集放一起正好覆蓋了“線性可分”和“線性不可分”兩個極端場景三種算法在這兩種場景下的表現(xiàn)差異會非常清晰。1.3 實驗設計的預期假設做實驗之前我先寫下預期在鳶尾花的二分類上LDA和線性SVM應該表現(xiàn)接近都能達到較高準確率k-means因為是聚類效果取決于數據是否滿足球形簇假設versicolor和virginica在四維特征空間里雖然不完全呈球狀但總體還算緊湊所以也應該能達到可用水平但大概率不如監(jiān)督模型。在月亮數據集上LDA和線性SVM都會因為邊界非線性而明顯掉分RBF核的SVM應該能取得壓倒性優(yōu)勢k-means則最慘月牙形狀完全違背它“各向同性球形簇”的假設。實際跑出來的結果基本印證了這些預判但過程中的細節(jié)比我預想的更有意思后面詳細說。2. 數據集構造與預處理2.1 鳶尾花數據集的二分類裁剪拿到鳶尾花數據后第一步就是從三分類裁剪成二分類。具體邏輯是只保留類別標簽為1和2的樣本也就是versicolor和virginica把標簽重映射成0和1。示例代碼如下from sklearn.datasets import load_iris iris load_iris() X_all iris.data y_all iris.target mask y_all ! 0 # 去掉setosa X_iris X_all[mask] y_iris (y_all[mask] 1).astype(int) print(X_iris.shape, y_iris.shape) # 預期輸出: (100, 4) (100,)這樣處理后樣本量是100條特征維度保持4維。注意我沒有把特征裁剪成2維而是保留完整4維目的是讓正式評估更接近真實任務后面可視化決策邊界時我會單獨取兩個特征重新擬合只為了讓邊界畫在二維平面上評估結果以四維模型為準。2.2 月亮數據集的生成月亮數據集直接用make_moons生成這里有幾個參數是必須關注的。n_samples控制樣本總數noise控制兩類邊界的重疊程度random_state控制隨機種子。我把噪聲設成0.1這個值不大不小生成的月亮形狀還看得出來但兩類邊界附近已經有部分樣本交叉不會出現(xiàn)“完美一刀切”的假象from sklearn.datasets import make_moons X_moon, y_moon make_moons(n_samples300, noise0.1, random_state42) print(X_moon.shape, y_moon.shape) # 預期輸出: (300, 2) (300,)這里有個細節(jié)值得說如果你把噪聲設成0數據集就完全可分LDA和線性SVM雖然分不開但準確率也會相當難看k-means則徹底崩盤對比效果反而刻意噪聲太大又會讓所有模型都掉分看不出算法差異。0.1是我試過多個值之后覺得最均衡的。2.3 特征標準化與模型評估流程預處理部分最容易犯的一個錯誤是直接用整個數據集做標準化然后再劃分訓練測試集。這會引入數據泄露測試集的信息在訓練前就暴露給了模型。正確做法是先劃分再用訓練集的信息去fit標準化器然后用同一個標準化器去transform測試集。代碼如下from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler X_train_i, X_test_i, y_train_i, y_test_i train_test_split( X_iris, y_iris, test_size0.3, random_state42, stratifyy_iris ) X_train_m, X_test_m, y_train_m, y_test_m train_test_split( X_moon, y_moon, test_size0.3, random_state42, stratifyy_moon ) sc StandardScaler() X_train_i sc.fit_transform(X_train_i) X_test_i sc.transform(X_test_i) sc2 StandardScaler() X_train_m sc2.fit_transform(X_train_m) X_test_m sc2.transform(X_test_m)stratifyy_iris這個參數也值得一提它保證訓練集和測試集中兩個類別的比例與原數據集保持一致防止隨機劃分導致某一類在測試集里偏多或偏少從而影響評估的公平性。對于樣本量只有100的鳶尾花二分類數據分層抽樣特別重要。3. 三個算法的核心原理與實現(xiàn)要點3.1 線性LDA找一個方向讓兩類投影后距離最大LDA的思路非常直觀。把高維樣本投影到一條直線或者一個低維平面上投影的目的是讓兩個類別在投影空間里盡量分開。分開的標準有兩個一是兩個類的均值向量盡量遠這在數學上對應“類間散度”大二是每個類內部的樣本盡量聚攏對應“類內散度”小。LDA的優(yōu)化目標就是讓類間散度與類內散度的比值最大。說人話就是兩個班級的考試成績如果一名老師想通過一個指標把兩個班區(qū)分開最好的指標應該是兩個班平均分差得越遠越好同時每個班內部成績波動越小越好。LDA就是在找這樣一個指標方向。在scikit-learn里調用LDA非常簡單from sklearn.discriminant_analysis import LinearDiscriminantAnalysis lda LinearDiscriminantAnalysis() lda.fit(X_train_i, y_train_i) y_pred_i lda.predict(X_test_i)更容易被忽略的是LDA的降維屬性。在二分類場景下LDA只會產生一個判別方向用lda.transform(X)可以把任意多維特征壓縮成一維然后直接對一維數據做分類或可視化。這一點在后面分析實驗中會用上。3.2 k-means把樣本劃成兩堆標簽怎么對是后話k-means的核心邏輯簡單粗暴先隨機初始化K個聚類中心把每個樣本劃給離它最近的中心然后重新計算每個簇的中心作為新的聚類中心不停迭代直到中心位置不再變化。這里K就是簇的數量在我們的二分類實驗里K2。k-means有個致命問題它只管把樣本分成兩堆但完全不知道哪堆對應真實標簽的1、哪堆對應0。如果直接拿kmeans.predict(X_test)的0/1結果去算準確率很可能因為標簽恰好翻轉而得到極低的分數算法本身效果其實還行。解決方式是在訓練集上做一次映射統(tǒng)計每個簇中真實標簽的多數值把這個簇的0/1輸出映射到真實類別。這個坑幾乎每個初跑k-means做分類的人都會踩我在第5章給出完整的處理和示例代碼。另外k-means對“簇的形狀”有很強的假設它默認每個簇是各向同性的球形。鳶尾花的類別在標準化后的四維空間里還算接近凸簇所以k-means能用月亮數據天然是兩個弧形交叉這完全不符合球形簇假設k-means在它上面的表現(xiàn)為0基本可以預判。3.3 SVM讓超平面離兩類樣本都盡量遠SVM的思想是在兩類樣本之間找一個分隔超平面并且讓這個超平面到兩邊最近樣本的距離之和最大。離超平面最近的樣本點就叫“支持向量”它們決定了邊界的位置其他樣本點對結果沒有影響。這個特性讓SVM在小樣本、高維場景下表現(xiàn)得非常穩(wěn)定。線性SVM解決的是線性可分或近似線性可分問題?？墒窃铝翑祿诙S空間里線性不可分這時候就需要核函數。RBF核徑向基函數核做的事是把樣本映射到一個更高維的空間里讓原本交錯的數據在高維空間變得線性可分。RBF核有兩個關鍵超參數引入了一個額外的gamma參數控制單個樣本的影響力范圍。通常gamma越大決策邊界越復雜也越容易過擬合gamma太小邊界過于平滑非線性信息就沒學到。實際中用scikit-learn切換線性核和RBF核非常方便from sklearn.svm import SVC svm_linear SVC(kernellinear, random_state42) svm_rbf SVC(kernelrbf, gammascale, random_state42)我們的實驗里兩種核都會跑這樣就能清楚看到同樣的SVM在核技巧加持下的效果差異。4. 實操過程與結果對比4.1 完整訓練與評估流程接下來是完整的模型訓練和評估代碼我把LDA、k-means、線性SVM、RBF核SVM分別封裝成列表在鳶尾花和月亮數據集上統(tǒng)一訓練和預測。k-means的標簽映射函數也直接寫在里面保證代碼能一鍵跑通import numpy as np from collections import Counter from sklearn.cluster import KMeans from sklearn.svm import SVC from sklearn.discriminant_analysis import LinearDiscriminantAnalysis from sklearn.metrics import accuracy_score, confusion_matrix def cluster_to_label(clusters, y_true): # 統(tǒng)計每個簇里真實標簽的多數建立映射 mapping {} for c in np.unique(clusters): labels y_true[clusters c] mapping[c] Counter(labels).most_common(1)[0][0] return mapping def run_evaluation(X_train, X_test, y_train, y_test): results {} lda LinearDiscriminantAnalysis() lda.fit(X_train, y_train) results[LDA] lda.predict(X_test) km KMeans(n_clusters2, n_init10, random_state42) km.fit(X_train) train_clusters km.predict(X_train) mapping cluster_to_label(train_clusters, y_train) results[kmeans] np.array([mapping[c] for c in km.predict(X_test)]) svm_lin SVC(kernellinear, random_state42) svm_lin.fit(X_train, y_train) results[SVM_linear] svm_lin.predict(X_test) svm_rbf SVC(kernelrbf, gammascale, random_state42) svm_rbf.fit(X_train, y_train) results[SVM_rbf] svm_rbf.predict(X_test) for name, y_pred in results.items(): acc accuracy_score(y_test, y_pred) print(f{name}: acc {acc:.4f}) print(confusion_matrix(y_test, y_pred)) run_evaluation(X_train_i, X_test_i, y_train_i, y_test_i) print(---) run_evaluation(X_train_m, X_test_m, y_train_m, y_test_m)運行這個代碼后最值得看的輸出有三塊每個模型的準確率、混淆矩陣以及兩類錯誤的分布。混淆矩陣在這里比準確率更誠實比如k-means如果錯得均勻準確率大概還能過半但看混淆矩陣會發(fā)現(xiàn)它其實是把一個簇的中心放偏了根本不是在做正確的邊界決策。4.2 決策邊界可視化模型評估做到位了最好再畫一張二維決策邊界圖。這一步能讓抽象的對比變得一目了然線性模型的邊界是一條直線RBF核SVM的邊界是一個彎曲帶k-means的邊界是“垂直平分線”式的折線。我提供一段通用的可視化函數針對月亮數據的兩維特征直接使用鳶尾花則特意取花瓣長度和花瓣寬度兩列重新擬合模型方便展示二維邊界。import matplotlib.pyplot as plt from matplotlib.colors import ListedColormap def plot_decision_boundary(ax, model, X, y, title, mapperNone): x_min, x_max X[:, 0].min() - 0.3, X[:, 0].max() 0.3 y_min, y_max X[:, 1].min() - 0.3, X[:, 1].max() 0.3 xx, yy np.meshgrid(np.linspace(x_min, x_max, 400), np.linspace(y_min, y_max, 400)) grid np.c_[xx.ravel(), yy.ravel()] Z model.predict(grid) if mapper is not None: Z np.array([mapper[z] for z in Z]) Z Z.reshape(xx.shape) ax.contourf(xx, yy, Z, alpha0.25, cmapListedColormap([#88aaff, #ffaa88])) for label in (0, 1): ax.scatter(X[y label, 0], X[y label, 1], color#3366cc if label 0 else #cc5533, edgecolorwhite, s28, alpha0.85) ax.set_title(title) ax.set_xlabel(feature 1) ax.set_ylabel(feature 2)繪制后的典型特征是月亮數據集上LDA的邊界就是一條斜直線左半邊把藍色樣本切掉了一大塊線性SVM的直線方向和位置略有不同但本質上也是直線準確率半斤八兩RBF核SVM的邊界則是一條平滑的彎曲帶順著兩個月牙的弧度走k-means的邊界是兩簇中心連線的垂直平分線無法貼合弧線導致大量樣本被分錯。這些視覺差異比任何指標都更讓人印象深刻。4.3 結果對比表與規(guī)律分析把一次固定隨機種子運行得到的結果整理成表格如下數據集模型準確率備注鳶尾花二分類LDA0.9667四維特征鳶尾花二分類k-means0.8667標簽映射后鳶尾花二分類SVM linear0.9667四維特征鳶尾花二分類SVM rbf0.9667四維特征月亮數據集LDA0.8444線性邊界上限月亮數據集k-means0.5778僅比隨機略好月亮數據集SVM linear0.8444線性邊界上限月亮數據集SVM rbf0.9667非線性邊界這里我標一下具體數字會受隨機種子影響但結論方向是穩(wěn)定的。比如鳶尾花的LDA和SVM換種子后可能一個0.9333、一個0.9667名次互有浮動但k-means掉到0.87以下在多次實驗里都出現(xiàn)了。月亮數據集上LDA和線性SVM的準確率非常接近兩者的線性本質決定了它們的上限差不多RBF核SVM基本穩(wěn)定在0.95以上核技巧的效果非常硬核。從結果里能提煉出三個規(guī)律第一同一算法在不同數據上表現(xiàn)差異極大問題不是算法不行是算法和數據分布不匹配第二模型和數據本質一致時簡單線性模型往往是性價比最高的選擇第三無監(jiān)督方法即使經過標簽映射本質上仍在做聚類而不是分類它的錯誤模式跟監(jiān)督分類器完全不同。5. 常見問題與避坑指南5.1 k-means的標簽映射差點被0.5準確率騙了這是本次實驗里最大的坑。最初跑k-means時我直接用kmeans.predict(X_test)返回的0/1結果去算準確率出來的數字慘不忍睹一度以為代碼寫錯了。排查后發(fā)現(xiàn)模型聚類效果不錯但簇0對應的是真實類別1簇1對應的是真實類別0標簽正好翻轉。因為兩類樣本數量幾乎相等翻轉后準確率只剩一半跟隨機猜差不多。解決方案就是我前面代碼中的映射方法。不過映射函數寫得簡陋也會有隱患如果某個簇里兩類樣本數量接近少數服從多數就可能誤判。更穩(wěn)妥的做法是使用匈牙利算法做全局最優(yōu)匹配最小化總體錯分數量但二分類情況下多數投票通常已經夠用。提醒一下這個映射必須在訓練集上統(tǒng)計不能拿測試集來映射否則又成了數據泄露。5.2 隨機種子跑同一個代碼結果卻不一樣如果你跑下來發(fā)現(xiàn)數字跟我的不完全一致大概率是隨機種子問題。k-means的初始聚類中心是隨機的train_test_split的劃分是隨機的make_moons生成數據也是隨機的。要得到可復現(xiàn)的結果每個帶隨機的環(huán)節(jié)都固定random_state包括KMeans、SVC、train_test_split、make_moons。特別是KMeans除了random_state還有n_init參數它表示用不同初始中心跑多少次、取最好結果默認10次就夠了不要手動調成1次第一次初始化的隨機性太強結果可能大幅波動。5.3 標準化順序90%的人都會犯的錯誤標準化必須先做訓練/測試集劃分再在訓練集上scaler.fit_transform測試集上scaler.transform。實際代碼里好多人在數據準備階段就直接StandardScaler().fit_transform(X)用整個數據集的信息做標準化然后再劃分。這個錯誤在樣本少、特征方差大的數據集上會放大導致測試集的信息被訓練器偷看得出的準確率虛高。這一條對LDA影響可能不大但對SVM影響很明顯因為SVM對特征尺度極其敏感。5.4 評估指標不要只看準確率準確率在二分類均衡樣本下是合理的但當樣本不平衡時準確率會騙人。比如99%的樣本是A類模型全部預測A類準確率就是99%但這個模型毫無價值。因此即使本實驗樣本是均衡的我也建議大家同時打印混淆矩陣觀察模型到底在哪個類別上更容易犯錯。尤其是月亮數據集上的線性模型混淆矩陣會顯示它們幾乎是在同一邊界上犯同樣的錯說明犯錯誤的方向是一致的。5.5 kmeans真的不適合當分類器通過這次實驗我對k-means當分類器的態(tài)度更加明確了它適合做數據探索和預聚類但不適合直接當監(jiān)督分類器使用。沒有標簽信息的情況下模型根本不知道哪個類別更重要也不會對決策邊界做任何優(yōu)化它劃分的是幾何近鄰關系而不是類別學習關系。真要拿它做分類只能是在標簽很少或者干脆沒有標簽的冷啟動場景里給監(jiān)督模型提供一個粗糙的初始化或者偽標簽而不是指望它給出精確的決策結果。6. 一點收尾的實操體會整套實驗跑下來我最深的體會是算法選型之前先問問你的數據長什么樣。鳶尾花數據線性可分度不錯LDA和線性SVM的表現(xiàn)就很好月亮數據是非線性結構線性家族集體敗北上RBF核的SVM立刻扳回一局。而k-means在無監(jiān)督條件下哪怕給你正確的類別數也只能在數據恰好符合球形簇假設時才勉強能用。這種用一個算法去匹配數據分布的直覺不是靠背理論記住的是靠親手跑幾個對比實驗硬生生練出來的。另外多說一句如果你也想做類似實驗建議在跑完標準流程后自己改一兩個變量再看看結果。比如把月亮數據集的噪聲從0.1改到0.2或者把鳶尾花的二分類改成山鳶尾對versicolor你會看到同一個模型在不同難度下的表現(xiàn)差異那種感覺比只看一兩組固定數字要過癮得多。