做數(shù)據(jù)分析的人十有八九用過K-Means但大多數(shù)人只是import一下就出圖。真正麻煩的是那些import之后的事為什么運(yùn)行兩次結(jié)果不一樣為什么某個簇總是空為什么歸一化前后聚類天差地別這次我不打算糊弄過去直接從零手撕一遍K-Means聚類算法——不調(diào)sklearn不用現(xiàn)成的聚類函數(shù)只用Numpy把初始化、距離計算、樣本分配、質(zhì)心更新和收斂判定一步步寫成代碼。整個過程里踩過的坑、查過的資料、改過的bug全記錄在下面。適合剛接觸聚類算法的新手也適合把KMeans()當(dāng)黑盒用了很久、實(shí)在受不了拍腦袋調(diào)參的老手?？赐昴銜靼走@個老朋友在每次迭代里到底偷偷做了什么。1. K-Means聚類算法到底在做什么思路先對齊代碼才不會歪1.1 一句話直覺讓“相似”變成“距離”K-Means處理的是沒有標(biāo)簽的樣本集合。聚類算法的目標(biāo)是把這些樣本自動分成K個組盡可能讓同一個組里的樣本相似不同組之間的樣本差異明顯。K-Means把“相似”這個詞翻譯成了數(shù)學(xué)語言“相似”就是“距離近”。更具體地說它只關(guān)心歐氏距離——兩個點(diǎn)在多維空間里離得越近就越可能屬于同一簇。你可以把它想象成數(shù)據(jù)版的“礦石分揀”。你有一堆混合礦石不知道里面含幾種金屬也不知道每塊礦石具體屬于哪一類。K-Means根據(jù)礦石的質(zhì)地、顏色、重量這些特征把它們自動歸成幾堆。歸完之后每一堆的中心就是這堆樣本的代表也就是質(zhì)心。整個過程沒有老師告訴你正確答案純靠數(shù)據(jù)本身的結(jié)構(gòu)來分組所以這類算法也叫無監(jiān)督學(xué)習(xí)。這里有個容易忽略的點(diǎn)K-Means不是一把梭直接算出來的。它先隨便猜幾個質(zhì)心然后讓每個樣本“投靠”距離最近的質(zhì)心再根據(jù)新組員的平均位置重新計算質(zhì)心如此循環(huán)直到質(zhì)心不再明顯移動。這個“猜—分—算—再猜”的循環(huán)是整個算法的靈魂。搞懂這個循環(huán)后面所有代碼都只是它的具體翻譯。1.2 目標(biāo)函數(shù)與硬分配K-Means憑什么能收斂只看直覺的話很容易把K-Means理解成“循環(huán)求平均”雖然沒錯但會漏掉最重要的東西——目標(biāo)函數(shù)。K-Means的目標(biāo)是讓每個樣本到它所屬質(zhì)心的距離平方和最小用公式寫出來就是SSE Σ(k1..K) Σ(x_i ∈ C_k) ‖x_i - μ_k‖2其中C_k是第K個簇μ_k是該簇的質(zhì)心也就是簇內(nèi)樣本的均值。這個指標(biāo)通常叫簇內(nèi)平方和SSEK-Means的每次迭代都在壓低這個值。這個式子決定了K-Means的一個關(guān)鍵性質(zhì)硬分配。每個樣本在每一步里只屬于離它最近的唯一簇不存在“有60%屬于A簇、40%屬于B簇”這種說法。argmin一錘定音樣本要么是這簇的要么是那簇的沒有中間地帶。這一點(diǎn)聽起來理所當(dāng)然但跟后面要提到的高斯混合模型GMM形成了鮮明對比GMM是軟聚類會給每個樣本輸出一個概率向量。目標(biāo)函數(shù)存在還有另一層意義它解釋了K-Means為什么一定收斂。經(jīng)典的Lloyd算法本質(zhì)上在交替優(yōu)化兩個變量——固定質(zhì)心時給樣本分配最近的簇固定簇時把質(zhì)心更新成簇內(nèi)均值。兩步操作都在降低同一個SSE目標(biāo)函數(shù)所以迭代過程是單調(diào)不增的最終必然收斂。只不過這個收斂不是“收斂到全局最優(yōu)”而是收斂到某個局部極小值。SSE這個函數(shù)并不凸存在很多坑坑洼洼的谷底隨機(jī)初始化不同跑到的谷底也不同。這是后面講K-Means和n_init時反復(fù)要提到的前提。1.3 為什么偏偏用歐氏距離超球面偏好的由來很多剛上手的人會問能不能用曼哈頓距離能用余弦距離嗎答案是能算但那個算法就不叫K-Means了數(shù)學(xué)性質(zhì)也會徹底變掉。原因在于歐氏距離與“均值”天生是一對。給定一堆點(diǎn)能讓“到所有點(diǎn)的歐氏距離平方和”最小的那個中心恰恰就是它們的算術(shù)平均。而K-Means的每一步更新都需要求均值兩者剛好無縫銜接。如果把距離換成曼哈頓距離最優(yōu)中心就變成了中位數(shù)算法演變成K-Medians或K-Medoids換了個物種。所以K-Means不是“非要用歐氏距離”而是“用均值做質(zhì)心自然推導(dǎo)出了歐氏距離”。歐氏距離還有一個隱藏含義它對應(yīng)的簇形狀是各向同性的圓。用專業(yè)點(diǎn)的話說K-Means假設(shè)每個簇在特征空間里是一個超球面而且各個方向半徑差不多。一旦數(shù)據(jù)里出現(xiàn)細(xì)長條狀的簇、半包圍的圓弧形簇K-Means就會生硬地把它攔腰切開或者跨越邊界亂分。判斷一個數(shù)據(jù)集適不適合用K-Means最簡單的方法就是降維到2D看一眼如果散點(diǎn)圖呈現(xiàn)幾個圓團(tuán)直接用如果形狀妖嬈趁早換DBSCAN或GMM。歐氏距離對量綱的敏感也是它在實(shí)際項目里最常被忽略的坑。想象兩個特征“年齡”取值20到60“年消費(fèi)額”取值5萬到100萬。計算歐氏距離時年齡那一位的貢獻(xiàn)基本被消費(fèi)金額淹沒聚類結(jié)果跟年齡一點(diǎn)關(guān)系都沒有。這不是算法錯了是距離度量被量綱綁架了。所以在跑K-Means之前標(biāo)準(zhǔn)化幾乎是最重要的一步預(yù)處理后面4.1會專門展開。2. 從零手撕一遍K-Means完整實(shí)現(xiàn)與收斂過程可視化2.1 數(shù)據(jù)準(zhǔn)備先造一份能畫出結(jié)果的2D數(shù)據(jù)集既然要手撕算法數(shù)據(jù)我也選擇自己造。用Numpy直接生成三個高斯簇二維帶真實(shí)中心只是用來驗(yàn)證效果算法本身完全不需要標(biāo)簽import numpy as np import matplotlib.pyplot as plt rng np.random.default_rng(42) centers_true np.array([[2.0, 2.0], [-2.0, 3.0], [3.0, -2.0]]) X np.vstack([ rng.normal(loccenter, scale0.6, size(100, 2)) for center in centers_true ]) rng.shuffle(X)為什么選2D數(shù)據(jù)因?yàn)榭梢暬庇^每一輪質(zhì)心的移動都能畫出來人眼直接看到算法“動起來”。實(shí)際業(yè)務(wù)里通常是幾十維甚至上百維但算法邏輯完全一樣只是沒法用眼睛直接看罷了。scale0.6是給每個簇加適量噪聲讓三個團(tuán)有輕微重疊但又不至于糊成一團(tuán)這樣K-Means既有挑戰(zhàn)又能穩(wěn)定收斂。shuffle這步容易被忽略如果不打亂樣本順序隨機(jī)初始化質(zhì)心時更容易連續(xù)抽到同一區(qū)域的樣本增加空簇概率。雖然對這個干凈數(shù)據(jù)集影響不大但這是防止“莫名其妙翻車”的好習(xí)慣。真實(shí)數(shù)據(jù)里樣本順序常常帶有隱藏結(jié)構(gòu)比如按時間排列、按來源排列先shuffle能避免初始化被順序影響。2.2 核心代碼逐段拆解初始化、分配、更新、收斂我把手撕版K-Means寫成一個可直接運(yùn)行的函數(shù)包含距離計算、空簇處理、質(zhì)心位移記錄。每個步驟都帶注釋方便對照原理def euclidean_dist(X, center): # X: (n, d), center: (d,) - 返回每個樣本到該質(zhì)心的距離 return np.sqrt(np.sum((X - center) ** 2, axis1)) def kmeans_custom(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) # 1. 初始化從樣本里隨機(jī)挑k個樣本當(dāng)質(zhì)心 initial_idx rng.choice(len(X), sizek, replaceFalse) centroids X[initial_idx].copy() for i in range(max_iter): # 2. 分配步驟計算每個樣本到全部質(zhì)心的距離 # distances 的形狀是 (k, n)每行是“到某一個質(zhì)心”的距離 distances np.array([euclidean_dist(X, c) for c in centroids]) labels np.argmin(distances, axis0) # 每個樣本分給最近質(zhì)心 # 3. 更新步驟對每個簇求均值作為新質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: # 空簇處理隨機(jī)補(bǔ)一個樣本當(dāng)質(zhì)心避免實(shí)際簇數(shù)悄悄減一 new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) # 4. 收斂判定質(zhì)心位移小于閾值 shift np.linalg.norm(new_centroids - centroids) centroids new_centroids if shift tol: print(f迭代 {i 1} 輪后收斂總位移 {shift:.6f}) return centroids, labels print(f達(dá)到最大迭代次數(shù) {max_iter}可能需要檢查tol的合理性) return centroids, labels運(yùn)行指定K3我這個測試?yán)锿ǔ５?輪就收斂。三個質(zhì)心大約落在(2.02, 1.98)、(-1.98, 2.94)、(2.95, -1.96)附近與真實(shí)中心(2,2)、(-2,3)、(3,-2)誤差在0.1以內(nèi)。這說明數(shù)據(jù)生成得干凈K-Means在這種球狀簇場景下簡直是為它量身定做的。這里必須提醒一個新手最容易踩的代碼級坑argmin的axis到底寫幾。在初版實(shí)現(xiàn)里distances的形狀是(k, n)所以argmin(axis0)才能得到n個樣本各自的簇編號。如果你手滑寫成axis1取到的將是“對每個質(zhì)心而言最近的樣本索引”組成的列表形狀直接變成(k,)結(jié)果完全不是簇標(biāo)簽而且大概率不報錯。這類錯誤極其隱蔽我建議寫完先打印distances.shape和labels.shape驗(yàn)證一下別直接往業(yè)務(wù)代碼里塞。2.3 向量化提速用Numpy廣播把循環(huán)壓成矩陣運(yùn)算教學(xué)版代碼容易看懂但每次算距離都開一個循環(huán)數(shù)據(jù)量一上來就慢得可怕。實(shí)際生產(chǎn)需要的是同一邏輯的向量化版本。用Numpy廣播一步算出所有樣本到所有質(zhì)心的距離矩陣def kmeans_vec(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() for i in range(max_iter): # X: (n, d) - X[:, None, :] 形狀(n, 1, d) # centroids: (k, d) - centroids[None, :, :] 形狀(1, k, d) # 廣播相減得到 (n, k, d)即每個樣本對每個質(zhì)心的分量差 diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) # 形狀(n, k) labels np.argmin(distances, axis1) # 每個樣本最近的質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) if np.linalg.norm(new_centroids - centroids) tol: centroids new_centroids break centroids new_centroids return centroids, labels這個版本里distances變成(n, k)矩陣每個元素是第i個樣本到第j個質(zhì)心的距離argmin(axis1)就是按行找最小值得到n個樣本的簇標(biāo)簽。對比教學(xué)版可以發(fā)現(xiàn)兩個版本唯一的本質(zhì)區(qū)別是距離矩陣的軸方向反了隨之a(chǎn)rgmin的axis也反了。搞懂這一點(diǎn)你就同時看穿了大多數(shù)K-Means源碼里讓人迷惑的軸操作。數(shù)據(jù)量到幾十萬行、幾十維特征時向量化版本比循環(huán)版快一到兩個數(shù)量級這就是Numpy廣播的威力。實(shí)際項目里如果還想再快可以用scipy.spatial.distance.cdist直接算距離矩陣它底層調(diào)了優(yōu)化過的C實(shí)現(xiàn)比手寫廣播更快。不過在“手撕”階段用廣播更能看清形狀變化的脈絡(luò)因?yàn)槊恳徊絪hape的變化就是算法邏輯的具象化。2.4 每輪迭代都在發(fā)生什么質(zhì)心移動的可視化復(fù)盤代碼跑通后最有意思的事情是看質(zhì)心怎么一步步“歸位”。為了畫圖我稍微改造一下函數(shù)把每輪迭代的質(zhì)心都記錄下來def kmeans_process(X, k, max_iter10, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() history [centroids.copy()] for i in range(max_iter): diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) labels np.argmin(distances, axis1) # 畫圖觀察用的簡化版省略了空簇處理邏輯 new_centroids np.array([X[labels c].mean(axis0) for c in range(k)]) history.append(new_centroids.copy()) if np.linalg.norm(new_centroids - centroids) 1e-4: centroids new_centroids break centroids new_centroids return np.array(history), labels, i 1 history, labels, iters kmeans_process(X, k3)然后用matplotlib畫一個2x2的子圖依次展示初始質(zhì)心、第1輪后、第2輪后、最終結(jié)果。初始質(zhì)心是從樣本里隨機(jī)挑的很可能三個點(diǎn)都擠在數(shù)據(jù)一側(cè)第1輪分配完成后質(zhì)心猛跳到三個簇的大致中心第2輪只做小修正第3輪基本要么觸發(fā)收斂要么只需要再微調(diào)一步。我在實(shí)際跑圖時觀察到的典型現(xiàn)象是第一輪質(zhì)心位移最大之后斷崖式減小。這不是巧合而是坐標(biāo)下降法的普遍特點(diǎn)——先快速找到大體區(qū)域再慢速精確逼近。理解這一點(diǎn)就知道為什么很多K-Means實(shí)現(xiàn)默認(rèn)只迭代一兩百輪就夠了它真的不需要太多輪。如果發(fā)現(xiàn)收斂很慢根源幾乎都不是“輪數(shù)不夠”而是初始化差、數(shù)據(jù)沒標(biāo)準(zhǔn)化或者K選得不合理。3. 手撕路上踩過的坑K-Means常見問題與排查實(shí)錄3.1 空簇問題質(zhì)心是怎么“消失”的第一個坑是空簇?，F(xiàn)象是跑完后有一類標(biāo)簽沒人用實(shí)際有效簇數(shù)從K變成了K-1。我第一次手撕時遇到這個還挺懵明明設(shè)置的K3為什么labels里只有0和1原因通常有三類。初始化質(zhì)心位置太差比如三個初始質(zhì)心全落在同一堆數(shù)據(jù)里另一個質(zhì)心被孤立數(shù)據(jù)里有明顯離群點(diǎn)離群點(diǎn)獨(dú)自搶走一個質(zhì)心或者K設(shè)得太大某些簇本來就只有零星幾個樣本隨機(jī)初始化恰好沒覆蓋到。如果不處理空簇后果不只是少一個標(biāo)簽。求均值時用空簇樣本取mean會直接報錯或產(chǎn)生nan后面算SSE也全亂套。教科書版本往往回避這個細(xì)節(jié)但工程實(shí)現(xiàn)必須處理。我用的方案是檢測到空簇就重新隨機(jī)選一個樣本作為該質(zhì)心簡單有效但不保證最優(yōu)。更穩(wěn)的做法有三種按我的推薦程度排列把新質(zhì)心定為當(dāng)前離其他質(zhì)心最遠(yuǎn)的樣本讓空簇趕緊去覆蓋空白區(qū)域。找到當(dāng)前SSE最大的簇把它一分為二把新質(zhì)心塞給空簇。直接用K-Means做初始化從源頭上大幅降低空簇概率。我在小規(guī)模比賽和項目里用“最遠(yuǎn)樣本填充”最多效果好、代碼也就幾行邏輯更接近生產(chǎn)版本。3.2 初始化玄學(xué)同數(shù)據(jù)兩次結(jié)果為何天差地別第二個問題比空簇隱蔽得多同一份數(shù)據(jù)跑兩遍K-Means結(jié)果可能完全對不上。這不是隨機(jī)數(shù)種子的鍋而是目標(biāo)函數(shù)本身非凸。K-Means的SSE存在多個局部極小值。隨機(jī)初始化相當(dāng)于從某座山頭出發(fā)往下走走到哪個谷底全看起點(diǎn)。有些谷底對應(yīng)的聚類結(jié)果很離譜比如把兩個本應(yīng)分開的簇合并了或者把一個簇硬劈成兩半。我第一次遇到時懷疑自己代碼有bug查了一晚上才發(fā)現(xiàn)同樣的代碼換了個隨機(jī)種子跑到另一個局部最優(yōu)去了。工程界的解法早就標(biāo)準(zhǔn)化多跑幾次取SSE最小的那次結(jié)果。sklearn里的n_init10就是干這個的。手撕版實(shí)現(xiàn)也很直接best_centroids None best_labels None best_sse np.inf for seed in range(10): centroids, labels kmeans_vec(X, k, seedseed) sse ((X - centroids[labels]) ** 2).sum() if sse best_sse: best_sse sse best_centroids centroids best_labels labels不過比“多次運(yùn)行取最優(yōu)”更優(yōu)雅的方案是K-Means初始化。它的核心思路是讓初始質(zhì)心盡量離得遠(yuǎn)先隨機(jī)選第一個質(zhì)心之后每次以“距離平方占全場總距離平方的比例”作為概率挑選下一個質(zhì)心。這個策略幾乎把所有壞初始化壓到了地板水平。手寫K-Means初始化也不難def kmeans_plusplus_init(X, k, seed42): rng np.random.default_rng(seed) centroids [X[rng.choice(len(X))]] for _ in range(1, k): # 每個樣本到最近已有質(zhì)心的距離平方 diff X[:, None, :] - np.array(centroids)[None, :, :] d2 np.min((diff ** 2).sum(axis2), axis1) prob d2 / d2.sum() # 距離越遠(yuǎn)的樣本越可能被選為質(zhì)心 centroids.append(X[rng.choice(len(X), pprob)]) return np.array(centroids)這段代碼的價值足夠讓一個手撕版K-Means的穩(wěn)定性提升一個檔次。我實(shí)際測試過原始隨機(jī)初始化200個seed里大約有3到4次掉進(jìn)明顯差的局部解換K-Means之后同樣200次試驗(yàn)一次都沒翻車。這個差距落到業(yè)務(wù)里直接體現(xiàn)為“聚類結(jié)果跟業(yè)務(wù)case對得上”還是“結(jié)果看起來離譜”。3.3 收斂判定陷阱tol、max_iter與浮點(diǎn)精度的博弈還有一類坑不在算法邏輯而在邊界條件。先說tol。tol控制的是“質(zhì)心移動多少距離就認(rèn)為收斂”。如果特征量級是幾十萬tol1e-4意味著質(zhì)心幾乎在原地踏步迭代會一直跑滿max_iter才被迫停下如果特征已經(jīng)標(biāo)準(zhǔn)化到零附近1e-4又相對合理。所以我建議跑K-Means前先標(biāo)準(zhǔn)化再根據(jù)質(zhì)心位移曲線決定tol別直接照抄默認(rèn)值。max_iter也有講究。經(jīng)典教材說“一般幾十輪就收斂”但高維稀疏數(shù)據(jù)、初始化差時跑幾百輪也不一定穩(wěn)。我習(xí)慣設(shè)300到500。為什么不是一萬因?yàn)槊枯喍家阋淮稳烤嚯x矩陣數(shù)據(jù)大時多跑就是燒算力不如先把初始化做好。另一個容易被忽視的是浮點(diǎn)數(shù)精度。曾經(jīng)我在判斷收斂時把閾值寫成1e-10結(jié)果跑滿迭代次數(shù)也沒觸發(fā)收斂——因?yàn)橘|(zhì)心在接近最優(yōu)時每一步位移只有大約1e-7量級1e-10這個閾值過于苛刻。更麻煩的是當(dāng)矩陣接近零時np.linalg.norm對極小位移會產(chǎn)生浮點(diǎn)抖動收斂判定不穩(wěn)定。所以工程上我更傾向于用“簇分配標(biāo)簽不再變化”作為收斂信號。對K-Means來說標(biāo)簽不變意味著再怎么迭代結(jié)果也不會變這是最硬氣的收斂判據(jù)if np.array_equal(labels, prev_labels): break當(dāng)然常規(guī)情況下標(biāo)簽不變時質(zhì)心也基本不動了兩個判據(jù)等價。但標(biāo)簽判據(jù)對浮點(diǎn)噪聲更魯棒我后來的手撕代碼里干脆同時允許兩種退出條件代碼量幾乎沒增加保險系數(shù)卻高了不少。3.4 排查問題速查表現(xiàn)象、原因與處理方案把上面這些坑整理成一張表以后遇到問題直接對照現(xiàn)象典型原因我的處理方案聚類結(jié)果每次都不一樣隨機(jī)初始化陷入不同局部最優(yōu)多次運(yùn)行取最小SSE或用K-Means某個簇是空的初始化覆蓋差、K太大、有離群點(diǎn)空簇填充最遠(yuǎn)樣本或減小K或換K-Means迭代到max_iter才停tol相對量級太小、數(shù)據(jù)未標(biāo)準(zhǔn)化先標(biāo)準(zhǔn)化把tol調(diào)到1e-4量級聚類邊界明顯亂切數(shù)據(jù)簇形狀非球、有重疊改用GMM、DBSCAN或先降維可視化結(jié)果對業(yè)務(wù)無解釋性只看了統(tǒng)計最優(yōu)沒結(jié)合業(yè)務(wù)約束結(jié)合業(yè)務(wù)設(shè)定K人工復(fù)核每個簇如果遇到表里沒有的怪問題一個笨但有效的排查方式把質(zhì)心和簇內(nèi)樣本散點(diǎn)圖畫出來人眼掃一遍往往就有思路了。K-Means本身不復(fù)雜失敗模式也不復(fù)雜大多數(shù)問題的根源不外乎“數(shù)據(jù)沒洗干凈”和“參數(shù)沒對應(yīng)上數(shù)據(jù)量級”這兩處。4. 從手撕到實(shí)戰(zhàn)標(biāo)準(zhǔn)化、K值選擇與算法進(jìn)階路線4.1 跑之前先標(biāo)準(zhǔn)化歐氏距離的量綱陷阱K-Means基于歐氏距離而歐氏距離會被大數(shù)值特征主導(dǎo)。用客戶分群舉個例子特征里有“年齡”和“年消費(fèi)額”年消費(fèi)額動輒幾萬年齡只有幾十距離計算幾乎只看消費(fèi)額年齡直接成了擺設(shè)。聚類結(jié)果看著像按消費(fèi)額切了幾刀實(shí)際上是量綱在幫忙做特征選擇。標(biāo)準(zhǔn)做法通常是Z-score標(biāo)準(zhǔn)化把每個特征變成均值0、標(biāo)準(zhǔn)差1X_scaled (X - X.mean(axis0)) / X.std(axis0)還有一種Min-Max縮放把特征壓到0到1之間對沒有極端值的數(shù)據(jù)效果也不錯。但Min-Max對離群點(diǎn)極敏感——一個極大的離群點(diǎn)會把其他所有數(shù)據(jù)壓到0到0.01之間等于把正常樣本全擠在一起。所以我個人對分布偏穩(wěn)健的數(shù)據(jù)用Z-score更多。不過并不是所有場景都非要標(biāo)準(zhǔn)化。當(dāng)所有特征本來就是同量綱時比如全是0-1的one-hot編碼或全是百分比標(biāo)準(zhǔn)化反而可能破壞原始語義。判斷標(biāo)準(zhǔn)很簡單先問自己這個特征取值的絕對大小有沒有業(yè)務(wù)意義如果只是量綱不同標(biāo)準(zhǔn)化如果量大本身代表某種強(qiáng)度保留原始尺度有時更合理。4.2 K值怎么定最靠譜肘部法、輪廓系數(shù)與實(shí)際業(yè)務(wù)約束K是K-Means里用戶給定的唯一超參數(shù)也是最難拍板的一個。常見方法有兩個半。第一個是肘部法。畫一條“K值—SSE”曲線K越大SSE越小但下降速度會變緩。曲線上的那個拐點(diǎn)就是“肘”代表從那個K開始多分一簇帶來的收益明顯變小。手撕版實(shí)現(xiàn)很直接k_list range(2, 10) sse_list [] for k in k_list: centroids, labels kmeans_vec(X_scaled, k, seed42) sse ((X_scaled - centroids[labels]) ** 2).sum() sse_list.append(sse) plt.plot(k_list, sse_list, markero)第二個是輪廓系數(shù)。它同時考慮每個樣本與自身簇內(nèi)的緊密度以及到最近鄰居簇的距離算出介于-1到1之間的分?jǐn)?shù)全局平均輪廓系數(shù)越高說明簇結(jié)構(gòu)越清晰。選K時一般取平均輪廓系數(shù)接近最大的那個值。不過輪廓系數(shù)在小數(shù)據(jù)集上非常吃計算量n超過幾萬就開始吃力那時更推薦用采樣或者干脆靠業(yè)務(wù)經(jīng)驗(yàn)。剩下半個方法是Gap Statistic它通過與隨機(jī)數(shù)據(jù)對比來找K理論上更漂亮但計算量大實(shí)際項目里用得少。最后我還得說一句大實(shí)話數(shù)值指標(biāo)永遠(yuǎn)只是參考真實(shí)業(yè)務(wù)里K經(jīng)常由需求決定。你要做五個用戶層級K就是5你要把客戶分成能承載不同運(yùn)營話術(shù)的幾類K得看團(tuán)隊接不接受。最優(yōu)K不等于最可用K這層判斷只有人做得來。4.3 現(xiàn)成庫到底多做了什么與sklearn KMeans的差異對照手撕完之后建議一定要做一次對照實(shí)驗(yàn)把結(jié)果跟sklearn的KMeans對比看看差多少。我測下來兩者在常規(guī)數(shù)據(jù)上的SSE幾乎一致差異主要來自幾個工程細(xì)節(jié)sklearn默認(rèn)初始化是k-means默認(rèn)n_init10也就是跑10次完整聚類后取SSE最小的結(jié)果。它的默認(rèn)tol1e-4、默認(rèn)max_iter300處理空簇時用“最遠(yuǎn)點(diǎn)填充法”。底層是Cython實(shí)現(xiàn)還支持elkan變種利用三角不等式減少部分距離計算。我手撕版的“重新隨機(jī)選點(diǎn)填充”方案跟它比粗糙一些但主流程完全對得上。如果你不想寫代碼Orange3這類可視化數(shù)據(jù)分析平臺里也集成了聚類分析模塊把K-Means封裝成圖形節(jié)點(diǎn)點(diǎn)幾下鼠標(biāo)就能跑。它的底層依然是“初始化—分配—更新—收斂”這套邏輯參數(shù)含義跟我上面寫的完全一致。所以不管用什么工具理解這些參數(shù)都是通用的。數(shù)據(jù)規(guī)模上也要有數(shù)sklearn的KMeans在百萬級樣本、幾十維特征上能跑得動但手撕版在同樣規(guī)模下會因?yàn)槿嚯x矩陣而內(nèi)存爆炸。手撕版更像教學(xué)腳手架和問題排查工具真到生產(chǎn)級規(guī)模合理選擇是Mini-Batch K-Means或者分布式實(shí)現(xiàn)。4.4 從K-Means走向哪K-Medoids、GMM高斯混合與更多聚類思路K-Means雖經(jīng)典但有三個肉眼可見的短板均值對離群點(diǎn)敏感、只會生成球形簇、只做硬分配。對應(yīng)這三個短板至少有三條進(jìn)階路線。第一條是K-Medoids。它不把質(zhì)心定義為簇內(nèi)均值而是從簇內(nèi)樣本里挑一個“最典型的代表”因此對離群點(diǎn)更穩(wěn)。它適合特征不是連續(xù)值或均值沒有意義的場景比如文本向量、評分?jǐn)?shù)據(jù)。第二條是高斯混合模型GMM屬于模型聚類算法。GMM給每個樣本輸出一個“屬于各簇的概率向量”而不是一個硬標(biāo)簽同時允許每個簇有自己的協(xié)方差結(jié)構(gòu)所以能擬合橢圓形的簇。從數(shù)學(xué)上看K-Means其實(shí)是GMM的特例——當(dāng)GMM各組件協(xié)方差趨向于各向同性且共享時它的最大后驗(yàn)分配就退化為按歐氏距離最近分配也就是K-Means的行為。理解這一點(diǎn)你會發(fā)現(xiàn)K-Means處于整個概率聚類譜系的一端而不是孤立知識點(diǎn)。第三條是Mini-Batch K-Means每次只取一小批樣本更新質(zhì)心犧牲少量精度換速度千萬級數(shù)據(jù)場景下我一般直接走這條線。還有一個方向值得提譜聚類、DBSCAN這些方法能處理K-Means完全做不了的形狀比如嵌套的環(huán)形、細(xì)長的帶狀結(jié)構(gòu)。選型邏輯很簡單如果散點(diǎn)圖畫出來是幾個圓團(tuán)K-Means夠了如果形狀怪異就別硬扛先考慮密度聚類或圖方法。這遍手撕最直接的收獲是我終于敢在排查K-Means問題時說“我大概知道它哪里出了問題”而不是只能拍腦袋調(diào)參。另一個小技巧分享給剛開始學(xué)的人跑任何聚類之前先畫一張降維后的散點(diǎn)圖人眼掃一遍判斷簇數(shù)目和形狀。這一步花五分鐘卻能省掉后面無數(shù)瞎調(diào)參的時間。K-Means看起來簡單但把它從“可運(yùn)行的庫”變成“自己寫的代碼”你才能真正感覺到它在做什么以及那些參數(shù)在什么情況下說了算。先把基礎(chǔ)版跑穩(wěn)后續(xù)我會接著寫K-Means的細(xì)節(jié)和K值自動選擇的實(shí)操對比感興趣的話可以繼續(xù)跟。 從零手撕K-Means：初始化、距離計算到收斂，徹底搞懂聚類算法
做數(shù)據(jù)分析的人十有八九用過K-Means但大多數(shù)人只是import一下就出圖。真正麻煩的是那些import之后的事為什么運(yùn)行兩次結(jié)果不一樣為什么某個簇總是空為什么歸一化前后聚類天差地別這次我不打算糊弄過去直接從零手撕一遍K-Means聚類算法——不調(diào)sklearn不用現(xiàn)成的聚類函數(shù)只用Numpy把初始化、距離計算、樣本分配、質(zhì)心更新和收斂判定一步步寫成代碼。整個過程里踩過的坑、查過的資料、改過的bug全記錄在下面。適合剛接觸聚類算法的新手也適合把KMeans()當(dāng)黑盒用了很久、實(shí)在受不了拍腦袋調(diào)參的老手?？赐昴銜靼走@個老朋友在每次迭代里到底偷偷做了什么。1. K-Means聚類算法到底在做什么思路先對齊代碼才不會歪1.1 一句話直覺讓“相似”變成“距離”K-Means處理的是沒有標(biāo)簽的樣本集合。聚類算法的目標(biāo)是把這些樣本自動分成K個組盡可能讓同一個組里的樣本相似不同組之間的樣本差異明顯。K-Means把“相似”這個詞翻譯成了數(shù)學(xué)語言“相似”就是“距離近”。更具體地說它只關(guān)心歐氏距離——兩個點(diǎn)在多維空間里離得越近就越可能屬于同一簇。你可以把它想象成數(shù)據(jù)版的“礦石分揀”。你有一堆混合礦石不知道里面含幾種金屬也不知道每塊礦石具體屬于哪一類。K-Means根據(jù)礦石的質(zhì)地、顏色、重量這些特征把它們自動歸成幾堆。歸完之后每一堆的中心就是這堆樣本的代表也就是質(zhì)心。整個過程沒有老師告訴你正確答案純靠數(shù)據(jù)本身的結(jié)構(gòu)來分組所以這類算法也叫無監(jiān)督學(xué)習(xí)。這里有個容易忽略的點(diǎn)K-Means不是一把梭直接算出來的。它先隨便猜幾個質(zhì)心然后讓每個樣本“投靠”距離最近的質(zhì)心再根據(jù)新組員的平均位置重新計算質(zhì)心如此循環(huán)直到質(zhì)心不再明顯移動。這個“猜—分—算—再猜”的循環(huán)是整個算法的靈魂。搞懂這個循環(huán)后面所有代碼都只是它的具體翻譯。1.2 目標(biāo)函數(shù)與硬分配K-Means憑什么能收斂只看直覺的話很容易把K-Means理解成“循環(huán)求平均”雖然沒錯但會漏掉最重要的東西——目標(biāo)函數(shù)。K-Means的目標(biāo)是讓每個樣本到它所屬質(zhì)心的距離平方和最小用公式寫出來就是SSE Σ(k1..K) Σ(x_i ∈ C_k) ‖x_i - μ_k‖2其中C_k是第K個簇μ_k是該簇的質(zhì)心也就是簇內(nèi)樣本的均值。這個指標(biāo)通常叫簇內(nèi)平方和SSEK-Means的每次迭代都在壓低這個值。這個式子決定了K-Means的一個關(guān)鍵性質(zhì)硬分配。每個樣本在每一步里只屬于離它最近的唯一簇不存在“有60%屬于A簇、40%屬于B簇”這種說法。argmin一錘定音樣本要么是這簇的要么是那簇的沒有中間地帶。這一點(diǎn)聽起來理所當(dāng)然但跟后面要提到的高斯混合模型GMM形成了鮮明對比GMM是軟聚類會給每個樣本輸出一個概率向量。目標(biāo)函數(shù)存在還有另一層意義它解釋了K-Means為什么一定收斂。經(jīng)典的Lloyd算法本質(zhì)上在交替優(yōu)化兩個變量——固定質(zhì)心時給樣本分配最近的簇固定簇時把質(zhì)心更新成簇內(nèi)均值。兩步操作都在降低同一個SSE目標(biāo)函數(shù)所以迭代過程是單調(diào)不增的最終必然收斂。只不過這個收斂不是“收斂到全局最優(yōu)”而是收斂到某個局部極小值。SSE這個函數(shù)并不凸存在很多坑坑洼洼的谷底隨機(jī)初始化不同跑到的谷底也不同。這是后面講K-Means和n_init時反復(fù)要提到的前提。1.3 為什么偏偏用歐氏距離超球面偏好的由來很多剛上手的人會問能不能用曼哈頓距離能用余弦距離嗎答案是能算但那個算法就不叫K-Means了數(shù)學(xué)性質(zhì)也會徹底變掉。原因在于歐氏距離與“均值”天生是一對。給定一堆點(diǎn)能讓“到所有點(diǎn)的歐氏距離平方和”最小的那個中心恰恰就是它們的算術(shù)平均。而K-Means的每一步更新都需要求均值兩者剛好無縫銜接。如果把距離換成曼哈頓距離最優(yōu)中心就變成了中位數(shù)算法演變成K-Medians或K-Medoids換了個物種。所以K-Means不是“非要用歐氏距離”而是“用均值做質(zhì)心自然推導(dǎo)出了歐氏距離”。歐氏距離還有一個隱藏含義它對應(yīng)的簇形狀是各向同性的圓。用專業(yè)點(diǎn)的話說K-Means假設(shè)每個簇在特征空間里是一個超球面而且各個方向半徑差不多。一旦數(shù)據(jù)里出現(xiàn)細(xì)長條狀的簇、半包圍的圓弧形簇K-Means就會生硬地把它攔腰切開或者跨越邊界亂分。判斷一個數(shù)據(jù)集適不適合用K-Means最簡單的方法就是降維到2D看一眼如果散點(diǎn)圖呈現(xiàn)幾個圓團(tuán)直接用如果形狀妖嬈趁早換DBSCAN或GMM。歐氏距離對量綱的敏感也是它在實(shí)際項目里最常被忽略的坑。想象兩個特征“年齡”取值20到60“年消費(fèi)額”取值5萬到100萬。計算歐氏距離時年齡那一位的貢獻(xiàn)基本被消費(fèi)金額淹沒聚類結(jié)果跟年齡一點(diǎn)關(guān)系都沒有。這不是算法錯了是距離度量被量綱綁架了。所以在跑K-Means之前標(biāo)準(zhǔn)化幾乎是最重要的一步預(yù)處理后面4.1會專門展開。2. 從零手撕一遍K-Means完整實(shí)現(xiàn)與收斂過程可視化2.1 數(shù)據(jù)準(zhǔn)備先造一份能畫出結(jié)果的2D數(shù)據(jù)集既然要手撕算法數(shù)據(jù)我也選擇自己造。用Numpy直接生成三個高斯簇二維帶真實(shí)中心只是用來驗(yàn)證效果算法本身完全不需要標(biāo)簽import numpy as np import matplotlib.pyplot as plt rng np.random.default_rng(42) centers_true np.array([[2.0, 2.0], [-2.0, 3.0], [3.0, -2.0]]) X np.vstack([ rng.normal(loccenter, scale0.6, size(100, 2)) for center in centers_true ]) rng.shuffle(X)為什么選2D數(shù)據(jù)因?yàn)榭梢暬庇^每一輪質(zhì)心的移動都能畫出來人眼直接看到算法“動起來”。實(shí)際業(yè)務(wù)里通常是幾十維甚至上百維但算法邏輯完全一樣只是沒法用眼睛直接看罷了。scale0.6是給每個簇加適量噪聲讓三個團(tuán)有輕微重疊但又不至于糊成一團(tuán)這樣K-Means既有挑戰(zhàn)又能穩(wěn)定收斂。shuffle這步容易被忽略如果不打亂樣本順序隨機(jī)初始化質(zhì)心時更容易連續(xù)抽到同一區(qū)域的樣本增加空簇概率。雖然對這個干凈數(shù)據(jù)集影響不大但這是防止“莫名其妙翻車”的好習(xí)慣。真實(shí)數(shù)據(jù)里樣本順序常常帶有隱藏結(jié)構(gòu)比如按時間排列、按來源排列先shuffle能避免初始化被順序影響。2.2 核心代碼逐段拆解初始化、分配、更新、收斂我把手撕版K-Means寫成一個可直接運(yùn)行的函數(shù)包含距離計算、空簇處理、質(zhì)心位移記錄。每個步驟都帶注釋方便對照原理def euclidean_dist(X, center): # X: (n, d), center: (d,) - 返回每個樣本到該質(zhì)心的距離 return np.sqrt(np.sum((X - center) ** 2, axis1)) def kmeans_custom(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) # 1. 初始化從樣本里隨機(jī)挑k個樣本當(dāng)質(zhì)心 initial_idx rng.choice(len(X), sizek, replaceFalse) centroids X[initial_idx].copy() for i in range(max_iter): # 2. 分配步驟計算每個樣本到全部質(zhì)心的距離 # distances 的形狀是 (k, n)每行是“到某一個質(zhì)心”的距離 distances np.array([euclidean_dist(X, c) for c in centroids]) labels np.argmin(distances, axis0) # 每個樣本分給最近質(zhì)心 # 3. 更新步驟對每個簇求均值作為新質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: # 空簇處理隨機(jī)補(bǔ)一個樣本當(dāng)質(zhì)心避免實(shí)際簇數(shù)悄悄減一 new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) # 4. 收斂判定質(zhì)心位移小于閾值 shift np.linalg.norm(new_centroids - centroids) centroids new_centroids if shift tol: print(f迭代 {i 1} 輪后收斂總位移 {shift:.6f}) return centroids, labels print(f達(dá)到最大迭代次數(shù) {max_iter}可能需要檢查tol的合理性) return centroids, labels運(yùn)行指定K3我這個測試?yán)锿ǔ５?輪就收斂。三個質(zhì)心大約落在(2.02, 1.98)、(-1.98, 2.94)、(2.95, -1.96)附近與真實(shí)中心(2,2)、(-2,3)、(3,-2)誤差在0.1以內(nèi)。這說明數(shù)據(jù)生成得干凈K-Means在這種球狀簇場景下簡直是為它量身定做的。這里必須提醒一個新手最容易踩的代碼級坑argmin的axis到底寫幾。在初版實(shí)現(xiàn)里distances的形狀是(k, n)所以argmin(axis0)才能得到n個樣本各自的簇編號。如果你手滑寫成axis1取到的將是“對每個質(zhì)心而言最近的樣本索引”組成的列表形狀直接變成(k,)結(jié)果完全不是簇標(biāo)簽而且大概率不報錯。這類錯誤極其隱蔽我建議寫完先打印distances.shape和labels.shape驗(yàn)證一下別直接往業(yè)務(wù)代碼里塞。2.3 向量化提速用Numpy廣播把循環(huán)壓成矩陣運(yùn)算教學(xué)版代碼容易看懂但每次算距離都開一個循環(huán)數(shù)據(jù)量一上來就慢得可怕。實(shí)際生產(chǎn)需要的是同一邏輯的向量化版本。用Numpy廣播一步算出所有樣本到所有質(zhì)心的距離矩陣def kmeans_vec(X, k, max_iter200, tol1e-4, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() for i in range(max_iter): # X: (n, d) - X[:, None, :] 形狀(n, 1, d) # centroids: (k, d) - centroids[None, :, :] 形狀(1, k, d) # 廣播相減得到 (n, k, d)即每個樣本對每個質(zhì)心的分量差 diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) # 形狀(n, k) labels np.argmin(distances, axis1) # 每個樣本最近的質(zhì)心 new_centroids np.zeros_like(centroids) for c_idx in range(k): cluster_points X[labels c_idx] if len(cluster_points) 0: new_centroids[c_idx] X[rng.choice(len(X))] else: new_centroids[c_idx] cluster_points.mean(axis0) if np.linalg.norm(new_centroids - centroids) tol: centroids new_centroids break centroids new_centroids return centroids, labels這個版本里distances變成(n, k)矩陣每個元素是第i個樣本到第j個質(zhì)心的距離argmin(axis1)就是按行找最小值得到n個樣本的簇標(biāo)簽。對比教學(xué)版可以發(fā)現(xiàn)兩個版本唯一的本質(zhì)區(qū)別是距離矩陣的軸方向反了隨之a(chǎn)rgmin的axis也反了。搞懂這一點(diǎn)你就同時看穿了大多數(shù)K-Means源碼里讓人迷惑的軸操作。數(shù)據(jù)量到幾十萬行、幾十維特征時向量化版本比循環(huán)版快一到兩個數(shù)量級這就是Numpy廣播的威力。實(shí)際項目里如果還想再快可以用scipy.spatial.distance.cdist直接算距離矩陣它底層調(diào)了優(yōu)化過的C實(shí)現(xiàn)比手寫廣播更快。不過在“手撕”階段用廣播更能看清形狀變化的脈絡(luò)因?yàn)槊恳徊絪hape的變化就是算法邏輯的具象化。2.4 每輪迭代都在發(fā)生什么質(zhì)心移動的可視化復(fù)盤代碼跑通后最有意思的事情是看質(zhì)心怎么一步步“歸位”。為了畫圖我稍微改造一下函數(shù)把每輪迭代的質(zhì)心都記錄下來def kmeans_process(X, k, max_iter10, seed42): rng np.random.default_rng(seed) idx rng.choice(len(X), sizek, replaceFalse) centroids X[idx].copy() history [centroids.copy()] for i in range(max_iter): diff X[:, None, :] - centroids[None, :, :] distances np.sqrt((diff ** 2).sum(axis2)) labels np.argmin(distances, axis1) # 畫圖觀察用的簡化版省略了空簇處理邏輯 new_centroids np.array([X[labels c].mean(axis0) for c in range(k)]) history.append(new_centroids.copy()) if np.linalg.norm(new_centroids - centroids) 1e-4: centroids new_centroids break centroids new_centroids return np.array(history), labels, i 1 history, labels, iters kmeans_process(X, k3)然后用matplotlib畫一個2x2的子圖依次展示初始質(zhì)心、第1輪后、第2輪后、最終結(jié)果。初始質(zhì)心是從樣本里隨機(jī)挑的很可能三個點(diǎn)都擠在數(shù)據(jù)一側(cè)第1輪分配完成后質(zhì)心猛跳到三個簇的大致中心第2輪只做小修正第3輪基本要么觸發(fā)收斂要么只需要再微調(diào)一步。我在實(shí)際跑圖時觀察到的典型現(xiàn)象是第一輪質(zhì)心位移最大之后斷崖式減小。這不是巧合而是坐標(biāo)下降法的普遍特點(diǎn)——先快速找到大體區(qū)域再慢速精確逼近。理解這一點(diǎn)就知道為什么很多K-Means實(shí)現(xiàn)默認(rèn)只迭代一兩百輪就夠了它真的不需要太多輪。如果發(fā)現(xiàn)收斂很慢根源幾乎都不是“輪數(shù)不夠”而是初始化差、數(shù)據(jù)沒標(biāo)準(zhǔn)化或者K選得不合理。3. 手撕路上踩過的坑K-Means常見問題與排查實(shí)錄3.1 空簇問題質(zhì)心是怎么“消失”的第一個坑是空簇?，F(xiàn)象是跑完后有一類標(biāo)簽沒人用實(shí)際有效簇數(shù)從K變成了K-1。我第一次手撕時遇到這個還挺懵明明設(shè)置的K3為什么labels里只有0和1原因通常有三類。初始化質(zhì)心位置太差比如三個初始質(zhì)心全落在同一堆數(shù)據(jù)里另一個質(zhì)心被孤立數(shù)據(jù)里有明顯離群點(diǎn)離群點(diǎn)獨(dú)自搶走一個質(zhì)心或者K設(shè)得太大某些簇本來就只有零星幾個樣本隨機(jī)初始化恰好沒覆蓋到。如果不處理空簇后果不只是少一個標(biāo)簽。求均值時用空簇樣本取mean會直接報錯或產(chǎn)生nan后面算SSE也全亂套。教科書版本往往回避這個細(xì)節(jié)但工程實(shí)現(xiàn)必須處理。我用的方案是檢測到空簇就重新隨機(jī)選一個樣本作為該質(zhì)心簡單有效但不保證最優(yōu)。更穩(wěn)的做法有三種按我的推薦程度排列把新質(zhì)心定為當(dāng)前離其他質(zhì)心最遠(yuǎn)的樣本讓空簇趕緊去覆蓋空白區(qū)域。找到當(dāng)前SSE最大的簇把它一分為二把新質(zhì)心塞給空簇。直接用K-Means做初始化從源頭上大幅降低空簇概率。我在小規(guī)模比賽和項目里用“最遠(yuǎn)樣本填充”最多效果好、代碼也就幾行邏輯更接近生產(chǎn)版本。3.2 初始化玄學(xué)同數(shù)據(jù)兩次結(jié)果為何天差地別第二個問題比空簇隱蔽得多同一份數(shù)據(jù)跑兩遍K-Means結(jié)果可能完全對不上。這不是隨機(jī)數(shù)種子的鍋而是目標(biāo)函數(shù)本身非凸。K-Means的SSE存在多個局部極小值。隨機(jī)初始化相當(dāng)于從某座山頭出發(fā)往下走走到哪個谷底全看起點(diǎn)。有些谷底對應(yīng)的聚類結(jié)果很離譜比如把兩個本應(yīng)分開的簇合并了或者把一個簇硬劈成兩半。我第一次遇到時懷疑自己代碼有bug查了一晚上才發(fā)現(xiàn)同樣的代碼換了個隨機(jī)種子跑到另一個局部最優(yōu)去了。工程界的解法早就標(biāo)準(zhǔn)化多跑幾次取SSE最小的那次結(jié)果。sklearn里的n_init10就是干這個的。手撕版實(shí)現(xiàn)也很直接best_centroids None best_labels None best_sse np.inf for seed in range(10): centroids, labels kmeans_vec(X, k, seedseed) sse ((X - centroids[labels]) ** 2).sum() if sse best_sse: best_sse sse best_centroids centroids best_labels labels不過比“多次運(yùn)行取最優(yōu)”更優(yōu)雅的方案是K-Means初始化。它的核心思路是讓初始質(zhì)心盡量離得遠(yuǎn)先隨機(jī)選第一個質(zhì)心之后每次以“距離平方占全場總距離平方的比例”作為概率挑選下一個質(zhì)心。這個策略幾乎把所有壞初始化壓到了地板水平。手寫K-Means初始化也不難def kmeans_plusplus_init(X, k, seed42): rng np.random.default_rng(seed) centroids [X[rng.choice(len(X))]] for _ in range(1, k): # 每個樣本到最近已有質(zhì)心的距離平方 diff X[:, None, :] - np.array(centroids)[None, :, :] d2 np.min((diff ** 2).sum(axis2), axis1) prob d2 / d2.sum() # 距離越遠(yuǎn)的樣本越可能被選為質(zhì)心 centroids.append(X[rng.choice(len(X), pprob)]) return np.array(centroids)這段代碼的價值足夠讓一個手撕版K-Means的穩(wěn)定性提升一個檔次。我實(shí)際測試過原始隨機(jī)初始化200個seed里大約有3到4次掉進(jìn)明顯差的局部解換K-Means之后同樣200次試驗(yàn)一次都沒翻車。這個差距落到業(yè)務(wù)里直接體現(xiàn)為“聚類結(jié)果跟業(yè)務(wù)case對得上”還是“結(jié)果看起來離譜”。3.3 收斂判定陷阱tol、max_iter與浮點(diǎn)精度的博弈還有一類坑不在算法邏輯而在邊界條件。先說tol。tol控制的是“質(zhì)心移動多少距離就認(rèn)為收斂”。如果特征量級是幾十萬tol1e-4意味著質(zhì)心幾乎在原地踏步迭代會一直跑滿max_iter才被迫停下如果特征已經(jīng)標(biāo)準(zhǔn)化到零附近1e-4又相對合理。所以我建議跑K-Means前先標(biāo)準(zhǔn)化再根據(jù)質(zhì)心位移曲線決定tol別直接照抄默認(rèn)值。max_iter也有講究。經(jīng)典教材說“一般幾十輪就收斂”但高維稀疏數(shù)據(jù)、初始化差時跑幾百輪也不一定穩(wěn)。我習(xí)慣設(shè)300到500。為什么不是一萬因?yàn)槊枯喍家阋淮稳烤嚯x矩陣數(shù)據(jù)大時多跑就是燒算力不如先把初始化做好。另一個容易被忽視的是浮點(diǎn)數(shù)精度。曾經(jīng)我在判斷收斂時把閾值寫成1e-10結(jié)果跑滿迭代次數(shù)也沒觸發(fā)收斂——因?yàn)橘|(zhì)心在接近最優(yōu)時每一步位移只有大約1e-7量級1e-10這個閾值過于苛刻。更麻煩的是當(dāng)矩陣接近零時np.linalg.norm對極小位移會產(chǎn)生浮點(diǎn)抖動收斂判定不穩(wěn)定。所以工程上我更傾向于用“簇分配標(biāo)簽不再變化”作為收斂信號。對K-Means來說標(biāo)簽不變意味著再怎么迭代結(jié)果也不會變這是最硬氣的收斂判據(jù)if np.array_equal(labels, prev_labels): break當(dāng)然常規(guī)情況下標(biāo)簽不變時質(zhì)心也基本不動了兩個判據(jù)等價。但標(biāo)簽判據(jù)對浮點(diǎn)噪聲更魯棒我后來的手撕代碼里干脆同時允許兩種退出條件代碼量幾乎沒增加保險系數(shù)卻高了不少。3.4 排查問題速查表現(xiàn)象、原因與處理方案把上面這些坑整理成一張表以后遇到問題直接對照現(xiàn)象典型原因我的處理方案聚類結(jié)果每次都不一樣隨機(jī)初始化陷入不同局部最優(yōu)多次運(yùn)行取最小SSE或用K-Means某個簇是空的初始化覆蓋差、K太大、有離群點(diǎn)空簇填充最遠(yuǎn)樣本或減小K或換K-Means迭代到max_iter才停tol相對量級太小、數(shù)據(jù)未標(biāo)準(zhǔn)化先標(biāo)準(zhǔn)化把tol調(diào)到1e-4量級聚類邊界明顯亂切數(shù)據(jù)簇形狀非球、有重疊改用GMM、DBSCAN或先降維可視化結(jié)果對業(yè)務(wù)無解釋性只看了統(tǒng)計最優(yōu)沒結(jié)合業(yè)務(wù)約束結(jié)合業(yè)務(wù)設(shè)定K人工復(fù)核每個簇如果遇到表里沒有的怪問題一個笨但有效的排查方式把質(zhì)心和簇內(nèi)樣本散點(diǎn)圖畫出來人眼掃一遍往往就有思路了。K-Means本身不復(fù)雜失敗模式也不復(fù)雜大多數(shù)問題的根源不外乎“數(shù)據(jù)沒洗干凈”和“參數(shù)沒對應(yīng)上數(shù)據(jù)量級”這兩處。4. 從手撕到實(shí)戰(zhàn)標(biāo)準(zhǔn)化、K值選擇與算法進(jìn)階路線4.1 跑之前先標(biāo)準(zhǔn)化歐氏距離的量綱陷阱K-Means基于歐氏距離而歐氏距離會被大數(shù)值特征主導(dǎo)。用客戶分群舉個例子特征里有“年齡”和“年消費(fèi)額”年消費(fèi)額動輒幾萬年齡只有幾十距離計算幾乎只看消費(fèi)額年齡直接成了擺設(shè)。聚類結(jié)果看著像按消費(fèi)額切了幾刀實(shí)際上是量綱在幫忙做特征選擇。標(biāo)準(zhǔn)做法通常是Z-score標(biāo)準(zhǔn)化把每個特征變成均值0、標(biāo)準(zhǔn)差1X_scaled (X - X.mean(axis0)) / X.std(axis0)還有一種Min-Max縮放把特征壓到0到1之間對沒有極端值的數(shù)據(jù)效果也不錯。但Min-Max對離群點(diǎn)極敏感——一個極大的離群點(diǎn)會把其他所有數(shù)據(jù)壓到0到0.01之間等于把正常樣本全擠在一起。所以我個人對分布偏穩(wěn)健的數(shù)據(jù)用Z-score更多。不過并不是所有場景都非要標(biāo)準(zhǔn)化。當(dāng)所有特征本來就是同量綱時比如全是0-1的one-hot編碼或全是百分比標(biāo)準(zhǔn)化反而可能破壞原始語義。判斷標(biāo)準(zhǔn)很簡單先問自己這個特征取值的絕對大小有沒有業(yè)務(wù)意義如果只是量綱不同標(biāo)準(zhǔn)化如果量大本身代表某種強(qiáng)度保留原始尺度有時更合理。4.2 K值怎么定最靠譜肘部法、輪廓系數(shù)與實(shí)際業(yè)務(wù)約束K是K-Means里用戶給定的唯一超參數(shù)也是最難拍板的一個。常見方法有兩個半。第一個是肘部法。畫一條“K值—SSE”曲線K越大SSE越小但下降速度會變緩。曲線上的那個拐點(diǎn)就是“肘”代表從那個K開始多分一簇帶來的收益明顯變小。手撕版實(shí)現(xiàn)很直接k_list range(2, 10) sse_list [] for k in k_list: centroids, labels kmeans_vec(X_scaled, k, seed42) sse ((X_scaled - centroids[labels]) ** 2).sum() sse_list.append(sse) plt.plot(k_list, sse_list, markero)第二個是輪廓系數(shù)。它同時考慮每個樣本與自身簇內(nèi)的緊密度以及到最近鄰居簇的距離算出介于-1到1之間的分?jǐn)?shù)全局平均輪廓系數(shù)越高說明簇結(jié)構(gòu)越清晰。選K時一般取平均輪廓系數(shù)接近最大的那個值。不過輪廓系數(shù)在小數(shù)據(jù)集上非常吃計算量n超過幾萬就開始吃力那時更推薦用采樣或者干脆靠業(yè)務(wù)經(jīng)驗(yàn)。剩下半個方法是Gap Statistic它通過與隨機(jī)數(shù)據(jù)對比來找K理論上更漂亮但計算量大實(shí)際項目里用得少。最后我還得說一句大實(shí)話數(shù)值指標(biāo)永遠(yuǎn)只是參考真實(shí)業(yè)務(wù)里K經(jīng)常由需求決定。你要做五個用戶層級K就是5你要把客戶分成能承載不同運(yùn)營話術(shù)的幾類K得看團(tuán)隊接不接受。最優(yōu)K不等于最可用K這層判斷只有人做得來。4.3 現(xiàn)成庫到底多做了什么與sklearn KMeans的差異對照手撕完之后建議一定要做一次對照實(shí)驗(yàn)把結(jié)果跟sklearn的KMeans對比看看差多少。我測下來兩者在常規(guī)數(shù)據(jù)上的SSE幾乎一致差異主要來自幾個工程細(xì)節(jié)sklearn默認(rèn)初始化是k-means默認(rèn)n_init10也就是跑10次完整聚類后取SSE最小的結(jié)果。它的默認(rèn)tol1e-4、默認(rèn)max_iter300處理空簇時用“最遠(yuǎn)點(diǎn)填充法”。底層是Cython實(shí)現(xiàn)還支持elkan變種利用三角不等式減少部分距離計算。我手撕版的“重新隨機(jī)選點(diǎn)填充”方案跟它比粗糙一些但主流程完全對得上。如果你不想寫代碼Orange3這類可視化數(shù)據(jù)分析平臺里也集成了聚類分析模塊把K-Means封裝成圖形節(jié)點(diǎn)點(diǎn)幾下鼠標(biāo)就能跑。它的底層依然是“初始化—分配—更新—收斂”這套邏輯參數(shù)含義跟我上面寫的完全一致。所以不管用什么工具理解這些參數(shù)都是通用的。數(shù)據(jù)規(guī)模上也要有數(shù)sklearn的KMeans在百萬級樣本、幾十維特征上能跑得動但手撕版在同樣規(guī)模下會因?yàn)槿嚯x矩陣而內(nèi)存爆炸。手撕版更像教學(xué)腳手架和問題排查工具真到生產(chǎn)級規(guī)模合理選擇是Mini-Batch K-Means或者分布式實(shí)現(xiàn)。4.4 從K-Means走向哪K-Medoids、GMM高斯混合與更多聚類思路K-Means雖經(jīng)典但有三個肉眼可見的短板均值對離群點(diǎn)敏感、只會生成球形簇、只做硬分配。對應(yīng)這三個短板至少有三條進(jìn)階路線。第一條是K-Medoids。它不把質(zhì)心定義為簇內(nèi)均值而是從簇內(nèi)樣本里挑一個“最典型的代表”因此對離群點(diǎn)更穩(wěn)。它適合特征不是連續(xù)值或均值沒有意義的場景比如文本向量、評分?jǐn)?shù)據(jù)。第二條是高斯混合模型GMM屬于模型聚類算法。GMM給每個樣本輸出一個“屬于各簇的概率向量”而不是一個硬標(biāo)簽同時允許每個簇有自己的協(xié)方差結(jié)構(gòu)所以能擬合橢圓形的簇。從數(shù)學(xué)上看K-Means其實(shí)是GMM的特例——當(dāng)GMM各組件協(xié)方差趨向于各向同性且共享時它的最大后驗(yàn)分配就退化為按歐氏距離最近分配也就是K-Means的行為。理解這一點(diǎn)你會發(fā)現(xiàn)K-Means處于整個概率聚類譜系的一端而不是孤立知識點(diǎn)。第三條是Mini-Batch K-Means每次只取一小批樣本更新質(zhì)心犧牲少量精度換速度千萬級數(shù)據(jù)場景下我一般直接走這條線。還有一個方向值得提譜聚類、DBSCAN這些方法能處理K-Means完全做不了的形狀比如嵌套的環(huán)形、細(xì)長的帶狀結(jié)構(gòu)。選型邏輯很簡單如果散點(diǎn)圖畫出來是幾個圓團(tuán)K-Means夠了如果形狀怪異就別硬扛先考慮密度聚類或圖方法。這遍手撕最直接的收獲是我終于敢在排查K-Means問題時說“我大概知道它哪里出了問題”而不是只能拍腦袋調(diào)參。另一個小技巧分享給剛開始學(xué)的人跑任何聚類之前先畫一張降維后的散點(diǎn)圖人眼掃一遍判斷簇數(shù)目和形狀。這一步花五分鐘卻能省掉后面無數(shù)瞎調(diào)參的時間。K-Means看起來簡單但把它從“可運(yùn)行的庫”變成“自己寫的代碼”你才能真正感覺到它在做什么以及那些參數(shù)在什么情況下說了算。先把基礎(chǔ)版跑穩(wěn)后續(xù)我會接著寫K-Means的細(xì)節(jié)和K值自動選擇的實(shí)操對比感興趣的話可以繼續(xù)跟。