簡介針對(duì)可穿戴傳感器時(shí)間序列數(shù)據(jù)的數(shù)據(jù)增強(qiáng)需求提供一套完整的 Jupyter Notebook 示例代碼面向從事移動(dòng)健康、帕金森病監(jiān)測等方向的研究者與算法工程師。方法參考 ICMI 2017 論文通過對(duì)原始信號(hào)施加多種失真變換生成更多訓(xùn)練樣本可提升卷積神經(jīng)網(wǎng)絡(luò)等模型的效果并降低過擬合風(fēng)險(xiǎn)。包體為 ZIP 壓縮格式共 5 個(gè)文件約 892KB包含可直接運(yùn)行的 ipynb 筆記本、配套 py 腳本、示例數(shù)據(jù) npy、說明文檔 md 及效果圖 png方便按演示—運(yùn)行—理解流程學(xué)習(xí)。已有 475 人學(xué)習(xí)下載。下載后可獲得帶注釋的增強(qiáng)代碼、真實(shí)傳感器樣本與 README 使用說明。資源結(jié)構(gòu)簡潔適合快速遷移到自己的時(shí)間序列項(xiàng)目中也可作為數(shù)據(jù)擴(kuò)充預(yù)處理的參考起點(diǎn)。1. 可穿戴傳感器時(shí)間序列數(shù)據(jù)增強(qiáng)跑通一套Python增強(qiáng)代碼前先想清楚的事做可穿戴跌倒檢測那陣子我最大的瓶頸不是模型選型而是數(shù)據(jù)不夠用。一塊IMU掛在手腕上一個(gè)動(dòng)作類別攢了一千多條有效樣本另一個(gè)類別只有兩百多條直接拿去訓(xùn)練時(shí)間序列分類器過擬合幾乎是必然的?？纱┐鱾鞲衅鲾?shù)據(jù)本質(zhì)上就是時(shí)間序列數(shù)據(jù)數(shù)據(jù)增強(qiáng)要做的事是在不破壞動(dòng)作語義的前提下用Python生成更多形狀合理、標(biāo)簽可靠的樣本讓模型在小樣本和不平衡場景下也能泛化。這套方法在Jupyter里跑通很容易但跑通和有效之間隔著不少參數(shù)和邊界。這篇文章就是從切窗、選變換、寫代碼到驗(yàn)證收益的完整路徑適合手里握著加速度計(jì)、陀螺儀或心率數(shù)據(jù)的開發(fā)者想用數(shù)據(jù)增強(qiáng)把模型效果和穩(wěn)定性頂上去而不是只在訓(xùn)練日志里多看一個(gè)過擬合的數(shù)字。2. 增強(qiáng)策略怎么選可穿戴時(shí)序的四個(gè)現(xiàn)實(shí)約束與前置處理圖像增強(qiáng)可以對(duì)整張圖做翻轉(zhuǎn)、裁剪、色彩擾動(dòng)因?yàn)檎Z義在像素層面是冗余的可穿戴時(shí)間序列不行。加速度計(jì)、陀螺儀和心率的每一個(gè)采樣點(diǎn)背后都有物理含義增強(qiáng)做過頭會(huì)直接改掉動(dòng)作類別。這一章先把四個(gè)影響成敗的現(xiàn)實(shí)約束講清楚再給你一張選型表。很多人在Jupyter里復(fù)制別人的增強(qiáng)代碼跑出奇怪結(jié)果通常不是代碼本身錯(cuò)而是沒想清楚這些前提。2.1 樣本長度怎么定窗口、重疊率與采樣率可穿戴設(shè)備吐出來的是連續(xù)流增強(qiáng)的第一步是把流切成樣本。常見做法是固定窗口加滑動(dòng)重疊先確定窗口長度再按步長滑動(dòng)切窗。窗口長度由動(dòng)作周期決定日?；顒?dòng)識(shí)別里的單個(gè)動(dòng)作比如站立、坐下、走路、揮手周期大概在 0.5 到 3 秒之間所以 2 到 5 秒的窗口是大多數(shù)項(xiàng)目的起步值。如果采樣率是 50Hz2 秒窗口就是 100 個(gè)采樣點(diǎn)如果是 125Hz就是 250 個(gè)點(diǎn)。窗口太短會(huì)把動(dòng)作切碎增強(qiáng)后學(xué)不到上下文窗口太長又會(huì)把兩個(gè)相鄰動(dòng)作混進(jìn)同一個(gè)標(biāo)簽增強(qiáng)做得越花哨標(biāo)簽越不可信。切窗的代碼在 Jupyter 里就是個(gè)循環(huán)import numpy as np def sliding_window(x, window_size, step_size): 把一維或多通道的連續(xù)信號(hào)切成固定長度窗口。 x: (n_samples, n_channels) 的原始傳感器流 window_size: 每個(gè)窗口的采樣點(diǎn)數(shù) step_size: 滑動(dòng)步長控制重疊率 n_samples, n_channels x.shape windows [] for start in range(0, n_samples - window_size 1, step_size): window x[start:start window_size] windows.append(window) return np.stack(windows) # (n_windows, window_size, n_channels)步長和窗口大小共同決定重疊率。步長等于窗口大小時(shí)樣本完全不重疊步長取窗口的一半重疊率就是 50%。重疊率高會(huì)顯著放大樣本量但相鄰樣本高度相似訓(xùn)練集和驗(yàn)證集如果按時(shí)間順序切很容易出現(xiàn)泄漏。我給可穿戴項(xiàng)目切窗時(shí)通常先設(shè) 50% 重疊拿一版基線再視類別不平衡程度往下調(diào)。注意這里切的是“訓(xùn)練集和測試集各自內(nèi)部的流”等做好增強(qiáng)后再統(tǒng)一劃分組別是為了避免同一段物理信號(hào)同時(shí)出現(xiàn)在訓(xùn)練和驗(yàn)證兩側(cè)。2.2 離線增強(qiáng)還是在線增強(qiáng)什么時(shí)候做、怎么做增強(qiáng)有兩種落地方式。離線增強(qiáng)是在預(yù)處理階段把所有變換一次性跑完把生成的樣本存成 numpy 數(shù)組或 npz 文件之后再訓(xùn)練在線增強(qiáng)是在訓(xùn)練循環(huán)里對(duì)每個(gè) batch 做隨機(jī)變換每次 epoch 看到的樣本都略不一樣?？纱┐鲿r(shí)序數(shù)據(jù)集的規(guī)模通常不大百萬級(jí)樣本已經(jīng)很夸張離線增強(qiáng)的內(nèi)存壓力完全可控。我在 Jupyter 里探索階段一律先用離線增強(qiáng)因?yàn)樗茏屇惆言鰪?qiáng)前后的樣本畫出來看能檢查標(biāo)簽有沒有跟著變能比較分布差異這些事在訓(xùn)練腳本里做起來很別扭。在線增強(qiáng)的優(yōu)勢是省內(nèi)存、天然防過擬合但它要求增強(qiáng)函數(shù)是純隨機(jī)且可復(fù)用的。如果你在 Jupyter 里先離線把參數(shù)試好再搬到 PyTorch 的 Dataset 或 TensorFlow 的 tf.data 里重寫一遍兩種優(yōu)勢都能拿到。要注意的是無論哪種方式增強(qiáng)只應(yīng)該作用在訓(xùn)練集上驗(yàn)證集和測試集必須保持原始數(shù)據(jù)否則你評(píng)估的“增強(qiáng)帶來的提升”很可能是數(shù)據(jù)泄漏帶來的幻覺。2.3 通道、軸與重力分量增強(qiáng)前的傳感器先驗(yàn)處理可穿戴數(shù)據(jù)的典型形狀是 (樣本數(shù), 時(shí)間步數(shù), 通道數(shù))最常見的是加速度計(jì)三軸加陀螺儀三軸一共六個(gè)通道。增強(qiáng)時(shí)有一個(gè)很容易被忽略的前提三個(gè)加速度軸不是獨(dú)立無關(guān)的通道它們之間有重力分量和方向語義。如果直接對(duì)加速度計(jì)的 XYZ 軸做隨機(jī)大幅旋轉(zhuǎn)動(dòng)作的物理含義就變了跌倒檢測里“面朝下”和“側(cè)倒”可能被旋轉(zhuǎn)成同一個(gè)樣本標(biāo)簽已經(jīng)不可靠。常見的處理是先去掉重力分量再做增強(qiáng)尤其對(duì)加速度計(jì)數(shù)據(jù)。用一個(gè)高通濾波器把靜息重力去掉是加速度計(jì)預(yù)處理里的常規(guī)操作from scipy import signal def remove_gravity(x, fs50.0, cutoff_hz0.5, axis2): 可穿戴加速度計(jì)去重力。 x: (n_samples, n_channels) 或 (n_windows, n_timesteps, n_channels) fs: 采樣率單位 Hz cutoff_hz: 高通截止頻率通常 0.5Hz 以下 axis: 對(duì)哪個(gè)軸做濾波三軸數(shù)據(jù)默認(rèn)時(shí)間是第 1 維 b, a signal.butter(2, cutoff_hz / (fs / 2), btypehigh) return signal.filtfilt(b, a, x, axisaxis)截止頻率取 0.5Hz 是因?yàn)殪o態(tài)重力是直流附近的分量動(dòng)作信號(hào)的頻率通常更高。做完這一步再對(duì)樣本做縮放、加噪或時(shí)間扭曲語義風(fēng)險(xiǎn)會(huì)小得多。如果你手里的數(shù)據(jù)已經(jīng)做過歸一化不知道原始單位建議先畫幾段原始波形確認(rèn)重力分量是否存在再?zèng)Q定要不要做這步。設(shè)備采樣率不一致的情況也常遇到兩臺(tái)手表一臺(tái) 50Hz 一臺(tái) 100Hz 拼在一起增強(qiáng)前先統(tǒng)一重采樣到低頻那臺(tái)的采樣率避免窗口長度對(duì)不上。2.4 常見增強(qiáng)方法的分層選型表把可穿戴時(shí)序上常用的方法整理成一張表選型能省很多時(shí)間。核心原則是樣本少先用輕量時(shí)域變換類別不平衡嚴(yán)重就疊加采樣策略頻域方法專門對(duì)付模型對(duì)相位和周期性不魯棒的情況生成式方法放在最后數(shù)據(jù)量不夠時(shí)很容易翻車。方法操作對(duì)象關(guān)鍵參數(shù)主要風(fēng)險(xiǎn)白噪聲原始信號(hào)加噪noise_level0.02~0.05g信噪比下降特征被淹沒幅值縮放整段幅度縮放系數(shù)區(qū)間 0.9~1.1縮放過大改變動(dòng)作強(qiáng)度語義時(shí)間扭曲時(shí)間軸拉伸/壓縮max_stretch0.1~0.2破壞瞬時(shí)動(dòng)作的節(jié)律窗口平移按時(shí)間偏移重切窗偏移量與重疊率相關(guān)標(biāo)簽和時(shí)間戳錯(cuò)位頻域相位擾動(dòng)FFT 相位隨機(jī)旋轉(zhuǎn)shift_range0.05~0.15 弧度信號(hào)邊界出現(xiàn)振鈴Mixup同類樣本線性插值λ~Beta(0.2, 0.2)生成樣本偏均值多樣性下降DBA 重心平均同類樣本 DTW 平均參與平均的樣本數(shù)過平滑樣本同質(zhì)化VAE/GAN 合成潛空間采樣再重構(gòu)潛變量維數(shù)、訓(xùn)練輪數(shù)模式崩潰、多樣性差這里所有的參數(shù)都不是拍腦袋定的。我給加速度計(jì)數(shù)據(jù)加噪聲時(shí)默認(rèn)從 0.02g 試起因?yàn)槎鄶?shù)動(dòng)作信號(hào)的能量在 0.1g 到 2g 之間0.02g 足夠擾動(dòng)又不會(huì)蓋過動(dòng)作?？s放系數(shù) 0.9 到 1.1 意味著最多把動(dòng)作幅度拉伸或壓縮 10%超過這個(gè)范圍就會(huì)讓“輕碰”和“重?fù)簟边@兩個(gè)類別開始混淆。選型時(shí)不要把所有方法疊在一起常見誤用是先用噪聲再縮放再做時(shí)間扭曲再來一次頻域擾動(dòng)最后生成的樣本面目全非模型學(xué)到的全是變換帶來的偽特征。3. 在Jupyter里復(fù)現(xiàn)四類增強(qiáng)方法時(shí)域、頻域、互類與生成式這一章給出可以直接復(fù)制的四組 Python 函數(shù)。默認(rèn)輸入是 (n_samples, n_timesteps, n_channels) 的 numpy 數(shù)組標(biāo)簽是 (n_samples,) 的整數(shù)數(shù)組。不管你是用瀏覽器開 Jupyter notebook還是在 PyCharm 里調(diào) Jupyter或者用 VS Code 接入 Jupyter 內(nèi)核代碼都通用只要內(nèi)核是 Python3。缺庫的時(shí)候在單元格里跑!pip install numpy scikit-learn scipy matplotlib就能補(bǔ)齊。3.1 時(shí)域變換加噪、縮放、時(shí)間扭曲與漂移時(shí)域變換是最容易理解也最容易寫對(duì)的一類增強(qiáng)。它對(duì)每個(gè)樣本直接修改波形。下面這組函數(shù)覆蓋了四種最常見的操作import numpy as np def add_noise(X, noise_level0.02, seedNone): 加性白噪聲。noise_level 是噪聲標(biāo)準(zhǔn)差。 rng np.random.default_rng(seed) return X rng.normal(0.0, noise_level, sizeX.shape) def scale_signal(X, low0.9, high1.1, seedNone): 幅值縮放每個(gè)樣本隨機(jī)乘一個(gè)系數(shù)保留通道間比例。 rng np.random.default_rng(seed) factors rng.uniform(low, high, size(X.shape[0], 1, 1)) return X * factors def add_drift(X, max_drift0.01, seedNone): 基線漂移每個(gè)通道疊加一條線性趨勢模擬傳感器溫度漂移。 rng np.random.default_rng(seed) n, t, c X.shape slope rng.uniform(-max_drift, max_drift, size(n, 1, c)) time_axis np.linspace(0, 1, t).reshape(1, -1, 1) return X slope * time_axis def time_warp(X, max_stretch0.2, seedNone): 時(shí)間扭曲對(duì)每個(gè)通道做輕微的時(shí)間軸拉伸或壓縮。 rng np.random.default_rng(seed) n, t, c X.shape out np.empty_like(X) old_idx np.arange(t) for i in range(n): for ch in range(c): k 1.0 rng.uniform(-max_stretch, max_stretch) new_len max(2, int(t * k)) new_idx np.linspace(0, t - 1, new_len) out[i, :, ch] np.interp(old_idx, new_idx, X[i, :, ch]) return out四組函數(shù)的設(shè)計(jì)思路是加噪和漂移讓模型對(duì)傳感器自身的噪聲和溫度變化不敏感縮放讓模型對(duì)佩戴松緊、動(dòng)作力度變化不敏感時(shí)間扭曲模擬的是同一個(gè)動(dòng)作做得快或慢。參數(shù)落在 0.9 到 1.1 的縮放區(qū)間對(duì)多數(shù)活動(dòng)識(shí)別任務(wù)比較安全因?yàn)閯?dòng)作幅度差異通常遠(yuǎn)小于這個(gè)范圍。seed參數(shù)建議在可復(fù)現(xiàn)實(shí)驗(yàn)里固定尤其當(dāng)你要對(duì)比增強(qiáng)前后效果時(shí)隨機(jī)種子一變結(jié)論可能也跟著變。使用時(shí)要特別注意add_noise的noise_level如果你不清楚輸入數(shù)據(jù)的單位先看波形量級(jí)。如果數(shù)據(jù)歸一化到 [-1,1]0.02 可能太小可以試 0.05如果數(shù)據(jù)是原始的加速度 g 值0.02g 是個(gè)穩(wěn)當(dāng)起點(diǎn)。時(shí)間扭曲里np.interp(old_idx, new_idx, X[i, :, ch])的含義是把拉伸后的時(shí)間軸重新映射回原來的長度這樣輸出形狀不變可以直接拼進(jìn)訓(xùn)練集。3.2 頻域增強(qiáng)FFT相位擾動(dòng)與低通濾波可穿戴信號(hào)里的走路、跑步、揮手都有較明顯的節(jié)律頻域結(jié)構(gòu)是動(dòng)作類別的重要特征。頻域增強(qiáng)的思路是保留幅度譜只對(duì)相位做隨機(jī)擾動(dòng)這樣能量分布和頻率成分基本不變但波形細(xì)節(jié)會(huì)有變化模型不容易記住特定樣本。def fft_phase_shift(X, shift_range0.1, seedNone): 頻域相位擾動(dòng)。shift_range 是相位偏移的弧度范圍。 rng np.random.default_rng(seed) n, t, c X.shape out np.empty_like(X) for i in range(n): for ch in range(c): spectrum np.fft.rfft(X[i, :, ch]) freqs spectrum.shape[0] phase rng.uniform(-shift_range * 2 * np.pi, shift_range * 2 * np.pi, size(freqs,)) shifted spectrum * np.exp(1j * phase) out[i, :, ch] np.fft.irfft(shifted, nt) return outshift_range是這段代碼最需要謹(jǐn)慎調(diào)的參數(shù)0.1 表示相位偏移最大是 0.1 倍圓周也就是正負(fù) 36 度。大于 0.2 時(shí)波形會(huì)出現(xiàn)明顯的振鈴效應(yīng)也就是在信號(hào)突變的位置產(chǎn)生來回震蕩的假波這種假波在加速度計(jì)數(shù)據(jù)里表現(xiàn)得像高頻抖動(dòng)模型很容易把它當(dāng)成動(dòng)作特征學(xué)進(jìn)去。更穩(wěn)的用法是只擾動(dòng)中頻段的相位直流分量和最高頻分量保持不動(dòng)這樣既保留基線又增加多樣性。如果你只是想濾掉傳感器隨機(jī)抖動(dòng)直接用 scipy 的 butter 低通濾波器即可頻率截止設(shè)在動(dòng)作信號(hào)帶寬的 1.5 倍附近。3.3 互類增強(qiáng)Mixup與DBA的輕量實(shí)現(xiàn)互類增強(qiáng)的思想是從同類樣本里生成新的混合樣本。時(shí)序 Mixup 在可穿戴分類任務(wù)里性價(jià)比極高實(shí)現(xiàn)只要十行def mixup_same_class(X, y, alpha0.2, seedNone): 同類樣本線性插值。返回增強(qiáng)后的樣本和對(duì)應(yīng)標(biāo)簽。 rng np.random.default_rng(seed) n X.shape[0] # 為每個(gè)樣本隨機(jī)選一個(gè)同類樣本 indices np.empty(n, dtypeint) for label in np.unique(y): cls_idx np.where(y label)[0] for i in cls_idx: candidates cls_idx[cls_idx ! i] indices[i] rng.choice(candidates) if len(candidates) 0 else i lam rng.beta(alpha, alpha, size(n, 1, 1)) X_aug lam * X (1 - lam) * X[indices] return X_aug, y.copy()Mixup 在圖像上常用lambda從 Beta 分布采樣時(shí)序里同樣適用。alpha0.2時(shí)采樣值更偏向 0 或 1生成的樣本更接近兩個(gè)原始樣本之一alpha1.0時(shí)偏向 0.5生成的是兩個(gè)樣本的中間形態(tài)。我這里特意強(qiáng)調(diào)“同類”因?yàn)榭纱┐鲃?dòng)作標(biāo)簽天然互斥跨類插值會(huì)造出語義不明確的樣本比如“站立”和“跑步”的中間狀態(tài)標(biāo)簽沒法定義。同類 Mixup 能擴(kuò)大類內(nèi)多樣性又不會(huì)污染類別邊界。比 Mixup 更復(fù)雜的是 DBADTW Barycenter Averaging它用動(dòng)態(tài)時(shí)間規(guī)整找到一組同類樣本的“平均重心”生成一個(gè)代表性的模板樣本。DBA 對(duì)小樣本類別特別有效但它會(huì)把一批樣本平均成一個(gè)如果參與平均的樣本本身形態(tài)差異大得到的是過平滑的中間形態(tài)反而壓掉類內(nèi)差異。tslearn 庫里有現(xiàn)成的 barycenter 模塊使用時(shí)注意輸入樣本長度必須一致否則要預(yù)先 padding 或截?cái)唷Ｎ业慕?jīng)驗(yàn)是Mixup 先上DBA 作為備選不要兩個(gè)同時(shí)用。3.4 生成式增強(qiáng)PCA潛空間噪聲注入的輕量方案真正的生成式增強(qiáng)比如 VAE 或 GAN在可穿戴時(shí)序上最容易遇到的問題就是訓(xùn)練不穩(wěn)定數(shù)據(jù)量太小的時(shí)候模式崩潰很常見。有一個(gè)更穩(wěn)的低門檻做法先用 PCA 把訓(xùn)練樣本壓縮到低維潛空間在潛空間里加擾動(dòng)再重構(gòu)回原始空間。這相當(dāng)于一個(gè)線性 VAE不涉及對(duì)抗訓(xùn)練在 Jupyter 里能穩(wěn)定產(chǎn)出看起來合理的樣本。from sklearn.decomposition import PCA def pca_augment(X_train, n_components8, noise_std0.2, seedNone): PCA潛空間加噪重構(gòu)生成合成樣本。 X_train: (n_samples, n_timesteps, n_channels) n_components: 潛空間維數(shù)通常取 4~16 noise_std: 潛空間加噪標(biāo)準(zhǔn)差 rng np.random.default_rng(seed) n, t, c X_train.shape X_flat X_train.reshape(n, -1) pca PCA(n_componentsn_components) pca.fit(X_flat) Z pca.transform(X_flat) Z_aug Z rng.normal(0.0, noise_std, sizeZ.shape) X_aug_flat pca.inverse_transform(Z_aug) return X_aug_flat.reshape(n, t, c)n_components決定潛空間保留多少信息。取 4 到 16 對(duì)大多數(shù) 6 通道可穿戴信號(hào)夠用太小會(huì)丟失通道間的相關(guān)性重構(gòu)出來的樣本像被磨平了太大等于沒壓縮加噪后基本就是原始樣本加噪聲。noise_std從 0.1 起步不要超過 0.5否則潛空間里的擾動(dòng)會(huì)重構(gòu)出幅度異常的信號(hào)。這一招適合在樣本量少到 Mixup 都不太夠用時(shí)補(bǔ)一刀但它的多樣性有限只能作為組合增強(qiáng)里的一個(gè)組成部分不能獨(dú)挑大梁。如果你后續(xù)要用 LSTM 做時(shí)間序列預(yù)測或分類增強(qiáng)數(shù)據(jù)記得保持 (n, t, c) 的固定形狀PCA 重構(gòu)出的樣本形狀不會(huì)變可以直接拼接進(jìn)訓(xùn)練數(shù)組。4. 增強(qiáng)不是玄學(xué)用分布對(duì)比與Baseline分類器驗(yàn)證效果增強(qiáng)做完不驗(yàn)證等于白做。這一章講兩件事增強(qiáng)前后的樣本分布是否合理以及增強(qiáng)到底有沒有提升分類效果。驗(yàn)證用的代碼都是輕量的在 Jupyter 里跑幾分鐘就能出結(jié)果。4.1 增強(qiáng)前后分布可視化PCA降維與樣本波形對(duì)照先把原始樣本和增強(qiáng)樣本合并用 PCA 降維到二維看它們?cè)谔卣骺臻g里的分布是否有重疊。如果增強(qiáng)樣本完全落在原始樣本的分布之外說明變換參數(shù)過強(qiáng)如果完全重疊說明增強(qiáng)太平淡多樣性不夠。注意這里用的“分布”不是原始波形而是統(tǒng)計(jì)特征我習(xí)慣提取均值、標(biāo)準(zhǔn)差和 FFT 幅值均值def extract_features(X): 從時(shí)序樣本里提取統(tǒng)計(jì)特征用于分類和可視化。 X: (n_samples, n_timesteps, n_channels) 返回: (n_samples, n_channels * 3) features [] for i in range(X.shape[0]): sample X[i] f np.concatenate([ sample.mean(axis0), sample.std(axis0), np.abs(np.fft.rfft(sample, axis0)).mean(axis0) ]) features.append(f) return np.array(features)然后在 Jupyter 里運(yùn)行import matplotlib.pyplot as plt from sklearn.decomposition import PCA def plot_augmentation_distribution(X_orig, X_aug): feats_orig extract_features(X_orig) feats_aug extract_features(X_aug) feats_cat np.concatenate([feats_orig, feats_aug], axis0) pca PCA(n_components2) emb pca.fit_transform(feats_cat) fig, ax plt.subplots(figsize(6, 5)) ax.scatter(emb[:len(X_orig), 0], emb[:len(X_orig), 1], s6, alpha0.5, labeloriginal) ax.scatter(emb[len(X_orig):, 0], emb[len(X_orig):, 1], s6, alpha0.5, labelaugmented) ax.set_xlabel(PC1) ax.set_ylabel(PC2) ax.legend() plt.show()理想狀態(tài)是增強(qiáng)樣本散落在原始樣本周圍而不是聚集在一個(gè)角落。如果看到增強(qiáng)樣本形成獨(dú)立的小團(tuán)就要懷疑過強(qiáng)的噪聲或過大的縮放系數(shù)。分布圖還能暴露另一個(gè)問題當(dāng)原始數(shù)據(jù)類別極少t-SNE 或 PCA 的投影會(huì)給出誤導(dǎo)性的視覺結(jié)論這時(shí)候要結(jié)合波形圖看。隨機(jī)抽幾個(gè)增強(qiáng)樣本畫波形和原始樣本并排比對(duì)確認(rèn)波形形態(tài)沒有被破壞。如果在 Jupyter 里畫圖時(shí)橫坐標(biāo)刻度太密集用plt.MaxNLocator(5)限制坐標(biāo)軸刻度數(shù)量否則標(biāo)簽會(huì)疊成一團(tuán)。4.2 用Baseline分類器量化增強(qiáng)收益分布圖是定性驗(yàn)證真正要說服自己和團(tuán)隊(duì)的是數(shù)字。用一個(gè)輕量分類器做 baseline分別跑不增強(qiáng)和增強(qiáng)兩組實(shí)驗(yàn)對(duì)比準(zhǔn)確率或 F1。因?yàn)檫@里驗(yàn)證的是增強(qiáng)的價(jià)值不是模型的天花板我用邏輯回歸加特征提取就能看出趨勢。from sklearn.linear_model import LogisticRegression from sklearn.preprocessing import StandardScaler from sklearn.pipeline import make_pipeline from sklearn.model_selection import train_test_split def evaluate_augmentation(X_orig, y, X_aug, y_aug): # 原始數(shù)據(jù)做 baseline X_feat_orig extract_features(X_orig) X_train, X_test, y_train, y_test train_test_split( X_feat_orig, y, test_size0.2, stratifyy, random_state42) baseline make_pipeline(StandardScaler(), LogisticRegression(max_iter500)) baseline.fit(X_train, y_train) base_acc baseline.score(X_test, y_test) # 增強(qiáng)數(shù)據(jù)拼進(jìn)訓(xùn)練集測試集仍舊用原始數(shù)據(jù) X_train_aug np.concatenate([X_feat_orig, extract_features(X_aug)], axis0) y_train_aug np.concatenate([y, y_aug], axis0) X_test X_feat_orig # 注意這里測試集是原始數(shù)據(jù)避免泄漏 y_test y aug_model make_pipeline(StandardScaler(), LogisticRegression(max_iter500)) aug_model.fit(X_train_aug, y_train_aug) aug_acc aug_model.score(X_test, y_test) print(fbaseline acc: {base_acc:.4f}) print(faugmented acc: {aug_acc:.4f}) return base_acc, aug_acc這段代碼有個(gè)關(guān)鍵點(diǎn)測試集始終是原始數(shù)據(jù)的隨機(jī)劃分增強(qiáng)樣本只進(jìn)訓(xùn)練集。如果你把增強(qiáng)樣本也放進(jìn)劃分再隨機(jī)切同一個(gè)原始樣本的多個(gè)增強(qiáng)版本很可能同時(shí)出現(xiàn)在訓(xùn)練和測試?yán)餃?zhǔn)確率虛高。這里的評(píng)估方式雖然簡單但能告訴你兩個(gè)信息增強(qiáng)把準(zhǔn)確率往上頂了還是壓下去了以及它在驗(yàn)證集上的穩(wěn)定性。數(shù)字跑出來如果增強(qiáng)后準(zhǔn)確率反而下降先不要急著調(diào)參回到 4.1 看分布圖大概率是變換參數(shù)過強(qiáng)。4.3 評(píng)估指標(biāo)準(zhǔn)確率、F1與類別召回準(zhǔn)確率在可穿戴分類任務(wù)里經(jīng)常騙人。比如“正常行走”這類樣本量大的類別把準(zhǔn)確率抬得很高但“跌倒”這類小樣本類別表現(xiàn)極差準(zhǔn)確率數(shù)字卻看不出來。增強(qiáng)最應(yīng)該解決的恰恰是小樣本類別的召回率。所以在 baseline 評(píng)估里不要讓準(zhǔn)確率當(dāng)唯一指標(biāo)至少要同時(shí)記錄 macro F1 和每個(gè)類別的召回率。指標(biāo)適合場景說明準(zhǔn)確率類別均衡時(shí)直觀但小樣本類別失效時(shí)看不出來macro F1類別不平衡每個(gè)類別 F1 平均小類被同等對(duì)待每類召回率跌倒檢測等安全場景漏報(bào)比誤報(bào)代價(jià)更高直接看這個(gè)可穿戴任務(wù)里如果增強(qiáng)只帶來準(zhǔn)確率上升 1 個(gè)百分點(diǎn)但跌倒類別的召回率從 0.6 漲到 0.85這個(gè)增強(qiáng)就是有效的。我在實(shí)際項(xiàng)目里會(huì)把這三項(xiàng)指標(biāo)打出來再?zèng)Q定要不要調(diào)整增強(qiáng)參數(shù)。單獨(dú)追求準(zhǔn)確率的提升很容易被增強(qiáng)帶來的過擬合掩蓋。5. 可穿戴時(shí)序增強(qiáng)的避坑記錄五個(gè)親身踩過的邊界這一章是我自己在可穿戴項(xiàng)目里真實(shí)踩過的坑按“現(xiàn)象-原因-解決”的格式記錄希望能省掉你幾天的排查時(shí)間。5.1 增強(qiáng)后標(biāo)簽錯(cuò)位樣本和標(biāo)簽尾部對(duì)不上現(xiàn)象是訓(xùn)練時(shí)準(zhǔn)確率忽高忽低畫混淆矩陣發(fā)現(xiàn)很多預(yù)測標(biāo)簽比真實(shí)標(biāo)簽慢了一個(gè)或幾個(gè)位置。原因是滑動(dòng)窗口切窗和增強(qiáng)用了不同的索引體系。比如先對(duì)整條傳感器流做了噪聲增強(qiáng)再切窗增強(qiáng)后的數(shù)組長度沒變但內(nèi)存布局變了或者你用sliding_window切完窗后又對(duì)重疊區(qū)域單獨(dú)做縮放導(dǎo)致某個(gè)樣本實(shí)際上覆蓋了相鄰動(dòng)作的波形但標(biāo)簽還是原來的。解決方法是把“切窗 標(biāo)簽對(duì)齊 增強(qiáng)”放在同一個(gè)函數(shù)里每生成一個(gè)窗口就立刻確認(rèn)窗口的起始時(shí)間戳和標(biāo)簽對(duì)應(yīng)。增強(qiáng)函數(shù)只接受已經(jīng)帶標(biāo)簽的樣本數(shù)組不要對(duì)完整傳感器流先增強(qiáng)再切窗。另外離線增強(qiáng)后用np.savez保存時(shí)把 X_aug 和 y_aug 同時(shí)寫進(jìn)去下次加載時(shí)先檢查len(X_aug) len(y_aug)這個(gè)斷言能攔住大多數(shù)索引錯(cuò)位問題。5.2 歸一化順序反了增強(qiáng)白做甚至有害現(xiàn)象是增強(qiáng)后的樣本在驗(yàn)證集上表現(xiàn)還不如不增強(qiáng)畫波形發(fā)現(xiàn)增強(qiáng)樣本的幅度整體偏小且與原始樣本的量綱不一致。原因是先做了標(biāo)準(zhǔn)化歸一化再對(duì)標(biāo)準(zhǔn)化后的樣本加噪聲或縮放而標(biāo)準(zhǔn)化時(shí)用的均值方差來自原始訓(xùn)練集增強(qiáng)樣本等于被二次縮放分布整體漂移。正確的順序是先做數(shù)據(jù)增強(qiáng)再擬合標(biāo)準(zhǔn)化器。也就是把StandardScaler放在增強(qiáng)之后只擬合增強(qiáng)后的訓(xùn)練集驗(yàn)證集和測試集用同一個(gè) scaler 做變換。如果你希望增強(qiáng)前后的樣本都處在同一量綱可以單獨(dú)畫增強(qiáng)前后每個(gè)通道的均值和標(biāo)準(zhǔn)差對(duì)比偏差超過 10% 就說明順序或參數(shù)有問題。這個(gè)小檢查成本很低值得養(yǎng)成習(xí)慣。5.3 頻域相位擾動(dòng)過頭振鈴偽影變成新特征現(xiàn)象是頻域增強(qiáng)后準(zhǔn)確率提升但換一個(gè)設(shè)備驗(yàn)證時(shí)效果暴跌模型對(duì)新設(shè)備的信號(hào)完全不魯棒。原因是shift_range設(shè)得太大相位擾動(dòng)在信號(hào)突變點(diǎn)附近產(chǎn)生了明顯的振鈴模型把振鈴當(dāng)成了動(dòng)作特征而真實(shí)設(shè)備里沒有這個(gè)偽影。解決方法是把shift_range控制在 0.05 到 0.15 之間并且擾動(dòng)時(shí)不動(dòng)直流分量和最高頻分量只擾動(dòng)能量占比靠前的 30% 到 50% 的頻率分量。還可以直接拿增強(qiáng)樣本和原始樣本的頻譜做對(duì)比畫在一張圖上如果頻譜包絡(luò)形狀明顯改變就調(diào)小范圍。我自己在加速度計(jì)數(shù)據(jù)上一般用 0.1再大就出偽影。5.4 生成式增強(qiáng)把樣本變同質(zhì)多樣性不升反降現(xiàn)象是 PCA 增廣后訓(xùn)練集的分類準(zhǔn)確率上升但測試集準(zhǔn)確率沒有同步上升甚至下降畫分布圖發(fā)現(xiàn)增強(qiáng)樣本全部集中在原始樣本中心附近的一小片區(qū)域。原因是潛空間加噪的標(biāo)準(zhǔn)差太小PCA 重構(gòu)時(shí)把噪聲壓縮掉了產(chǎn)出的樣本幾乎就是原始樣本的均值形態(tài)多樣性幾乎沒有增加反而讓模型在訓(xùn)練時(shí)反復(fù)看到同質(zhì)的平均樣本變相加重了對(duì)訓(xùn)練分布的過度擬合。解決辦法是先畫出潛空間投影的分布Z的每一維標(biāo)準(zhǔn)差大概是多少noise_std取到這些標(biāo)準(zhǔn)差的一半到等量級(jí)。比如Z第一維標(biāo)準(zhǔn)差是 3.2noise_std從 1.0 試起而不是拍腦袋設(shè)個(gè) 0.2。檢查合成樣本和原始樣本的類內(nèi)距離增強(qiáng)后的類內(nèi)平均距離如果比原始類內(nèi)距離還小說明多樣性不足加大噪聲或換用 Mixup。5.5 內(nèi)存不夠與隨機(jī)種子不一致實(shí)驗(yàn)結(jié)果沒法復(fù)現(xiàn)現(xiàn)象是在 Jupyter 里增強(qiáng)跑得正歡突然內(nèi)核崩了或者同一個(gè) notebook 重復(fù)跑兩遍出來的準(zhǔn)確率不一樣。原因有二一是離線增強(qiáng)把所有方法、所有倍率一次性全部生成數(shù)組數(shù)量翻了十幾倍直接爆內(nèi)存二是增強(qiáng)函數(shù)里的隨機(jī)種子沒有固定每次跑的樣本都不同自然不能復(fù)現(xiàn)。解決方式是分批生成、及時(shí)釋放。增強(qiáng)數(shù)據(jù)可以每生成一批就np.savez追加寫入不要一直攢在變量里單批樣本量控制在幾萬以內(nèi)。每個(gè)增強(qiáng)函數(shù)都接受seed參數(shù)在 notebook 開頭定義一個(gè)全局的SEED 42所有函數(shù)傳進(jìn)去。如果你在一個(gè)單元格里連續(xù)跑多個(gè)增強(qiáng)函數(shù)還要注意每個(gè)函數(shù)內(nèi)部如果不重置numpy.random的全局狀態(tài)后面的隨機(jī)序列會(huì)被前面的調(diào)用影響所以顯式用np.random.default_rng(seed)是更穩(wěn)的寫法。Jupyter 本身對(duì)長任務(wù)也不友好數(shù)據(jù)量超過幾十萬樣本后建議把增強(qiáng)腳本抽成.py在終端跑跑完存盤再回 notebook 做分析。6. 進(jìn)階按受試者分組交叉驗(yàn)證把增強(qiáng)放進(jìn)嚴(yán)格評(píng)估管線可穿戴實(shí)驗(yàn)里最容易被忽略的泄漏不是增強(qiáng)樣本進(jìn)了測試集而是同一個(gè)受試者的數(shù)據(jù)同時(shí)出現(xiàn)在訓(xùn)練和測試集中。模型會(huì)記住佩戴者的個(gè)體特征而不是動(dòng)作類別本身。這個(gè)問題在加了增強(qiáng)之后會(huì)被放大因?yàn)樵鰪?qiáng)能讓同一個(gè)人的樣本出現(xiàn)幾十次泄漏效果更強(qiáng)。解決方法是按受試者分組做交叉驗(yàn)證。先把數(shù)據(jù)按受試者 ID 組織然后用GroupKFold劃分確保同一個(gè)人的所有窗口只出現(xiàn)在同一個(gè) foldfrom sklearn.model_selection import GroupKFold def evaluate_grouped(X, y, groups, X_aug, y_aug, aug_groups): 按受試者分組評(píng)估增強(qiáng)效果。 groups: 每個(gè)樣本所屬的受試者 ID X_aug: 增強(qiáng)后的樣本 aug_groups: 增強(qiáng)樣本對(duì)應(yīng)的受試者 ID gkf GroupKFold(n_splits5) scores [] for train_idx, test_idx in gkf.split(X.reshape(X.shape[0], -1), y, groups): # 只把 train_idx 對(duì)應(yīng)的訓(xùn)練樣本與增強(qiáng)樣本拼接 X_train np.concatenate([X[train_idx], X_aug], axis0) y_train np.concatenate([y[train_idx], y_aug], axis0) # 注意增強(qiáng)樣本必須只來自訓(xùn)練 fold 的受試者 X_test, y_test X[test_idx], y[test_idx] model make_pipeline(StandardScaler(), LogisticRegression(max_iter500)) model.fit(extract_features(X_train), y_train) acc model.score(extract_features(X_test), y_test) scores.append(acc) return scores這段代碼里最需要注意的是X_aug的來源。增強(qiáng)樣本只能由訓(xùn)練 fold 內(nèi)的原始樣本生成不能拿測試 fold 的樣本來造否則 leaking。嚴(yán)謹(jǐn)?shù)淖龇ㄊ窃诿總€(gè) fold 內(nèi)部重新對(duì)訓(xùn)練部分做增強(qiáng)而不是在 fold 外提前生成一份增強(qiáng)數(shù)組。上面的寫法為了示意簡化了這一點(diǎn)實(shí)際落地時(shí)把增強(qiáng)代碼放進(jìn) fold 循環(huán)內(nèi)部只接收X[train_idx]。交叉驗(yàn)證跑完你會(huì)得到五組得分。我的習(xí)慣是同時(shí)跑一版不帶增強(qiáng)的GroupKFold兩邊的均值差才是增強(qiáng)的真實(shí)收益。如果增強(qiáng)后均值上升但方差也變大說明增強(qiáng)對(duì)某些受試者效果好、對(duì)另一些不穩(wěn)定這時(shí)要按類別和受試者分別看召回率不要只盯著平均分。我自己做可穿戴項(xiàng)目時(shí)有個(gè)堅(jiān)持了很久的習(xí)慣每次增強(qiáng)調(diào)參前先跑一版嚴(yán)格分組的 baseline任何增強(qiáng)方案如果在這個(gè) baseline 上沒有提升就不讓它進(jìn)訓(xùn)練管線。這個(gè)做法擋掉過很多看起來漂亮的增強(qiáng)方法。數(shù)據(jù)增強(qiáng)的價(jià)值最終要體現(xiàn)在沒見過的人戴上傳感器的表現(xiàn)上而不是 notebook 里的訓(xùn)練曲線。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取