簡介這是一份圍繞“智造揚中”電力AI大賽的完整Python實戰(zhàn)源碼包面向電氣電子類競賽參賽者及電力AI學(xué)習(xí)者旨在展示從數(shù)據(jù)拆分、特征提取到模型訓(xùn)練與預(yù)測的完整工程鏈路。壓縮包共18個文件約835KB以6個Python腳本、4個CSV數(shù)據(jù)表、2個XML工程配置及readme、sh運行腳本等構(gòu)成其中data_split、feature_extract、model.py等模塊清晰劃分了數(shù)據(jù)處理、特征工程與建模環(huán)節(jié)run_all.sh可用于一鍵復(fù)現(xiàn)流程。目前已學(xué)習(xí)44人適合具備一定Python基礎(chǔ)、希望快速上手電力負(fù)荷預(yù)測或電網(wǎng)智能管理項目的讀者。通過閱讀源碼可掌握天池電力預(yù)測表的清洗與特征構(gòu)造思路、模型調(diào)參邏輯及輸出預(yù)測結(jié)果csv的完整做法為參賽或畢業(yè)設(shè)計提供可移植的代碼模板。1. 電賽電力AI賽題這份壓縮包把從數(shù)據(jù)清洗到提交的全流程攤開了電賽這幾年最讓隊伍頭疼的不是控制題而是帶“AI”字樣的電力方向題目25年B題、E題和26年G題、F題里都能看到負(fù)荷辨識、電力預(yù)測、故障診斷的影子。拿到一份不知道從哪下手的JSON或CSV很多隊伍第一反應(yīng)是套個LSTM上去結(jié)果驗證集刷得挺高提交分?jǐn)?shù)卻掉得離譜。這份「大航杯智造揚中電力AI大賽_1.zip」的完整解題包正好把這條鏈路補齊賽題數(shù)據(jù)長什么樣、特征怎么做、模型怎么選、結(jié)果按什么格式交。適合三類人正在備賽電賽電力AI方向的學(xué)生隊伍、要做電力數(shù)據(jù)分析的課題組、以及想拿真實電力數(shù)據(jù)集練手但被數(shù)據(jù)清洗勸退的工程師。下文所有操作我按這套資源里最典型的流程拆開講。2. 從賽題到方案選型電力數(shù)據(jù)為什么不能直接套通用機器學(xué)習(xí)流程2.1 電力AI賽題到底在考什么電力AI賽題和普通的數(shù)據(jù)競賽有個明顯區(qū)別數(shù)據(jù)帶有強時間依賴性和周期性而且采集端經(jīng)常出問題。負(fù)荷預(yù)測、臺區(qū)辨識、電壓異常檢測這幾類題數(shù)據(jù)通常來自智能電表或SCADA系統(tǒng)采樣間隔從1分鐘到15分鐘不等文件里除了負(fù)荷值還有時間戳、溫度、濕度、電價等多維字段。賽題表面讓你“預(yù)測未來時段負(fù)荷”實際考察的是兩件事能不能把時間序列特征吃透以及你的提交格式能不能被評分腳本正確解析。我在拆這份資源時先看了它的數(shù)據(jù)目錄結(jié)構(gòu)典型的電賽-style布局訓(xùn)練集按日期分片存CSV測試集是連續(xù)時間段標(biāo)簽列單獨放一個文件。這種“分段給數(shù)據(jù)”的模式在電賽里非常常見意圖就是逼你手動對齊時間索引而不是直接讀進來就訓(xùn)練。數(shù)據(jù)里還留了不少空值和尖峰毛刺這是故意埋的預(yù)處理考點。2.2 模型選型時序深度模型與樹模型的取舍很多隊伍一上來就上Transformer但電力負(fù)荷數(shù)據(jù)的樣本量通常只有幾萬條時間長度也短Transformer在小樣本時序上很容易過擬合收斂還慢。我一般建議先做兩組基線一組是LSTM/GRU這類循環(huán)模型另一組是把時序數(shù)據(jù)展平成特征表丟給LightGBM。兩份資源里給的參考方案也是這個思路深度學(xué)習(xí)模型負(fù)責(zé)捕捉短期依賴樹模型負(fù)責(zé)吃統(tǒng)計特征、外部因素特征。選型判斷標(biāo)準(zhǔn)看三點數(shù)據(jù)量、序列長度、外部特征占比。數(shù)據(jù)量低于5萬條時LSTM比Transformer穩(wěn)GRU又比LSTM輕量序列長度超過48個時間步考慮注意力機制或直接上TCN溫度、濕度、電價這些外部特征占比重時樹模型的上限往往更高因為深度模型對這類異構(gòu)特征的擬合效率不高。具體取舍可以直接參照表2-1。模型適合場景訓(xùn)練成本電賽電力題常見用途LightGBM特征工程充足、外部變量多低負(fù)荷預(yù)測、異常檢測LSTM/GRU序列模式強、樣本量適中中短期負(fù)荷預(yù)測、電壓序列建模Transformer長序列、樣本量大高多變量長時序預(yù)測集成LSTMLightGBM追求穩(wěn)定排名中高最終提交主力方案2.3 評價指標(biāo)與提交格式先對齊評價指標(biāo)決定了損失函數(shù)怎么設(shè)計。電力預(yù)測題用得最多的是MAPE平均絕對百分比誤差和RMSE個別題會用分類準(zhǔn)確率或F1-score判斷“辨識”型任務(wù)。這份資源在文檔里明確寫了按MAPE打分這點非常關(guān)鍵——如果按RMSE做損失函數(shù)模型會對峰值負(fù)荷投入過多注意力而MAPE對近零值的小絕對誤差非常敏感兩者的最優(yōu)解完全不同。實操上損失函數(shù)用HuberLoss或MAPE的平滑版本輸出層不加激活函數(shù)訓(xùn)練時監(jiān)控驗證集的MAPE早停閾值設(shè)在20個epoch內(nèi)不下降即停。提交格式一般是一個CSV兩列預(yù)測時間點、預(yù)測值。行數(shù)必須和測試集嚴(yán)格一致索引錯位是電賽提交最常見的問題第5章我會專門講。3. 數(shù)據(jù)預(yù)處理與特征工程把現(xiàn)場采集的電力數(shù)據(jù)變成能訓(xùn)的樣本3.1 缺失值與異常值處理電力數(shù)據(jù)里的缺失值分三種單點缺失、連續(xù)缺失、整段缺失。單點缺失用前后時刻線性插值就能補連續(xù)缺失超過3個采樣點時線性插值會抹掉趨勢我一般用同星期類型、同時段的均值填充整段缺失比如某一天文件整個沒有只能放棄這一段不要讓模型自己去“腦補”一整天。異常值要區(qū)分是采集噪聲還是真實尖峰。負(fù)荷突增可能是設(shè)備啟動也可能是抄表錯誤。一個穩(wěn)妥的判斷方法是滾動中位數(shù)濾波某個時刻的值偏離前后3小時中位數(shù)超過3倍IQR就標(biāo)記為異常替換成中位數(shù)。代碼實現(xiàn)很簡單import pandas as pd import numpy as np def median_filter_outliers(series, window_hours3, iqr_multiplier3, freq15min): # 計算滾動中位數(shù)和IQRwindow由時間決定而非固定行數(shù) rolling series.rolling(windowf{window_hours}h, min_periods6) median rolling.median() q1 series.rolling(windowf{window_hours}h, min_periods6).quantile(0.25) q3 series.rolling(windowf{window_hours}h, min_periods6).quantile(0.75) iqr q3 - q1 lower median - iqr_multiplier * iqr upper median iqr_multiplier * iqr # 超出邊界的置為NaN后續(xù)統(tǒng)一插值 cleaned series.where((series lower) (series upper)) return cleaned.interpolate(methodlinear) df[load_clean] median_filter_outliers(df[load])這里有兩個參數(shù)要注意window_hours要按數(shù)據(jù)集的采樣頻率調(diào)整如果數(shù)據(jù)是1分鐘一條3小時窗口是180條記錄滾動計算量不小iqr_multiplier在電力場景下用3比較合適——我們驗證過用2會把正常的早晚高峰尖峰全砍掉損失掉模型最需要的峰值信息。min_periods6保證窗口內(nèi)至少有一小時數(shù)據(jù)支撐統(tǒng)計量否則前幾個點會被置空。3.2 時間特征與滑窗構(gòu)造電力負(fù)荷有典型的“三周期性”一天24小時、一周7天、一年四季。模型沒法直接理解時間戳字符串必須拆成數(shù)值特征。我習(xí)慣先把時間戳拆出小時、星期、是否工作日、距離最近節(jié)假日的天數(shù)再加一個hour_sin和hour_cos這樣的周期編碼。注意星期特征不要用順序整數(shù)周一到周日是1到7用one-hot或者周期編碼更好因為周六和周一在語義上不相鄰?；皹?gòu)造是時序模型的第二步。對LSTM來說窗口長度我們試過6、12、24、48電賽這種15分鐘粒度的數(shù)據(jù)24步即6小時效果最好太長反而把噪聲也裝進去。滑窗代碼要注意步長訓(xùn)練時滑動步長設(shè)為1來最大化樣本數(shù)但構(gòu)造測試集預(yù)測時步長必須等于預(yù)測長度否則會產(chǎn)生重疊預(yù)測。def make_sequences(data, seq_len24, pred_len6): X, y [], [] for i in range(len(data) - seq_len - pred_len 1): X.append(data[i:iseq_len]) y.append(data[iseq_len:iseq_lenpred_len]) return np.array(X), np.array(y) # data是二維數(shù)組 [樣本數(shù), 特征數(shù)] # seq_len24 表示用過去24個時間步預(yù)測未來6個時間步 X_train, y_train make_sequences(df[[load,hour_sin,hour_cos]].values, 24, 6) print(X_train.shape, y_train.shape) # 輸出類似 (89352, 24, 3) (89352, 6, 3)這段代碼有個容易踩的地方pred_len是預(yù)測步數(shù)它決定了輸出層的神經(jīng)元個數(shù)和MAPE的計算方式。如果賽題要求預(yù)測未來一天而數(shù)據(jù)是15分鐘粒度pred_len96此時LSTM輸出層的96個神經(jīng)元直接對應(yīng)96個時間點的值這種映射關(guān)系要提前憋清楚否則后面對齊標(biāo)簽時必亂。3.3 歸一化與數(shù)據(jù)劃分防止正態(tài)分布統(tǒng)計量泄漏歸一化是電賽數(shù)據(jù)處理里翻車率最高的環(huán)節(jié)。最大的坑用全量數(shù)據(jù)的均值、方差去做歸一化再劃分訓(xùn)練集和驗證集。這等于把驗證集和測試集的統(tǒng)計信息泄露給了模型驗證集上永遠好看但一到真正未知的測試集就露出原形。正確做法是先切分、再單獨對訓(xùn)練集擬合scaler然后transform驗證集和測試集。此外電力數(shù)據(jù)是時間序列劃分不能隨機打亂必須按時間順序前80%作訓(xùn)練、后20%作驗證。隨機shuffle在你第一次拿到數(shù)據(jù)時幾乎一定會手滑一旦shuffle模型學(xué)到的是“記住了所有時間點的統(tǒng)計規(guī)律”而不是“根據(jù)過去推未來”的能力。from sklearn.preprocessing import StandardScaler # 先按時間切分再做歸一化 split_idx int(len(df) * 0.8) train_df df.iloc[:split_idx].copy() val_df df.iloc[split_idx:].copy() scaler StandardScaler() # 只fit訓(xùn)練集transform全部 train_df[[load]] scaler.fit_transform(train_df[[load]]) val_df[[load]] scaler.transform(val_df[[load]])一個我每次都檢查的操作fit_transform和transform別寫反寫反了等于用驗證集的均值方差去歸一化訓(xùn)練集整個特征分布直接錯亂。這種錯誤在代碼review時很難一眼看出來因為訓(xùn)練loss還是能降只是驗證曲線會產(chǎn)生異常的抖動。4. 模型訓(xùn)練與調(diào)參把基準(zhǔn)方案跑到榜單中位以上4.1 訓(xùn)練腳本骨架與關(guān)鍵參數(shù)這份資源的訓(xùn)練腳本主體是PyTorch寫的一個雙層LSTM輸出層接全連接。選PyTorch而不是Keras或純sklearn的理由是電賽環(huán)境經(jīng)常要求選手在本地離線GPU上跑題PyTorch的顯存控制和斷點續(xù)訓(xùn)機制比Keras好調(diào)試出錯時能直接看到梯度流向。整個腳本分五段配置讀取、數(shù)據(jù)處理、模型定義、訓(xùn)練循環(huán)、驗證保存。import torch import torch.nn as nn from torch.utils.data import DataLoader, TensorDataset class ElectricityLSTM(nn.Module): def __init__(self, input_size, hidden_size128, num_layers2, pred_len6): super().__init__() # 雙層LSTM第一層輸出給第二層hidden_size從64調(diào)到此值后MAPE降了約1.2 self.lstm nn.LSTM( input_sizeinput_size, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, dropout0.2 # 兩層之間的dropout最后一層后的輸出不加 ) self.fc nn.Linear(hidden_size, pred_len) def forward(self, x): out, _ self.lstm(x) # 取最后一個時間步的hidden state 做預(yù)測 return self.fc(out[:, -1, :])hidden_size128和num_layers2是電賽這種數(shù)據(jù)規(guī)模下的甜點值再往上加到256和3層驗證集MAPE幾乎不動訓(xùn)練時間翻倍。dropout0.2只加在兩層LSTM之間如果加到輸入層會抑制模型學(xué)習(xí)短時波動。訓(xùn)練時我一般固定batch_size256學(xué)習(xí)率1e-3配AdamW權(quán)重衰減1e-5跑30個epoch后手動降學(xué)習(xí)率到3e-4再跑20輪。4.2 損失函數(shù)與評估指標(biāo)的對齊邏輯剛才第2章提過評分是MAPE但直接用MAPE值做損失函數(shù)有個問題當(dāng)真實值非常接近0時MAPE的梯度會爆炸。電賽數(shù)據(jù)里凌晨時段的負(fù)荷確實會掉到很低的量級所以這份資源用的是平滑MAPE變體在分母上加一個小常數(shù)防止除零。def smooth_mape_loss(y_pred, y_true, eps1.0): # eps取1.0量級和負(fù)荷值域(幾十到幾千)對齊 # 如果直接把eps設(shè)成1e-6凌晨低負(fù)荷樣本的loss會主導(dǎo)整個訓(xùn)練 diff torch.abs(y_true - y_pred) return torch.mean(diff / torch.clamp(torch.abs(y_true) eps, mineps))eps1.0這個值不是隨手填的。如果把它設(shè)成1e-6低負(fù)荷時段的樣本每個都能產(chǎn)生巨大梯度模型會為了擬合凌晨的低值犧牲白天高峰段的精度而白天高峰段恰好是評分權(quán)重最大的部分。反過來eps設(shè)得過大100以上所有樣本的誤差都被壓縮成一個量級模型學(xué)不到區(qū)分度。跑實驗時可以先統(tǒng)計一下訓(xùn)練集負(fù)荷的5%分位數(shù)把eps設(shè)成比這個值再小一檔我們這套數(shù)據(jù)5%分位約在8.5左右取1.0這個保守值效果最好。4.3 本地評測腳本與模型保存訓(xùn)練結(jié)束不急著提交本地先出一個評測報告。驗證集上的MAPE、RMSE、以及按小時分段的誤差曲線都要看一眼。如果某個小時段的誤差明顯高于其他段說明特征和模型對該時段捕捉不足回3.2補特征。# 按小時統(tǒng)計驗證集誤差 val_df[hour] val_df.index.hour val_df[abs_err_ratio] (val_df[pred] - val_df[load]).abs() / val_df[load] hourly_mape val_df.groupby(hour)[abs_err_ratio].mean() # 常見的異常早上6-8點誤差飆高說明模型沒學(xué)到早高峰斜坡特征 print(hourly_mape) # 保存時同時存模型結(jié)構(gòu)和參數(shù)避免PyTorch版本不一致導(dǎo)致load失敗 torch.save({ model_state: model.state_dict(), config: {input_size: 13, hidden_size: 128, pred_len: 6} }, best_model.pth)保存時順手把模型配置寫進同一個文件這點很值得養(yǎng)成習(xí)慣。電賽現(xiàn)場經(jīng)常換機器跑PyTorch版本一換直接load模型權(quán)重會報奇怪的鍵名錯誤有了config字段可以隨時重建網(wǎng)絡(luò)結(jié)構(gòu)再load。模型用哪個epoch的文件也有講究保存驗證集MAPE最優(yōu)的那個不保存最后一個epoch——時序模型最后一個epoch大概率已經(jīng)過擬合。5. 電賽電力AI實戰(zhàn)避坑訓(xùn)練泄漏、時區(qū)對齊與結(jié)果格式三個老大難5.1 五條真實踩坑記錄第一條驗證集MAPE只有8%提交分?jǐn)?shù)卻到15%。原因出在數(shù)據(jù)劃分時用了train_test_split默認(rèn)的shuffle把未來數(shù)據(jù)泄露給了訓(xùn)練集。解決無條件按時間順序劃分劃分后分別打印首尾時間戳確認(rèn)沒有重疊。從那以后我對每個隊伍都強調(diào)時間序列的驗證集不允許隨機抽樣這是紅線。第二條提交CSV的行數(shù)始終比官方樣例多出來幾十行。原因是生成預(yù)測時數(shù)據(jù)里有重復(fù)索引groupby后沒去重導(dǎo)致多行。解決提交前做一次行數(shù)校驗。wc -l submit.csv wc -l sample_submit.csv python -c import pandas as pd; apd.read_csv(submit.csv); bpd.read_csv(sample_submit.csv); print(a.shape, b.shape, a[time].is_unique)第三個命令里is_unique是False的話說明索引重復(fù)先把duplicated的行找出來刪掉再復(fù)檢。第三條預(yù)測值整體比真實值偏低15%。原因是歸一化時對訓(xùn)練集和測試集分別做了fit_transform測試集里出現(xiàn)訓(xùn)練集沒見過的峰最大值域transform后標(biāo)準(zhǔn)值被壓到異常區(qū)間。解決用訓(xùn)練集擬合scaler后保存測試集只transform并檢查測試集最大值是否超出訓(xùn)練集最大值3個標(biāo)準(zhǔn)差。超出的話說明測試數(shù)據(jù)分布漂移需要加日志特征或做差分。第四條模型訓(xùn)練loss下降但驗證MAPE在20個epoch后開始鋸齒狀震蕩。原因是學(xué)習(xí)率偏大AdamW雖然自帶自適應(yīng)但1e-3對這個數(shù)據(jù)集還是太高。解決換成余弦退火調(diào)度器從1e-3降到1e-4周期長度設(shè)為總epoch數(shù)的1/2我們實測震蕩完全消失最終MAPE還降了0.8。第五條提交格式被拒系統(tǒng)報“列名不匹配”。原因是官方要求列名是timestamp,predict我們輸出成了time,load。解決寫一個格式對齊函數(shù)讀取官方樣例的列名和順序強制把結(jié)果的列名改成樣例名再輸出。每次提交前都跑這個校驗?zāi)_本列名、行數(shù)、數(shù)據(jù)類型、有無NaN全查一遍。5.2 評分腳本黑匣子怎么應(yīng)對電賽的評分腳本通常不公開你只能在提交后拿到一個總分。這個黑匣子讓很多人焦慮但換個角度想它也有規(guī)律可循。你可以在本地盡量仿真它按官方給的樣例格式寫一個自己的評分函數(shù)用驗證集跑一遍記錄本地MAPE提交后再對比官方分?jǐn)?shù)。兩次分?jǐn)?shù)的差異如果穩(wěn)定在一個固定偏差比如本地10%、官方12.5%說明官方的測試集和你的驗證集分布接近你完全可以把這個偏差當(dāng)作校準(zhǔn)常數(shù)。反過來如果兩次差異忽大忽小多半是提交結(jié)果里存在異常預(yù)測值回頭檢查凌晨時段的輸出看看有沒有負(fù)值或離譜的尖峰。6. 進階把單模型換成集成與后處理白撿兩三個百分點6.1 集成策略LSTM、LightGBM、GRU三個模型加權(quán)單模型的提升空間有限集成才是電賽拿穩(wěn)排名的關(guān)鍵。最省事的方案是三模型加權(quán)平均LSTM和GRU在序列建模上各有側(cè)重LightGBM則擅長捕捉外部特征的交叉效應(yīng)。權(quán)重的搜參方式不復(fù)雜網(wǎng)格搜索就能搞定LSTM從0.2到0.5步長0.05GRU同區(qū)間余下權(quán)重全給LightGBM以驗證集MAPE為最低目標(biāo)。def ensemble_predict(models, weights, x_seq, x_tab): preds np.zeros(len(x_seq)) for i, (model, w) in enumerate(zip(models, weights)): if isinstance(model, torch.nn.Module): # 深度模型喂序列數(shù)據(jù)樹模型喂展平特征表 model.eval() with torch.no_grad(): pred model(x_seq).cpu().numpy().flatten() else: pred model.predict(x_tab).flatten() preds w * pred return preds # 權(quán)重示例先各自單獨跑出MAPE按誤差反比初始化再微調(diào) # lstm_mape10.2, gru_mape10.5, lgb_mape11.8 # 初始權(quán)重約 [0.38, 0.36, 0.26] best_weights [0.37, 0.35, 0.28] pred ensemble_predict([lstm, gru, lgb], best_weights, x_seq, x_tab)集成有個前提條件三個模型必須保證用同一套時間步劃分邏輯否則預(yù)測值在時間軸上對不齊。我實踐下來最簡單的是三個模型共享同一個訓(xùn)練集和歸一化參數(shù)深度模型吃原始序列LightGBM吃經(jīng)過時序統(tǒng)計聚合的特征表最后在預(yù)測階段求和。6.2 后處理規(guī)則修正與輸出平滑電賽電力題還有一個容易得分的小技巧物理約束后處理。電力負(fù)荷有明確的物理邊界——不能為負(fù)不會瞬間跳變過大。模型預(yù)測值偶爾會違反這些常識直接提交就扣分。我會在輸出后加兩道修正負(fù)值截斷為0相鄰時間步跳變量超過前值40%的按前值40%封頂。def rule_postprocess(pred, max_jump_ratio0.4): pred np.maximum(pred, 0) for i in range(1, len(pred)): prev pred[i-1] diff pred[i] - prev limit prev * max_jump_ratio if diff limit: pred[i] prev limit return pred pred rule_postprocess(pred, 0.4)max_jump_ratio0.4這個閾值對15分鐘粒度的負(fù)荷數(shù)據(jù)是我們的驗證集調(diào)出來的。設(shè)太大起不到修正作用設(shè)太小比如0.1會削平真實的高峰爬坡在帶儲能或電動汽車接入的臺區(qū)數(shù)據(jù)上反而制造誤差。如果你不知道賽題數(shù)據(jù)里有沒有這類突發(fā)負(fù)荷先按0.4跑一遍再看修正前后本地MAPE的變化方向若修正后變差就調(diào)回0.6。6.3 自建評測腳本電賽專屬的“后悔藥”最后分享一個我自己的習(xí)慣專門為每次電賽寫一個evaluate.py把數(shù)據(jù)加載、格式校驗、指標(biāo)計算全封裝起來。每次訓(xùn)完模型、生成完預(yù)測都強制走一遍這個腳本才允許自己提交。腳本里除了算MAPE還會自動檢查預(yù)測值有沒有NaN、有沒有負(fù)值、行數(shù)對不對、列名是否匹配。這個腳本在這份資源里也被我整理好附帶了建議你拿到后先跑一遍示例驗證數(shù)據(jù)確認(rèn)腳本輸出正常再替換成自己的模型和真實測試數(shù)據(jù)路徑。從那以后我每次提交前都強制走一遍評測腳本確認(rèn)行數(shù)、列名、值域全過才敢點提交按鈕。這套流程幫我規(guī)避了至少三次因格式問題被記零分的事故希望幫到你。本文還有配套的精品資源點擊獲取