1. 項目概述從數(shù)據(jù)搬運工到建模分析師如果你已經(jīng)跟著上一篇文章把Pandas的基本數(shù)據(jù)結(jié)構(gòu)DataFrame和Series玩得比較熟了那恭喜你你已經(jīng)成功從“數(shù)據(jù)小白”晉級為“數(shù)據(jù)搬運工”。但數(shù)學建模的世界遠不止把數(shù)據(jù)從一個地方搬到另一個地方那么簡單。搬運只是第一步更重要的是你得知道搬來的這些“磚頭”數(shù)據(jù)是什么材質(zhì)、能不能用、該怎么用。這就是我們這次要深入探討的核心數(shù)據(jù)預(yù)處理與探索性分析——這是連接原始數(shù)據(jù)和數(shù)學模型之間最關(guān)鍵、也最容易被忽視的橋梁。很多新手朋友一拿到數(shù)據(jù)尤其是從網(wǎng)上爬下來的天氣數(shù)據(jù)、或者公司導(dǎo)出的業(yè)務(wù)報表就迫不及待地開始套用復(fù)雜的回歸、分類模型結(jié)果往往慘不忍睹。模型報錯還是小事更可怕的是模型“跑通了”但結(jié)論完全錯誤這就是“垃圾進垃圾出”。Pandas在這個階段扮演的角色就是一個無比強大的“數(shù)據(jù)質(zhì)檢員”和“數(shù)據(jù)整形師”。它不僅能幫你快速看清數(shù)據(jù)的全貌更能高效地處理那些臟亂差的數(shù)據(jù)把它們整理成建模算法“愛吃”的格式。這次我們就聚焦于如何利用Pandas為你的數(shù)學建模項目打下堅實、干凈的數(shù)據(jù)基礎(chǔ)。2. 數(shù)據(jù)預(yù)處理建模前的“大掃除”拿到一份原始數(shù)據(jù)比如一份包含日期、城市、最高溫、最低溫、天氣狀況、AQI等字段的天氣數(shù)據(jù)CSV文件直接丟給模型是行不通的。我們得先進行一系列清理和轉(zhuǎn)換。2.1 數(shù)據(jù)讀取與初窺知己知彼讀取數(shù)據(jù)是第一步但怎么讀卻有講究。除了最常用的pd.read_csv對于Excel文件可以用pd.read_excel需要安裝openpyxl或xlrd庫對于從網(wǎng)頁API獲取的JSON數(shù)據(jù)可以用pd.read_json。import pandas as pd # 假設(shè)我們有一個天氣數(shù)據(jù)文件 # 注意編碼問題中文路徑或內(nèi)容可能需指定encodingutf-8或gbk df pd.read_csv(weather_data.csv)讀進來之后千萬別急著動手清洗。先用幾個方法快速“瞟一眼”數(shù)據(jù)建立第一印象df.head()/df.tail()/df.sample(5)看頭、看尾、隨機看。了解數(shù)據(jù)大致樣子有沒有奇怪的符號、明顯的錯誤。df.info()這是最重要的初步診斷工具。它會列出所有列的非空值數(shù)量、數(shù)據(jù)類型。一眼就能看出哪些列缺失嚴重以及Pandas自動推斷的數(shù)據(jù)類型是否正確。比如一個應(yīng)該是數(shù)字的列被識別成了object字符串這通常意味著里面混入了非數(shù)字字符如“N/A”、“-”。df.describe()針對數(shù)值型列快速計算計數(shù)、均值、標準差、最小值、四分位數(shù)、最大值。它能立刻幫你發(fā)現(xiàn)異常值。比如氣溫出現(xiàn)200度AQI出現(xiàn)負值在這里就會原形畢露。實操心得df.info()是我每次必看的第一項。如果數(shù)據(jù)量很大df.describe(includeall)可以包含非數(shù)值列的統(tǒng)計如唯一值數(shù)量、最高頻值但計算稍慢。對于初步探索先看數(shù)值列的描述統(tǒng)計往往更高效。2.2 處理缺失值填坑的藝術(shù)缺失值NaN是現(xiàn)實數(shù)據(jù)的常態(tài)。處理方式無非三種刪除、填充、保留。Pandas提供了靈活的工具。發(fā)現(xiàn)缺失df.isnull().sum()可以統(tǒng)計每列的缺失數(shù)量。df[df[某列].isnull()]可以查看所有包含該列缺失值的行。刪除缺失df.dropna()會刪除任何包含缺失值的行。df.dropna(subset[關(guān)鍵列])只刪除在關(guān)鍵列上缺失的行。慎用全局刪除容易損失大量數(shù)據(jù)。填充缺失這是更常用的方法。固定值填充df[列名].fillna(0)或df.fillna({列A: 0, 列B: 未知})。適合分類變量或?qū)I(yè)務(wù)影響明確的場景。統(tǒng)計值填充df[列名].fillna(df[列名].mean())用均值填充median()用中位數(shù)對異常值不敏感mode()[0]用眾數(shù)。這是數(shù)值型字段的常見做法。前后向填充df.fillna(methodffill)用前一個有效值填充或bfill。在處理時間序列數(shù)據(jù)如按時間排序的天氣數(shù)據(jù)時特別有用假設(shè)天氣不會突變。# 示例處理一份學生成績數(shù)據(jù) df[數(shù)學].fillna(df[數(shù)學].median(), inplaceTrue) # 中位數(shù)填充數(shù)學成績?nèi)笔?df[班級].fillna(未知班級, inplaceTrue) # 字符串列用特定值填充 # 對于時間序列的溫度數(shù)據(jù)可以考慮用前一天的溫度填充 df[溫度] df[溫度].fillna(methodffill)避坑指南填充缺失值會引入偏差尤其是當缺失并非隨機時。例如不愿意透露收入的人可能收入普遍較高或較低用均值填充會扭曲分布。在建模報告中必須說明缺失值的處理方式及其潛在影響。2.3 處理異常值找出“害群之馬”異常值可能包含重要信息如欺詐檢測也可能是錯誤數(shù)據(jù)。需要結(jié)合業(yè)務(wù)判斷。標準差法假設(shè)數(shù)據(jù)服從正態(tài)分布通常認為在均值 ± 3倍標準差之外的值是異常值。四分位距IQR法更穩(wěn)健不依賴正態(tài)分布假設(shè)。計算上四分位數(shù)Q3和下四分位數(shù)Q1定義IQR Q3 - Q1。通常認為小于Q1 - 1.5*IQR或大于Q3 1.5*IQR的值是異常值。# 使用IQR法識別‘AQI’列的異常值 Q1 df[AQI].quantile(0.25) Q3 df[AQI].quantile(0.75) IQR Q3 - Q1 lower_bound Q1 - 1.5 * IQR upper_bound Q3 1.5 * IQR # 找出異常值 outliers df[(df[AQI] lower_bound) | (df[AQI] upper_bound)] print(f發(fā)現(xiàn) {len(outliers)} 個AQI異常值) # 處理異常值這里選擇用上下邊界值截斷Winsorization而非直接刪除 df[AQI_processed] df[AQI].clip(lowerlower_bound, upperupper_bound)注意事項直接刪除異常值要非常謹慎。在環(huán)境分析中極高的AQI值可能是真實的污染事件包含了關(guān)鍵信息。更好的做法是創(chuàng)建一個標識異常值的布爾列在建模時作為特征輸入或者使用對異常值不敏感的模型如樹模型。2.4 數(shù)據(jù)類型轉(zhuǎn)換讓數(shù)據(jù)“名正言順”Pandas自動推斷的數(shù)據(jù)類型有時不準需要手動轉(zhuǎn)換這對后續(xù)分析和建模效率至關(guān)重要。轉(zhuǎn)換為數(shù)值型pd.to_numeric(df[列名], errorscoerce)。errorscoerce會將無法轉(zhuǎn)換的值如字符串‘N/A’變?yōu)镹aN而不是報錯。轉(zhuǎn)換為日期時間pd.to_datetime(df[日期列], format%Y-%m-%d)。指定format參數(shù)可以加速轉(zhuǎn)換并避免歧義。轉(zhuǎn)換為分類類型df[城市] df[城市].astype(category)。對于像城市、天氣狀況這類有限取值的字符串列轉(zhuǎn)換為category類型可以極大節(jié)省內(nèi)存提高分組、排序的速度。# 常見轉(zhuǎn)換操作 df[溫度] pd.to_numeric(df[溫度], errorscoerce) # 強制轉(zhuǎn)數(shù)字非法變NaN df[觀測日期] pd.to_datetime(df[觀測日期]) df[天氣] df[天氣].astype(category) # 檢查轉(zhuǎn)換結(jié)果 print(df.dtypes)3. 探索性數(shù)據(jù)分析用Pandas“看透”數(shù)據(jù)數(shù)據(jù)清洗干凈后就要開始探索了。探索性數(shù)據(jù)分析的目標是發(fā)現(xiàn)模式、趨勢、異常和關(guān)系為特征工程和模型選擇提供依據(jù)。3.1 單變量分析了解每一個“個體”數(shù)值變量除了describe()可視化是王道。雖然Pandas繪圖功能基于Matplotlib但直接調(diào)用非常方便。import matplotlib.pyplot as plt df[最高溫].hist(bins30, edgecolorblack) # 直方圖看分布 plt.title(最高溫度分布) plt.xlabel(溫度(℃)) plt.ylabel(頻數(shù)) plt.show() df[AQI].plot(kindbox) # 箱線圖看分散情況和異常值 plt.title(AQI箱線圖) plt.show()直方圖看分布形狀是否正態(tài)、偏斜箱線圖一眼看清中位數(shù)、四分位距和異常值點。分類變量使用value_counts()和條形圖。weather_counts df[天氣狀況].value_counts() print(weather_counts) weather_counts.plot(kindbar) plt.title(天氣狀況頻數(shù)統(tǒng)計) plt.xticks(rotation45) # 旋轉(zhuǎn)x軸標簽避免重疊 plt.show()這能立刻看出“晴”、“多云”、“雨”等天氣出現(xiàn)的頻率。3.2 多變量關(guān)系分析發(fā)現(xiàn)“連線”建模的核心是找出變量之間的關(guān)系。數(shù)值 vs 數(shù)值散點圖和相關(guān)矩陣。# 散點圖看兩個數(shù)值變量的關(guān)系 df.plot(kindscatter, x最高溫, yAQI, alpha0.5) # alpha設(shè)置透明度 plt.title(最高溫與AQI散點圖) plt.show() # 計算所有數(shù)值列之間的相關(guān)系數(shù)Pearson numeric_df df.select_dtypes(include[number]) correlation_matrix numeric_df.corr() print(correlation_matrix) # 用熱圖可視化相關(guān)系數(shù)矩陣需要seaborn庫 import seaborn as sns plt.figure(figsize(10,8)) sns.heatmap(correlation_matrix, annotTrue, cmapcoolwarm, center0) plt.title(變量相關(guān)系數(shù)熱圖) plt.show()相關(guān)系數(shù)接近1或-1表示強相關(guān)接近0表示弱相關(guān)。熱圖能直觀展示哪些變量可能互為冗余。分類 vs 數(shù)值分組聚合和箱線圖。這是分析不同類別下數(shù)值指標差異的黃金方法。# 按‘天氣狀況’分組查看‘AQI’的統(tǒng)計信息 grouped df.groupby(天氣狀況)[AQI] print(grouped.describe()) # 用箱線圖可視化不同天氣下的AQI分布 df.boxplot(columnAQI, by天氣狀況) plt.title(不同天氣狀況下的AQI分布) plt.suptitle() # 去除自動生成的默認標題 plt.xlabel(天氣狀況) plt.ylabel(AQI) plt.xticks(rotation45) plt.show()這個方法能清晰回答諸如“雨天和晴天的AQI有顯著差異嗎”這類問題。3.3 時間序列分析抓住“趨勢”對于帶有時間戳的數(shù)據(jù)如每日天氣時間序列分析是重點。重采樣將高頻數(shù)據(jù)聚合為低頻數(shù)據(jù)或者反之。# 假設(shè)df已按日期排序且‘日期’列是datetime類型 df.set_index(觀測日期, inplaceTrue) # 將日期設(shè)為索引 # 計算每周的平均溫度 weekly_avg_temp df[溫度].resample(W).mean() weekly_avg_temp.plot(title周平均溫度變化趨勢) plt.show() # 計算每月的AQI最大值 monthly_max_aqi df[AQI].resample(M).max()滑動窗口計算計算移動平均線平滑短期波動觀察長期趨勢。# 計算7天移動平均溫度 df[溫度_7d_avg] df[溫度].rolling(window7).mean() df[[溫度, 溫度_7d_avg]].plot(title溫度與7日移動平均線) plt.show()4. 特征工程初探為模型制造“彈藥”原始數(shù)據(jù)字段不一定適合直接喂給模型。特征工程就是創(chuàng)造新特征以更好地表示潛在規(guī)律。4.1 從現(xiàn)有特征中創(chuàng)造新特征從日期中提取年月日、星期幾、是否周末、是否節(jié)假日等對很多模型都很有用。df[年份] df.index.year df[月份] df.index.month df[星期幾] df.index.dayofweek # 周一0, 周日6 df[是否周末] df[星期幾].apply(lambda x: 1 if x 5 else 0)分箱將連續(xù)變量如年齡、收入離散化成幾個區(qū)間如青年、中年、老年有時能使線性模型更易捕捉非線性關(guān)系。# 將溫度分為低溫、舒適、高溫三檔 bins [-float(inf), 10, 25, float(inf)] labels [低溫, 舒適, 高溫] df[溫度檔位] pd.cut(df[溫度], binsbins, labelslabels)交互特征將兩個或多個特征相乘或相加捕捉協(xié)同效應(yīng)。例如在電商分析中“瀏覽次數(shù)”和“停留時長”的乘積可能比單獨兩個特征更能預(yù)測購買意愿。4.2 文本特征簡單處理如果數(shù)據(jù)中有文本列如天氣狀況描述“晴間多云”需要將其轉(zhuǎn)化為數(shù)值。獨熱編碼將分類變量轉(zhuǎn)換為二進制向量。Pandas的get_dummies函數(shù)一鍵完成。# 對‘天氣狀況’列進行獨熱編碼 weather_dummies pd.get_dummies(df[天氣狀況], prefix天氣) df pd.concat([df, weather_dummies], axis1) # 將新列合并回原數(shù)據(jù)框 print(df[[天氣_晴, 天氣_多云, 天氣_雨]].head())編碼后模型就能理解這些分類信息了。5. 實戰(zhàn)演練分析城市天氣數(shù)據(jù)讓我們用一個綜合例子串聯(lián)以上所有步驟。假設(shè)我們有一個city_weather.csv文件包含多個城市一段時間內(nèi)的每日天氣數(shù)據(jù)。5.1 數(shù)據(jù)加載與初探import pandas as pd import matplotlib.pyplot as plt import seaborn as sns # 1. 加載數(shù)據(jù) df pd.read_csv(city_weather.csv, parse_dates[date]) print(數(shù)據(jù)形狀:, df.shape) print(\n前5行數(shù)據(jù):) print(df.head()) print(\n數(shù)據(jù)信息:) print(df.info()) print(\n數(shù)值列描述統(tǒng)計:) print(df.describe())5.2 數(shù)據(jù)清洗與預(yù)處理# 2. 處理缺失值 print(缺失值統(tǒng)計:) print(df.isnull().sum()) # 假設(shè)我們決定溫度用列均值填充天氣狀況用前向填充時間序列風速用0填充 df[temp_max].fillna(df[temp_max].median(), inplaceTrue) df[weather].fillna(methodffill, inplaceTrue) df[wind_speed].fillna(0, inplaceTrue) # 3. 處理異常值以最高溫為例使用IQR法 Q1 df[temp_max].quantile(0.25) Q3 df[temp_max].quantile(0.75) IQR Q3 - Q1 df[temp_max] df[temp_max].clip(lowerQ1-1.5*IQR, upperQ31.5*IQR) # 4. 數(shù)據(jù)類型轉(zhuǎn)換 df[city] df[city].astype(category)5.3 探索性數(shù)據(jù)分析# 5. 單變量分析 plt.figure(figsize(12,4)) plt.subplot(1,2,1) df[temp_max].hist(bins30, edgecolorblack) plt.title(最高溫度分布) plt.subplot(1,2,2) df.boxplot(columntemp_max, bycity) plt.suptitle() plt.title(各城市最高溫分布) plt.tight_layout() plt.show() # 查看天氣狀況頻次 print(df[weather].value_counts()) # 6. 多變量分析 - 城市與溫度的關(guān)系分類 vs 數(shù)值 city_temp_stats df.groupby(city)[temp_max].agg([mean, std, count]) print(city_temp_stats) # 多變量分析 - 溫度與濕度的關(guān)系數(shù)值 vs 數(shù)值 df.plot(kindscatter, xtemp_max, yhumidity, alpha0.5) plt.title(最高溫與濕度散點圖) plt.show() # 計算相關(guān)系數(shù) corr_matrix df.select_dtypes(include[number]).corr() sns.heatmap(corr_matrix, annotTrue, cmapcoolwarm, center0) plt.title(數(shù)值變量相關(guān)系數(shù)熱圖) plt.show()5.4 特征工程與數(shù)據(jù)重塑# 7. 特征工程 # 從日期提取特征 df[month] df[date].dt.month df[day_of_week] df[date].dt.dayofweek df[is_weekend] df[day_of_week].apply(lambda x: 1 if x 5 else 0) # 對天氣狀況進行獨熱編碼 weather_dummies pd.get_dummies(df[weather], prefixw) df pd.concat([df, weather_dummies], axis1) # 8. 數(shù)據(jù)準備建模示例為每個城市創(chuàng)建單獨的數(shù)據(jù)集或特征矩陣 # 假設(shè)我們想預(yù)測溫度選擇特征和標簽 features [humidity, wind_speed, month, day_of_week, is_weekend] [col for col in df.columns if col.startswith(w_)] target temp_max X df[features] y df[target] print(特征矩陣形狀:, X.shape) print(目標變量形狀:, y.shape)6. 常見問題與排查技巧實錄在實際操作中你肯定會遇到各種報錯和奇怪的現(xiàn)象。這里記錄幾個高頻問題問題1讀取CSV文件時出現(xiàn)UnicodeDecodeError。原因文件編碼不是默認的utf-8可能是gbk、gb2312或latin-1。解決嘗試指定編碼pd.read_csv(file.csv, encodinggbk)。如果不知道編碼可以用chardet庫檢測。問題2df.describe()看不到所有列只顯示了數(shù)值列。原因describe()默認只針對數(shù)值列intfloat進行統(tǒng)計。解決使用df.describe(includeall)來包含所有類型的列包括object和category但非數(shù)值列的統(tǒng)計項如唯一值、最高頻值會不同。問題3分組聚合groupby后數(shù)據(jù)變成了奇怪的MultiIndex格式難以進一步操作。原因groupby操作默認會將分組鍵作為索引。解決在聚合時使用as_indexFalse參數(shù)或者在聚合后使用reset_index()方法。# 方法1 result df.groupby(city, as_indexFalse)[temp].mean() # 方法2 result df.groupby(city)[temp].mean().reset_index()問題4使用fillna或astype等方法后原DataFrame好像沒變原因大多數(shù)Pandas操作不是就地修改inplace而是返回一個新的DataFrame除非顯式指定inplaceTrue或重新賦值。解決# 方式一重新賦值 df[column] df[column].fillna(value) # 方式二使用inplace參數(shù)但該參數(shù)在未來版本可能被棄用習慣重新賦值更安全 df[column].fillna(value, inplaceTrue)問題5處理大型DataFrame時內(nèi)存不足或速度極慢。解決思路指定數(shù)據(jù)類型讀入時用dtype參數(shù)指定每列類型或用astype轉(zhuǎn)換特別是將object轉(zhuǎn)為category分類文本或int/float數(shù)值。使用分塊讀取pd.read_csv(big_file.csv, chunksize10000)然后循環(huán)處理每個塊。只讀取需要的列pd.read_csv(big_file.csv, usecols[col1, col2])。考慮使用Dask或Modin庫它們提供了類似Pandas的API但能進行并行計算處理超出內(nèi)存的數(shù)據(jù)。問題6時間序列重采樣或滑動窗口計算時結(jié)果開頭出現(xiàn)很多NaN。原因這是正常現(xiàn)象。例如計算7天移動平均前6天沒有足夠的數(shù)據(jù)來計算平均值所以結(jié)果是NaN。解決可以使用min_periods參數(shù)來指定計算所需的最小觀測數(shù)。例如rolling(window7, min_periods1).mean()表示即使只有1個數(shù)據(jù)點也計算其實就是它本身這樣前6天就不會是NaN了。但需理解這改變了計算含義。掌握這些預(yù)處理和探索技巧意味著你不再是數(shù)據(jù)的被動接收者而是主動的審視者和塑造者。你能判斷數(shù)據(jù)的質(zhì)量理解數(shù)據(jù)的故事并把它整理成最適合建模的形態(tài)。這往往比后續(xù)選擇哪個高級模型更能決定一個數(shù)學建模項目的成敗。在下次的分享中我們會更進一步探討如何利用Pandas進行更復(fù)雜的數(shù)據(jù)整合、分組聚合以及面向建模的最終數(shù)據(jù)準備。