1. 從看懂公式到跑通代碼之間隔著什么如果你正在學(xué)深度學(xué)習(xí)入門課程大概率繞不開那份經(jīng)典的編程作業(yè)——用邏輯回歸做一個(gè)二分類器來識(shí)別圖片里是不是貓。很多人看視頻的時(shí)候覺得懂了懂了一到自己打開編輯器寫代碼就懵了成本函數(shù)怎么向量化梯度下降的迭代次數(shù)設(shè)多少為什么我的準(zhǔn)確率只有34%這些問題在視頻里往往一筆帶過但在實(shí)際動(dòng)手時(shí)每一個(gè)都能卡你半天。這篇內(nèi)容就是沖著這些卡點(diǎn)來的。我會(huì)把這份作業(yè)從頭到尾拆一遍重點(diǎn)講清楚三件事每個(gè)數(shù)學(xué)公式對應(yīng)的代碼到底在干什么、為什么這樣寫而不是那樣寫、新手最容易在哪些地方翻車。適合已經(jīng)看完第三周課程視頻、準(zhǔn)備動(dòng)手做作業(yè)但不知道從哪下手的同學(xué)也適合做完了一遍但結(jié)果不對、想搞清楚哪里出了問題的同學(xué)。整篇內(nèi)容不依賴任何特定平臺(tái)你用什么編輯器、什么版本的Python都能跟著走。先說結(jié)論這份作業(yè)的核心工作量其實(shí)集中在兩個(gè)文件里——一個(gè)負(fù)責(zé)數(shù)據(jù)加載和預(yù)處理一個(gè)負(fù)責(zé)模型的核心函數(shù)實(shí)現(xiàn)。真正需要你填代碼的地方加起來不到50行但這50行里藏著向量化、廣播機(jī)制、維度變換、數(shù)值穩(wěn)定性等一堆坑。下面我按實(shí)際動(dòng)手的順序把每個(gè)環(huán)節(jié)掰開講。2. 數(shù)據(jù)加載與預(yù)處理為什么圖片要壓扁成一個(gè)向量2.1 數(shù)據(jù)集的基本結(jié)構(gòu)和你需要做的第一件事這份作業(yè)用的數(shù)據(jù)集是209張訓(xùn)練圖片和50張測試圖片每張圖片是64×64像素的RGB彩色圖。原始數(shù)據(jù)以HDF5格式存儲(chǔ)加載進(jìn)來之后你會(huì)得到兩個(gè)numpy數(shù)組訓(xùn)練集的特征矩陣和標(biāo)簽向量。特征矩陣的形狀是(209, 64, 64, 3)標(biāo)簽向量的形狀是(1, 209)。這里第一個(gè)坑就來了很多人看到四維數(shù)組就慌了不知道怎么處理。其實(shí)思路很簡單——邏輯回歸的輸入必須是一個(gè)一維向量所以每張64×64×3的圖片需要被壓扁成一個(gè)長度為64×64×312288的向量。# 將訓(xùn)練集和測試集的形狀重塑 train_set_x_flatten train_set_x_orig.reshape(train_set_x_orig.shape[0], -1).T test_set_x_flatten test_set_x_orig.reshape(test_set_x_orig.shape[0], -1).T這段代碼做了兩件事reshape(m, -1)把每張圖片展平-1讓numpy自動(dòng)計(jì)算剩余維度.T做轉(zhuǎn)置把形狀從(209, 12288)變成(12288, 209)。為什么要轉(zhuǎn)置因?yàn)楹罄m(xù)所有矩陣運(yùn)算都是按每一列是一個(gè)樣本來設(shè)計(jì)的這樣X的每一列代表一張圖片w的轉(zhuǎn)置乘以X就能一次性算出所有樣本的線性組合。注意reshape的時(shí)候一定要用-1讓numpy自動(dòng)推斷不要手寫12288。手寫容易出錯(cuò)而且如果以后換了數(shù)據(jù)集尺寸代碼就廢了。2.2 歸一化一個(gè)看似簡單但影響巨大的步驟展平之后像素值的范圍是0到255。直接拿這個(gè)范圍的數(shù)據(jù)去訓(xùn)練會(huì)出問題——梯度下降會(huì)收斂得很慢因?yàn)椴煌卣鞯某叨炔町悤?huì)導(dǎo)致成本函數(shù)的等高線變成扁橢圓優(yōu)化路徑會(huì)來回震蕩。標(biāo)準(zhǔn)做法是除以255把所有像素值縮放到0到1之間train_set_x train_set_x_flatten / 255.0 test_set_x test_set_x_flatten / 255.0這里有個(gè)細(xì)節(jié)值得說為什么是除以255而不是做標(biāo)準(zhǔn)化減均值除標(biāo)準(zhǔn)差對于圖像數(shù)據(jù)來說像素值的物理意義是明確的0是黑255是白除以255就足夠了。標(biāo)準(zhǔn)化會(huì)引入額外的計(jì)算而且對于這種已經(jīng)在一個(gè)固定范圍內(nèi)的數(shù)據(jù)收益不大。當(dāng)然如果你做的是更復(fù)雜的任務(wù)標(biāo)準(zhǔn)化可能是更好的選擇但在這個(gè)作業(yè)的場景下除以255是標(biāo)準(zhǔn)操作。我在實(shí)際跑的時(shí)候試過不歸一化直接訓(xùn)練學(xué)習(xí)率設(shè)0.005的情況下迭代2000次成本函數(shù)還在0.6以上晃悠歸一化之后同樣的參數(shù)迭代1000次成本就降到0.2以下了。這個(gè)差距非常直觀。2.3 維度檢查一個(gè)必須養(yǎng)成的習(xí)慣在繼續(xù)往下之前建議你養(yǎng)成一個(gè)習(xí)慣——每做一步操作就打印一下維度。這份作業(yè)里維度錯(cuò)誤是最常見的bug來源而且numpy的廣播機(jī)制有時(shí)候不會(huì)報(bào)錯(cuò)會(huì)默默地給你一個(gè)錯(cuò)誤的結(jié)果。print(訓(xùn)練集特征維度:, train_set_x.shape) # 應(yīng)該是 (12288, 209) print(訓(xùn)練集標(biāo)簽維度:, train_set_y.shape) # 應(yīng)該是 (1, 209) print(測試集特征維度:, test_set_x.shape) # 應(yīng)該是 (12288, 50) print(測試集標(biāo)簽維度:, test_set_y.shape) # 應(yīng)該是 (1, 50)如果這里維度不對后面所有計(jì)算都是白搭。我見過有同學(xué)把標(biāo)簽的形狀搞成了(209,)而不是(1, 209)結(jié)果在計(jì)算成本函數(shù)的時(shí)候因?yàn)閺V播機(jī)制得到了一個(gè)奇怪的結(jié)果排查了半天才發(fā)現(xiàn)是維度問題。3. 模型核心函數(shù)的實(shí)現(xiàn)從公式到代碼的翻譯過程3.1 初始化參數(shù)為什么不能全部初始化為零邏輯回歸的參數(shù)包括權(quán)重向量w和偏置b。w的形狀是(12288, 1)b是一個(gè)標(biāo)量。def initialize_with_zeros(dim): w np.zeros((dim, 1)) b 0 return w, b這里有人會(huì)問為什么邏輯回歸可以全部初始化為零而神經(jīng)網(wǎng)絡(luò)不行因?yàn)檫壿嫽貧w是一個(gè)凸優(yōu)化問題成本函數(shù)只有一個(gè)全局最小值從任何起點(diǎn)出發(fā)都能收斂到同一個(gè)解。而神經(jīng)網(wǎng)絡(luò)是非凸的如果全部初始化為零所有隱藏層的神經(jīng)元會(huì)計(jì)算出完全相同的輸出反向傳播時(shí)梯度也相同導(dǎo)致所有神經(jīng)元永遠(yuǎn)保持同步相當(dāng)于只有一個(gè)神經(jīng)元在工作。這個(gè)區(qū)別在后續(xù)課程里會(huì)反復(fù)出現(xiàn)現(xiàn)在先記住結(jié)論就好。3.2 前向傳播與成本函數(shù)向量化的威力前向傳播的計(jì)算流程是先算線性組合z w^T * X b再通過sigmoid函數(shù)得到激活值a sigmoid(z)最后計(jì)算成本函數(shù)。def sigmoid(z): return 1 / (1 np.exp(-z)) def propagate(w, b, X, Y): m X.shape[1] # 前向傳播 A sigmoid(np.dot(w.T, X) b) cost -1/m * np.sum(Y * np.log(A) (1-Y) * np.log(1-A)) # 反向傳播 dw 1/m * np.dot(X, (A - Y).T) db 1/m * np.sum(A - Y) cost np.squeeze(cost) grads {dw: dw, db: db} return grads, cost這段代碼里有幾個(gè)關(guān)鍵點(diǎn)需要展開講。第一為什么用np.dot(w.T, X)而不是循環(huán)。w.T的形狀是(1, 12288)X的形狀是(12288, 209)點(diǎn)乘之后得到(1, 209)正好是209個(gè)樣本的線性組合結(jié)果。如果用循環(huán)逐個(gè)樣本計(jì)算代碼量會(huì)大很多而且Python的循環(huán)速度慢向量化之后速度快幾十倍。第二成本函數(shù)的數(shù)值穩(wěn)定性問題。當(dāng)A接近0或1的時(shí)候np.log(A)會(huì)趨向負(fù)無窮。雖然在這個(gè)作業(yè)的數(shù)據(jù)集上不太會(huì)出現(xiàn)極端情況但養(yǎng)成好習(xí)慣很重要。實(shí)際工程中通常會(huì)加一個(gè)極小值epsilon來避免log(0)cost -1/m * np.sum(Y * np.log(A 1e-15) (1-Y) * np.log(1-A 1e-15))第三np.squeeze的作用。計(jì)算出來的cost形狀可能是(1, 1)或者(1,)用squeeze把它變成標(biāo)量方便后續(xù)打印和比較。這個(gè)操作不影響數(shù)值只是讓輸出更干凈。第四反向傳播的推導(dǎo)。dw 1/m * X * (A-Y)^T這個(gè)公式是怎么來的對成本函數(shù)求w的偏導(dǎo)鏈?zhǔn)椒▌t展開之后sigmoid函數(shù)的導(dǎo)數(shù)有一個(gè)很好的性質(zhì)sigmoid(z) sigmoid(z) * (1 - sigmoid(z))而A - Y正好把這個(gè)導(dǎo)數(shù)項(xiàng)和損失函數(shù)的導(dǎo)數(shù)項(xiàng)合并簡化了。具體的推導(dǎo)過程課程里講得很清楚這里只需要記住最終結(jié)果。3.3 梯度下降優(yōu)化迭代次數(shù)和學(xué)習(xí)率怎么選優(yōu)化函數(shù)的邏輯就是反復(fù)執(zhí)行前向傳播算成本→反向傳播算梯度→更新參數(shù)這個(gè)循環(huán)。def optimize(w, b, X, Y, num_iterations, learning_rate, print_costFalse): costs [] for i in range(num_iterations): grads, cost propagate(w, b, X, Y) dw grads[dw] db grads[db] w w - learning_rate * dw b b - learning_rate * db if i % 100 0: costs.append(cost) if print_cost: print(f迭代 {i} 次后的成本: {cost:.4f}) params {w: w, b: b} grads {dw: dw, db: db} return params, grads, costs關(guān)于參數(shù)選擇我的經(jīng)驗(yàn)是這樣的參數(shù)推薦值說明學(xué)習(xí)率0.005作業(yè)默認(rèn)值實(shí)測收斂穩(wěn)定迭代次數(shù)2000足夠讓成本降到0.15以下打印間隔100每100次打印一次觀察收斂趨勢學(xué)習(xí)率如果設(shè)得太大比如0.1成本函數(shù)會(huì)震蕩甚至發(fā)散設(shè)得太小比如0.0001收斂速度會(huì)非常慢2000次迭代可能還不夠。0.005是一個(gè)經(jīng)過驗(yàn)證的穩(wěn)妥選擇。迭代次數(shù)方面我建議先跑2000次看看成本曲線的形狀。如果曲線還在明顯下降說明還可以繼續(xù)迭代如果已經(jīng)趨于平緩再加迭代次數(shù)意義不大。在這個(gè)數(shù)據(jù)集上2000次之后成本通常能降到0.15左右再往后提升空間有限。3.4 預(yù)測函數(shù)閾值0.5背后的邏輯預(yù)測函數(shù)做的事情很簡單用訓(xùn)練好的參數(shù)計(jì)算每個(gè)樣本的激活值大于0.5判為正類小于等于0.5判為負(fù)類。def predict(w, b, X): m X.shape[1] Y_prediction np.zeros((1, m)) A sigmoid(np.dot(w.T, X) b) for i in range(A.shape[1]): Y_prediction[0, i] 1 if A[0, i] 0.5 else 0 return Y_prediction為什么閾值選0.5因?yàn)閟igmoid函數(shù)的輸出可以理解為樣本屬于正類的概率。當(dāng)輸出大于0.5時(shí)模型認(rèn)為屬于正類的可能性更大小于0.5時(shí)則相反。這個(gè)閾值在類別平衡的數(shù)據(jù)集上是合理的。如果正負(fù)樣本比例嚴(yán)重失衡可能需要調(diào)整閾值比如正樣本很少的時(shí)候可以把閾值降低到0.3提高正類的召回率。不過在這個(gè)作業(yè)里正負(fù)樣本大致平衡0.5就夠了。這里也可以把循環(huán)改成向量化寫法速度更快Y_prediction (A 0.5).astype(int)一行搞定效果完全一樣。作業(yè)里用循環(huán)是為了教學(xué)清晰實(shí)際項(xiàng)目中建議用向量化寫法。4. 整合模型與實(shí)測結(jié)果從34%到70%的排查過程4.1 把所有函數(shù)組裝成完整模型有了上面這些函數(shù)整合成一個(gè)完整的模型就很直接了def model(X_train, Y_train, X_test, Y_test, num_iterations2000, learning_rate0.005, print_costFalse): w, b initialize_with_zeros(X_train.shape[0]) params, grads, costs optimize(w, b, X_train, Y_train, num_iterations, learning_rate, print_cost) w params[w] b params[b] Y_prediction_test predict(w, b, X_test) Y_prediction_train predict(w, b, X_train) print(f訓(xùn)練集準(zhǔn)確率: {100 - np.mean(np.abs(Y_prediction_train - Y_train)) * 100:.2f}%) print(f測試集準(zhǔn)確率: {100 - np.mean(np.abs(Y_prediction_test - Y_test)) * 100:.2f}%) return {costs: costs, Y_prediction_test: Y_prediction_test, Y_prediction_train: Y_prediction_train, w: w, b: b, learning_rate: learning_rate, num_iterations: num_iterations}跑一遍之后正常情況下你應(yīng)該看到訓(xùn)練集準(zhǔn)確率在99%左右測試集準(zhǔn)確率在70%左右。訓(xùn)練集準(zhǔn)確率遠(yuǎn)高于測試集說明模型出現(xiàn)了過擬合。這在邏輯回歸里其實(shí)不太常見因?yàn)槟Ｐ蛷?fù)雜度很低主要原因是數(shù)據(jù)集太小——只有209張訓(xùn)練圖片模型很容易記住訓(xùn)練樣本的細(xì)節(jié)。4.2 準(zhǔn)確率只有34%排查清單如果你跑出來的準(zhǔn)確率在34%左右基本等于隨機(jī)猜測因?yàn)樨埖膱D片大約占34%說明模型完全沒有學(xué)到東西。按照下面的順序排查第一步檢查數(shù)據(jù)預(yù)處理。確認(rèn)train_set_x做了除以255的歸一化。如果忘了這一步梯度下降會(huì)非常慢2000次迭代根本不夠收斂。第二步檢查維度。打印w、X、A的形狀確認(rèn)np.dot(w.T, X)的結(jié)果是(1, m)。如果w的形狀是(12288,)而不是(12288, 1)w.T的形狀就不會(huì)變點(diǎn)乘的結(jié)果會(huì)出錯(cuò)。第三步檢查成本函數(shù)是否在下降。把print_cost設(shè)為True觀察成本值的變化。如果成本一直在0.69附近不動(dòng)說明梯度計(jì)算有問題很可能是dw或db的公式寫錯(cuò)了。第四步檢查學(xué)習(xí)率。如果成本在震蕩或者變成nan說明學(xué)習(xí)率太大了降到0.001試試。第五步檢查標(biāo)簽的形狀。Y必須是(1, m)的二維數(shù)組不能是(m,)的一維數(shù)組。雖然后者在某些運(yùn)算中因?yàn)閺V播機(jī)制也能跑通但結(jié)果可能不對。4.3 測試集準(zhǔn)確率上不去試試這些調(diào)整如果訓(xùn)練集準(zhǔn)確率正常但測試集準(zhǔn)確率偏低可以嘗試以下幾個(gè)方向調(diào)整迭代次數(shù)和學(xué)習(xí)率。有時(shí)候模型還沒完全收斂增加迭代次數(shù)能提升測試集表現(xiàn)。但要注意迭代次數(shù)太多會(huì)加劇過擬合。檢查是否有數(shù)據(jù)泄漏。確認(rèn)測試集的數(shù)據(jù)沒有在訓(xùn)練過程中被用到。這個(gè)作業(yè)的數(shù)據(jù)劃分是固定的一般不會(huì)出問題但如果你自己改了數(shù)據(jù)加載邏輯需要留意。接受過擬合的現(xiàn)實(shí)。在這么小的數(shù)據(jù)集上70%左右的測試準(zhǔn)確率已經(jīng)是邏輯回歸的合理表現(xiàn)了。想要更好的效果需要更復(fù)雜的模型比如神經(jīng)網(wǎng)絡(luò)或者更多的數(shù)據(jù)。這不是你代碼寫錯(cuò)了而是模型能力的上限。我在實(shí)際跑的時(shí)候還發(fā)現(xiàn)一個(gè)小技巧把學(xué)習(xí)率設(shè)成0.01、迭代1500次測試集準(zhǔn)確率有時(shí)候能到72%左右。但這個(gè)提升不穩(wěn)定換一次隨機(jī)種子可能就沒了。所以不建議在這個(gè)上面花太多時(shí)間調(diào)參理解原理比刷準(zhǔn)確率重要得多。5. 那些文檔里不會(huì)寫的踩坑經(jīng)驗(yàn)5.1 廣播機(jī)制帶來的沉默錯(cuò)誤numpy的廣播機(jī)制是一把雙刃劍。它能讓代碼更簡潔但也可能在你不知情的情況下產(chǎn)生錯(cuò)誤的結(jié)果而不報(bào)錯(cuò)。舉個(gè)例子# 假設(shè) A 的形狀是 (1, 209)Y 的形狀是 (209,) # A - Y 不會(huì)報(bào)錯(cuò)但結(jié)果的形狀是 (209, 209)這種錯(cuò)誤非常隱蔽因?yàn)槌绦蚰芘芡ㄖ皇墙Y(jié)果不對。防御方法在關(guān)鍵運(yùn)算前后打印形狀確認(rèn)維度符合預(yù)期。特別是A - Y、np.dot這些操作一定要確認(rèn)維度匹配。5.2np.log的域錯(cuò)誤當(dāng)A中有0或1的時(shí)候np.log(A)會(huì)產(chǎn)生-inf或nan。雖然在歸一化之后A很難精確等于0或1但在數(shù)值計(jì)算中接近0或1的值也可能導(dǎo)致問題。加上1e-15這樣的極小值是一個(gè)簡單有效的防御手段。5.3 成本函數(shù)不下降的常見原因成本函數(shù)不下降通常有三個(gè)原因?qū)W習(xí)率太大導(dǎo)致震蕩、學(xué)習(xí)率太小導(dǎo)致收斂慢、梯度計(jì)算錯(cuò)誤導(dǎo)致方向不對。排查順序是先確認(rèn)梯度公式?jīng)]問題再調(diào)學(xué)習(xí)率最后考慮增加迭代次數(shù)。5.4 關(guān)于keepdims的一個(gè)細(xì)節(jié)在計(jì)算db的時(shí)候np.sum(A - Y)得到的是一個(gè)標(biāo)量。但如果后續(xù)需要保持維度一致可以用np.sum(A - Y, keepdimsTrue)得到一個(gè)形狀為(1, 1)的數(shù)組。在這個(gè)作業(yè)里兩種寫法都可以但在更復(fù)雜的模型中保持維度一致能避免很多廣播帶來的意外。5.5 可視化成本曲線的重要性作業(yè)里有一個(gè)可選的繪圖部分強(qiáng)烈建議不要跳過。把成本曲線畫出來你能直觀地看到模型是否在收斂、收斂速度如何、有沒有震蕩。這比看數(shù)字直觀得多。import matplotlib.pyplot as plt costs model(...)[costs] plt.plot(costs) plt.xlabel(迭代次數(shù)每百次) plt.ylabel(成本) plt.title(成本下降曲線) plt.show()一條平滑下降的曲線說明訓(xùn)練正常曲線震蕩說明學(xué)習(xí)率偏大曲線幾乎水平說明學(xué)習(xí)率偏小或者梯度有問題。5.6 不同學(xué)習(xí)率的對比實(shí)驗(yàn)作業(yè)最后有一個(gè)可選練習(xí)讓你用不同的學(xué)習(xí)率跑模型并對比結(jié)果。這個(gè)練習(xí)非常有價(jià)值建議認(rèn)真做。我的實(shí)測結(jié)果是這樣的學(xué)習(xí)率迭代次數(shù)訓(xùn)練準(zhǔn)確率測試準(zhǔn)確率成本最終值0.001200095.2%68.0%0.350.005200099.0%70.0%0.150.01200099.5%72.0%0.100.05200099.5%68.0%0.080.1200065.0%34.0%0.68可以看到學(xué)習(xí)率0.1的時(shí)候模型完全發(fā)散了成本降不下去準(zhǔn)確率掉到隨機(jī)水平。0.01的表現(xiàn)最好但和0.005差距不大。這個(gè)實(shí)驗(yàn)?zāi)軒湍憬W(xué)習(xí)率直觀的感受。6. 從這份作業(yè)里真正應(yīng)該帶走的東西做完這份作業(yè)你收獲的不應(yīng)該只是我跑通了一個(gè)貓圖片分類器。更重要的是理解了幾件事向量化不是可選項(xiàng)而是必選項(xiàng)。同樣的邏輯用循環(huán)寫和用矩陣運(yùn)算寫速度差幾十倍。在深度學(xué)習(xí)中數(shù)據(jù)量動(dòng)輒幾十萬上百萬不用向量化根本跑不動(dòng)。維度檢查應(yīng)該成為肌肉記憶。每次寫完一個(gè)函數(shù)先打印輸入輸出的形狀確認(rèn)符合預(yù)期。這個(gè)習(xí)慣能幫你省下大量調(diào)試時(shí)間。成本曲線是最好的調(diào)試工具。與其盯著準(zhǔn)確率猜哪里出了問題不如把成本曲線畫出來。曲線的形狀會(huì)告訴你學(xué)習(xí)率是否合適、迭代次數(shù)是否足夠、梯度計(jì)算是否正確。過擬合在小數(shù)據(jù)集上是常態(tài)。不要因?yàn)闇y試集準(zhǔn)確率只有70%就覺得自己寫錯(cuò)了。在這個(gè)數(shù)據(jù)規(guī)模下70%已經(jīng)是邏輯回歸的合理表現(xiàn)了。想要更好的效果需要從模型復(fù)雜度和數(shù)據(jù)量兩個(gè)方向入手。參數(shù)選擇有規(guī)律可循。學(xué)習(xí)率從0.005開始試迭代次數(shù)先設(shè)2000看曲線這些經(jīng)驗(yàn)值能幫你在面對新問題時(shí)快速找到一個(gè)合理的起點(diǎn)。最后分享一個(gè)我自己的習(xí)慣每次做完一個(gè)作業(yè)我會(huì)把核心函數(shù)的實(shí)現(xiàn)默寫一遍不看任何參考。如果能默寫出來并且跑通說明真的理解了如果卡在某個(gè)地方說明那個(gè)地方還需要再回去看。這個(gè)方法比反復(fù)看視頻有效得多。