1. 整體設(shè)計(jì)思路與學(xué)習(xí)路線規(guī)劃ai-engineering-from-scratch這個(gè)項(xiàng)目說白了就是一條從零開始走向AI工程能力的完整路徑。很多人看到這個(gè)標(biāo)題會(huì)以為它又是一份人工智能入門教程合集實(shí)際上它代表的東西要狠得多不是教你怎么調(diào)用現(xiàn)成的API跑個(gè)demo而是把AI工程這條鏈路上所有關(guān)鍵環(huán)節(jié)全部拆開揉碎讓你親手把它們從地基到屋頂重新搭建一遍。我在接觸這個(gè)項(xiàng)目時(shí)最強(qiáng)烈的感受是它解決的是當(dāng)前AI學(xué)習(xí)領(lǐng)域一個(gè)極其普遍的痛點(diǎn)。市面上各類課程、教程、開源倉(cāng)庫堆山填海但絕大多數(shù)都停留在教你用工具的層面框架封裝越來越深初學(xué)者確實(shí)能在半小時(shí)內(nèi)跑出一個(gè)圖像分類模型可一旦遇到稍微真實(shí)一點(diǎn)的業(yè)務(wù)場(chǎng)景就完全抓瞎。模型為什么效果差、數(shù)據(jù)該怎么清洗、訓(xùn)練為什么發(fā)散、推理為什么慢這些問題不是調(diào)參能解決的它們需要對(duì)底層原理有真正通透的理解。from-scratch的哲學(xué)正是要把這些被框架掩蓋掉的底層細(xì)節(jié)全部暴露出來讓你親手實(shí)現(xiàn)一遍從而建立無法被替代的工程直覺。這個(gè)項(xiàng)目適合哪類人我覺得可以分三個(gè)層次來看。第一類是剛?cè)腴T的學(xué)生或者轉(zhuǎn)行開發(fā)者他們需要一條清晰、系統(tǒng)、不跳步的學(xué)習(xí)路徑而不是在茫茫教程庫里東一榔頭西一棒子第二類是有一定基礎(chǔ)但總覺得知識(shí)碎片化的從業(yè)者他們跑過不少模型但始終感覺自己在調(diào)包俠的位置上打轉(zhuǎn)想往深處走卻不知道突破口在哪第三類是業(yè)務(wù)團(tuán)隊(duì)的技術(shù)負(fù)責(zé)人他們需要給自己的團(tuán)隊(duì)設(shè)計(jì)內(nèi)部培訓(xùn)路徑from-scratch這種結(jié)構(gòu)化的骨架可以直接拿來改造復(fù)用。當(dāng)然如果你只是想快速調(diào)個(gè)接口完成畢業(yè)設(shè)計(jì)這個(gè)項(xiàng)目對(duì)你來說可能會(huì)顯得有些過度認(rèn)真但如果你真想長(zhǎng)期吃AI這碗飯這份系統(tǒng)的底層功課遲早要補(bǔ)。從整體路線的設(shè)計(jì)來看這個(gè)項(xiàng)目遵循的是一個(gè)工程化的遞進(jìn)邏輯而不是學(xué)院派的學(xué)科邏輯。它不會(huì)一上來就扔給你線性代數(shù)、概率論的公式全集而是把數(shù)學(xué)知識(shí)揉進(jìn)每一個(gè)具體的實(shí)現(xiàn)環(huán)節(jié)中用到什么就補(bǔ)什么。比如手寫反向傳播時(shí)會(huì)用到鏈?zhǔn)椒▌t實(shí)現(xiàn)Transformer時(shí)會(huì)用到矩陣乘法和Softmax的求導(dǎo)理解Batch Normalization時(shí)會(huì)用到期望和方差。這種方式的好處極其明顯數(shù)學(xué)不再是孤立抽象的符號(hào)游戲而是解決問題的活工具。你不需要先花三個(gè)月把數(shù)學(xué)學(xué)完才開始動(dòng)手你可以邊動(dòng)手邊補(bǔ)齊理論這對(duì)工程思維的養(yǎng)成幫助巨大。另外一個(gè)值得注意的設(shè)計(jì)特點(diǎn)是這個(gè)項(xiàng)目幾乎不會(huì)替你做任何本應(yīng)由你自己做的事。這聽起來像是一句廢話但真正執(zhí)行過的人會(huì)明白它的分量。很多教程為了避免讀者受挫會(huì)盡量簡(jiǎn)化環(huán)境配置、數(shù)據(jù)預(yù)處理、基準(zhǔn)測(cè)試這些臟活累活直接把處理好的數(shù)據(jù)喂給你。from-scratch的態(tài)度完全相反它要求你自己處理數(shù)據(jù)集的下載、格式轉(zhuǎn)換、劃分、清洗要求你自己寫訓(xùn)練循環(huán)而不是調(diào)用現(xiàn)成的model.fit()要求你自己實(shí)現(xiàn)評(píng)估指標(biāo)而不是直接用框架的報(bào)告函數(shù)。這些臟活累活恰恰是工程實(shí)戰(zhàn)中占比最大、最考驗(yàn)?zāi)芰Φ牟糠帧８鴦e的教程走你可能只學(xué)會(huì)了模型怎么建跟著這個(gè)項(xiàng)目走你會(huì)把一整條工程流水線都握在手里。還有一點(diǎn)我需要特別指出來這個(gè)項(xiàng)目通篇都保持著一種職業(yè)上的警惕——對(duì)自動(dòng)化的警惕?？蚣芎凸ぞ弋?dāng)然好它們把從業(yè)者從繁瑣的重復(fù)勞動(dòng)中解放出來讓我們有精力去處理更高層次的業(yè)務(wù)問題。但工具的使用有一個(gè)臨界點(diǎn)過了這個(gè)點(diǎn)工具就會(huì)反過來吃掉使用者的理解力。from-scratch反復(fù)在做的就是把你推到那個(gè)臨界點(diǎn)前面讓你先親眼看到每一步計(jì)算是怎么發(fā)生的然后才允許你把手動(dòng)實(shí)現(xiàn)換成框架封裝。這種先手動(dòng)再偷懶的順序是建立技術(shù)自信最可靠的路徑。2. 核心環(huán)節(jié)拆解從數(shù)據(jù)到部署的完整鏈路整個(gè)ai-engineering-from-scratch涉及的知識(shí)體系非常龐雜如果只看它列的目錄清單新手很容易被嚇退。但拆解到核心環(huán)節(jié)層面其實(shí)可以歸納為五個(gè)環(huán)環(huán)相扣的模塊。把每個(gè)模塊吃透整條AI工程鏈路就算真正打通了。2.1 數(shù)據(jù)處理AI工程的隱形地基數(shù)據(jù)處理是整個(gè)AI工程中最不被重視、卻最容易翻車的環(huán)節(jié)。我見過太多團(tuán)隊(duì)模型結(jié)構(gòu)選得挺先進(jìn)訓(xùn)練技巧也用得挺花哨最后效果不行排查了半天才發(fā)現(xiàn)問題出在數(shù)據(jù)上。訓(xùn)練集和驗(yàn)證集劃分不一致、標(biāo)簽錯(cuò)誤、樣本分布不均、數(shù)據(jù)泄漏這類問題每一條都能讓你的模型分?jǐn)?shù)變得毫無意義。在from-scratch的語境下數(shù)據(jù)處理需要關(guān)注三個(gè)層面的內(nèi)容。第一個(gè)層面是數(shù)據(jù)獲取與清洗你要學(xué)會(huì)應(yīng)對(duì)真實(shí)世界的數(shù)據(jù)缺失值怎么處理、異常值怎么識(shí)別、文本數(shù)據(jù)怎么去噪、圖像數(shù)據(jù)怎么統(tǒng)一尺寸。第二個(gè)層面是數(shù)據(jù)增強(qiáng)與預(yù)處理圖像里要掌握隨機(jī)裁剪、翻轉(zhuǎn)、色彩抖動(dòng)這些操作背后的物理意義文本里要理解Tokenization、Padding、截?cái)噙@些操作對(duì)模型行為的影響。第三個(gè)層面也是最容易忽視的是數(shù)據(jù)劃分的策略。劃分不僅僅是簡(jiǎn)單粗暴的train_test_split還要考慮時(shí)間序列數(shù)據(jù)不能隨機(jī)打亂、類別不平衡時(shí)要使用分層采樣、驗(yàn)證集不能參與任何訓(xùn)練決策這些基本原則。我還想特別強(qiáng)調(diào)一個(gè)細(xì)節(jié)在手動(dòng)實(shí)現(xiàn)數(shù)據(jù)流水線時(shí)一定要做可視化檢查。很多人圖省事把數(shù)據(jù)預(yù)處理完就直接喂給模型中間發(fā)生了什么完全黑盒。正確的做法是每個(gè)預(yù)處理步驟都附帶可視化輸出圖像數(shù)據(jù)就把處理前后的圖片打印出來對(duì)比文本數(shù)據(jù)就把Tokenization之后的結(jié)果還原打印出來檢查。這個(gè)習(xí)慣能幫你攔截掉大量潛在的數(shù)據(jù)bug節(jié)省的調(diào)試時(shí)間遠(yuǎn)比多寫幾行可視化代碼的成本高得多。2.2 模型結(jié)構(gòu)從最樸素的手寫實(shí)現(xiàn)開始模型結(jié)構(gòu)這部分是整個(gè)項(xiàng)目最硬核的區(qū)域。from-scratch要求你親手實(shí)現(xiàn)線性層、卷積層、循環(huán)層、注意力機(jī)制這些組件而且目標(biāo)是不用任何深度學(xué)習(xí)框架的前向與反向封裝純手工實(shí)現(xiàn)前向傳播和反向傳播。很多人會(huì)覺得這個(gè)要求太極端了現(xiàn)在誰還會(huì)從零寫反向傳播但我要說這個(gè)練習(xí)的價(jià)值遠(yuǎn)遠(yuǎn)超過它看起來的樣子。當(dāng)你手動(dòng)實(shí)現(xiàn)過一個(gè)只有幾十行代碼的MLP反向傳播之后你會(huì)真正理解鏈?zhǔn)椒▌t如何在計(jì)算圖中逐層傳遞梯度你會(huì)明白為什么激活函數(shù)不能隨便選、學(xué)習(xí)率為什么會(huì)有那么大影響。這些認(rèn)知會(huì)沉淀成一種本能日后你用框架搭模型時(shí)每寫一層都會(huì)在腦海里自動(dòng)浮現(xiàn)出它對(duì)應(yīng)的數(shù)學(xué)行為。這種感覺就像學(xué)騎自行車一旦你真正平衡過一次之后無論換什么車都能很快適應(yīng)。具體到實(shí)現(xiàn)順序上我建議嚴(yán)格按照從簡(jiǎn)到繁的次第來推進(jìn)。先實(shí)現(xiàn)線性回歸它是理解梯度下降的最佳載體再實(shí)現(xiàn)一個(gè)帶隱藏層的多層感知機(jī)這時(shí)你要處理激活函數(shù)的選擇、權(quán)重的初始化策略然后進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)你需要自己實(shí)現(xiàn)im2col這類底層變換來理解卷積操作的真實(shí)計(jì)算過程最后才挑戰(zhàn)Transformer它的自注意力機(jī)制和位置編碼值得你花一整周的時(shí)間反復(fù)琢磨。實(shí)現(xiàn)過程中要格外小心梯度檢查這件事。由于反向傳播是手工推導(dǎo)的出現(xiàn)維度不匹配或符號(hào)錯(cuò)誤簡(jiǎn)直是家常便飯。不要等到訓(xùn)練時(shí)發(fā)現(xiàn)loss不降才回頭查找那會(huì)浪費(fèi)大量時(shí)間。每完成一個(gè)模塊立刻用數(shù)值梯度法和解析梯度法做對(duì)比驗(yàn)證兩者應(yīng)該在4到5位有效數(shù)字上保持一致。這個(gè)習(xí)慣會(huì)大大加速你的實(shí)現(xiàn)進(jìn)度。2.3 訓(xùn)練與優(yōu)化決定模型上限的引擎模型結(jié)構(gòu)決定了下限訓(xùn)練策略決定了上限這個(gè)說法在工程實(shí)戰(zhàn)中幾乎沒有例外。到了訓(xùn)練與優(yōu)化這個(gè)環(huán)節(jié)你需要接觸的內(nèi)容開始真正貼近深度學(xué)習(xí)研究的核心命題損失函數(shù)的設(shè)計(jì)、優(yōu)化器的選擇與調(diào)參、正則化策略的部署、學(xué)習(xí)率調(diào)度方案的制定。損失函數(shù)是第一個(gè)要深刻理解的對(duì)象。回歸任務(wù)里MSE和MAE各自的梯度特性決定了它們?cè)诋惓Ｖ祱?chǎng)景下的不同表現(xiàn)分類任務(wù)里交叉熵和合頁損失在決策邊界上的偏好也截然不同。你得學(xué)會(huì)從梯度行為的角度去理解這些差異而不是死記硬背分類用交叉熵這種口頭教條。理解了梯度優(yōu)化器就順理成章了。從SGD到帶動(dòng)量的SGD再到Adam及其變體你要逐個(gè)手動(dòng)實(shí)現(xiàn)一遍親眼看一看出動(dòng)量如何抑制震蕩、自適應(yīng)學(xué)習(xí)率如何應(yīng)對(duì)稀疏梯度。我會(huì)在后面的實(shí)操章節(jié)給出一個(gè)具體實(shí)現(xiàn)示例。正則化部分同樣需要?jiǎng)邮烛?yàn)證。L2正則化如何等價(jià)于權(quán)重衰減、Dropout為何能在測(cè)試時(shí)按比例縮放、Batch Normalization的訓(xùn)練與推理行為為何不同這些問題在看文檔時(shí)很容易覺得懂了可一旦你真正動(dòng)手實(shí)現(xiàn)會(huì)發(fā)現(xiàn)每個(gè)細(xì)節(jié)里都藏著坑。我印象最深的是Batch Normalization剛接觸時(shí)覺得它不過就是歸一化一下數(shù)據(jù)真正實(shí)現(xiàn)之后才發(fā)現(xiàn)訓(xùn)練階段和推理階段的統(tǒng)計(jì)量處理邏輯完全不同這個(gè)設(shè)計(jì)是無數(shù)工程經(jīng)驗(yàn)沉淀出來的精致產(chǎn)物。2.4 評(píng)估與調(diào)優(yōu)量化能力的關(guān)鍵手段評(píng)估環(huán)節(jié)經(jīng)常被初學(xué)者當(dāng)成最后跑一下指標(biāo)的收尾動(dòng)作這是很大的誤區(qū)。真正可靠的評(píng)估體系至少要覆蓋三個(gè)層次模型能力指標(biāo)、魯棒性檢驗(yàn)、上線前的偏差分析。模型能力指標(biāo)是最基礎(chǔ)的層面準(zhǔn)確率、精確率、召回率、F1、AUC這些概念要熟練掌握同時(shí)明確它們的適用場(chǎng)景。比如在類不平衡的樣本集上準(zhǔn)確率幾乎是毫無意義的指標(biāo)一個(gè)永遠(yuǎn)預(yù)測(cè)多數(shù)類的模型也能刷出很高的準(zhǔn)確率這時(shí)候必須依賴精確率、召回率和它們的調(diào)和平均。魯棒性檢驗(yàn)則是現(xiàn)代AI工程經(jīng)常忽視的環(huán)節(jié)你要學(xué)會(huì)構(gòu)造輕微擾動(dòng)來驗(yàn)證模型穩(wěn)定性比如圖像加噪、文本同義詞替換、輸入數(shù)據(jù)的微小偏移。如果模型在這些擾動(dòng)下表現(xiàn)出現(xiàn)斷崖式下跌那它在生產(chǎn)環(huán)境中的可靠性就要打上問號(hào)。偏差分析是評(píng)估環(huán)節(jié)中面向?qū)崙?zhàn)最緊密的一個(gè)子模塊。你要學(xué)會(huì)把預(yù)測(cè)錯(cuò)誤的數(shù)據(jù)分成類來看模型是在哪些子集上系統(tǒng)性地失效是數(shù)據(jù)標(biāo)注本身有問題還是這個(gè)類別在訓(xùn)練集中天然稀缺錯(cuò)誤樣本里有沒有隱藏著某種模式這一層分析做得好你能在模型上線前就發(fā)現(xiàn)數(shù)據(jù)層面的漏洞從而降低大量線上迭代的成本。2.5 推理與部署走向生產(chǎn)環(huán)境的最后一公里很多人把模型訓(xùn)好當(dāng)成項(xiàng)目終點(diǎn)但在真實(shí)的工程語境里訓(xùn)練只是起點(diǎn)中的起點(diǎn)。模型的部署上線、推理性能優(yōu)化、監(jiān)控與更新機(jī)制這些環(huán)節(jié)加起來才能構(gòu)成一個(gè)完整的閉環(huán)。from-scratch在這塊通常會(huì)給出模型導(dǎo)出、推理加速、服務(wù)化封裝三類核心技能。模型導(dǎo)出階段你要搞清楚訓(xùn)練框架的權(quán)重文件格式與部署框架的格式之間存在哪些差異其中涉及圖結(jié)構(gòu)保存和權(quán)重序列化的細(xì)節(jié)值得親手實(shí)踐一遍。推理加速方面模型量化、權(quán)重剪枝、算子融合是三大主流手段你要理解它們各自的適用場(chǎng)景和技術(shù)代價(jià)。量化最常用把FP32的權(quán)重壓縮成INT8能在保證精度損失可接受的前提下大幅提升推理速度剪枝關(guān)注的是稀疏化技術(shù)剪掉對(duì)結(jié)果影響較小的連接或通道。服務(wù)化封裝則是把模型變成一個(gè)可供外部系統(tǒng)調(diào)用的服務(wù)。這里會(huì)牽扯到API設(shè)計(jì)、批處理、并發(fā)控制、請(qǐng)求超時(shí)和重試策略。我在做這塊時(shí)常說一句話模型性能在生產(chǎn)環(huán)境中的表現(xiàn)一半取決于模型本身另一半取決于服務(wù)化框架的健壯程度。模型響應(yīng)偶爾變慢調(diào)用方系統(tǒng)的超時(shí)設(shè)置是否合理服務(wù)崩潰后是否有自動(dòng)恢復(fù)機(jī)制這些工程問題決定了你的模型在真實(shí)業(yè)務(wù)里能不能真正立住。3. 實(shí)操過程記錄從環(huán)境搭建到完整項(xiàng)目落地紙上談兵到此結(jié)束這一節(jié)我按照一套具體的實(shí)操路徑把你從環(huán)境配置一路帶到端到端項(xiàng)目的落地上過程全部基于實(shí)際執(zhí)行的視角來寫你可以當(dāng)作一份可以直接照做的操作手冊(cè)來用。3.1 六周時(shí)間線與里程碑設(shè)計(jì)整個(gè)學(xué)習(xí)周期按照我親測(cè)下來比較合理的時(shí)間分配建議設(shè)置在六周左右每天投入兩到三小時(shí)。這個(gè)節(jié)奏不快也不慢兼顧了深度學(xué)習(xí)和完整落地如果時(shí)間更充裕拉長(zhǎng)到八周會(huì)更從容。第1周搭建開發(fā)環(huán)境完成Python基礎(chǔ)語法鞏固上手NumPy的核心操作重點(diǎn)訓(xùn)練矩陣運(yùn)算的思維模式。第2周手動(dòng)實(shí)現(xiàn)線性回歸與多層感知機(jī)完成第一個(gè)完整的反向傳播推導(dǎo)并寫碼實(shí)現(xiàn)配合數(shù)值梯度驗(yàn)證。第3周進(jìn)入卷積神經(jīng)網(wǎng)絡(luò)模塊實(shí)現(xiàn)基礎(chǔ)的卷積層、池化層在MNIST上完成手寫數(shù)字識(shí)別。第4周理解并手動(dòng)實(shí)現(xiàn)基礎(chǔ)的循環(huán)網(wǎng)絡(luò)處理序列數(shù)據(jù)的準(zhǔn)備工作完成一個(gè)簡(jiǎn)單的情感分類任務(wù)。第5周進(jìn)入Transformer實(shí)現(xiàn)自注意力機(jī)制與其核心組件這個(gè)過程會(huì)比較燒腦需要有足夠的耐心。第6周完成一個(gè)綜合性的端到端項(xiàng)目把前五周實(shí)現(xiàn)的所有組件整合起來完成從數(shù)據(jù)處理到模型評(píng)估的完整鏈路。這個(gè)時(shí)間線的設(shè)計(jì)遵循一個(gè)核心原則每階段結(jié)束都必須有一個(gè)可運(yùn)行、可驗(yàn)證的產(chǎn)出物而不是學(xué)完了某個(gè)章節(jié)。產(chǎn)出物可以是跑通的模型、一張loss曲線、一組評(píng)估報(bào)告但必須有實(shí)體的東西擺在那里。只有這樣學(xué)習(xí)進(jìn)度才是可感知、可追蹤的。3.2 環(huán)境配置與工具鏈推薦環(huán)境配置是卡住很多新手的第一道坎但其實(shí)只需要一個(gè)清晰的檢查單就能順利解決。我的建議是使用Python 3.10及以上的版本配合虛擬環(huán)境管理工具。依賴方面核心只需要三件套NumPy用于從零實(shí)現(xiàn)算法時(shí)的基礎(chǔ)矩陣運(yùn)算Matplotlib用于繪制訓(xùn)練曲線和數(shù)據(jù)可視化Jupyter Notebook或VS Code用于交互式開發(fā)。深度學(xué)習(xí)框架在整個(gè)from-scratch學(xué)習(xí)的前半段是刻意不引入的這聽起來可能有些反直覺但它的目的就是為了讓你擺脫框架的溫柔陷阱。當(dāng)你需要手動(dòng)實(shí)現(xiàn)反向傳播時(shí)你會(huì)發(fā)現(xiàn)PyTorch的autograd功能幫了多大的忙而正因?yàn)橐庾R(shí)到了這份便利你也會(huì)更加珍惜對(duì)底層原理的理解。到了后期需要驗(yàn)證自己手寫實(shí)現(xiàn)與框架實(shí)現(xiàn)的差異時(shí)再引入PyTorch作為參照基準(zhǔn)。注意這里有個(gè)操作細(xì)節(jié)驗(yàn)證時(shí)不要只對(duì)比最終的測(cè)試準(zhǔn)確率還要對(duì)比中間層的輸出和梯度?？蚣茌敵雠紶栆矔?huì)和你手寫的實(shí)現(xiàn)有細(xì)微出入這時(shí)追查是數(shù)值精度問題還是實(shí)現(xiàn)邏輯問題本身就是極佳的學(xué)習(xí)過程。3.3 關(guān)鍵代碼解析手寫實(shí)現(xiàn)一個(gè)兩層神經(jīng)網(wǎng)絡(luò)下面我用一個(gè)具體的例子來說明from-scratch的實(shí)現(xiàn)思路。假設(shè)我們要手動(dòng)實(shí)現(xiàn)一個(gè)帶一個(gè)隱藏層的神經(jīng)網(wǎng)絡(luò)用于二分類任務(wù)不借助任何深度學(xué)習(xí)框架只用NumPy完成整個(gè)訓(xùn)練循環(huán)。import numpy as np class TwoLayerNet: def __init__(self, input_dim, hidden_dim, output_dim, seed42): np.random.seed(seed) # 初始化策略小隨機(jī)數(shù)避免對(duì)稱性問題 self.W1 np.random.randn(input_dim, hidden_dim) * 0.01 self.b1 np.zeros((1, hidden_dim)) self.W2 np.random.randn(hidden_dim, output_dim) * 0.01 self.b2 np.zeros((1, output_dim)) def sigmoid(self, x): # 數(shù)值穩(wěn)定的sigmoid實(shí)現(xiàn)防止exp溢出 return np.where(x 0, 1 / (1 np.exp(-x)), np.exp(x) / (1 np.exp(x))) def forward(self, X): self.z1 np.dot(X, self.W1) self.b1 self.a1 self.sigmoid(self.z1) self.z2 np.dot(self.a1, self.W2) self.b2 # 二分類任務(wù)使用sigmoid輸出概率 self.a2 self.sigmoid(self.z2) return self.a2 def compute_loss(self, y_true, y_pred): # 二分類交叉熵?fù)p失加1e-12防止log(0) m y_true.shape[0] return -np.mean(y_true * np.log(y_pred 1e-12) (1 - y_true) * np.log(1 - y_pred 1e-12)) def backward(self, X, y_true): m X.shape[0] # 輸出層梯度 dz2 self.a2 - y_true dW2 np.dot(self.a1.T, dz2) / m db2 np.sum(dz2, axis0, keepdimsTrue) / m # 隱藏層梯度通過鏈?zhǔn)椒▌t反向傳播 da1 np.dot(dz2, self.W2.T) dz1 da1 * self.a1 * (1 - self.a1) # sigmoid求導(dǎo)a*(1-a) dW1 np.dot(X.T, dz1) / m db1 np.sum(dz1, axis0, keepdimsTrue) / m return dW1, db1, dW2, db2 def train(self, X, y, epochs1000, lr0.1, verboseTrue): for epoch in range(epochs): y_pred self.forward(X) loss self.compute_loss(y, y_pred) dW1, db1, dW2, db2 self.backward(X, y) # 梯度下降更新參數(shù) self.W1 - lr * dW1 self.b1 - lr * db1 self.W2 - lr * dW2 self.b2 - lr * db2 if verbose and epoch % 100 0: print(fEpoch {epoch}, Loss: {loss:.6f})這段代碼會(huì)給一個(gè)非常直觀的手工感。你會(huì)發(fā)現(xiàn)所謂訓(xùn)練神經(jīng)網(wǎng)絡(luò)本質(zhì)上就是反復(fù)執(zhí)行前向計(jì)算預(yù)測(cè)反向傳播梯度更新參數(shù)權(quán)重這個(gè)三步循環(huán)。每個(gè)參數(shù)的變化方向都由梯度告訴你怎么走學(xué)習(xí)率則決定了每步走多遠(yuǎn)。當(dāng)你在沒有任何框架幫助的情況下親手跑完一遍這個(gè)循環(huán)理解深度和直接用PyTorch寫出同樣代碼是完全不可同日而語的。有幾個(gè)關(guān)鍵細(xì)節(jié)值得重點(diǎn)說明。第一是初始化策略很多人初始化為全零矩陣這會(huì)導(dǎo)致隱藏層所有神經(jīng)元完全對(duì)稱梯度更新也完全一致網(wǎng)絡(luò)實(shí)際上退化成了一個(gè)線性模型。第二是sigmoid的數(shù)值穩(wěn)定實(shí)現(xiàn)如果不做np.where的分支處理當(dāng)輸入值很大時(shí)np.exp(x)會(huì)直接溢出成無窮大這個(gè)坑非常隱蔽。第三是梯度下降更新公式里有一個(gè)容易被忽略的學(xué)習(xí)率lr它的取值在0.01到0.1之間通常會(huì)有比較穩(wěn)定的表現(xiàn)設(shè)置過大會(huì)導(dǎo)致loss震蕩發(fā)散過小則收斂到滿意精度的時(shí)間成倍拉長(zhǎng)。3.4 端到端項(xiàng)目實(shí)戰(zhàn)MNIST手寫數(shù)字識(shí)別當(dāng)完成基礎(chǔ)組件的搭建之后你就可以把它們組合成一套完整的端到端項(xiàng)目了。這里我以MNIST手寫數(shù)字識(shí)別作為示范它是深度學(xué)習(xí)領(lǐng)域的Hello World數(shù)據(jù)規(guī)模適中、單張圖像尺寸小、類別數(shù)明確非常適合用來驗(yàn)證整個(gè)工程鏈路的熟練度。項(xiàng)目的第一步是數(shù)據(jù)準(zhǔn)備。MNIST數(shù)據(jù)集可以通過公開渠道直接下載總共包含六萬張訓(xùn)練圖片和一萬張測(cè)試圖片。拿到原始數(shù)據(jù)后要做的第一件事不是訓(xùn)練模型而是做數(shù)據(jù)探查用Matplotlib隨機(jī)打印出幾張圖片確認(rèn)圖像的內(nèi)容和標(biāo)簽是否匹配統(tǒng)計(jì)一下每個(gè)數(shù)字類別的樣本數(shù)量確認(rèn)沒有嚴(yán)重的類別不平衡問題檢查一下像素值的分布區(qū)間方便后面做歸一化。第二步是搭建數(shù)據(jù)流水線。我的建議是寫一個(gè)簡(jiǎn)單的DataLoader類把數(shù)據(jù)切分成小批量支持隨機(jī)打亂并且在每個(gè)epoch結(jié)束后重新洗牌。洗牌這個(gè)操作看似無關(guān)緊要但它對(duì)訓(xùn)練收斂速度有實(shí)實(shí)在在的影響——如果不做打亂模型可能在某個(gè)epoch內(nèi)連續(xù)看到同一類別的樣本梯度更新方向會(huì)被批量數(shù)據(jù)帶偏導(dǎo)致訓(xùn)練過程震蕩加劇。這個(gè)細(xì)節(jié)很多教程根本不會(huì)講但實(shí)踐里它非常關(guān)鍵。第三步開始訓(xùn)練模型。在MNIST上你可以用前幾周實(shí)現(xiàn)的所有組件來構(gòu)建一個(gè)基礎(chǔ)CNN兩個(gè)卷積層加一個(gè)全連接層配合ReLU激活和最大池化。訓(xùn)練二十個(gè)epoch左右把每輪的loss和驗(yàn)證集準(zhǔn)確率都記錄下來繪制成訓(xùn)練曲線。曲線是診斷模型狀態(tài)的直接窗口如果訓(xùn)練loss下降但驗(yàn)證準(zhǔn)確率停滯說明模型開始過擬合了如果train和val的loss都居高不下則需要檢查模型容量或數(shù)據(jù)預(yù)處理是否存在問題。訓(xùn)練完成后的第四步是評(píng)估與測(cè)試。我建議除了打印測(cè)試集整體準(zhǔn)確率外再做一件很多人忽略的事把預(yù)測(cè)錯(cuò)誤的樣本打印出來加上真實(shí)標(biāo)簽和預(yù)測(cè)標(biāo)簽一起看。你會(huì)發(fā)現(xiàn)很有意思的模式比如有些數(shù)字在特定寫法下確實(shí)難以辨認(rèn)有些錯(cuò)誤更像是標(biāo)注本身存在問題。這類錯(cuò)誤分析是模型迭代改進(jìn)的依據(jù)也是從調(diào)通模型走向調(diào)好模型的分水嶺。最后一步是導(dǎo)出與部署。如果你已經(jīng)習(xí)慣了用框架做模型導(dǎo)出那這里可以嘗試把訓(xùn)練好的模型參數(shù)保存成通用的JSON或NumPy格式寫一個(gè)獨(dú)立的推理腳本這個(gè)腳本不依賴訓(xùn)練時(shí)的任何代碼只加載權(quán)重參數(shù)完成前向計(jì)算并輸出預(yù)測(cè)結(jié)果。到這一步你會(huì)發(fā)現(xiàn)模型不再只是一個(gè)訓(xùn)練產(chǎn)物而是一個(gè)可以被外部系統(tǒng)調(diào)用的服務(wù)轉(zhuǎn)型到真實(shí)工程場(chǎng)景的路徑也會(huì)非常清晰。4. 常見問題排查與實(shí)戰(zhàn)避坑任何實(shí)操過程都不可避免地踩坑下面這些問題是幾乎每個(gè)跟隨from-scratch路徑學(xué)習(xí)的人都會(huì)遇到的我把現(xiàn)象、排查思路和處理方案貼出來省得你再花時(shí)間繞遠(yuǎn)路。4.1 訓(xùn)練Loss不下降常見指數(shù)排第一。當(dāng)你的手動(dòng)實(shí)現(xiàn)第一次跑起來發(fā)現(xiàn)loss在幾百個(gè)epoch里紋絲不動(dòng)時(shí)別急著懷疑這個(gè)任務(wù)太難模型學(xué)不會(huì)。按照下面這個(gè)清單逐項(xiàng)排查基本都能找到問題根源。先檢查梯度這是最可疑的環(huán)節(jié)。神經(jīng)網(wǎng)絡(luò)的反向傳播就像多米諾骨牌前面任意一張牌倒了后面全白推。你在數(shù)值梯度驗(yàn)證上偷了多少懶這時(shí)候就要加倍償還。把輸出的梯度打印出來觀察它們的數(shù)值量級(jí)是否會(huì)隨著層數(shù)加深而急劇變小或爆炸式增大如果是那就說明梯度計(jì)算有誤或者在反向傳播過程中存在數(shù)值不穩(wěn)定。再檢查學(xué)習(xí)率設(shè)置。學(xué)習(xí)率太大更新幅度過大會(huì)導(dǎo)致loss在某個(gè)值附近來回震蕩學(xué)習(xí)率太小參數(shù)每步挪動(dòng)微乎其微loss下降速度肉眼不可見。一個(gè)實(shí)用做法是從1e-3開始每次觀察十到二十個(gè)epoch的loss變化如果幾乎不降就降低一個(gè)數(shù)量級(jí)直到看到穩(wěn)定的下降趨勢(shì)。最后檢查特征歸一化。如果輸入特征的數(shù)值范圍差異巨大比如某一列在0到1之間另一列在上千到上萬梯度更新會(huì)被大數(shù)值特征主導(dǎo)小數(shù)值特征對(duì)應(yīng)的權(quán)重根本學(xué)不動(dòng)。解決方法是把輸入數(shù)據(jù)做標(biāo)準(zhǔn)化到均值為0、方差為1或者縮放到[0,1]區(qū)間內(nèi)。4.2 訓(xùn)練發(fā)散loss不但不降反而持續(xù)擴(kuò)大最終變成NaN這是第二種高頻翻車現(xiàn)場(chǎng)。最常見的元兇有兩個(gè)學(xué)習(xí)率過大導(dǎo)致參數(shù)更新幅度過猛模型直接沖出最優(yōu)區(qū)域以及數(shù)據(jù)中存在NaN或無窮大值源頭可能來自前面數(shù)據(jù)處理步驟里的除零操作或log函數(shù)作用在0上。處理方式分兩步走。第一步是調(diào)低學(xué)習(xí)率避免模型沖飛第二步是檢查輸入數(shù)據(jù)和中間計(jì)算結(jié)果在forward函數(shù)里加入斷言語句在每層計(jì)算后檢查張量中是否存在NaN或Inf值一旦發(fā)現(xiàn)立刻終止訓(xùn)練并打印出錯(cuò)位置。這個(gè)習(xí)慣能幫你快速鎖定問題發(fā)生的那一層比事后復(fù)盤整個(gè)計(jì)算圖要高效得多。4.3 過擬合訓(xùn)練集上accuracy逼近99%測(cè)試集上只有85%。過擬合在from-scratch項(xiàng)目里特別容易遇到因?yàn)槟闶謩?dòng)實(shí)現(xiàn)的模型規(guī)模通常不大越小的模型越依賴正則化手段來約束。首選的緩解手段是數(shù)據(jù)增強(qiáng)。在圖像任務(wù)里隨機(jī)平移、旋轉(zhuǎn)、翻轉(zhuǎn)這些操作能讓模型接觸到更多樣化的輸入模式從而學(xué)到更泛化的特征。其次是Dropout在訓(xùn)練時(shí)隨機(jī)丟棄一部分神經(jīng)元激活強(qiáng)迫網(wǎng)絡(luò)不依賴單一路徑做決策測(cè)試時(shí)按比例縮小激活值來保持輸出分布的穩(wěn)定。第三是早停策略訓(xùn)練過程中持續(xù)監(jiān)控驗(yàn)證集loss一旦發(fā)現(xiàn)驗(yàn)證loss開始不再下降而訓(xùn)練loss還在下降就停止訓(xùn)練并回滾到驗(yàn)證loss最低的那份參數(shù)。4.4 框架與手寫實(shí)現(xiàn)結(jié)果不一致費(fèi)了半天勁把模型準(zhǔn)確率調(diào)到了95%跑了一遍框架版本之后發(fā)現(xiàn)框架能到97%差了兩個(gè)百分點(diǎn)。先別急著質(zhì)疑自己的實(shí)現(xiàn)這種差異來源有很多權(quán)重初始化的隨機(jī)種子不同、批處理數(shù)據(jù)的打亂順序不同、學(xué)習(xí)率調(diào)度策略的細(xì)節(jié)差異、框架底層算子在某些數(shù)學(xué)實(shí)現(xiàn)上的細(xì)微精度差異。這些都是正常波動(dòng)范圍。如果你的目標(biāo)是驗(yàn)證手寫實(shí)現(xiàn)的正確性更嚴(yán)謹(jǐn)?shù)淖龇ㄊ窍劝央S機(jī)種子固定、把數(shù)據(jù)順序固定、把數(shù)學(xué)運(yùn)算精度設(shè)置成完全相同的條件再做逐層對(duì)比。對(duì)比前向傳播中每一層輸出的數(shù)值差以及反向傳播中每一層梯度的數(shù)值差把差值的最大絕對(duì)值報(bào)告出來。在1e-6量級(jí)左右都算正常如果出現(xiàn)明顯差異再去逐層精確定位問題。4.5 推理性能不達(dá)標(biāo)時(shí)的排查思路模型部署上線后實(shí)測(cè)吞吐上不去單次推理延遲超過了業(yè)務(wù)要求的預(yù)算。排查看三個(gè)方向模型本身的復(fù)雜度是否需要壓縮服務(wù)端的并發(fā)處理能力是否足夠以及推理過程中是否存在重復(fù)的數(shù)據(jù)處理開銷。模型側(cè)能動(dòng)手的主要是量化和剪枝。把FP32的權(quán)重轉(zhuǎn)為INT8通常能帶來2到4倍的推理加速精度損失一般在幾個(gè)百分點(diǎn)以內(nèi)。服務(wù)端方面除了增加并發(fā)線程數(shù)還有一個(gè)經(jīng)常被忽略的優(yōu)化點(diǎn)數(shù)據(jù)預(yù)處理和模型推理過程不要串行執(zhí)行要把兩個(gè)階段流水線化。圖像解碼、縮放、歸一化這些操作完全可以在第一批請(qǐng)求推理的同時(shí)并行處理第二批請(qǐng)求充分利用多核CPU資源。我做過一次優(yōu)化僅僅是這個(gè)改動(dòng)就把整體的吞吐量提升了將近一倍而且代碼改動(dòng)量不大。5. 工程化落地實(shí)踐與長(zhǎng)期成長(zhǎng)路徑從零開始手寫AI組件的最終目的不是為了讓你在生產(chǎn)環(huán)境里拒絕使用框架。恰恰相反我堅(jiān)定地認(rèn)為在真實(shí)業(yè)務(wù)中能使用成熟框架和工具的時(shí)候就應(yīng)該使用它們經(jīng)過了大量場(chǎng)景的打磨性能和穩(wěn)定性都遠(yuǎn)超個(gè)人手寫的實(shí)現(xiàn)。手寫練習(xí)的真正價(jià)值在于它給了你讀懂框架源碼的底子、定位坑位的能力、以及在框架覆蓋不到的場(chǎng)景里做定制化改造的信心。這個(gè)項(xiàng)目做完全程后接下來該怎么走我建議用三個(gè)接續(xù)階段來規(guī)劃自己的成長(zhǎng)路線。第一階段是框架源碼精讀。挑一個(gè)你日常最常用的框架組件比如PyTorch的autograd引擎或者某個(gè)優(yōu)化器的官方實(shí)現(xiàn)逐行去讀它的源碼對(duì)照你在from-scratch練習(xí)里的理解弄清楚框架在底層是怎么把你的操作調(diào)度到GPU上的、它做了哪些額外優(yōu)化、它的實(shí)現(xiàn)和你手寫版本之間的差異在哪里。這個(gè)階段你會(huì)發(fā)現(xiàn)框架不是黑盒它只是把你的知識(shí)封裝得更高級(jí)而已。第二階段是業(yè)務(wù)場(chǎng)景復(fù)現(xiàn)。找一兩個(gè)有挑戰(zhàn)性的真實(shí)業(yè)務(wù)問題比如搜索場(chǎng)景里的文本相關(guān)性排序、電商場(chǎng)景里的用戶行為預(yù)測(cè)、工業(yè)場(chǎng)景里的缺陷檢測(cè)。不要停留在基于開源數(shù)據(jù)集的練習(xí)上而是真正接觸業(yè)務(wù)數(shù)據(jù)體驗(yàn)數(shù)據(jù)清洗的繁瑣、特征工程的迭代、模型上線后的監(jiān)控壓力。這個(gè)階段你才會(huì)真正理解AI工程的重心模型訓(xùn)練只是其中很小一部分。第三階段是參與開源項(xiàng)目。到GitHub上找感興趣的AI開源項(xiàng)目先從提交文檔和修bug這種小任務(wù)入手逐漸過渡到實(shí)現(xiàn)新功能模塊。開源社區(qū)有極高的工程代碼標(biāo)準(zhǔn)你在from-scratch階段形成的嚴(yán)謹(jǐn)習(xí)慣會(huì)在這種環(huán)境下被進(jìn)一步打磨同時(shí)你的代碼也會(huì)被真正的生產(chǎn)場(chǎng)景測(cè)試這是個(gè)人練習(xí)完全模擬不了的成長(zhǎng)養(yǎng)分。在這個(gè)長(zhǎng)期成長(zhǎng)路徑里我認(rèn)為有一條底線原則三條主線心得值得記錄在案。底線原則是不停止動(dòng)手。AI領(lǐng)域知識(shí)更新速度快但工程能力的核心不是追逐最新模型名稱而是處理未知問題的穩(wěn)定方法論。保持頻繁動(dòng)手的好習(xí)慣讓每次學(xué)習(xí)都沉淀成可復(fù)現(xiàn)的代碼這個(gè)習(xí)慣比任何課程都值錢。主線心得之一先建立對(duì)慢的耐受度。from-scratch這條路最大的關(guān)卡不在技術(shù)上而在心理上。當(dāng)你看到別人用框架五分鐘跑完你手寫三個(gè)小時(shí)才能完成的模型時(shí)這種落差感很難熬。但你要知道五分鐘跑完的人只得到了一個(gè)數(shù)字你三個(gè)小時(shí)得到的是一條完整的理解鏈和一整套調(diào)試能力。這份積累會(huì)在某個(gè)具體的工程節(jié)點(diǎn)上一次性兌現(xiàn)。主線心得之二記錄是學(xué)習(xí)的放大器。光完成項(xiàng)目任務(wù)還不夠每完成一個(gè)模塊把實(shí)現(xiàn)思路、踩坑記錄、調(diào)試心得寫成文檔或博客。這個(gè)習(xí)慣看似是額外負(fù)擔(dān)實(shí)際上它能幫你把零散的知識(shí)點(diǎn)釘在腦海里成為長(zhǎng)期的記憶索引。我很多現(xiàn)在信手拈來的原理細(xì)節(jié)都是當(dāng)初寫筆記時(shí)反復(fù)梳理過的內(nèi)容。主線心得之三項(xiàng)目后期的模型簡(jiǎn)化能力比復(fù)雜模型更值錢。在AI工程領(lǐng)域能用簡(jiǎn)單模型解決的問題不應(yīng)該用復(fù)雜模型去解決。from-scratch訓(xùn)練出來的那種樸素直覺會(huì)反復(fù)提醒你先看一眼數(shù)據(jù)的分布規(guī)律試一個(gè)線性基線確認(rèn)基線表現(xiàn)后再逐步升級(jí)模型復(fù)雜度。這個(gè)習(xí)慣能幫你在業(yè)務(wù)中節(jié)省大量算力、時(shí)間和維護(hù)成本。寫在最后我個(gè)人的實(shí)操體會(huì)是ai-engineering-from-scratch這條路徑適合每一個(gè)想在AI工程領(lǐng)域長(zhǎng)期深耕的人但它不是一條捷徑需要實(shí)打?qū)嵉臅r(shí)間投入和大量的重復(fù)練習(xí)。如果你愿意把自己摁在調(diào)試器前面一行行地追查梯度的流向親手把模型從無到有地架起來那這個(gè)項(xiàng)目給你的回報(bào)會(huì)遠(yuǎn)比會(huì)跑模型四個(gè)字要大。它會(huì)讓你真正理解深度學(xué)習(xí)的骨架和脈搏讓你在日后的工程實(shí)戰(zhàn)中站得更穩(wěn)、走得更遠(yuǎn)。