寫(xiě)在前面目前完成了的文章普通全連接網(wǎng)絡(luò)初步建立和結(jié)構(gòu)分析部分優(yōu)化以及修改為循環(huán)網(wǎng)絡(luò)結(jié)構(gòu)RNN加入和結(jié)構(gòu)優(yōu)化調(diào)整模型結(jié)構(gòu)和超級(jí)參數(shù)優(yōu)化及其可視化初步調(diào)整超級(jí)參數(shù)TB應(yīng)用到模型中改正了BN層為L(zhǎng)N層調(diào)整features相關(guān)知識(shí)整理LN與BN層TensorBoard學(xué)習(xí)RNN部分筆記當(dāng)前狀態(tài)訓(xùn)練用數(shù)據(jù)整理成dataset 模型使用了dropout LN adam 動(dòng)態(tài)學(xué)習(xí)率 正態(tài)初始化參數(shù) tensorboard觀察 等技術(shù)模型可以合理正常訓(xùn)練和對(duì)超級(jí)參數(shù)調(diào)整進(jìn)行了一系列的工作 基于同一臺(tái)車(chē)的不同數(shù)據(jù)training9萬(wàn)條 validation 3萬(wàn)條evaluation 1萬(wàn)條 搭建了訓(xùn)練 test 推理模型分析了loss情況并打印了結(jié)果作為對(duì)比本次更新本節(jié)將基于當(dāng)前效果做一個(gè)暫時(shí)的總結(jié)和計(jì)劃后續(xù)的調(diào)整。之前一直有一個(gè)不太合理的錯(cuò)誤我的推理結(jié)果應(yīng)該只有自車(chē)速度和Yawrate是合理的。計(jì)劃但忘記了將比如加速度等量移出參考label。其中縱向速度認(rèn)為和加速度yawrate和之前的速度有關(guān)yawrate認(rèn)為和輪速度差、總線橫向加速度、總線yawrate、方向盤(pán)轉(zhuǎn)角、車(chē)速相關(guān)。其次就是對(duì)于RNN結(jié)構(gòu)我們不應(yīng)該使用BN層作處理這里最好使用LN在sample的feature的特征維度上做歸一化因?yàn)槲覜](méi)有在訓(xùn)練前做數(shù)據(jù)的特征縮放所以在訓(xùn)練時(shí)在特征維度上要消除數(shù)量級(jí)的差異以便使用MSE函數(shù)同時(shí)調(diào)整了模型使用順序本節(jié)展示結(jié)果已經(jīng)作出部分對(duì)應(yīng)修改。還差部分feature和更多工況的數(shù)據(jù)收集下一次完成整理當(dāng)前的sample features 和labels為我的模型當(dāng)前修改為結(jié)果數(shù)據(jù)分析上一節(jié)中實(shí)現(xiàn)了循環(huán)打印結(jié)果調(diào)節(jié)超級(jí)參數(shù)數(shù)據(jù)還有調(diào)整空間暫時(shí)沒(méi)有使用Hyperopt修改了feature和label內(nèi)容作出了很多測(cè)試在最終修改label合理和調(diào)整BN層為L(zhǎng)N層之后基于超級(jí)參數(shù)當(dāng)前最后確定的一版效果如下test集合的每一個(gè)epoch的平均loss在1e-3的數(shù)量級(jí)上。驗(yàn)證集合我在推理模型中使用關(guān)閉了隨機(jī)batch以便使數(shù)據(jù)按照時(shí)間排序可以畫(huà)圖對(duì)比。下方是驗(yàn)證集的結(jié)果基本在0.001-0.01間。使用腳本打印出來(lái)和原數(shù)據(jù)對(duì)比并且plot發(fā)現(xiàn)車(chē)速估計(jì)的狠準(zhǔn)但是yawrate效果不太好。下一步計(jì)劃數(shù)據(jù)整理一個(gè)特征準(zhǔn)一個(gè)不準(zhǔn)可能是我開(kāi)頭所講學(xué)習(xí)車(chē)速所需要的條件基本滿(mǎn)足學(xué)習(xí)用yawrate的feature我還需要整理填充一下并且我在ros打印的時(shí)候簡(jiǎn)單的鎖住了不同回調(diào)函數(shù)打印的前后關(guān)系還需要商榷。 下一次也需要記錄更多training場(chǎng)景。使用Hyperpt部署寫(xiě)在本文最后請(qǐng)教了一個(gè)同事在實(shí)際使用相關(guān)知識(shí)的時(shí)候一般都是要參考論文的模型如果不是搞科研和訓(xùn)練實(shí)用為主的話還是要基于別人的模型做一些工作盡量不要自己從頭開(kāi)始搭建模型。