1. 項(xiàng)目概述別讓“事后諸葛亮”背鍋它其實(shí)是強(qiáng)化學(xué)習(xí)的救星很多人看到 hindsight 這個(gè)詞第一反應(yīng)是“后見之明”、“馬后炮”常帶點(diǎn)貶義。但在強(qiáng)化學(xué)習(xí)這塊hindsight 恰恰是個(gè)寶貝——它對(duì)應(yīng)的技術(shù)叫hindsight relabeling后見之明經(jīng)驗(yàn)回放專門用來(lái)治稀疏獎(jiǎng)勵(lì)問(wèn)題。我最早接觸它是在做機(jī)器人抓取任務(wù)時(shí)智能體試了大半天成功率還是零整個(gè)訓(xùn)練基本就是“瞎子摸象”。后來(lái)把 hindsight relabeling 接進(jìn)去訓(xùn)練曲線才開始有了像樣的上升趨勢(shì)?？梢哉f(shuō)這個(gè)思路幫我省下了至少一個(gè)月的調(diào)參時(shí)間。這篇內(nèi)容適合誰(shuí)看正在做goal-conditioned RL目標(biāo)條件強(qiáng)化學(xué)習(xí)、被稀疏獎(jiǎng)勵(lì)坑得滿頭包的人或者你只是想搞清楚 HERHindsight Experience Replay到底怎么work、怎么復(fù)現(xiàn)都可以參考。我會(huì)從最核心的思路講到可落地的實(shí)現(xiàn)細(xì)節(jié)再到我實(shí)際踩過(guò)的坑盡量把每個(gè)“為什么”都講清楚。hindsight relabeling 解決的核心問(wèn)題一句話就能概括在目標(biāo)任務(wù)上失敗的經(jīng)驗(yàn)放到另一個(gè)更簡(jiǎn)單的目標(biāo)上其實(shí)是一次完美的成功。這個(gè)“另一個(gè)目標(biāo)”就是我們事后看到的真實(shí)終點(diǎn)。好比學(xué)生考完試對(duì)著答案發(fā)現(xiàn)自己做錯(cuò)了但這道題本身也是知識(shí)點(diǎn)的訓(xùn)練——你重新調(diào)整目標(biāo)把“考高分”換成“把這道題搞懂”那剛才的失敗就變成了寶貴的學(xué)習(xí)樣本。強(qiáng)化學(xué)習(xí)也一樣拿失敗經(jīng)驗(yàn)換個(gè)目標(biāo)重新學(xué)習(xí)往往比硬剛原目標(biāo)高效得多。2. 核心思路拆解為什么稀疏獎(jiǎng)勵(lì)會(huì)讓強(qiáng)化學(xué)習(xí)寸步難行2.1 先從問(wèn)題本身說(shuō)起稀疏獎(jiǎng)勵(lì)到底難在哪做強(qiáng)化學(xué)習(xí)的人都清楚reward 設(shè)計(jì)是個(gè)玄學(xué)。幸運(yùn)的是很多任務(wù)能設(shè)計(jì)出稠密獎(jiǎng)勵(lì)比如跑步有速度獎(jiǎng)勵(lì)、機(jī)械臂有距離獎(jiǎng)勵(lì)。但現(xiàn)實(shí)里大量任務(wù)沒(méi)法這么做——拿“把方塊推到目標(biāo)位置”來(lái)說(shuō)你可以設(shè)計(jì)“離目標(biāo)越近獎(jiǎng)勵(lì)越高”可一旦目標(biāo)換成一幅復(fù)雜裝配圖距離函數(shù)根本寫不出來(lái)。這時(shí)候只能用稀疏獎(jiǎng)勵(lì)成功給 1失敗給 0。稀疏獎(jiǎng)勵(lì)帶來(lái)的問(wèn)題是探索極其低效。智能體隨機(jī)探索時(shí)要碰巧做出一個(gè)能獲得正獎(jiǎng)勵(lì)的動(dòng)作概率低到離譜。沒(méi)有正獎(jiǎng)勵(lì)policy 就得不到任何有意義的梯度最終策略會(huì)退化到隨機(jī)游走。形象點(diǎn)說(shuō)你在大草原上找一枚丟了的戒指找對(duì)了方向沒(méi)有任何反饋只有踩到戒指才算成功——你大概率永遠(yuǎn)找不到。常見解決辦法有三類。第一類是reward shaping人工構(gòu)造稠密獎(jiǎng)勵(lì)但任務(wù)復(fù)雜時(shí)根本構(gòu)造不出來(lái)而且設(shè)計(jì)不好會(huì)引入局部最優(yōu)。第二類是curriculum learning從簡(jiǎn)單任務(wù)開始逐漸變難但需要人為設(shè)計(jì)課程且課程進(jìn)度不易控制。第三類是curiosity-driven exploration讓智能體因?yàn)椤昂闷嫘摹比ヌ剿餍聽顟B(tài)但在目標(biāo)條件任務(wù)里容易分心——到處亂逛就是不干正事。hindsight relabeling 走的是另一條路不改變環(huán)境不改變獎(jiǎng)勵(lì)直接改造 replay buffer 里的數(shù)據(jù)。它認(rèn)為“失敗的經(jīng)驗(yàn)不是沒(méi)用而是目標(biāo)定錯(cuò)了”。這讓我當(dāng)時(shí)眼前一亮因?yàn)樗褑?wèn)題從“如何探索得更聰明”變成了“如何利用已有數(shù)據(jù)更聰明”后者顯然更可控。2.2 Hindsight 的核心假設(shè)從失敗里提取“隱式成功”hindsight relabeling 的關(guān)鍵動(dòng)作是當(dāng)一條經(jīng)驗(yàn)transition在原始目標(biāo) g 上失敗時(shí)把它重新標(biāo)注成在另一個(gè)目標(biāo) g 上的成功經(jīng)驗(yàn)。這個(gè) g 通常是這條經(jīng)驗(yàn)結(jié)束后智能體實(shí)際到達(dá)的狀態(tài)。這樣一來(lái)同一段軌跡就有了雙重身份對(duì)原目標(biāo)是失敗對(duì)新目標(biāo)是成功。policy 能從新目標(biāo)里學(xué)到“這個(gè)動(dòng)作序列能夠完成 g”這是實(shí)打?qū)嵉恼龢颖?。它的核心假設(shè)是目標(biāo)空間存在某種連續(xù)性或可遷移性學(xué)會(huì)把物體推到位置 A會(huì)幫助你學(xué)會(huì)推到位置 B學(xué)會(huì)抓取某個(gè)杯子會(huì)幫助你學(xué)習(xí)抓取另一個(gè)杯子。很多操作任務(wù)天然滿足這個(gè)性質(zhì)所以效果出奇地好。但如果目標(biāo)任務(wù)之間毫無(wú)相似性比如“開門”和“倒水”這種完全不同的操作HER 的收益就很有限。還有一個(gè)非常重要的點(diǎn)hindsight 必須配合 off-policy 算法使用。因?yàn)?relabeling 本質(zhì)上是改了 reward 和 goal生成這條經(jīng)驗(yàn)時(shí)的行為和現(xiàn)在的 policy 已經(jīng)不是同一個(gè)分布了只能用 off-policy 算法從 replay buffer 里反復(fù)學(xué)習(xí)。我當(dāng)時(shí)用的是DDPG HER的組合也有人用 SAC HER都可以。on-policy 算法如 PPO基本與 HER 無(wú)緣道理就在這里。2.3 為什么選擇 hindsight 而不是別的方案單看思路有人會(huì)問(wèn)這不會(huì)讓目標(biāo)變得太簡(jiǎn)單嗎會(huì)不會(huì)學(xué)偏我也糾結(jié)過(guò)這個(gè)問(wèn)題。實(shí)際用下來(lái)發(fā)現(xiàn)只要控制好“重標(biāo)注的比例”和“新目標(biāo)的選擇策略”偏不偏其實(shí)是可控的。對(duì)比 reward shapingHER 的顯著優(yōu)勢(shì)是不需要任何環(huán)境先驗(yàn)知識(shí)不需要你手動(dòng)設(shè)計(jì)獎(jiǎng)勵(lì)函數(shù)省掉一大塊人工成本。對(duì)比 curriculum learningHER 是“自動(dòng)生成課程”——從簡(jiǎn)單目標(biāo)開始離終點(diǎn)近的狀態(tài)逐步逼近真實(shí)目標(biāo)原本想完成的目標(biāo)省去了人為編排課程的麻煩。對(duì)比 curiosityHER 直接利用真實(shí)經(jīng)驗(yàn)不引入額外探索噪聲訓(xùn)練更穩(wěn)定。但 HER 也不是銀彈。我后面做機(jī)械臂任務(wù)時(shí)發(fā)現(xiàn)如果目標(biāo)空間維度特別高比如圖像級(jí)目標(biāo)或者目標(biāo)超出智能體當(dāng)前能力范圍太多HER 的重標(biāo)注目標(biāo)會(huì)嚴(yán)重偏離原始任務(wù)分布訓(xùn)練反而會(huì)變得不穩(wěn)定。所以實(shí)戰(zhàn)中我一般把 HER 作為基礎(chǔ)框架再疊加其他策略比如輔助獎(jiǎng)勵(lì)、狀態(tài)歸一化來(lái)穩(wěn)住訓(xùn)練。3. 核心實(shí)現(xiàn)細(xì)節(jié)與實(shí)操要點(diǎn)手把手拆解 HER 的每個(gè)環(huán)節(jié)3.1 完整算法流程從采樣到重標(biāo)注的七步走一個(gè)標(biāo)準(zhǔn)的 HER 訓(xùn)練循環(huán)大概是這個(gè)樣子。我以 DDPG 結(jié)構(gòu)為例換 SAC 也一樣核心思想不變從環(huán)境中采樣一批經(jīng)驗(yàn)每條經(jīng)驗(yàn)包括狀態(tài) obs、動(dòng)作 act、獎(jiǎng)勵(lì) reward、下一狀態(tài) next_obs、完成標(biāo)志 done、原始目標(biāo) goal g。把原始經(jīng)驗(yàn)存入 replay buffer同時(shí)記錄這條軌跡的序號(hào)。訓(xùn)練更新時(shí)從 replay buffer 里隨機(jī)抽出一個(gè) batch但每條經(jīng)驗(yàn)不是直接用來(lái)計(jì)算 loss而是有概率被“重標(biāo)注”。對(duì)選中的經(jīng)驗(yàn)設(shè)定一個(gè)新目標(biāo) g。常用策略是從這條軌跡后續(xù)的未來(lái)狀態(tài)中隨機(jī)選一個(gè)狀態(tài)future strategy或者用軌跡最終狀態(tài)final state甚至直接隨機(jī)采一個(gè)已經(jīng)達(dá)到過(guò)的狀態(tài)。根據(jù)新目標(biāo) g重新計(jì)算這條經(jīng)驗(yàn)的獎(jiǎng)勵(lì) reward R(s, a, s, g) 和 done 標(biāo)志obs 和 action 不變。把重標(biāo)注后的目標(biāo) g 也拼進(jìn) observation 里形成新的輸入向量交給 actor 和 critic 計(jì)算梯度。更新 critic 時(shí)用重標(biāo)注后的目標(biāo)去算 TD 誤差更新 actor 時(shí)用當(dāng)前目標(biāo)下的 Q 值梯度回傳。核心點(diǎn)在于obs 里通常拼接了 goal所以重標(biāo)注不光是改 reward還要同步換掉 obs 和 next_obs 里的 goal 部分。這一步容易被忽略一旦忘了模型看到的還是舊目標(biāo)獎(jiǎng)勵(lì)又是新目標(biāo)整個(gè)訓(xùn)練就會(huì)邏輯錯(cuò)亂。3.2 目標(biāo)重標(biāo)注的四種策略我用下來(lái)哪種最穩(wěn)看論文和源碼時(shí)會(huì)發(fā)現(xiàn)目標(biāo)重標(biāo)注有四種常見策略官方叫法一般叫final、episode、random、future策略做法特點(diǎn)我的評(píng)價(jià)final直接用整條軌跡的最終狀態(tài)作為新目標(biāo)最簡(jiǎn)單成功概率高適合短軌跡任務(wù)軌跡長(zhǎng)了會(huì)丟中間信息episode從當(dāng)前時(shí)刻所在的整個(gè) episode 狀態(tài)里隨機(jī)挑一個(gè)簡(jiǎn)單覆蓋范圍廣中等任務(wù)可用但可能選到太早的狀態(tài)目標(biāo)太簡(jiǎn)單random從已經(jīng)見過(guò)的所有狀態(tài)里隨機(jī)挑一個(gè)覆蓋歷史分布不太推薦容易選到和目標(biāo)空間無(wú)關(guān)的狀態(tài)future從當(dāng)前時(shí)刻之后的未來(lái)狀態(tài)里隨機(jī)挑 k 個(gè)之一目標(biāo)難度自然遞進(jìn)課程學(xué)習(xí)效果最穩(wěn)尤其配合未來(lái)狀態(tài)集合采樣我用下來(lái)最順手的是future 策略尤其配合一個(gè)參數(shù)future_k。做法是這條軌跡從當(dāng)前時(shí)間步往后數(shù)收集接下來(lái)的 k 個(gè)狀態(tài)在這 k 個(gè)狀態(tài)里隨機(jī)選一個(gè)重新作為當(dāng)前經(jīng)驗(yàn)的目標(biāo)。k 通常取 4也可以根據(jù)軌跡長(zhǎng)度調(diào)整。之所以效果最好是因?yàn)樗选昂?jiǎn)單目標(biāo)”和“原始目標(biāo)”自然過(guò)渡起來(lái)——?jiǎng)傞_局時(shí)目標(biāo)容易后段逐步逼近真實(shí)目標(biāo)天然形成課程。另一個(gè)隱蔽但重要的點(diǎn)是不是每條經(jīng)驗(yàn)都要重標(biāo)注。代碼里一般用一個(gè)概率值控制比如每條經(jīng)驗(yàn)有 80% 的概率執(zhí)行重標(biāo)注剩下 20% 保留原始目標(biāo)。這么做可以確保 agent 不忘記真實(shí)任務(wù)也避免重標(biāo)注目標(biāo)分布和真實(shí)目標(biāo)分布偏差太大。3.3 獎(jiǎng)勵(lì)函數(shù)怎么設(shè)計(jì)稀疏還是稠密的取舍HER 最純正的用法是配合稀疏獎(jiǎng)勵(lì)這也是論文里強(qiáng)調(diào)的。但我在實(shí)際項(xiàng)目里發(fā)現(xiàn)如果你的任務(wù)能寫出“半稠密”獎(jiǎng)勵(lì)混著用反而更好。這里說(shuō)的“半稠密”指的是主獎(jiǎng)勵(lì)還是稀疏的成功/失敗但額外給一個(gè)距離或進(jìn)展的小信號(hào)。比如抓取任務(wù)成功給 1失敗給 0但如果手爪離物體近了額外加一個(gè)0.1 * max(0, old_dist - new_dist)這樣的小獎(jiǎng)勵(lì)。這個(gè)信號(hào)不是為了給 agent 詳細(xì)指導(dǎo)而是讓訓(xùn)練早期更容易有梯度。不過(guò)要小心如果這個(gè)“進(jìn)展獎(jiǎng)勵(lì)”設(shè)計(jì)得不好agent 可能會(huì)鉆空子比如故意把手靠近再遠(yuǎn)離反復(fù)刷距離差。我的經(jīng)驗(yàn)是進(jìn)展獎(jiǎng)勵(lì)的系數(shù)要遠(yuǎn)小于主獎(jiǎng)勵(lì)確保最終目標(biāo)還是“完成任務(wù)”而不是“刷進(jìn)度條”。另外在某些任務(wù)里HER 和稠密獎(jiǎng)勵(lì)其實(shí)是沖突的——因?yàn)橹貥?biāo)注后新目標(biāo)不同稠密獎(jiǎng)勵(lì)函數(shù)在不同目標(biāo)之間可能不可比較導(dǎo)致 Q 值估計(jì)不穩(wěn)定。所以如果你用 HER我建議初始版本老老實(shí)實(shí)做稀疏獎(jiǎng)勵(lì)等穩(wěn)定了再考慮加輔助獎(jiǎng)勵(lì)。3.4 網(wǎng)絡(luò)輸入和狀態(tài)處理Goal 怎么拼進(jìn)去效果最好目標(biāo)條件 RL 里policy 和 Q 函數(shù)通常輸入的是“觀測(cè) 目標(biāo)”的拼接向量。以機(jī)械臂為例observation 是機(jī)械臂關(guān)節(jié)角度、末端位置、物體位置等goal 是目標(biāo)位置直接把兩者 concat 起來(lái)喂給網(wǎng)絡(luò)是最常見的做法。但這里有一個(gè)我踩過(guò)的坑observation 里可能已經(jīng)包含了當(dāng)前物體位置而 goal 又是目標(biāo)物體位置兩者數(shù)值范圍可能差異很大。比如關(guān)節(jié)角是弧度制范圍在 -3 到 3 之間而目標(biāo)位置是米范圍在 -0.5 到 0.5 之間直接 concat 會(huì)讓網(wǎng)絡(luò)訓(xùn)練時(shí)尺度失衡早期梯度全被大數(shù)值特征主導(dǎo)。解決辦法很簡(jiǎn)單分別對(duì) obs 和 goal 做歸一化或者至少統(tǒng)一量綱。我習(xí)慣把 obs 和 goal 都用 running mean/std 歸一化效果很顯著。還有一點(diǎn)如果你的任務(wù)里用了圖像觀測(cè)HER 的實(shí)現(xiàn)會(huì)復(fù)雜很多因?yàn)椤澳繕?biāo)”本身就是一張圖。這種情況下不能簡(jiǎn)單 concat通常要引入目標(biāo)編碼器把圖像編碼成向量再拼到 policy 輸入里。這類任務(wù)里 HER 依然有效但工程復(fù)雜度會(huì)翻倍我建議新手先別碰圖片輸入從向量狀態(tài)的仿真環(huán)境開始練手。3.5 一個(gè)可直接參考的 HER 核心偽代碼下面這段偽代碼是我在項(xiàng)目里服役過(guò)很久的版本經(jīng)過(guò)刪減只留主干方便大家對(duì)照理解# 假設(shè)采用 DDPG HER(future) replay_buffer ReplayBuffer(capacity1_000_000) future_k 4 relabel_prob 0.8 for episode in range(total_episodes): trajectory [] # 記錄本回合所有 transition obs env.reset() goal env.goal # 原始目標(biāo) for t in range(max_steps): goal_input concat(obs, goal) action actor(goal_input) noise next_obs, reward, done, info env.step(action) # 原始經(jīng)驗(yàn)先存一份后面可能被重標(biāo)注 trajectory.append({ obs: obs, next_obs: next_obs, action: action, reward: reward, done: done, goal: goal }) obs next_obs if done: break # 把原始軌跡放入 buffer for transition in trajectory: replay_buffer.push(transition) # 重標(biāo)注對(duì)軌跡中的每條 transition 都可能做一次 for t, transition in enumerate(trajectory): if random.random() relabel_prob: continue # 采集 future 狀態(tài)池從 t1 到回合末尾的 next_obs 里隨機(jī)抽 future_states [trajectory[i][next_obs][:goal_dim] for i in range(t, len(trajectory))] if len(future_states) 0: continue # 隨機(jī)抽 future_k 個(gè)候選再隨機(jī)選一個(gè) candidates random.sample(future_states, min(future_k, len(future_states))) new_goal random.choice(candidates) # 重算獎(jiǎng)勵(lì)和 done new_reward compute_sparse_reward(transition[next_obs], new_goal) new_done 1.0 if new_reward success_reward else 0.0 # 替換目標(biāo)后壓入 replay buffer replay_buffer.push({ obs: concat(transition[obs], new_goal), next_obs: concat(transition[next_obs], new_goal), action: transition[action], reward: new_reward, done: new_done, goal: new_goal }) # 正常 off-policy 更新 if replay_buffer.size() batch_size: for step in range(updates_per_episode): batch replay_buffer.sample(batch_size) update_actor_critic(batch)這段代碼有幾個(gè)細(xì)節(jié)值得說(shuō)明。一是future_states里我只抽了next_obs中的 goal 維度的部分因?yàn)楹芏喹h(huán)境里 goal 只是狀態(tài)的一個(gè)子集。二是random.sample里用min(future_k, len(...))防止越界這個(gè)邊界問(wèn)題我后面還會(huì)提到。三是重標(biāo)注后的 experience 也正常參與訓(xùn)練和原始 experience 混在一起不需要區(qū)分優(yōu)先級(jí)。3.6 環(huán)境選擇建議從一個(gè)簡(jiǎn)單到你能盯住每個(gè)環(huán)節(jié)的任務(wù)開始我第一次在gym里嘗試 HER 時(shí)為了快速驗(yàn)證沒(méi)有直接用 FetchReach而是先用了一個(gè)手寫的bit-flip 環(huán)境狀態(tài)是一個(gè) n 位的 0/1 向量目標(biāo)是把這個(gè)向量變成另一個(gè)目標(biāo)向量每一步只能翻轉(zhuǎn)一位。這個(gè)環(huán)境極度稀疏——只有完全匹配才給獎(jiǎng)勵(lì)但目標(biāo)空間有限隨機(jī)探索也能偶爾碰到成功非常適合驗(yàn)證 HER 實(shí)現(xiàn)是否真的有效。如果你連 bit-flip 都嫌麻煩直接在gymnasium里用FetchReach-v4這類環(huán)境也行它已經(jīng)是 mujoco 移植版本狀態(tài)觀測(cè)比較干凈。但我仍然建議先從簡(jiǎn)單環(huán)境過(guò)一遍全流程確認(rèn)重標(biāo)注、獎(jiǎng)勵(lì)計(jì)算、done 邏輯都正確再上機(jī)器人環(huán)境。否則一旦訓(xùn)練不收斂你根本分不清是 HER 實(shí)現(xiàn)問(wèn)題還是環(huán)境本身太難。4. 實(shí)操過(guò)程與核心環(huán)節(jié)實(shí)現(xiàn)一次完整的 HER 訓(xùn)練復(fù)現(xiàn)記錄4.1 從零到一準(zhǔn)備環(huán)境和模型用 DDPG 還是 SAC我在實(shí)際項(xiàng)目中綜合下來(lái)SAC HER 的組合通常比 DDPG HER 更穩(wěn)數(shù)據(jù)利用率也很高但代碼復(fù)雜度稍高。如果只是驗(yàn)證思路DDPG HER 足夠如果要上復(fù)雜任務(wù)建議直接上 SAC HER。原因很簡(jiǎn)單SAC 自帶熵正則探索更充分配合 HER 的“經(jīng)驗(yàn)發(fā)掘”能讓成功率天花板更高。模型結(jié)構(gòu)方面我一般用一個(gè)三層的 MLP第一層concat(obs, goal)作為輸入維度是 obs_dim goal_dim隱藏層(256, 256, 256)激活函數(shù)用 ReLU輸出層actor 輸出動(dòng)作連續(xù)任務(wù)用 tanhcritic 輸出 Q 值critic 更新時(shí)我的 loss 是標(biāo)準(zhǔn)的 TD lossL ( Q(s, g, a) - (r gamma * (1 - done) * Q(s, g, a) ) )^2注意這里r是重標(biāo)注后的獎(jiǎng)勵(lì)g是重標(biāo)注后的目標(biāo)。actor 更新時(shí)最大化Q(s, g, a)其中輸入動(dòng)作由 actor 輸出輸入目標(biāo)用當(dāng)前 batch 里的 goal可能是原始目標(biāo)也可能是重標(biāo)注目標(biāo)取決于我們采樣到哪條經(jīng)驗(yàn)。4.2 訓(xùn)練參數(shù)與超參數(shù)設(shè)置貼一份我常用的配置超參數(shù)我貼一份自己跑通的配置環(huán)境是FetchReach-v4機(jī)械臂末端到達(dá)目標(biāo)位置。這個(gè)環(huán)境目標(biāo)維度是 3狀態(tài)維度大概 10 左右動(dòng)作維度 4非常適合先跑通流程超參數(shù)數(shù)值說(shuō)明replay buffer 容量1_000_000要足夠大HER 對(duì) buffer 需求很高batch size256我用 256穩(wěn)定性和顯存占用平衡gamma0.98目標(biāo)條件任務(wù)不需要太大太大容易震蕩actor / critic 學(xué)習(xí)率1e-3 / 1e-3用 Adam同步衰減tau軟更新0.05不同于默認(rèn)的 0.005我調(diào)大了一些更新更快每回合更新次數(shù)40一個(gè) episode 結(jié)束后更新 40 次梯度f(wàn)uture_k4future 策略采樣范圍relabel_prob0.8重標(biāo)注概率探索噪聲OU Noise 或 Gaussian 0.1早期大噪聲后期衰減強(qiáng)調(diào)一下 tau 這個(gè)參數(shù)。很多人直接抄 DDPG 默認(rèn)的 0.005目標(biāo)網(wǎng)絡(luò)更新太慢配合 HER 這種數(shù)據(jù)效率極高的方法會(huì)顯得訓(xùn)練特別慢。我調(diào)到 0.05 之后訓(xùn)練明顯更跟手了。當(dāng)然調(diào)太大也會(huì)不穩(wěn)定建議在 0.01 到 0.1 之間做個(gè)小掃描。4.3 訓(xùn)練效果對(duì)比HER 到底能把成功率拉到多高我在相同環(huán)境、相同預(yù)算下跑過(guò)一組對(duì)比純 DDPG 稀疏獎(jiǎng)勵(lì)跑了 80 個(gè) epoch成功率幾乎為 0只能靠運(yùn)氣偶爾碰到目標(biāo)然后馬上又忘掉。DDPG HERfinal 策略成功率能到 50% 左右但波動(dòng)很大有時(shí)一個(gè) epoch 能到 70%下一個(gè) epoch 又掉回 20%。DDPG HERfuture 策略成功率穩(wěn)步上升80 個(gè) epoch 時(shí)能達(dá)到 85% 以上波動(dòng)也小很多。SAC HERfuture 策略同樣的 epoch 數(shù)成功率能到 90% 以上而且樣本效率略高。表里的“成功率”不是測(cè)試時(shí)的貪心成功率而是訓(xùn)練過(guò)程中的評(píng)估成功率評(píng)估時(shí)不加噪聲。我見過(guò)很多人測(cè)試時(shí)用隨機(jī)動(dòng)作去模擬訓(xùn)練過(guò)程這是錯(cuò)的——評(píng)估一定要用確定性動(dòng)作否則噪聲會(huì)影響你的判斷。另外我強(qiáng)烈建議在訓(xùn)練過(guò)程中定期保存 checkpoint每 5 個(gè) epoch 存一次。HER 訓(xùn)練極容易在后期出現(xiàn)“震蕩性遺忘”就是明明已經(jīng)學(xué)會(huì) 80% 成功率突然某個(gè) epoch 又跌回 30%。如果有 checkpoint可以回溯到之前好的權(quán)重而不是從頭再來(lái)。4.4 一個(gè)容易被忽略的實(shí)現(xiàn)細(xì)節(jié)狀態(tài)歸一化與目標(biāo)縮放的先后順序前面提到要?dú)w一化 obs 和 goal這里再細(xì)化一下。我的做法是先收集一些隨機(jī)探索數(shù)據(jù)算出各維度的 mean 和 std然后對(duì) obs 和 goal 分別歸一化。但是有個(gè)先后順序的問(wèn)題如果你要把 goal 從狀態(tài)空間里拆出來(lái)歸一化一定要保證 obs 里沒(méi)有被歸一化后的 goal 混著。否則同樣是“目標(biāo)位置”這個(gè)信息一處歸一化一處不歸一化模型會(huì)學(xué)到混亂的特征。在gymnasium的 Fetch 類環(huán)境里observation是完整狀態(tài)achieved_goal和desired_goal是單獨(dú)字段。我的處理方法是只拼obs不包含 goal 部分和desired_goal的歸一化向量。當(dāng)重標(biāo)注時(shí)新的desired_goal是從achieved_goal里采樣得到的也要走同一套歸一化參數(shù)。這個(gè)細(xì)節(jié)看起來(lái)小但直接影響收斂速度。我試過(guò)不歸一化直接拼訓(xùn)練曲線跟心電圖一樣歸一化之后曲線才變成正常的上坡形態(tài)。如果你的環(huán)境狀態(tài)本身就是 0 到 1 的連續(xù)值歸一化可以省掉但只要現(xiàn)實(shí)到機(jī)器人任務(wù)幾乎必須做。4.5 延伸一步從 HER 到 HIRhindsight 思想在上游指令數(shù)據(jù)清洗中的應(yīng)用既然是“hindsight”標(biāo)題我順便擴(kuò)展一個(gè)方向Hindsight Instruction RelabelingHIR很多人也叫 LLM 版的 hindsight。它把 HER 的思想搬到了指令微調(diào)數(shù)據(jù)上。傳統(tǒng)指令微調(diào)需要人工寫“輸入-輸出”對(duì)但自動(dòng)生成數(shù)據(jù)時(shí)經(jīng)常出現(xiàn)模型答非所問(wèn)、輸出和指令不匹配的情況。HIR 的思路是既然模型給了這個(gè)輸出那就根據(jù)輸出反推一個(gè)指令再把“指令 輸出”作為新樣本喂給模型。具體操作上拿一個(gè) LLM比如 GPT-4 或開源模型給定原始錯(cuò)誤樣本的輸入輸出讓它用幾句話分析“這段輸出實(shí)際上回答了什么問(wèn)題”再生成一條符合該輸出的新指令然后組合成新的訓(xùn)練對(duì)。這和 HER 的 relabeling 完全同構(gòu)失敗樣本被改寫成成功樣本目標(biāo)空間從“原始指令”重標(biāo)到“模型實(shí)際完成的問(wèn)題”。在清洗帶噪自動(dòng)標(biāo)注數(shù)據(jù)時(shí)這個(gè)思路很有用相當(dāng)于自動(dòng)把低質(zhì)量樣本“救活”。不過(guò)要提醒的是HIR 會(huì)引入“模型擅長(zhǎng)什么就說(shuō)什么”的自證偏差如果全部重標(biāo)注可能讓模型只學(xué)會(huì)自己偏好的輸出模式。所以我一般控制重標(biāo)注比例只對(duì)一小部分樣本做改寫當(dāng)作數(shù)據(jù)增強(qiáng)手段而不是主數(shù)據(jù)來(lái)源。這和 HER 里relabel_prob不能設(shè)成 1 是一個(gè)道理。5. 常見問(wèn)題與排查技巧實(shí)錄我在 HER 項(xiàng)目里踩過(guò)的坑5.1 訓(xùn)練不上升先別急著加網(wǎng)絡(luò)復(fù)雜度去查這三個(gè)地方我在多個(gè)項(xiàng)目里碰到過(guò) HER 訓(xùn)練曲線長(zhǎng)時(shí)間不動(dòng)的現(xiàn)象排到最后大多不是算法問(wèn)題而是三個(gè)低級(jí)錯(cuò)誤reward 計(jì)算里用的是 obs 而不是 next_obs。后來(lái)才發(fā)現(xiàn)“到達(dá)目標(biāo)”這個(gè)判斷應(yīng)該用動(dòng)作執(zhí)行后的下一狀態(tài)而不是動(dòng)作執(zhí)行前的狀態(tài)。寫成reward(s, a, s, g)而不是reward(s, g)這個(gè)是最典型的 ER 錯(cuò)誤。done 標(biāo)志和 reward 沒(méi)對(duì)齊。有的版本稀疏獎(jiǎng)勵(lì)成功給 1但 done 仍為 0或者反過(guò)來(lái)。需要保證“成功即終止”否則 Q 值的 bootstrapping 會(huì)污染。goal 沒(méi)有在新經(jīng)驗(yàn)里同步替換。正如前面說(shuō)的只換了 reward沒(méi)換 obs/goal等于教模型對(duì)著舊目標(biāo)學(xué)新答案。排查方法也很直接在訓(xùn)練前寫一個(gè) check 腳本手動(dòng)構(gòu)造一條已知 transition跑一遍 relabel 邏輯打印新舊 goal、reward、done 是否正常。這個(gè) 10 分鐘就能寫完的腳本能幫你省下一整天的 debug 時(shí)間。5.2 訓(xùn)練后期震蕩和遺忘HER 不是一錘子買賣要配好“保鮮”機(jī)制HER 訓(xùn)練到中后期我經(jīng)常遇到“成功率上去了又掉下來(lái)”的情況。一開始以為是學(xué)習(xí)率太大后來(lái)發(fā)現(xiàn)更核心的問(wèn)題是重標(biāo)注目標(biāo)分布和真實(shí)目標(biāo)分布偏差變大。前期 agent 啥也不會(huì)重標(biāo)注目標(biāo)大多離真實(shí)目標(biāo)很遠(yuǎn)訓(xùn)練還算穩(wěn)后期 agent 學(xué)得不錯(cuò)重標(biāo)注目標(biāo)開始集中于真實(shí)目標(biāo)附近但真實(shí)目標(biāo)本身仍有一定比例隨機(jī)探索失敗樣本兩批數(shù)據(jù)在分布上打架導(dǎo)致策略頻繁震蕩。我的應(yīng)對(duì)方案有三個(gè)降低relabel_prob到 0.50.6讓更多原始目標(biāo)樣本占主導(dǎo)。降低后期學(xué)習(xí)率比如用 cosine schedule讓策略不要?jiǎng)×腋?。定期凍結(jié)目標(biāo)網(wǎng)絡(luò)更新比例讓 critic 的估計(jì)穩(wěn)住了actor 再跟著變。這三個(gè)手段疊加起來(lái)“震蕩遺忘”基本可以被壓制住。但說(shuō)句實(shí)在話HER 并不是為了徹底解決穩(wěn)定性而生的它更像“樣本效率加速器”。如果任務(wù)本身難到超出容量再穩(wěn)也沒(méi)用。5.3 索引越界和維度不匹配最容易被模糊錯(cuò)誤掩蓋的 bugHER 實(shí)現(xiàn)里字符串比較多的代碼在“從未來(lái)狀態(tài)中采樣”這里極易出現(xiàn)索引越界。比如軌跡長(zhǎng)度為 T你遍歷到 t T-1 時(shí)未來(lái)狀態(tài)集合只有當(dāng)前狀態(tài)本身random.sample的 k 可能會(huì)超過(guò)集合長(zhǎng)度。代碼里我習(xí)慣用min(future_k, len(future_states))但這只是第一層保險(xiǎn)第二層保險(xiǎn)是if len(future_states) 0: continue防止某些環(huán)境終止?fàn)顟B(tài)突然截?cái)鄬?dǎo)致空集合。維度不匹配是個(gè)隱性 bug通常報(bào)錯(cuò)發(fā)生在concat(obs, goal)時(shí)但有時(shí)候兩個(gè)維度剛好相同程序不報(bào)錯(cuò)只是語(yǔ)義錯(cuò)亂。比如 obs 可能是 10 維goal 也是 10 維obs 里已經(jīng)包含了當(dāng)前物體位置goal 是目標(biāo)位置如果你不小心把 obs 整體當(dāng)作新目標(biāo)來(lái)替換網(wǎng)絡(luò)的輸入維度沒(méi)變但語(yǔ)義完全錯(cuò)位。訓(xùn)練曲線會(huì)表現(xiàn)為“有點(diǎn)學(xué)習(xí)跡象但永遠(yuǎn)接近不了真實(shí)目標(biāo)”。排查時(shí)我建議打印一段樣本肉眼檢查 obs 和 goal 是否對(duì)得上號(hào)。5.4 收益不明顯可能是任務(wù)本身不適合 HER不是你實(shí)現(xiàn)錯(cuò)了最后說(shuō)一點(diǎn)經(jīng)驗(yàn)之談。HER 不是萬(wàn)能的它適用的任務(wù)有一個(gè)共同特點(diǎn)任務(wù)的目標(biāo)是可擴(kuò)展、可達(dá)或部分可排序的。比如“推物體到任意位置”任意位置都是潛在目標(biāo)“學(xué)到把物體推到 A”確實(shí)有助于推到 B。但如果任務(wù)是“擰開瓶蓋”目標(biāo)狀態(tài)只有兩種——擰開和沒(méi)擰開中間不存在“把瓶蓋擰到 30 度”這種目標(biāo)連續(xù)性HER 的重標(biāo)注收益就很弱。另外我也試過(guò)在多智能體協(xié)作任務(wù)里用 HER效果一般。原因是重標(biāo)注會(huì)干擾其他智能體的觀察導(dǎo)致訓(xùn)練不穩(wěn)定。所以先判斷任務(wù)是否具備目標(biāo)空間的可復(fù)用性再?zèng)Q定要不要用 HER。怎么判斷簡(jiǎn)單粗暴的實(shí)驗(yàn)方法是用一個(gè)隨機(jī)的 state 作為目標(biāo)試跑幾次看模型能不能快速學(xué)到“到達(dá)隨機(jī)狀態(tài)”的能力。如果能HER 大概率會(huì)有效如果連隨機(jī)目標(biāo)都學(xué)不會(huì)HER 也很難救場(chǎng)。5.5 常見問(wèn)題速查表癥狀可能原因解決方案訓(xùn)練曲線完全不動(dòng)reward 用錯(cuò)狀態(tài)done 邏輯錯(cuò)goal 未同步替換寫 relabel 單測(cè)逐字段打印檢查訓(xùn)練后期成功率暴跌目標(biāo)分布沖突學(xué)習(xí)率過(guò)大調(diào)低 relabel_prob學(xué)習(xí)率 schedule軟更新減慢目標(biāo)明明很近但學(xué)不會(huì)維度未歸一化obs 和 goal 尺度差異大分別歸一化統(tǒng)一量綱采樣時(shí)報(bào)索引錯(cuò)誤future 集合為空或長(zhǎng)度不足用 min(k, len) 空集合跳過(guò)成功率有時(shí)高有時(shí)低replay buffer 太小經(jīng)驗(yàn)被覆蓋太快增大 buffer 容量使用 on-policy 算法配合 HER理論不兼容切換 DDPG / SAC 等 off-policy 算法5.6 調(diào)參優(yōu)先級(jí)參考我總結(jié)一下調(diào)參的先后順序新手照著做能少走彎路先確認(rèn)代碼邏輯正確尤其 relabel 后的 reward、done、goal 是否一致。再調(diào) reward 的稀疏/稠密設(shè)計(jì)不要一上來(lái)就加一堆輔助獎(jiǎng)勵(lì)。然后調(diào)relabel_prob和future_k這兩個(gè)參數(shù)決定重標(biāo)注分布。最后調(diào)學(xué)習(xí)率、tau、batch size這些是錦上添花。如果訓(xùn)練還上不去檢查歸一化和網(wǎng)絡(luò)容量。如果前面的邏輯全對(duì)relabel_prob調(diào)到 0.8、future_k調(diào)到 4訓(xùn)練曲線還不上漲那大概率不是 HER 的問(wèn)題而是任務(wù)本身不夠適合這個(gè)方法。5.7 我的經(jīng)驗(yàn)總結(jié)與一個(gè)小技巧hindsight 這個(gè)思想除了強(qiáng)化學(xué)習(xí)我后來(lái)也應(yīng)用在了數(shù)據(jù)分析、模型評(píng)估里——很多“失敗”的模型輸出換個(gè)評(píng)價(jià)口徑其實(shí)就是高價(jià)值樣本?；剡^(guò)頭看它教會(huì)我最重要的一件事不要輕易丟棄看起來(lái)失敗的數(shù)據(jù)換個(gè)目標(biāo)重新看它們往往是寶藏。做實(shí)驗(yàn)遇到瓶頸時(shí)我總會(huì)提醒自己先別質(zhì)疑模型先看看是不是“目標(biāo)定義”出了問(wèn)題。最后分享一個(gè)小技巧如果你想快速驗(yàn)證 HER 的收益不要一上來(lái)就對(duì)比最終成功率而是先對(duì)比首次正獎(jiǎng)勵(lì)出現(xiàn)的時(shí)間。HER 顯著的優(yōu)勢(shì)就是讓第一次獎(jiǎng)勵(lì)提前出現(xiàn)這個(gè)信號(hào)比“最終成功率”更直觀也能幫你迅速判斷實(shí)現(xiàn)是否正確。只要第一次正獎(jiǎng)勵(lì)出現(xiàn)在合理時(shí)間內(nèi)后面穩(wěn)住訓(xùn)練參數(shù)成功率通常只是時(shí)間和算力的問(wèn)題。