練到落地的完整避坑指南：3個誤區(qū)攔住90%新手)
斗地主AI從訓(xùn)練到落地的完整避坑指南3個誤區(qū)攔住90%新手【免費下載鏈接】DouZero[ICML 2021] DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning | 斗地主AI項目地址: https://gitcode.com/gh_mirrors/do/DouZero模型訓(xùn)練好了勝率也刷得很漂亮可一放進真實牌局就露怯——幾乎所有做斗地主AI的人都被這個問題折磨過。很多人把訓(xùn)練完成當(dāng)成終點其實從能訓(xùn)練到能用中間隔著三個幾乎人人都踩的坑。這里說的斗地主AI是快手開源項目 DouZero 的成果。它是一個發(fā)表在 ICML 2021 上的強化學(xué)習(xí)框架不寫任何人工規(guī)則全靠 AI 自我博弈從零學(xué)起幾天內(nèi)就超過當(dāng)時所有斗地主AI程序登頂 Botzone 排行榜。它把強化學(xué)習(xí)模型訓(xùn)練、斗地主AI部署、AI模型評估技巧三件事串成一條完整流水線這篇指南就帶你逐段跑通它。誤區(qū)一模型越強裝上去就能贏先搞懂它憑什么贏才不會拿錯模型很多新手拿到代碼先沖訓(xùn)練結(jié)果自測神勇、實戰(zhàn)拉胯。根子在于沒搞懂它的學(xué)習(xí)機制。DouZero 用的是深度蒙特卡洛算法思路可以理解成打完整局才算賬——先打完一整局牌再根據(jù)最終輸贏回推每一步出牌的價值讓神經(jīng)網(wǎng)絡(luò)把這些什么牌面該出什么牌的規(guī)律記下來。為了給這套笨辦法提速作者又加了兩個部件動作編碼把上萬種出牌組合壓縮成緊湊向量并行演員則讓幾十個 AI 同時自己打自己、瘋狂刷經(jīng)驗。所以第一個坑的解法很直白先弄清楚模型是誰的經(jīng)驗。DouZero 為地主、地主上家、地主下家各訓(xùn)練了一套獨立權(quán)重部署時若張冠李戴把地主權(quán)重塞進農(nóng)民位置再強的模型也會當(dāng)場變憨憨。裝對這四樣訓(xùn)練才不是玄學(xué)工欲善其事先裝環(huán)境。訓(xùn)練階段依賴 GPU 和 CUDA評估階段用 CPU 就夠。把倉庫克隆下來裝依賴只需三行命令git clone https://gitcode.com/gh_mirrors/do/DouZero cd DouZero pip3 install -r requirements.txt國內(nèi)網(wǎng)絡(luò)不穩(wěn)的話pip 走清華鏡像裝穩(wěn)定發(fā)行版速度立竿見影pip3 install douzero -i https://pypi.tuna.tsinghua.edu.cn/simple這個項目的社區(qū)生態(tài)也很活躍官方之外還有 ResNet 增強版、全自動叫牌版等復(fù)刻實現(xiàn)真踩到坑也不怕沒人聊。誤區(qū)二跳過評估直接把模型丟上線固定牌局再上場評估結(jié)果才可復(fù)現(xiàn)第二個坑最隱蔽強化學(xué)習(xí)模型的評估比普通模型嚴格得多。它的勝負既取決于對手也取決于牌運——同一副牌換個人打結(jié)果可能天差地別。所以直接跑幾局看勝率得出的數(shù)字根本不具備參考價值。正確做法是先把測試牌局固定下來用腳本隨機生成一萬局牌、存成數(shù)據(jù)文件讓所有候選模型打同一批牌輸贏才可復(fù)現(xiàn)、可對比python3 generate_eval_data.py --num_games 10000換個對手換個位置模型底細全曝光光有固定牌局還不夠還得做交叉驗證。打贏隨機出牌的菜鳥不算本事要讓模型分別坐地主、坐農(nóng)民兩個位置去和不同檔次的對手過招。項目自帶評估腳本支持隨機智能體、規(guī)則 AIRLCard還有 SL、DouZero-ADP、DouZero-WP 三套預(yù)訓(xùn)練基線當(dāng)磨刀石下載后放進baselines/目錄對照著跑才有說服力python3 evaluate.py --landlord baselines/douzero_ADP/landlord.ckpt --landlord_up random --landlord_down random這里的 ADP 和 WP 是兩種訓(xùn)練目標ADP 看平均分差WP 看勝率各有側(cè)重。我的經(jīng)驗是一個模型至少要在三個位置上、對兩類對手都跑出穩(wěn)定優(yōu)勢才敢談上線。誤區(qū)三以為只有四卡集群才配訓(xùn)練調(diào)對這四個GPU參數(shù)訓(xùn)練崩潰率直降第三個誤區(qū)是硬件焦慮。訓(xùn)練命令里那幾個 GPU 參數(shù)拆開看其實就四件事哪些卡可見、幾張卡負責(zé)模擬對局陪練、每張陪練卡開幾個演員進程、哪張卡專職更新模型。四卡機器的經(jīng)典配置長這樣python3 train.py --gpu_devices 0,1,2,3 --num_actor_devices 3 --num_actors 15 --training_device 3讀法很簡單前 3 張卡各開 15 個演員自己打自己第 4 張卡專心學(xué)習(xí)。這里有一條性價比鐵律模擬算力要比訓(xùn)練算力更舍得給。數(shù)據(jù)管夠模型才學(xué)得快真正吃顯存的訓(xùn)練只用一張卡。預(yù)算有限的單卡用戶把演員數(shù)量調(diào)小也完全能跑不必一上來就堆四卡。單卡和CPU兜底Windows用戶也有出路沒有獨顯也不慌全程 CPU 訓(xùn)練雖然慢但能跑通python3 train.py --actor_device_cpu --training_device cpuWindows 用戶要特別注意受系統(tǒng)多進程機制限制Windows 下 GPU 不能充當(dāng)演員但可以用 CPU 跑模擬訓(xùn)練照常進行。另外訓(xùn)練過程每半小時自動存一次檢查點想接著上次的進度繼續(xù)先找回最新權(quán)重sh get_most_recent.sh douzero_checkpoints/douzero/斷點續(xù)訓(xùn) 定期評估才是長期優(yōu)化的正確姿勢。落地前把這三條避坑清單打上勾把三個坑濃縮成一張清單部署前逐條過一遍誤區(qū)對應(yīng)解法一句話提醒模型位置裝錯分清地主/農(nóng)民三套權(quán)重誰的位置就裝誰的模型跳過評估就上線固定牌局 多位置交叉驗證先贏過基線再談上線硬件焦慮不敢訓(xùn)GPU 分工、CPU 兜底、斷點續(xù)訓(xùn)模擬算力優(yōu)先斗地主AI真正的威力從來不在算力堆砌而在自我博弈的訓(xùn)練設(shè)計以及一套可復(fù)現(xiàn)的評估流程?，F(xiàn)在你要做的就是把這條流水線親手跑通一遍——克隆倉庫裝好依賴讓第一條命令亮起來。每一個你繞開的坑都會變成下次落地時最值錢的經(jīng)驗?！久赓M下載鏈接】DouZero[ICML 2021] DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning | 斗地主AI項目地址: https://gitcode.com/gh_mirrors/do/DouZero創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 斗地主AI從訓(xùn)練到落地的完整避坑指南：3個誤區(qū)攔住90%新手
斗地主AI從訓(xùn)練到落地的完整避坑指南3個誤區(qū)攔住90%新手【免費下載鏈接】DouZero[ICML 2021] DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning | 斗地主AI項目地址: https://gitcode.com/gh_mirrors/do/DouZero模型訓(xùn)練好了勝率也刷得很漂亮可一放進真實牌局就露怯——幾乎所有做斗地主AI的人都被這個問題折磨過。很多人把訓(xùn)練完成當(dāng)成終點其實從能訓(xùn)練到能用中間隔著三個幾乎人人都踩的坑。這里說的斗地主AI是快手開源項目 DouZero 的成果。它是一個發(fā)表在 ICML 2021 上的強化學(xué)習(xí)框架不寫任何人工規(guī)則全靠 AI 自我博弈從零學(xué)起幾天內(nèi)就超過當(dāng)時所有斗地主AI程序登頂 Botzone 排行榜。它把強化學(xué)習(xí)模型訓(xùn)練、斗地主AI部署、AI模型評估技巧三件事串成一條完整流水線這篇指南就帶你逐段跑通它。誤區(qū)一模型越強裝上去就能贏先搞懂它憑什么贏才不會拿錯模型很多新手拿到代碼先沖訓(xùn)練結(jié)果自測神勇、實戰(zhàn)拉胯。根子在于沒搞懂它的學(xué)習(xí)機制。DouZero 用的是深度蒙特卡洛算法思路可以理解成打完整局才算賬——先打完一整局牌再根據(jù)最終輸贏回推每一步出牌的價值讓神經(jīng)網(wǎng)絡(luò)把這些什么牌面該出什么牌的規(guī)律記下來。為了給這套笨辦法提速作者又加了兩個部件動作編碼把上萬種出牌組合壓縮成緊湊向量并行演員則讓幾十個 AI 同時自己打自己、瘋狂刷經(jīng)驗。所以第一個坑的解法很直白先弄清楚模型是誰的經(jīng)驗。DouZero 為地主、地主上家、地主下家各訓(xùn)練了一套獨立權(quán)重部署時若張冠李戴把地主權(quán)重塞進農(nóng)民位置再強的模型也會當(dāng)場變憨憨。裝對這四樣訓(xùn)練才不是玄學(xué)工欲善其事先裝環(huán)境。訓(xùn)練階段依賴 GPU 和 CUDA評估階段用 CPU 就夠。把倉庫克隆下來裝依賴只需三行命令git clone https://gitcode.com/gh_mirrors/do/DouZero cd DouZero pip3 install -r requirements.txt國內(nèi)網(wǎng)絡(luò)不穩(wěn)的話pip 走清華鏡像裝穩(wěn)定發(fā)行版速度立竿見影pip3 install douzero -i https://pypi.tuna.tsinghua.edu.cn/simple這個項目的社區(qū)生態(tài)也很活躍官方之外還有 ResNet 增強版、全自動叫牌版等復(fù)刻實現(xiàn)真踩到坑也不怕沒人聊。誤區(qū)二跳過評估直接把模型丟上線固定牌局再上場評估結(jié)果才可復(fù)現(xiàn)第二個坑最隱蔽強化學(xué)習(xí)模型的評估比普通模型嚴格得多。它的勝負既取決于對手也取決于牌運——同一副牌換個人打結(jié)果可能天差地別。所以直接跑幾局看勝率得出的數(shù)字根本不具備參考價值。正確做法是先把測試牌局固定下來用腳本隨機生成一萬局牌、存成數(shù)據(jù)文件讓所有候選模型打同一批牌輸贏才可復(fù)現(xiàn)、可對比python3 generate_eval_data.py --num_games 10000換個對手換個位置模型底細全曝光光有固定牌局還不夠還得做交叉驗證。打贏隨機出牌的菜鳥不算本事要讓模型分別坐地主、坐農(nóng)民兩個位置去和不同檔次的對手過招。項目自帶評估腳本支持隨機智能體、規(guī)則 AIRLCard還有 SL、DouZero-ADP、DouZero-WP 三套預(yù)訓(xùn)練基線當(dāng)磨刀石下載后放進baselines/目錄對照著跑才有說服力python3 evaluate.py --landlord baselines/douzero_ADP/landlord.ckpt --landlord_up random --landlord_down random這里的 ADP 和 WP 是兩種訓(xùn)練目標ADP 看平均分差WP 看勝率各有側(cè)重。我的經(jīng)驗是一個模型至少要在三個位置上、對兩類對手都跑出穩(wěn)定優(yōu)勢才敢談上線。誤區(qū)三以為只有四卡集群才配訓(xùn)練調(diào)對這四個GPU參數(shù)訓(xùn)練崩潰率直降第三個誤區(qū)是硬件焦慮。訓(xùn)練命令里那幾個 GPU 參數(shù)拆開看其實就四件事哪些卡可見、幾張卡負責(zé)模擬對局陪練、每張陪練卡開幾個演員進程、哪張卡專職更新模型。四卡機器的經(jīng)典配置長這樣python3 train.py --gpu_devices 0,1,2,3 --num_actor_devices 3 --num_actors 15 --training_device 3讀法很簡單前 3 張卡各開 15 個演員自己打自己第 4 張卡專心學(xué)習(xí)。這里有一條性價比鐵律模擬算力要比訓(xùn)練算力更舍得給。數(shù)據(jù)管夠模型才學(xué)得快真正吃顯存的訓(xùn)練只用一張卡。預(yù)算有限的單卡用戶把演員數(shù)量調(diào)小也完全能跑不必一上來就堆四卡。單卡和CPU兜底Windows用戶也有出路沒有獨顯也不慌全程 CPU 訓(xùn)練雖然慢但能跑通python3 train.py --actor_device_cpu --training_device cpuWindows 用戶要特別注意受系統(tǒng)多進程機制限制Windows 下 GPU 不能充當(dāng)演員但可以用 CPU 跑模擬訓(xùn)練照常進行。另外訓(xùn)練過程每半小時自動存一次檢查點想接著上次的進度繼續(xù)先找回最新權(quán)重sh get_most_recent.sh douzero_checkpoints/douzero/斷點續(xù)訓(xùn) 定期評估才是長期優(yōu)化的正確姿勢。落地前把這三條避坑清單打上勾把三個坑濃縮成一張清單部署前逐條過一遍誤區(qū)對應(yīng)解法一句話提醒模型位置裝錯分清地主/農(nóng)民三套權(quán)重誰的位置就裝誰的模型跳過評估就上線固定牌局 多位置交叉驗證先贏過基線再談上線硬件焦慮不敢訓(xùn)GPU 分工、CPU 兜底、斷點續(xù)訓(xùn)模擬算力優(yōu)先斗地主AI真正的威力從來不在算力堆砌而在自我博弈的訓(xùn)練設(shè)計以及一套可復(fù)現(xiàn)的評估流程?，F(xiàn)在你要做的就是把這條流水線親手跑通一遍——克隆倉庫裝好依賴讓第一條命令亮起來。每一個你繞開的坑都會變成下次落地時最值錢的經(jīng)驗?！久赓M下載鏈接】DouZero[ICML 2021] DouZero: Mastering DouDizhu with Self-Play Deep Reinforcement Learning | 斗地主AI項目地址: https://gitcode.com/gh_mirrors/do/DouZero創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考