新電腦裝完 Python我干的第一件事不是去寫(xiě)代碼而是先把虛擬環(huán)境這套東西給配齊。不是我有潔癖而是被環(huán)境折騰過(guò)的 Python 開(kāi)發(fā)者心里都清楚手上的項(xiàng)目一多版本一亂遲早要翻車(chē)。這邊項(xiàng)目 A 需要老版本的爬蟲(chóng)庫(kù)那邊項(xiàng)目 B 的框架撞車(chē)再加上某個(gè)項(xiàng)目對(duì) Python 小版本還挑三揀四環(huán)境一旦混在一起光是排查ImportError就能浪費(fèi)你一下午。所以虛擬環(huán)境這件事真的是 Python 開(kāi)發(fā)避不開(kāi)的第一課。這篇博客把 venv、conda 和 Python 版本選擇放在一起講透因?yàn)檫@三件事本身就是一環(huán)扣著一環(huán)的選錯(cuò) Python 版本后面建什么環(huán)境都是埋雷不會(huì)用虛擬環(huán)境版本隔離無(wú)從談起分不清 venv 和 conda 的邊界就容易在錯(cuò)誤的方向上較勁。文章會(huì)從隔離原理講起把兩條主流路線(xiàn)的實(shí)操細(xì)節(jié)、踩坑點(diǎn)和選型策略都過(guò)一遍。剛?cè)腴T(mén)沒(méi)幾天、還在給系統(tǒng) Python 亂裝包的新手可以看被多版本 Python 和依賴(lài)沖突搞到頭禿的老手也能找到一些可以直接落地的思路。1. 為什么需要虛擬環(huán)境先理解隔離的本質(zhì)1.1 Python 環(huán)境混亂的典型慘案先講幾個(gè)我親眼見(jiàn)過(guò)、也親身踩過(guò)的例子。第一個(gè)場(chǎng)景你本地跑著一個(gè)個(gè)人博客項(xiàng)目用requests老版本寫(xiě)死的邏輯后來(lái)接手一個(gè)同事的爬蟲(chóng)項(xiàng)目里頭requests要求新版于是你pip install --upgrade requests博客項(xiàng)目立刻開(kāi)始報(bào)奇奇怪怪的兼容錯(cuò)誤。更麻煩的是你根本想不起來(lái)是哪些包被動(dòng)過(guò)。第二個(gè)場(chǎng)景某開(kāi)發(fā)者在服務(wù)器上直接用系統(tǒng) Python手上沒(méi)權(quán)限就用sudo pip install往全局塞包后來(lái)系統(tǒng)工具升級(jí)直接把某個(gè)關(guān)鍵依賴(lài)覆蓋成了不兼容的版本服務(wù)起不來(lái)運(yùn)維查了半天才發(fā)現(xiàn)是 Python 全局環(huán)境被玩壞了。第三個(gè)場(chǎng)景發(fā)生在我自己身上要跑一個(gè)深度學(xué)習(xí)項(xiàng)目依賴(lài)?yán)锩嬗邪恢С帜硞€(gè) Python 小版本我又舍不得把系統(tǒng)默認(rèn)版本改掉結(jié)果每次運(yùn)行前都要折騰PYTHONPATH和一堆環(huán)境變量最后還是全亂了。這三個(gè)案例指向同一個(gè)結(jié)論P(yáng)ython 包的默認(rèn)安裝位置是全局的多個(gè)項(xiàng)目共用一份site-packages版本沖突是必然事件只是什么時(shí)候爆的問(wèn)題。虛擬環(huán)境的價(jià)值就是給每個(gè)項(xiàng)目一個(gè)獨(dú)立的小地盤(pán)互不干擾。1.2 虛擬環(huán)境隔離了什么解釋器路徑、site-packages 與 PATH要搞清楚它是怎么做到的先理解 Python 在 import 一個(gè)模塊時(shí)到底去哪兒找包。解釋器會(huì)按照sys.path里的目錄逐個(gè)搜索通常就是標(biāo)準(zhǔn)庫(kù)路徑、site-packages還有環(huán)境變量PYTHONPATH里列的目錄。你裝一個(gè)第三方包默認(rèn)就落進(jìn)當(dāng)前 Python 對(duì)應(yīng)的site-packages里。全局 Python 的site-packages只有一個(gè)所有項(xiàng)目裝的包都堆在這里互相覆蓋就是分分鐘的事。venv 做的事可以拆成三塊。第一在新目錄里放一個(gè)指向目標(biāo) Python 解釋器的軟鏈接Windows 下通常是復(fù)制一份讓“當(dāng)前 Python 是誰(shuí)”變得可控第二在新環(huán)境里創(chuàng)建獨(dú)立的site-packages目錄讓新裝的包落在這里而不是全局目錄第三提供一個(gè)activate腳本修改 PATH 環(huán)境變量讓python和pip命令優(yōu)先找到虛擬環(huán)境里的那一份。激活之后你敲which python路徑已經(jīng)變成.venv/bin/pythonpip裝的包自然就進(jìn)到.venv/lib/python3.x/site-packages里了。不激活也行直接.venv/bin/python xxx.py效果一樣只是命令寫(xiě)得麻煩點(diǎn)。conda 的隔離思路就不太一樣。它不僅僅管 Python 的包還會(huì)把 Python 解釋器本身、依賴(lài)的 C/C 庫(kù)、可執(zhí)行文件目錄、頭文件全部放進(jìn)同一個(gè)“前綴目錄”里。一個(gè) conda 環(huán)境就是一個(gè)相對(duì)完整的小系統(tǒng)bin/、lib/、include/各司其職。之前我用 conda 建環(huán)境的時(shí)候打開(kāi)目錄看過(guò)里面不但有python還有一堆編譯鏈接庫(kù)。這種“環(huán)境即前綴”的思路決定了它能管理的東西遠(yuǎn)超出純 Python 包的范圍。1.3 venv 與 conda 的隔離機(jī)制差異表面上 venv 和 conda 都在做環(huán)境隔離但底層不是一個(gè)物種。venv 是 Python 自帶的官方工具它不負(fù)責(zé)管 Python 本體。你用python3.10 -m venv建出來(lái)的環(huán)境里面的解釋器就是 3.10換個(gè)python3.11再建一個(gè)才能得到 3.11 的環(huán)境。它的隔離主要是給“同一個(gè) Python 版本”的依賴(lài)提供獨(dú)立空間。如果你的需求只是兩個(gè)項(xiàng)目共用 Python 3.11 但依賴(lài)不同版本venv 非常合適輕量、快、干凈。conda 把 Python 本身也看成一個(gè)“包”。你可以在創(chuàng)建環(huán)境時(shí)直接指定python3.10conda 會(huì)從包倉(cāng)庫(kù)里把對(duì)應(yīng)版本的 Python 解釋器連同依賴(lài)一起裝進(jìn)環(huán)境。如果項(xiàng)目需要 CUDA、MKL 這類(lèi)非 Python 的底層庫(kù)conda 也能管因?yàn)樗凶约旱陌袷胶鸵蕾?lài)求解器會(huì)把二進(jìn)制層面的依賴(lài)一并解析好。付出的代價(jià)是環(huán)境體積大、命令操作更重、依賴(lài)求解經(jīng)常要等。我用一句話(huà)總結(jié)兩者的邊界venv 解決的是“同一 Python 版本下的依賴(lài)打架”conda 解決的是“不同 Python 版本和不同底層庫(kù)之間的組合博弈”。前者像給每個(gè)房間換了把鎖后者像直接把整層樓按戶(hù)型分開(kāi)裝修。2. Python 版本選擇從源頭避免兼容性噩夢(mèng)2.1 版本號(hào)與 ABI為什么不能隨手拿最新版很多新手有個(gè)誤區(qū)Python 出新版本我直接裝上用最新的豈不是美滋滋等到某個(gè)包在安裝時(shí)報(bào)“找不到匹配版本”或編譯報(bào)錯(cuò)時(shí)才意識(shí)到問(wèn)題不簡(jiǎn)單。這里有個(gè)關(guān)鍵概念叫 ABI應(yīng)用二進(jìn)制接口。CPython 每次大版本更新擴(kuò)展模塊的二進(jìn)制接口都可能變化。你自己import的純 Python 包沒(méi)問(wèn)題但那些用 C/C 寫(xiě)的擴(kuò)展包尤其是打包成 wheel 的在安裝時(shí)會(huì)校驗(yàn)平臺(tái)的 ABI 標(biāo)志。你可以留意一下 wheel 包的文件名很多長(zhǎng)這樣numpy-1.26.0-cp311-cp311-win_amd64.whl里面有cp311說(shuō)明這個(gè)包預(yù)編譯產(chǎn)物只對(duì) Python 3.11 生效。你把 Python 升到 3.12沒(méi)有對(duì)應(yīng)的 wheel 就得現(xiàn)場(chǎng)拉源碼編譯如果系統(tǒng)還缺編譯工具鏈直接一堆紅色報(bào)錯(cuò)。更麻煩的是很多大生態(tài)庫(kù)對(duì)新版本 Python 的支持是有滯后期的。深度學(xué)習(xí)的框架、科學(xué)計(jì)算類(lèi)的重量級(jí)庫(kù)往往要等幾個(gè)月甚至大半年才跟進(jìn)新的 Python 版本。盲目追新導(dǎo)致的結(jié)果就是你的代碼本身沒(méi)啥問(wèn)題但環(huán)境湊不齊天天在裝依賴(lài)上耗時(shí)間。2.2 兩條多版本管理路線(xiàn)pyenv 與 conda既然不同項(xiàng)目需要不同的 Python 版本就得有人管住“系統(tǒng)里到底裝了哪些 Python”。這條路主要有兩個(gè)主流做法。第一種是 pyenv。它能在用戶(hù)目錄下編譯或下載多個(gè) Python 版本然后用pyenv local、pyenv global之類(lèi)命令切換。裝好之后你隨時(shí)可以pyenv install 3.10.13裝一個(gè)指定小版本再通過(guò)python3.10 -m venv .venv建立項(xiàng)目環(huán)境。pyenv 的優(yōu)勢(shì)是貼近原生 Python 的體驗(yàn)但 Windows 上支持比較弱通常建議在 Linux/macOS 或 WSL 里用。第二種就是 conda。創(chuàng)建環(huán)境時(shí)直接指定 Python 版本比如conda create -n py311 python3.11conda 會(huì)去倉(cāng)庫(kù)拉一個(gè)編譯好的 CPython 解釋器放進(jìn)環(huán)境。好處是不同版本之間切換非常自然不需要額外工具壞處是它連 Python 解釋器都是“包”的思路整個(gè)體系比裸 Python 重。我個(gè)人的習(xí)慣是如果是純 Python 項(xiàng)目用 pyenv 管版本再用 venv 建環(huán)境如果項(xiàng)目涉及科學(xué)計(jì)算或底層庫(kù)直接 conda省心。2.3 選版本的實(shí)操策略版本這塊我踩過(guò)不少坑現(xiàn)在遵循一套自己的策略按優(yōu)先級(jí)排序先去查依賴(lài)庫(kù)的支持矩陣。項(xiàng)目里如果引用了比較重的第三方庫(kù)就直接去官方文檔看它支持的 Python 版本范圍。比如某個(gè)深度學(xué)習(xí)框架在某個(gè)時(shí)期只支持到 Python 3.10那新環(huán)境就別選 3.11選了就是自找麻煩。新項(xiàng)目不要盲目選最新發(fā)布版。一般選當(dāng)前生態(tài)已經(jīng)穩(wěn)定適配一年以上的版本比如現(xiàn)在 3.10、3.11、3.12 這類(lèi)已經(jīng)過(guò)了磨合期的版本都是穩(wěn)妥選擇除非你的依賴(lài)明確要求更高版本。老項(xiàng)目則完全以項(xiàng)目配置文件、CI 配置和依賴(lài)鎖定的requires-python為準(zhǔn)別憑感覺(jué)升級(jí)。原則是能用 venv 解決的別拉 conda 進(jìn)場(chǎng)需要 conda 管底層庫(kù)的就好好用 conda 從頭管到尾。這樣比“用 conda 建環(huán)境再用 pip 硬裝一切”要穩(wěn)定太多。3. venv 全流程實(shí)操?gòu)慕ōh(huán)境到發(fā)布依賴(lài)3.1 創(chuàng)建、激活與退出命令背后的機(jī)制venv 的基本操作其實(shí)五分鐘就能學(xué)會(huì)但很多入門(mén)資料只教你敲命令不說(shuō)背后的門(mén)道。我多看了一層所以踩坑少一些。創(chuàng)建環(huán)境# 進(jìn)入項(xiàng)目目錄后執(zhí)行 python -m venv .venv這里有個(gè)小細(xì)節(jié)值得說(shuō)命令里的python是你當(dāng)前默認(rèn)的 Python 版本。如果系統(tǒng)里同時(shí)裝了 3.10 和 3.11你想建 3.10 的環(huán)境最好用python3.10 -m venv .venv。別想著先建了再升級(jí)venv 沒(méi)有自動(dòng)換解釋器的能力--upgrade只能在同一大版本里打補(bǔ)丁建錯(cuò)版本刪掉重來(lái)最干凈。激活環(huán)境# Unix / macOS / Linux 下 source .venv/bin/activate # Windows 的 cmd 或 PowerShell 下 .venv\Scripts\activate.bat .venv\Scripts\Activate.ps1激活后命令提示符前面會(huì)出現(xiàn)(.venv)此時(shí)which python指向環(huán)境內(nèi)的解釋器。pip install進(jìn)來(lái)的包全部落在.venv/lib/python3.x/site-packages。退出環(huán)境用的是deactivate這是個(gè) shell 函數(shù)不是可執(zhí)行文件所以別去which找路徑找不到很正常。創(chuàng)建好環(huán)境后你進(jìn)目錄看一眼結(jié)構(gòu)會(huì)看到bin/Windows 是Scripts/、lib/python3.x/site-packages/還有根目錄下的pyvenv.cfg。這個(gè)配置文件記錄了 home指向宿主的 Python 安裝路徑、version 和是否使用系統(tǒng)包。如果你想用.venv/bin/python直接跑腳本而不激活也是完全可以的很多 CI 腳本就是這么干的更少受 shell 環(huán)境干擾。3.2 依賴(lài)鎖定與復(fù)現(xiàn)requirements.txt 的坑與更穩(wěn)的做法裝完依賴(lài)下一步就是讓環(huán)境可復(fù)現(xiàn)。最常見(jiàn)的做法是pip freeze requirements.txt但這項(xiàng)操作有幾個(gè)坑我都要說(shuō)清楚。pip freeze會(huì)把環(huán)境里所有包全部列出來(lái)包括間接依賴(lài)這沒(méi)問(wèn)題問(wèn)題在于它會(huì)把一些本地開(kāi)發(fā)模式的包也輸出成-e git...或-e /path/to/pkg的形式這種行在別處復(fù)現(xiàn)環(huán)境時(shí)會(huì)失敗。另外它導(dǎo)出的版本號(hào)是當(dāng)前環(huán)境鎖死的結(jié)果跨平臺(tái)時(shí)未必完全可靠。我更推薦用 pip-tools 這套流程。先用requirements.in記錄頂層依賴(lài)你自己主動(dòng)裝的那些包然后執(zhí)行pip-compile requirements.in -o requirements.txt pip install -r requirements.txtpip-compile會(huì)解析依賴(lài)樹(shù)并鎖定所有間接版本還會(huì)自帶合理的約束注釋。相比手工維護(hù)requirements.txt這樣生成的鎖定文件更干凈、更可審查。每次想升級(jí)某個(gè)包改requirements.in里的版本范圍重新跑一遍編譯即可。如果你在團(tuán)隊(duì)里維護(hù)項(xiàng)目我建議把鎖定文件納入版本控制并在 README 里寫(xiě)明“用哪版 Python 如何建環(huán)境”。否則換個(gè)同事、換臺(tái)電腦環(huán)境又要重新猜一遍失去虛擬環(huán)境的意義了。3.3 到底要不要用 --system-site-packagesvenv 建環(huán)境默認(rèn)隔離所有 site-packages但有一個(gè)可選參數(shù)叫--system-site-packages意思是在你新環(huán)境的sys.path里額外包含系統(tǒng) Python 的包目錄。聽(tīng)起來(lái)很方便系統(tǒng)里已經(jīng)裝好的大包環(huán)境里直接復(fù)用省得重復(fù)下載。但代價(jià)是你的環(huán)境不再“純凈”系統(tǒng)里任何包的變動(dòng)都會(huì)影響這個(gè)項(xiàng)目隔離的初衷就破功了。我個(gè)人的建議是除非你強(qiáng)烈需要一個(gè)系統(tǒng)級(jí)安裝的大型包比如某些公司內(nèi)網(wǎng)源里的私有 wheel放在系統(tǒng) site-packages 里方便多環(huán)境共用否則別用這個(gè)參數(shù)。正常情況下每個(gè)環(huán)境各裝各的磁盤(pán)多占一點(diǎn)但換來(lái)的是確定性和安全感。4. conda 實(shí)操與依賴(lài)解析科學(xué)計(jì)算場(chǎng)景的底層邏輯4.1 用 conda 創(chuàng)建環(huán)境和指定 Python 版本conda 的環(huán)境管理命令比 venv 多幾層但核心邏輯依然清晰。我平時(shí)用得最多的是下面這段# 創(chuàng)建環(huán)境指定 Python 版本和常用 channel conda create -n pyproject python3.10 -c conda-forge # 激活 conda activate pyproject # 安裝依賴(lài) conda install numpy pandas # 退出 conda deactivate注意到?jīng)]有創(chuàng)建環(huán)境時(shí)直接把 Python 版本寫(xiě)在了命令行里。你想建 3.9 就python3.9想建 3.12 就python3.12。conda 會(huì)根據(jù)你的指定去倉(cāng)庫(kù)拉對(duì)應(yīng)解釋器同時(shí)替你做依賴(lài)求解把解釋器自身依賴(lài)的底層庫(kù)一并處理好。這種體驗(yàn)和 venv 完全不同venv 是先有解釋器再談隔離conda 是環(huán)境定義了解釋器。因?yàn)?conda 的依賴(lài)求解開(kāi)銷(xiāo)不小命令執(zhí)行經(jīng)常得等十幾秒甚至更久。我一般優(yōu)先裝好 mambaconda install mamba -n base之后都用mamba create、mamba install代替 conda 對(duì)應(yīng)命令求解速度快得多命令語(yǔ)法幾乎一致?？茖W(xué)計(jì)算項(xiàng)目里依賴(lài)動(dòng)輒幾十上百個(gè)包這個(gè)提升是實(shí)打?qū)嵉摹?.2 conda 與 pip 共存的風(fēng)險(xiǎn)為什么混用容易炸conda 和 pip 在同一環(huán)境里混用屬于高風(fēng)險(xiǎn)操作搞懂原因你才知道怎么避開(kāi)。conda 裝包時(shí)使用自己的依賴(lài)求解器會(huì)檢查環(huán)境里已經(jīng)裝過(guò)的 conda 包并維護(hù)一套元數(shù)據(jù)。pip 裝包時(shí)只跟 Python 的 site-packages 打交道完全不知道 conda 的存在。兩邊各寫(xiě)各的環(huán)境里就可能出現(xiàn)兩個(gè)同名包的不同副本一個(gè)在 conda 管理的目錄一個(gè)在 site-packages 的 pip 目錄import 時(shí)先命中哪一個(gè)取決于sys.path的順序結(jié)果就是玄學(xué)報(bào)錯(cuò)。我之前處理過(guò)這樣的案例某項(xiàng)目在 conda 環(huán)境里已經(jīng)裝好某個(gè)數(shù)值計(jì)算庫(kù)后面有人用 pip 補(bǔ)裝另一個(gè)包結(jié)果 pip 先把相關(guān)依賴(lài)升級(jí)了一遍把一個(gè)底層庫(kù)換成了不兼容的版本整個(gè)環(huán)境的 “conda 視角” 和 “pip 視角” 徹底分叉最后只能重建環(huán)境。正確姿勢(shì)是能用 conda 解決的依賴(lài)優(yōu)先 condaconda 倉(cāng)庫(kù)里沒(méi)有或版本太老再考慮 pip。一旦這個(gè)環(huán)境已經(jīng)大量用 pip 裝過(guò)包就盡量別再回頭用 conda install 添加新依賴(lài)至少別動(dòng)已有依賴(lài)的底層庫(kù)。4.3 環(huán)境導(dǎo)出與復(fù)現(xiàn)environment.yml 的正確打開(kāi)方式conda 導(dǎo)環(huán)境最常見(jiàn)的是conda env export但這個(gè)命令導(dǎo)出的文件包含每個(gè)包的具體構(gòu)建號(hào)、內(nèi)部版本跨平臺(tái)復(fù)現(xiàn)差。你要在別人電腦上重建大概率對(duì)不上。我更推薦兩種組合# 只導(dǎo)出你顯式指定的包干凈很多 conda env export --from-history environment.yml這個(gè)--from-history非常實(shí)用它只列出創(chuàng)建環(huán)境和后續(xù)conda install時(shí)你真正寫(xiě)下的包名不包含所有被動(dòng)裝進(jìn)來(lái)的依賴(lài)。文件小而清晰適合當(dāng)項(xiàng)目級(jí)別的“頂層依賴(lài)聲明”。在此基礎(chǔ)上還需要精確復(fù)現(xiàn)鎖定時(shí)用 conda-lock 生成帶哈希的完整鎖定文件或者把 pip 依賴(lài)單獨(dú)用requirements.txt管理兩邊配合。環(huán)境文件里還可以標(biāo)注 channel 和 pip 依賴(lài)name: pyproject channels: - conda-forge dependencies: - python3.10 - numpy - pandas - pip - pip: - requests - -r requirements.txt關(guān)鍵點(diǎn)是用這個(gè)文件創(chuàng)建環(huán)境后所有包都從 conda 和 pip 兩個(gè)來(lái)源各裝各的團(tuán)隊(duì)的初始狀態(tài)相對(duì)可復(fù)現(xiàn)后續(xù)維護(hù)也方便。5. venv 還是 conda選型對(duì)比與混合使用策略5.1 六個(gè)維度看透差異很多人糾結(jié)“到底用哪個(gè)”其實(shí)糾結(jié)的原因是沒(méi)把問(wèn)題拆開(kāi)。我把評(píng)估維度整理成一張表你看完基本就能自己判斷。維度venv pipconda核心定位Python 標(biāo)準(zhǔn)虛擬環(huán)境工具跨語(yǔ)言環(huán)境與包管理器Python 版本管理靠宿主機(jī)已有解釋器不自動(dòng)下載環(huán)境內(nèi)可直接指定任意版本非 Python 依賴(lài)基本不管能安裝 C/C 庫(kù)、GPU 驅(qū)動(dòng)層組件等依賴(lài)解析能力pip 只解析 Python 包c(diǎn)onda 自建求解器兼顧二進(jìn)制層環(huán)境體積小、輕量大、更重團(tuán)隊(duì)協(xié)作友好度requirements 文件直觀environment.yml 稍復(fù)雜但完整從這個(gè)表能看出它不是“誰(shuí)替代誰(shuí)”的關(guān)系而是誰(shuí)更適合什么場(chǎng)景的問(wèn)題。venv 輕、簡(jiǎn)單、夠用conda 重、全、能力強(qiáng)。如果你做的是普通的 Web 項(xiàng)目、腳本工具、爬蟲(chóng)、后端服務(wù)venv 完全夠了不必為了“統(tǒng)一工具”把 conda 綁進(jìn)來(lái)反而拖慢上手速度。5.2 按項(xiàng)目類(lèi)型選路線(xiàn)的直接建議我的具體建議可以歸納成三條路線(xiàn)第一純 Python 項(xiàng)目、Web 項(xiàng)目、自動(dòng)化腳本用系統(tǒng) Python或 pyenv 裝好的某版本配合 venv依賴(lài)用 pip pip-tools 管理。團(tuán)隊(duì)里所有人都用相同流程成本最低。第二數(shù)據(jù)科學(xué)、機(jī)器學(xué)習(xí)、需要 GPU 加速、依賴(lài)大量本地二進(jìn)制庫(kù)的項(xiàng)目直接 miniconda mamba。別想用 venv 硬撐C 庫(kù)層面的問(wèn)題是 venv 管不動(dòng)的。這時(shí)候 conda 的跨語(yǔ)言依賴(lài)管理真香。第三需要在多個(gè) Python 版本之間同時(shí)做兼容測(cè)試的庫(kù)項(xiàng)目用 pyenv 裝多個(gè)版本每個(gè)版本下分別建 venv 去跑測(cè)試。如果你喜歡 conda 的手感也可以建多個(gè) conda 環(huán)境各有各的 Python 版本邏輯一樣就是更占磁盤(pán)。5.3 我實(shí)際環(huán)境里的組織方式我在自己的開(kāi)發(fā)機(jī)上長(zhǎng)期保持一套固定的組合系統(tǒng) Python 只作為基礎(chǔ)不下手裝任何第三方包pyenv 負(fù)責(zé)安裝和維護(hù)多個(gè) Python 小版本日常項(xiàng)目一律.venv起步涉及科學(xué)計(jì)算再切到 miniconda。有個(gè)小提醒如果你已經(jīng)在 conda 環(huán)境里開(kāi)發(fā)某個(gè)項(xiàng)目就沒(méi)有必要再在里面建一個(gè) venv 來(lái)疊加隔離。我踩過(guò)的坑是某同事在 conda 環(huán)境里為了跑一段臨時(shí)腳本又建了個(gè) venv結(jié)果兩套依賴(lài)體系嵌套在一起pip 裝的東西到底歸誰(shuí)管得澄清半天。一個(gè)項(xiàng)目定一種隔離方案從一而終。另外不同團(tuán)隊(duì)協(xié)作時(shí)所有環(huán)境相關(guān)命令最好寫(xiě)進(jìn) README 或者 Makefile統(tǒng)一一條路徑。環(huán)境管理最怕的不是復(fù)雜而是每個(gè)成員都有自己的一套合到一起就是災(zāi)難現(xiàn)場(chǎng)。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 激活失敗與 shell 配置問(wèn)題最常見(jiàn)的激活失敗是執(zhí)行source activate pyproject報(bào)錯(cuò)或者進(jìn)了環(huán)境但python還是老路徑。這多半是因?yàn)?conda 的初始化沒(méi)有寫(xiě)入當(dāng)前 shell 配置文件。解決方式很簡(jiǎn)單先執(zhí)行conda init bash或?qū)?yīng)你的 shell比如 zsh 用conda init zsh然后重新開(kāi)一個(gè)終端。venv 的激活腳本不會(huì)遇到這個(gè)問(wèn)題因?yàn)樗緛?lái)就是直接 source 腳本。Windows 上的 PowerShell 用戶(hù)經(jīng)常會(huì)碰到“無(wú)法加載文件 Activate.ps1因?yàn)樵诖讼到y(tǒng)上禁止運(yùn)行腳本”。這是 PowerShell 執(zhí)行策略的限制管理員身份執(zhí)行Set-ExecutionPolicy RemoteSigned可以解掉或者干脆不用激活腳本直接用.venv\Scripts\python.exe調(diào)用環(huán)境內(nèi)的解釋器反而更省事。排查環(huán)境到底有沒(méi)有生效不要光看提示符前的括號(hào)直接執(zhí)行which pythonWindows 是where python看路徑是否落在環(huán)境目錄內(nèi)。有時(shí)候 shell 的緩存會(huì)作怪別名路徑老轉(zhuǎn)發(fā)到舊解釋器用hash -r清理一下再看。6.2 幽靈依賴(lài)與 PYTHONPATH 污染有種詭異場(chǎng)景你明明激活了虛擬環(huán)境pip list里也沒(méi)看到某個(gè)包但import xxx居然成功了。十有八九是環(huán)境變量PYTHONPATH在搗鬼。它里面列的目錄優(yōu)先級(jí)很高會(huì)把虛擬環(huán)境外的包混進(jìn)來(lái)。排查方法很簡(jiǎn)單echo $PYTHONPATH如果非空就得警惕。我個(gè)人習(xí)慣是默認(rèn)不設(shè)置這個(gè)變量需要導(dǎo)入自定義代碼時(shí)用包結(jié)構(gòu)配合pip install -e .解決而不是靠PYTHONPATH硬加路徑。還有一個(gè)更隱蔽的坑忘了激活環(huán)境然后直接pip install。此時(shí)包被裝進(jìn)全局 Python項(xiàng)目跑起來(lái)報(bào)錯(cuò)你還沒(méi)頭緒。以后養(yǎng)成習(xí)慣先確認(rèn)pip --version的路徑屬于當(dāng)前項(xiàng)目環(huán)境再執(zhí)行安裝。也可以在項(xiàng)目里直接用.venv/bin/pip install。如果你懷疑某個(gè)包到底裝在哪里pip show 包名會(huì)顯示 Location 字段指向它實(shí)際落地的 site-packages一眼就能看出是不是當(dāng)前環(huán)境。6.3 依賴(lài)沖突與編譯失敗的處理思路pip 裝包時(shí)報(bào)“ERROR: Cannot install packages because of conflicting dependencies”很常見(jiàn)別一股腦--force-reinstall硬上那樣只會(huì)把環(huán)境搞得更亂?？梢韵扔胮ip check診斷哪些包之間依賴(lài)不一致把沖突的包找出來(lái)再?zèng)Q定降級(jí)某方或升級(jí)某方。依賴(lài)關(guān)系復(fù)雜的場(chǎng)景用 pip-tools 生成鎖定文件比手工調(diào)版本穩(wěn)定得多。編譯類(lèi)報(bào)錯(cuò)比如error: command gcc failed: No such file or directory大概率是你要裝的包沒(méi)有當(dāng)前 Python 版本的預(yù)編譯 wheel?？磮?bào)錯(cuò)里的綠色提示通常會(huì)說(shuō)“Failed building wheel for xxx”說(shuō)明它在現(xiàn)場(chǎng)編譯。解決思路有三條優(yōu)先級(jí)先找有沒(méi)有對(duì)應(yīng)版本的離線(xiàn) wheel沒(méi)有就換低一檔 Python 版本重試最后才考慮補(bǔ)編譯工具鏈硬編。多數(shù)情況下?lián)Q Python 版本比裝一堆編譯依賴(lài)快得多。如果 conda install 求解時(shí)間長(zhǎng)得離譜先別取消先想想是不是沒(méi)有用 mamba。換成 mamba 之后大部分項(xiàng)目的安裝等待時(shí)間能壓到 1 分鐘內(nèi)親測(cè)有效。6.4 磁盤(pán)占用與重建環(huán)境的實(shí)用技巧conda 環(huán)境一個(gè)就能占幾個(gè) GB裝多了磁盤(pán)告急是常事。conda clean --all能清掉緩存和沒(méi)用的包pip cache purge清 pip 緩存。我通常每月跑一次能清理出不少空間。環(huán)境如果徹底壞了也不要執(zhí)著于修復(fù)直接conda env remove -n 環(huán)境名刪掉重建只要鎖定文件還在重建比排查壞環(huán)境靠譜得多。venv 同理.venv目錄刪掉重新python -m venv .venv加上 requirements 文件幾分鐘又是一條好漢。還有個(gè)小技巧conda 環(huán)境用conda clone復(fù)制一份來(lái)做升級(jí)測(cè)試比直接升級(jí)原來(lái)的安全。我在給生產(chǎn)項(xiàng)目升級(jí) numpy 的時(shí)候就是這么干的克隆環(huán)境、在里面跑測(cè)試、確認(rèn)沒(méi)問(wèn)題再動(dòng)原環(huán)境。我個(gè)人在實(shí)際操作中的體會(huì)是虛擬環(huán)境這件事和寫(xiě)代碼的水平?jīng)]有直接關(guān)系它更多是“工程習(xí)慣”。你可以在一年內(nèi)不碰到依賴(lài)沖突但只要碰到一次那一次就足以讓你記住所有教訓(xùn)。我現(xiàn)在無(wú)論項(xiàng)目多小哪怕是臨時(shí)寫(xiě)個(gè)小腳本也會(huì)先建一個(gè)虛擬環(huán)境再動(dòng)手。不是儀式感是為了讓“在我電腦上能跑”這個(gè)結(jié)論至少可復(fù)現(xiàn)、可繼承、可排查。環(huán)境管理花的時(shí)間其實(shí)是在給未來(lái)的自己省時(shí)間。