境變量與 8 大關(guān)鍵調(diào)優(yōu)參數(shù))
【免費(fèi)下載鏈接】liftExtract structured data from documents quickly and accurately.項(xiàng)目地址https://gitcode.com/gh_mirrors/lift21/lift點(diǎn)擊查看免費(fèi)下載lift是一款開源文檔抽取Document Extraction工具它是一個(gè) 9B 參數(shù)的視覺模型只要你傳入一份 JSON Schema就能把 PDF 或圖片中的內(nèi)容提取為與 Schema 對齊的結(jié)構(gòu)化 JSON并借助 schema 約束解碼保證輸出合法。對于要部署 lift 的新手來說最常被問到的問題就是local.env文件該放在哪里面的環(huán)境變量到底控制什么哪些參數(shù)值得調(diào)本文基于官方倉庫的配置系統(tǒng) lift/settings.py 逐參數(shù)講解幫你在 10 分鐘內(nèi)完成 lift 環(huán)境變量配置并完成關(guān)鍵性能調(diào)優(yōu)。一、先搞懂 lift 的兩種推理模式lift 內(nèi)置兩種推理后端你調(diào)哪些參數(shù)、怎么調(diào)取決于你選哪一種模式說明典型場景vllm默認(rèn)連接 vLLM 推理服務(wù)器OpenAI 兼容 API批量處理、生產(chǎn)部署推薦hf進(jìn)程內(nèi)直接加載 HuggingFace 模型需要 torch單機(jī)快速體驗(yàn)、小規(guī)模任務(wù)vLLM 請求與重試邏輯lift/model/vllm.pyHF 模型加載邏輯lift/model/hf.py兩種模式下模型字段級準(zhǔn)確率均保持高水平且 lift 單文檔處理延遲明顯低于同類方案二、local.env 快速上手3 分鐘完成配置lift 使用pydantic-settingspython-dotenv讀取配置。你只需在當(dāng)前工作目錄下創(chuàng)建一個(gè)名為local.env的文件所有設(shè)置即可生效查找邏輯見 lift/settings.py 中的find_dotenv(local.env)。一個(gè)最小可用的local.env模板完整示例見 README.md 的 Configuration 一節(jié)# 模型設(shè)置 MODEL_CHECKPOINTdatalab-to/lift MAX_OUTPUT_TOKENS12384 # vLLM 設(shè)置 VLLM_API_BASEhttp://localhost:8000/v1 VLLM_MODEL_NAMElift 小技巧local.env中多寫的無關(guān)變量會被自動忽略extra ignore可以放心混放。三、8 大關(guān)鍵調(diào)優(yōu)參數(shù)詳解以下 8 個(gè)參數(shù)覆蓋了 lift 日常部署中 90% 以上的調(diào)優(yōu)需求。每個(gè)參數(shù)都給出默認(rèn)值 → 作用 → 何時(shí)修改 → 建議值。1?? MODEL_CHECKPOINT —— 模型檢查點(diǎn)默認(rèn)值datalab-to/lift作用HF 模式下加載哪個(gè)模型權(quán)重見 lift/model/hf.pyvLLM 模式下lift_vllm啟動 Docker 容器時(shí)傳入的--model參數(shù)見 lift/scripts/vllm_launcher.py。何時(shí)改需要加載自托管/微調(diào)的模型副本時(shí)。2?? MAX_OUTPUT_TOKENS —— 最大輸出 token 數(shù)默認(rèn)值12384作用限制模型單次生成上限兩種后端共用HFmax_new_tokensvLLMmax_tokens。字段很多的 Schema如長明細(xì)清單若輸出被截?cái)嗑褪撬×?。建議默認(rèn)值已足夠絕大多數(shù)場景超大表格類文檔可保持默認(rèn)或略調(diào)高。3?? TORCH_DEVICE —— 指定 HF 后端設(shè)備默認(rèn)值None即device_mapauto自動分配作用把 HF 后端固定到指定設(shè)備例如TORCH_DEVICEcuda:0實(shí)現(xiàn)見 lift/model/hf.py。何時(shí)改多 GPU 機(jī)器上想避開被占用的顯卡或明確指定推理卡時(shí)。4?? TORCH_ATTN —— 注意力實(shí)現(xiàn)方式默認(rèn)值Nonetransformers 默認(rèn)實(shí)現(xiàn)作用設(shè)置attn_implementationHF 模式下強(qiáng)烈建議設(shè)為 flash attention 以獲得更好性能。建議已安裝 flash-attention 時(shí)設(shè)為flash_attention_2README 的官方推薦。5?? IMAGE_DPI —— PDF 渲染 DPI默認(rèn)值96作用PDF 轉(zhuǎn)圖片時(shí)的渲染分辨率下限。渲染邏輯在 lift/input.py實(shí)際 DPI 會按頁面尺寸自動放大但不會低于IMAGE_DPI。何時(shí)改掃描件模糊、小字提取不準(zhǔn)時(shí)可適當(dāng)調(diào)高如 120–150追求速度則調(diào)低。6?? VLLM_API_BASE —— vLLM 服務(wù)器地址默認(rèn)值http://localhost:8000/v1作用OpenAI 兼容 API 的 Base URLlift_extract、Python SDK 都靠它定位服務(wù)器。何時(shí)改vLLM 跑在遠(yuǎn)程機(jī)器或改了端口時(shí)指向http://host:port/v1即可。7?? VLLM_GPUS —— 指定 GPU 設(shè)備號默認(rèn)值0作用lift_vllm啟動 Docker 容器時(shí)的--gpus deviceN參數(shù)見 lift/scripts/vllm_launcher.py。何時(shí)改機(jī)器有多張卡、想讓推理服務(wù)占用指定顯卡時(shí)。8?? MAX_VLLM_RETRIES —— 失敗自動重試次數(shù)默認(rèn)值6作用vLLM 檢測到重復(fù) token 死循環(huán)或請求報(bào)錯(cuò)時(shí)自動重試含遞增等待邏輯見 lift/model/vllm.py。重試時(shí)會自動抬高 temperature 以跳出重復(fù)模式。建議高負(fù)載環(huán)境可適當(dāng)調(diào)大追求快速失敗則調(diào)小。四、其他實(shí)用配置速查表以下參數(shù)在 lift/settings.py 中同樣可配使用頻率稍低參數(shù)默認(rèn)值說明VLLM_API_KEYEMPTYvLLM 的 API Key本地服務(wù)留默認(rèn)即可VLLM_MODEL_NAMElift服務(wù)端注冊的模型名需與--served-model-name一致SCHEMA_DIR包內(nèi)lift/schemas/命名 Schema 庫目錄覆蓋后可指向你自己的庫示例文件lift/schemas/invoice.jsonMIN_PDF_IMAGE_DIM692PDF 頁面渲染圖最小邊長像素MIN_IMAGE_DIM692圖片輸入最小邊長小圖會被自動放大見 lift/input.py五、兩套可直接抄的實(shí)戰(zhàn)配置場景 A本地 HuggingFace 模式單機(jī)體驗(yàn)MODEL_CHECKPOINTdatalab-to/lift TORCH_DEVICEcuda:0 TORCH_ATTNflash_attention_2 MAX_OUTPUT_TOKENS12384然后執(zhí)行l(wèi)ift_extract input.pdf ./output --schema schema.json --method hf場景 BvLLM 遠(yuǎn)程模式批量/生產(chǎn)推薦VLLM_API_BASEhttp://10.0.0.5:8000/v1 VLLM_MODEL_NAMElift MAX_VLLM_RETRIES8服務(wù)器上先按 GPU 型號啟動lift_vllm --gpu a100-80。啟動器會按顯存自動縮放批處理參數(shù)H100 80GB 為基準(zhǔn)支持h100、a100-80、a100、l40s、a10、l4、4090、3090、t4見 lift/scripts/vllm_launcher.py。六、常見問題FAQQ1改完 local.env 需要重啟進(jìn)程嗎需要。配置在進(jìn)程啟動時(shí)讀取一次修改后請重啟lift_extract會話或 Python 進(jìn)程。Q2輸出 JSON 總是被截?cái)嘣趺崔k優(yōu)先檢查MAX_OUTPUT_TOKENS是否偏小其次確認(rèn) Schema 是否過于冗長——字段越多生成的 JSON 越長。Q3--max-output-tokens命令行參數(shù)和MAX_OUTPUT_TOKENS什么關(guān)系命令行參數(shù)見 lift/scripts/extract_cli.py只在單次調(diào)用中生效未傳時(shí)回退到local.env的配置相當(dāng)于臨時(shí)覆蓋。Q4遠(yuǎn)程 vLLM 連不上如何排查依次確認(rèn)VLLM_API_BASE的 host/port 是否正確、服務(wù)器上VLLM_MODEL_NAME與容器--served-model-name是否一致、VLLM_API_KEY是否與服務(wù)端匹配。 完整項(xiàng)目信息、基準(zhǔn)數(shù)據(jù)與安裝方式詳見 README.mdCLI 選項(xiàng)一覽見 lift/scripts/extract_cli.py。掌握local.env與這 8 大參數(shù)后你即可在單機(jī)體驗(yàn)與生產(chǎn)集群之間自由切換把 lift 的文檔抽取能力穩(wěn)定地跑起來。贊分享【免費(fèi)下載鏈接】liftExtract structured data from documents quickly and accurately.項(xiàng)目地址https://gitcode.com/gh_mirrors/lift21/lift點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Dataherald環(huán)境變量配置全面參數(shù)調(diào)優(yōu)手冊Dataherald環(huán)境變量配置全面參數(shù)調(diào)優(yōu)手冊 引言 還在為Dataherald的復(fù)雜環(huán)境配置而頭疼面對數(shù)十個(gè)環(huán)境變量不知從何下手本文將為你提供一份完整后端人工智能大模型RAG微調(diào)wigolo 配置完全指南零配置起步與環(huán)境變量調(diào)優(yōu)手冊wigolo 配置完全指南零配置起步與環(huán)境變量調(diào)優(yōu)手冊 本文檔面向希望把 wigolo https://link.gitcode.com/i/2e85204b人工智能AI 應(yīng)用MCP 服務(wù)AI Agent網(wǎng)頁爬蟲Proton配置完全手冊20個(gè)關(guān)鍵環(huán)境變量和運(yùn)行時(shí)選項(xiàng)詳解Proton配置完全手冊20個(gè)關(guān)鍵環(huán)境變量和運(yùn)行時(shí)選項(xiàng)詳解 Proton是Valve開發(fā)的Steam Play兼容工具讓W(xué)indows游戲能在Linux系統(tǒng)游戲開發(fā)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 lift 配置完全手冊：local.env 環(huán)境變量與 8 大關(guān)鍵調(diào)優(yōu)參數(shù)
【免費(fèi)下載鏈接】liftExtract structured data from documents quickly and accurately.項(xiàng)目地址https://gitcode.com/gh_mirrors/lift21/lift點(diǎn)擊查看免費(fèi)下載lift是一款開源文檔抽取Document Extraction工具它是一個(gè) 9B 參數(shù)的視覺模型只要你傳入一份 JSON Schema就能把 PDF 或圖片中的內(nèi)容提取為與 Schema 對齊的結(jié)構(gòu)化 JSON并借助 schema 約束解碼保證輸出合法。對于要部署 lift 的新手來說最常被問到的問題就是local.env文件該放在哪里面的環(huán)境變量到底控制什么哪些參數(shù)值得調(diào)本文基于官方倉庫的配置系統(tǒng) lift/settings.py 逐參數(shù)講解幫你在 10 分鐘內(nèi)完成 lift 環(huán)境變量配置并完成關(guān)鍵性能調(diào)優(yōu)。一、先搞懂 lift 的兩種推理模式lift 內(nèi)置兩種推理后端你調(diào)哪些參數(shù)、怎么調(diào)取決于你選哪一種模式說明典型場景vllm默認(rèn)連接 vLLM 推理服務(wù)器OpenAI 兼容 API批量處理、生產(chǎn)部署推薦hf進(jìn)程內(nèi)直接加載 HuggingFace 模型需要 torch單機(jī)快速體驗(yàn)、小規(guī)模任務(wù)vLLM 請求與重試邏輯lift/model/vllm.pyHF 模型加載邏輯lift/model/hf.py兩種模式下模型字段級準(zhǔn)確率均保持高水平且 lift 單文檔處理延遲明顯低于同類方案二、local.env 快速上手3 分鐘完成配置lift 使用pydantic-settingspython-dotenv讀取配置。你只需在當(dāng)前工作目錄下創(chuàng)建一個(gè)名為local.env的文件所有設(shè)置即可生效查找邏輯見 lift/settings.py 中的find_dotenv(local.env)。一個(gè)最小可用的local.env模板完整示例見 README.md 的 Configuration 一節(jié)# 模型設(shè)置 MODEL_CHECKPOINTdatalab-to/lift MAX_OUTPUT_TOKENS12384 # vLLM 設(shè)置 VLLM_API_BASEhttp://localhost:8000/v1 VLLM_MODEL_NAMElift 小技巧local.env中多寫的無關(guān)變量會被自動忽略extra ignore可以放心混放。三、8 大關(guān)鍵調(diào)優(yōu)參數(shù)詳解以下 8 個(gè)參數(shù)覆蓋了 lift 日常部署中 90% 以上的調(diào)優(yōu)需求。每個(gè)參數(shù)都給出默認(rèn)值 → 作用 → 何時(shí)修改 → 建議值。1?? MODEL_CHECKPOINT —— 模型檢查點(diǎn)默認(rèn)值datalab-to/lift作用HF 模式下加載哪個(gè)模型權(quán)重見 lift/model/hf.pyvLLM 模式下lift_vllm啟動 Docker 容器時(shí)傳入的--model參數(shù)見 lift/scripts/vllm_launcher.py。何時(shí)改需要加載自托管/微調(diào)的模型副本時(shí)。2?? MAX_OUTPUT_TOKENS —— 最大輸出 token 數(shù)默認(rèn)值12384作用限制模型單次生成上限兩種后端共用HFmax_new_tokensvLLMmax_tokens。字段很多的 Schema如長明細(xì)清單若輸出被截?cái)嗑褪撬×?。建議默認(rèn)值已足夠絕大多數(shù)場景超大表格類文檔可保持默認(rèn)或略調(diào)高。3?? TORCH_DEVICE —— 指定 HF 后端設(shè)備默認(rèn)值None即device_mapauto自動分配作用把 HF 后端固定到指定設(shè)備例如TORCH_DEVICEcuda:0實(shí)現(xiàn)見 lift/model/hf.py。何時(shí)改多 GPU 機(jī)器上想避開被占用的顯卡或明確指定推理卡時(shí)。4?? TORCH_ATTN —— 注意力實(shí)現(xiàn)方式默認(rèn)值Nonetransformers 默認(rèn)實(shí)現(xiàn)作用設(shè)置attn_implementationHF 模式下強(qiáng)烈建議設(shè)為 flash attention 以獲得更好性能。建議已安裝 flash-attention 時(shí)設(shè)為flash_attention_2README 的官方推薦。5?? IMAGE_DPI —— PDF 渲染 DPI默認(rèn)值96作用PDF 轉(zhuǎn)圖片時(shí)的渲染分辨率下限。渲染邏輯在 lift/input.py實(shí)際 DPI 會按頁面尺寸自動放大但不會低于IMAGE_DPI。何時(shí)改掃描件模糊、小字提取不準(zhǔn)時(shí)可適當(dāng)調(diào)高如 120–150追求速度則調(diào)低。6?? VLLM_API_BASE —— vLLM 服務(wù)器地址默認(rèn)值http://localhost:8000/v1作用OpenAI 兼容 API 的 Base URLlift_extract、Python SDK 都靠它定位服務(wù)器。何時(shí)改vLLM 跑在遠(yuǎn)程機(jī)器或改了端口時(shí)指向http://host:port/v1即可。7?? VLLM_GPUS —— 指定 GPU 設(shè)備號默認(rèn)值0作用lift_vllm啟動 Docker 容器時(shí)的--gpus deviceN參數(shù)見 lift/scripts/vllm_launcher.py。何時(shí)改機(jī)器有多張卡、想讓推理服務(wù)占用指定顯卡時(shí)。8?? MAX_VLLM_RETRIES —— 失敗自動重試次數(shù)默認(rèn)值6作用vLLM 檢測到重復(fù) token 死循環(huán)或請求報(bào)錯(cuò)時(shí)自動重試含遞增等待邏輯見 lift/model/vllm.py。重試時(shí)會自動抬高 temperature 以跳出重復(fù)模式。建議高負(fù)載環(huán)境可適當(dāng)調(diào)大追求快速失敗則調(diào)小。四、其他實(shí)用配置速查表以下參數(shù)在 lift/settings.py 中同樣可配使用頻率稍低參數(shù)默認(rèn)值說明VLLM_API_KEYEMPTYvLLM 的 API Key本地服務(wù)留默認(rèn)即可VLLM_MODEL_NAMElift服務(wù)端注冊的模型名需與--served-model-name一致SCHEMA_DIR包內(nèi)lift/schemas/命名 Schema 庫目錄覆蓋后可指向你自己的庫示例文件lift/schemas/invoice.jsonMIN_PDF_IMAGE_DIM692PDF 頁面渲染圖最小邊長像素MIN_IMAGE_DIM692圖片輸入最小邊長小圖會被自動放大見 lift/input.py五、兩套可直接抄的實(shí)戰(zhàn)配置場景 A本地 HuggingFace 模式單機(jī)體驗(yàn)MODEL_CHECKPOINTdatalab-to/lift TORCH_DEVICEcuda:0 TORCH_ATTNflash_attention_2 MAX_OUTPUT_TOKENS12384然后執(zhí)行l(wèi)ift_extract input.pdf ./output --schema schema.json --method hf場景 BvLLM 遠(yuǎn)程模式批量/生產(chǎn)推薦VLLM_API_BASEhttp://10.0.0.5:8000/v1 VLLM_MODEL_NAMElift MAX_VLLM_RETRIES8服務(wù)器上先按 GPU 型號啟動lift_vllm --gpu a100-80。啟動器會按顯存自動縮放批處理參數(shù)H100 80GB 為基準(zhǔn)支持h100、a100-80、a100、l40s、a10、l4、4090、3090、t4見 lift/scripts/vllm_launcher.py。六、常見問題FAQQ1改完 local.env 需要重啟進(jìn)程嗎需要。配置在進(jìn)程啟動時(shí)讀取一次修改后請重啟lift_extract會話或 Python 進(jìn)程。Q2輸出 JSON 總是被截?cái)嘣趺崔k優(yōu)先檢查MAX_OUTPUT_TOKENS是否偏小其次確認(rèn) Schema 是否過于冗長——字段越多生成的 JSON 越長。Q3--max-output-tokens命令行參數(shù)和MAX_OUTPUT_TOKENS什么關(guān)系命令行參數(shù)見 lift/scripts/extract_cli.py只在單次調(diào)用中生效未傳時(shí)回退到local.env的配置相當(dāng)于臨時(shí)覆蓋。Q4遠(yuǎn)程 vLLM 連不上如何排查依次確認(rèn)VLLM_API_BASE的 host/port 是否正確、服務(wù)器上VLLM_MODEL_NAME與容器--served-model-name是否一致、VLLM_API_KEY是否與服務(wù)端匹配。 完整項(xiàng)目信息、基準(zhǔn)數(shù)據(jù)與安裝方式詳見 README.mdCLI 選項(xiàng)一覽見 lift/scripts/extract_cli.py。掌握local.env與這 8 大參數(shù)后你即可在單機(jī)體驗(yàn)與生產(chǎn)集群之間自由切換把 lift 的文檔抽取能力穩(wěn)定地跑起來。贊分享【免費(fèi)下載鏈接】liftExtract structured data from documents quickly and accurately.項(xiàng)目地址https://gitcode.com/gh_mirrors/lift21/lift點(diǎn)擊查看免費(fèi)下載相關(guān)推薦Dataherald環(huán)境變量配置全面參數(shù)調(diào)優(yōu)手冊Dataherald環(huán)境變量配置全面參數(shù)調(diào)優(yōu)手冊 引言 還在為Dataherald的復(fù)雜環(huán)境配置而頭疼面對數(shù)十個(gè)環(huán)境變量不知從何下手本文將為你提供一份完整后端人工智能大模型RAG微調(diào)wigolo 配置完全指南零配置起步與環(huán)境變量調(diào)優(yōu)手冊wigolo 配置完全指南零配置起步與環(huán)境變量調(diào)優(yōu)手冊 本文檔面向希望把 wigolo https://link.gitcode.com/i/2e85204b人工智能AI 應(yīng)用MCP 服務(wù)AI Agent網(wǎng)頁爬蟲Proton配置完全手冊20個(gè)關(guān)鍵環(huán)境變量和運(yùn)行時(shí)選項(xiàng)詳解Proton配置完全手冊20個(gè)關(guān)鍵環(huán)境變量和運(yùn)行時(shí)選項(xiàng)詳解 Proton是Valve開發(fā)的Steam Play兼容工具讓W(xué)indows游戲能在Linux系統(tǒng)游戲開發(fā)創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考