掃描的 LLM 服務(wù)性能基準(zhǔn)測試實(shí)戰(zhàn))
人工智能大模型AI 安全治理模型安全內(nèi)容安全提示詞注入防護(hù)RAG【免費(fèi)下載鏈接】GuardrailsNeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems.項(xiàng)目地址https://gitcode.com/gh_mirrors/ne/Guardrails點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文圍繞 NeMo Guardrails 倉庫中 benchmark/aiperf/README.md 所介紹的 AIPerf 基準(zhǔn)測試工具鏈展開講解如何通過run_aiperf.py腳本以聲明式 YAML 配置驅(qū)動 NVIDIA AIPerf對任意 OpenAI 兼容推理服務(wù)執(zhí)行批量基準(zhǔn)測試與參數(shù)掃描Sweep并自動整理輸出結(jié)果。讀完本文你將掌握環(huán)境搭建與 API Key 配置、單次基準(zhǔn)測試與并發(fā)度掃描的完整命令、全部配置參數(shù)的含義與默認(rèn)值、常用掃描模式的實(shí)戰(zhàn)寫法以及輸出目錄結(jié)構(gòu)與可復(fù)現(xiàn)元數(shù)據(jù)的解讀方式——從而以數(shù)據(jù)驅(qū)動的方式量化 NeMo Guardrails 應(yīng)用在吞吐、延遲上的安全與性能取舍。背景為什么需要 AIPerf 基準(zhǔn)測試工具鏈AIPerf 是 NVIDIA 面向 LLM 的基準(zhǔn)測試工具支持任意 OpenAI 兼容的推理服務(wù)能夠生成合成數(shù)據(jù)負(fù)載并輸出性能對比與分析的完整指標(biāo)。不過直接使用 AIPerf 手動執(zhí)行多輪不同參數(shù)的基準(zhǔn)測試非常繁瑣。倉庫中的 run_aiperf.py 腳本在 AIPerf 之上封裝了一層編排能力提供批量執(zhí)行Batch Execution一條命令按順序跑完多個(gè)基準(zhǔn)測試參數(shù)掃描Parameter Sweeps自動生成并運(yùn)行不同參數(shù)組合如掃描并發(fā)度、Token 數(shù)量等的基準(zhǔn)測試結(jié)果整理Organized Results將結(jié)果自動歸檔到帶時(shí)間戳、命名清晰的目錄中YAML 配置用簡單、聲明式的配置文件實(shí)現(xiàn)可復(fù)現(xiàn)的基準(zhǔn)測試運(yùn)行元數(shù)據(jù)Run Metadata為每次運(yùn)行保存完整元數(shù)據(jù)配置、命令、時(shí)間戳便于日后分析與復(fù)現(xiàn)服務(wù)健康檢查Service Health Checks基準(zhǔn)測試開始前先校驗(yàn)?zāi)繕?biāo)服務(wù)可用。腳本入口定義在main.py通過python -m benchmark.aiperf即可調(diào)用命令行界面由 Typer 構(gòu)建?？焖匍_始環(huán)境準(zhǔn)備以下步驟已在 Python 3.11.11 上驗(yàn)證通過。倉庫自帶的示例配置使用 NVIDIA 托管的模型因此需要在 https://build.nvidia.com/ 注冊賬號并創(chuàng)建 Personal API Key用于訪問 NVIDIA 托管的模型在 https://huggingface.co/ 注冊賬號用于拉取 Meta Llama 3.3 70B Instruct tokenizerAIPerf 需要用它計(jì)算 Token 數(shù)量。1. 創(chuàng)建虛擬環(huán)境mkdir ~/env python -m venv ~/env/aiperf source ~/env/aiperf/bin/activate2. 安裝依賴pip install aiperf huggingface_hub typer httpx3. 登錄 Hugging Facehuggingface-cli login4. 設(shè)置 NVIDIA API Keyexport NVIDIA_API_KEYyour-api-key-here要點(diǎn)腳本本身不直接讀取 API Key 的明文值而是通過配置中的api_key_env_var字段指定環(huán)境變量名再在構(gòu)建 AIPerf 命令時(shí)讀取該環(huán)境變量并注入--api-key參數(shù)詳見 run_aiperf.py。如果環(huán)境變量未設(shè)置腳本會拋出RuntimeError并提示export 變量名your-api-key這一行為也有對應(yīng)的測試覆蓋見 test_run_aiperf.py 中test_build_command_with_missing_api_key_env_var。運(yùn)行基準(zhǔn)測試每個(gè)基準(zhǔn)測試都通過 aiperf_models.py 中定義的AIPerfConfigPydantic 模型進(jìn)行配置配置存于 YAML 文件加載后轉(zhuǎn)換為AIPerfConfig對象并校驗(yàn)。倉庫內(nèi)置兩個(gè)可直接擴(kuò)展的示例配置均使用 NVIDIA 托管模型configs/single_concurrency.yaml單次運(yùn)行、固定單個(gè)并發(fā)度的示例configs/sweep_concurrency.yaml多次運(yùn)行、掃描并發(fā)度的示例。通用啟動命令python -m benchmark.aiperf --config-file path-to-config.yaml運(yùn)行單次基準(zhǔn)測試python -m benchmark.aiperf --config-file benchmark/aiperf/configs/single_concurrency.yaml示例輸出2025-12-01 10:35:17 INFO: Running AIPerf with configuration: benchmark/aiperf/configs/single_concurrency.yaml 2025-12-01 10:35:17 INFO: Results root directory: aiperf_results/single_concurrency/20251201_103517 2025-12-01 10:35:17 INFO: Sweeping parameters: None 2025-12-01 10:35:17 INFO: Running AIPerf with configuration: benchmark/aiperf/configs/single_concurrency.yaml 2025-12-01 10:35:17 INFO: Output directory: aiperf_results/single_concurrency/20251201_103517 2025-12-01 10:35:17 INFO: Single Run 2025-12-01 10:36:54 INFO: Run completed successfully 2025-12-01 10:36:54 INFO: SUMMARY 2025-12-01 10:36:54 INFO: Total runs : 1 2025-12-01 10:36:54 INFO: Completed : 1 2025-12-01 10:36:54 INFO: Failed : 0運(yùn)行并發(fā)度掃描python -m benchmark.aiperf --config-file benchmark/aiperf/configs/sweep_concurrency.yaml示例輸出2025-11-14 14:02:54 INFO: Running AIPerf with configuration: benchmark/aiperf/configs/sweep_concurrency.yaml 2025-11-14 14:02:54 INFO: Results root directory: aiperf_results/sweep_concurrency/20251114_140254 2025-11-14 14:02:54 INFO: Sweeping parameters: {concurrency: [1, 2, 4]} 2025-11-14 14:02:54 INFO: Running 3 benchmarks 2025-11-14 14:02:54 INFO: Run 1/3 2025-11-14 14:02:54 INFO: Sweep parameters: {concurrency: 1} 2025-11-14 14:04:12 INFO: Run 1 completed successfully 2025-11-14 14:04:12 INFO: Run 2/3 2025-11-14 14:04:12 INFO: Sweep parameters: {concurrency: 2} 2025-11-14 14:05:25 INFO: Run 2 completed successfully 2025-11-14 14:05:25 INFO: Run 3/3 2025-11-14 14:05:25 INFO: Sweep parameters: {concurrency: 4} 2025-11-14 14:06:38 INFO: Run 3 completed successfully 2025-11-14 14:06:38 INFO: SUMMARY 2025-11-14 14:06:38 INFO: Total runs : 3 2025-11-14 14:06:38 INFO: Completed : 3 2025-11-14 14:06:38 INFO: Failed : 0與 Guardrails 服務(wù)聯(lián)動的完整鏈路在 benchmark/README.md 中給出了與本文主題直接銜接的端到端用法先用 Honcho 按 benchmark/Procfile 拉起 Guardrails OpenAI 兼容服務(wù)端口 9000與兩個(gè) Mock LLM應(yīng)用主模型在 8000 端口、內(nèi)容安全模型在 8001 端口再用python -m benchmark.aiperf --config-file benchmark/aiperf/configs/sweep_concurrency_benchmark.yaml發(fā)起從并發(fā)度 1 到 2562 的冪次共 9 輪掃描。請求鏈路為AIPerf → Guardrails 服務(wù) → Mock LLM應(yīng)用 內(nèi)容安全從而在無需 GPU、幾分鐘內(nèi)即可量化加入 guardrails 所帶來的安全收益與延遲代價(jià)之間的權(quán)衡。附加選項(xiàng)--dry-run預(yù)覽而不執(zhí)行--dry-run允許只預(yù)覽所有將執(zhí)行的基準(zhǔn)命令而不真正運(yùn)行適用于校驗(yàn)配置文件是否正確檢查會生成哪些參數(shù)組合在投入長時(shí)掃描前預(yù)估總執(zhí)行時(shí)長調(diào)試配置問題。python -m benchmark.aiperf --config-file benchmark/aiperf/configs/sweep_concurrency.yaml --dry-rundry-run 模式下腳本會依次執(zhí)行加載并校驗(yàn)配置 → 檢查服務(wù)連通性 → 生成全部掃描組合 → 顯示將要執(zhí)行的命令 → 不運(yùn)行任何基準(zhǔn)測試即退出。從源碼看dry-run 在 run_aiperf.py 與 run_aiperf.py 中會直接返回AIPerfSummary(total0, completed0, failed0)。--verbose詳細(xì)調(diào)試輸出python -m benchmark.aiperf --config-file config.yaml --verboseVerbose 模式提供傳給 AIPerf 的完整命令行參數(shù)詳細(xì)的參數(shù)合并邏輯base config sweep params輸出目錄創(chuàng)建細(xì)節(jié)AIPerf 的實(shí)時(shí)輸出默認(rèn)被捕獲到文件錯(cuò)誤的完整堆棧信息。提示調(diào)試配置問題或想實(shí)時(shí)觀察基準(zhǔn)執(zhí)行進(jìn)度時(shí)使用 verbose 模式。從源碼看--verbose會把日志級別提升到 DEBUGrun_aiperf.py這會產(chǎn)生兩個(gè)連鎖效果一是構(gòu)建命令時(shí)把ui_type設(shè)為simple而非nonerun_aiperf.py二是subprocess.run不再捕獲輸出而是透傳到終端run_aiperf.py。此外日志中打印的命令會經(jīng)過 API Key 脫敏處理——只保留密鑰最后 6 個(gè)字符其余以*遮蔽見 run_aiperf.py避免密鑰泄露到日志與元數(shù)據(jù)文件中。配置文件詳解配置文件是位于 configs 目錄下的 YAML 文件使用 Pydantic 模型提前校驗(yàn)盡早發(fā)現(xiàn)配置錯(cuò)誤。配置加載失敗文件不存在、YAML 語法錯(cuò)誤、校驗(yàn)失敗時(shí)腳本會記錄錯(cuò)誤并以退出碼 1 終止見 run_aiperf.py。頂層配置字段字段類型是否必填說明batch_namestring否這批基準(zhǔn)測試的名稱用于輸出目錄命名如aiperf_results/batch_name/timestamp/。默認(rèn)值benchmarkoutput_base_dirstring否所有基準(zhǔn)結(jié)果存放的根目錄。默認(rèn)值aiperf_resultsbase_configobject是應(yīng)用于所有基準(zhǔn)運(yùn)行的基礎(chǔ)配置參數(shù)見下文sweepsobject否可選的參數(shù)掃描用于以不同取值運(yùn)行多個(gè)基準(zhǔn)測試base_config 基礎(chǔ)配置參數(shù)base_config中的參數(shù)會被原樣傳給 AIPerf其中任意一項(xiàng)都可以被掃描參數(shù)覆蓋。模型與服務(wù)配置參數(shù)類型是否必填說明modelstring是模型標(biāo)識如meta/llama-3.3-70b-instructtokenizerstring否Hugging Face 上的 tokenizer 名稱或本地路徑。未提供時(shí) AIPerf 會嘗試使用模型名urlstring是推理服務(wù)的 Base URL如https://integrate.api.nvidia.comendpointstring否API 端點(diǎn)路徑默認(rèn)/v1/chat/completionsendpoint_typestring否端點(diǎn)類型chat或completions默認(rèn)chatapi_key_env_varstring否存放 API Key 的環(huán)境變量名如NVIDIA_API_KEYstreamingboolean否是否使用流式模式默認(rèn)false負(fù)載生成設(shè)置參數(shù)類型是否必填說明warmup_request_countinteger是基準(zhǔn)測試開始前發(fā)送的預(yù)熱請求數(shù)量benchmark_durationinteger是基準(zhǔn)測試時(shí)長秒concurrencyinteger是基準(zhǔn)期間維持的并發(fā)請求數(shù)request_ratefloat否目標(biāo)請求速率請求/秒。未提供時(shí)由并發(fā)度推算request_rate_modestring否分布模式constant或poisson默認(rèn)constant合成數(shù)據(jù)生成以下參數(shù)控制基準(zhǔn)測試用合成提示詞的生成參數(shù)類型是否必填說明random_seedinteger否用于可復(fù)現(xiàn)合成數(shù)據(jù)生成的隨機(jī)種子prompt_input_tokens_meaninteger否每條提示詞輸入 Token 數(shù)的均值prompt_input_tokens_stddevinteger否輸入 Token 數(shù)的標(biāo)準(zhǔn)差prompt_output_tokens_meaninteger否期望輸出 Token 數(shù)的均值prompt_output_tokens_stddevinteger否輸出 Token 數(shù)的標(biāo)準(zhǔn)差源碼佐證上述字段的類型、必填性與默認(rèn)值均定義于 aiperf_models.py 的BaseConfig。其中endpoint_type與request_rate_mode使用Literal類型約束取值非法值會在配置加載階段直接報(bào)錯(cuò)對應(yīng)測試見 test_aiperf_models.py 中test_base_config_invalid_endpoint_type與test_base_config_invalid_request_rate_mode。參數(shù)掃描Parameter Sweepssweeps部分允許用不同參數(shù)值運(yùn)行多個(gè)基準(zhǔn)測試。腳本會生成所有掃描值的笛卡爾積Cartesian product為每個(gè)組合單獨(dú)運(yùn)行一次基準(zhǔn)測試見 run_aiperf.py?；A(chǔ)掃描示例sweeps: concurrency: [1, 2, 4, 8, 16]這將運(yùn)行 5 個(gè)基準(zhǔn)測試每個(gè)并發(fā)度一個(gè)。多參數(shù)掃描示例sweeps: concurrency: [1, 4, 16] prompt_input_tokens_mean: [100, 500, 1000]這將運(yùn)行9 個(gè)基準(zhǔn)測試3 × 3 笛卡爾積每個(gè)concurrency與prompt_input_tokens_mean的組合一個(gè)。每個(gè)掃描組合會創(chuàng)建一個(gè)以參數(shù)值命名的子目錄aiperf_results/ └── my_benchmark/ └── 20251114_140254/ ├── concurrency1_prompt_input_tokens_mean100/ ├── concurrency1_prompt_input_tokens_mean500/ ├── concurrency4_prompt_input_tokens_mean100/ └── ...源碼細(xì)節(jié)子目錄命名由_create_output_dir實(shí)現(xiàn)規(guī)則是keyvalue以_連接且參數(shù)按 key 排序以保證命名確定性見 run_aiperf.py。例如{concurrency: 10, benchmark_duration: 30}會生成目錄benchmark_duration30_concurrency10對應(yīng)測試見 test_run_aiperf.py 中TestCreateOutputDir。安全上限掃描組合總數(shù)受 100 次上限約束超過會拋出RuntimeError(Requested N runs, max is 100)run_aiperf.py防止誤配置導(dǎo)致超長任務(wù)。校驗(yàn)約束掃描鍵必須是BaseConfig的合法字段aiperf_models.py掃描值必須是 int 或 str 且不能為空列表否則配置校驗(yàn)直接失敗對應(yīng)測試見 test_aiperf_models.py 的TestAIPerfConfig類。完整配置示例# Name for this batch of benchmarks batch_name: my_benchmark # Base directory where all benchmark results will be stored output_base_dir: aiperf_results # Base configuration applied to all benchmark runs base_config: # Model and service configuration model: meta/llama-3.3-70b-instruct tokenizer: meta-llama/Llama-3.3-70B-Instruct url: https://integrate.api.nvidia.com endpoint: /v1/chat/completions endpoint_type: chat api_key_env_var: NVIDIA_API_KEY streaming: true # Load generation settings warmup_request_count: 20 benchmark_duration: 60 concurrency: 1 request_rate_mode: constant # Synthetic data generation random_seed: 12345 prompt_input_tokens_mean: 100 prompt_input_tokens_stddev: 10 prompt_output_tokens_mean: 50 prompt_output_tokens_stddev: 5 # Optional: parameter sweeps (Cartesian product) sweeps: concurrency: [1, 2, 4, 8, 16] prompt_input_tokens_mean: [100, 500, 1000]注意當(dāng)sweeps中聲明了某個(gè)參數(shù)如concurrency時(shí)base_config中對應(yīng)字段的值會被掃描值覆蓋因此示例配置 configs/sweep_concurrency.yaml 中把concurrency設(shè)為0并注釋由下方掃描覆蓋。參數(shù)合并邏輯見 run_aiperf.pyparams base_params if not sweep_params else {**base_params, **sweep_params}。常用掃描模式并發(fā)度擴(kuò)展測試sweeps: concurrency: [1, 2, 4, 8, 16, 32, 64]適用于尋找最優(yōu)并發(fā)度與吞吐上限。Token 長度影響測試sweeps: prompt_input_tokens_mean: [50, 100, 500, 1000, 2000] prompt_output_tokens_mean: [50, 100, 500, 1000]適用于理解 Token 數(shù)量對延遲與吞吐的影響。請求速率對比sweeps: request_rate_mode: [constant, poisson] concurrency: [4, 8, 16]適用于對比不同負(fù)載模式。輸出結(jié)構(gòu)結(jié)果歸檔在帶時(shí)間戳的目錄中aiperf_results/ ├── batch_name/ │ └── timestamp/ │ ├── run_metadata.json # Single run │ ├── process_result.json │ └── aiperf_outputs │ # OR for sweeps: │ ├── concurrency1/ │ │ ├── run_metadata.json │ │ ├── process_result.json │ │ └── aiperf_outputs │ ├── concurrency2/ │ │ └── ... │ └── concurrency4/ │ └── ...目錄層級由_get_batch_dir生成output_base_dir/batch_name/YYYYMMDD_HHMMSS時(shí)間戳格式長度固定為 15 位見 run_aiperf.py對應(yīng)測試見 test_run_aiperf.py 中TestGetBatchDir。輸出文件說明每個(gè)運(yùn)行目錄包含多類結(jié)果與元數(shù)據(jù)文件基準(zhǔn)運(yùn)行器生成的文件run_metadata.json包含本次基準(zhǔn)運(yùn)行的完整元數(shù)據(jù)用于復(fù)現(xiàn)。字段包括run_index、timestamp、config_file、sweep_params、base_config完整快照以及脫敏后的command見 run_aiperf.pyprocess_result.json包含子進(jìn)程執(zhí)行結(jié)果returncode、stdout、stderr 等CompletedProcess屬性見 run_aiperf.py。AIPerf 生成的文件inputs.json為基準(zhǔn)測試生成的合成提示詞數(shù)據(jù)profile_export_aiperf.json主指標(biāo)文件JSON 格式含聚合統(tǒng)計(jì)profile_export_aiperf.csv與 JSON 相同的指標(biāo)CSV 格式便于導(dǎo)入電子表格或數(shù)據(jù)分析庫profile_export.jsonlJSON Lines 格式含逐請求指標(biāo)每行是一個(gè)請求的完整 JSON 對象logs/aiperf.logAIPerf 執(zhí)行的詳細(xì)日志。深入原理命令如何從 YAML 變成 AIPerf 調(diào)用AIPerfRunner._build_commandrun_aiperf.py是配置與執(zhí)行之間的橋梁其轉(zhuǎn)換規(guī)則值得理解便于你在不修改腳本的情況下擴(kuò)展配置始終以aiperf profile作為命令前綴profile 模式base_config與掃描參數(shù)合并后逐字段轉(zhuǎn)換為命令行參數(shù)字段名下劃線轉(zhuǎn)為連字符prompt_input_tokens_mean→--prompt-input-tokens-mean值為None的可選字段不會生成對應(yīng)參數(shù)例如未配置tokenizer時(shí)就不傳--tokenizer布爾值True生成無值開關(guān)參數(shù)如--streamingFalse則忽略api_key_env_var特殊處理讀取環(huán)境變量值后生成--api-key 值自動注入--output-artifact-dir指向本次運(yùn)行的結(jié)果目錄?；鶞?zhǔn)開始前_check_servicerun_aiperf.py會對url /v1/models發(fā)起 5 秒超時(shí)的 HTTP 請求若配置了api_key_env_var則攜帶Authorization: Bearer key頭連接失敗或返回非 200 狀態(tài)都會拋出RuntimeError中止執(zhí)行對應(yīng)測試見 test_run_aiperf.py 中TestCheckService類。排查與注意事項(xiàng)API Key 缺失如果api_key_env_var指定的環(huán)境變量未設(shè)置腳本會在構(gòu)建命令階段報(bào)錯(cuò)并給出export提示服務(wù)不可達(dá)健康檢查會先于任何基準(zhǔn)運(yùn)行執(zhí)行ConnectError或非 200 響應(yīng)會中止任務(wù)避免浪費(fèi)一整輪掃描時(shí)間掃描組合過多超過 100 個(gè)組合會直接報(bào)錯(cuò)需縮小掃描值域長時(shí)任務(wù)中斷掃描中途按CtrlC會捕獲KeyboardInterrupt并中止后續(xù)運(yùn)行run_aiperf.py已完成的運(yùn)行結(jié)果與元數(shù)據(jù)仍保留在各自目錄中密鑰安全寫入日志與run_metadata.json的命令均經(jīng)過脫敏僅暴露 API Key 后 6 位可在復(fù)現(xiàn)命令時(shí)結(jié)合環(huán)境變量恢復(fù)完整密鑰結(jié)果可復(fù)現(xiàn)run_metadata.json中保存了完整base_config快照、掃描參數(shù)與脫敏命令配合random_seed固定合成數(shù)據(jù)可在后續(xù)分析中精確還原每次運(yùn)行的環(huán)境。延伸閱讀基準(zhǔn)測試總覽了解 Guardrails Mock LLM AIPerf 的端到端測試拓?fù)渑c Procfile 編排方式run_aiperf.py核心執(zhí)行器源碼命令構(gòu)建、掃描生成、元數(shù)據(jù)保存、健康檢查aiperf_models.py配置模型的字段定義與校驗(yàn)邏輯configs/single_concurrency.yaml 與 configs/sweep_concurrency.yaml開箱即用的示例配置tests/test_run_aiperf.py 與 tests/test_aiperf_models.py覆蓋命令構(gòu)建、參數(shù)合并、脫敏、掃描上限、配置校驗(yàn)等行為的測試用例是理解腳本行為邊界的權(quán)威參考。贊分享人工智能大模型AI 安全治理模型安全內(nèi)容安全提示詞注入防護(hù)RAG【免費(fèi)下載鏈接】GuardrailsNeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems.項(xiàng)目地址https://gitcode.com/gh_mirrors/ne/Guardrails點(diǎn)擊查看免費(fèi)下載相關(guān)推薦garak 集成 NeMo Guardrails用 LLM 漏洞掃描器對防護(hù)配置做安全測試garak 集成 NeMo Guardrails用 LLM 漏洞掃描器對防護(hù)配置做安全測試 導(dǎo)讀 本篇文章圍繞 garakthe LLM vulnerabi人工智能大模型模型評測紅藍(lán)對抗提示詞注入防護(hù)模型安全AI 安全治理Model-Optimizer 性能基準(zhǔn)測試指南基于 AIPerf 的模型服務(wù)吞吐量與延遲測量Model Optimizer 性能基準(zhǔn)測試指南基于 AIPerf 的模型服務(wù)吞吐量與延遲測量 導(dǎo)讀 本文講解 Model Optimizer 倉庫中用于驗(yàn)證人工智能大模型模型優(yōu)化模型量化模型壓縮NeMo Guardrails性能基準(zhǔn)測試不同配置下的響應(yīng)時(shí)間對比NeMo Guardrails性能基準(zhǔn)測試不同配置下的響應(yīng)時(shí)間對比 想要了解如何為你的LLM應(yīng)用選擇最佳配置這篇 NeMo Guardrails性能基準(zhǔn)測試人工智能大模型AI 安全治理模型安全內(nèi)容安全提示詞注入防護(hù)RAG上一篇Git LFS終極安裝指南全平臺快速部署方案下一篇build-extra自動化構(gòu)建流程解析從源碼到發(fā)布的完整路徑創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 NeMo Guardrails 集成 AIPerf：基于 YAML 配置與參數(shù)掃描的 LLM 服務(wù)性能基準(zhǔn)測試實(shí)戰(zhàn)
人工智能大模型AI 安全治理模型安全內(nèi)容安全提示詞注入防護(hù)RAG【免費(fèi)下載鏈接】GuardrailsNeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems.項(xiàng)目地址https://gitcode.com/gh_mirrors/ne/Guardrails點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文圍繞 NeMo Guardrails 倉庫中 benchmark/aiperf/README.md 所介紹的 AIPerf 基準(zhǔn)測試工具鏈展開講解如何通過run_aiperf.py腳本以聲明式 YAML 配置驅(qū)動 NVIDIA AIPerf對任意 OpenAI 兼容推理服務(wù)執(zhí)行批量基準(zhǔn)測試與參數(shù)掃描Sweep并自動整理輸出結(jié)果。讀完本文你將掌握環(huán)境搭建與 API Key 配置、單次基準(zhǔn)測試與并發(fā)度掃描的完整命令、全部配置參數(shù)的含義與默認(rèn)值、常用掃描模式的實(shí)戰(zhàn)寫法以及輸出目錄結(jié)構(gòu)與可復(fù)現(xiàn)元數(shù)據(jù)的解讀方式——從而以數(shù)據(jù)驅(qū)動的方式量化 NeMo Guardrails 應(yīng)用在吞吐、延遲上的安全與性能取舍。背景為什么需要 AIPerf 基準(zhǔn)測試工具鏈AIPerf 是 NVIDIA 面向 LLM 的基準(zhǔn)測試工具支持任意 OpenAI 兼容的推理服務(wù)能夠生成合成數(shù)據(jù)負(fù)載并輸出性能對比與分析的完整指標(biāo)。不過直接使用 AIPerf 手動執(zhí)行多輪不同參數(shù)的基準(zhǔn)測試非常繁瑣。倉庫中的 run_aiperf.py 腳本在 AIPerf 之上封裝了一層編排能力提供批量執(zhí)行Batch Execution一條命令按順序跑完多個(gè)基準(zhǔn)測試參數(shù)掃描Parameter Sweeps自動生成并運(yùn)行不同參數(shù)組合如掃描并發(fā)度、Token 數(shù)量等的基準(zhǔn)測試結(jié)果整理Organized Results將結(jié)果自動歸檔到帶時(shí)間戳、命名清晰的目錄中YAML 配置用簡單、聲明式的配置文件實(shí)現(xiàn)可復(fù)現(xiàn)的基準(zhǔn)測試運(yùn)行元數(shù)據(jù)Run Metadata為每次運(yùn)行保存完整元數(shù)據(jù)配置、命令、時(shí)間戳便于日后分析與復(fù)現(xiàn)服務(wù)健康檢查Service Health Checks基準(zhǔn)測試開始前先校驗(yàn)?zāi)繕?biāo)服務(wù)可用。腳本入口定義在main.py通過python -m benchmark.aiperf即可調(diào)用命令行界面由 Typer 構(gòu)建?？焖匍_始環(huán)境準(zhǔn)備以下步驟已在 Python 3.11.11 上驗(yàn)證通過。倉庫自帶的示例配置使用 NVIDIA 托管的模型因此需要在 https://build.nvidia.com/ 注冊賬號并創(chuàng)建 Personal API Key用于訪問 NVIDIA 托管的模型在 https://huggingface.co/ 注冊賬號用于拉取 Meta Llama 3.3 70B Instruct tokenizerAIPerf 需要用它計(jì)算 Token 數(shù)量。1. 創(chuàng)建虛擬環(huán)境mkdir ~/env python -m venv ~/env/aiperf source ~/env/aiperf/bin/activate2. 安裝依賴pip install aiperf huggingface_hub typer httpx3. 登錄 Hugging Facehuggingface-cli login4. 設(shè)置 NVIDIA API Keyexport NVIDIA_API_KEYyour-api-key-here要點(diǎn)腳本本身不直接讀取 API Key 的明文值而是通過配置中的api_key_env_var字段指定環(huán)境變量名再在構(gòu)建 AIPerf 命令時(shí)讀取該環(huán)境變量并注入--api-key參數(shù)詳見 run_aiperf.py。如果環(huán)境變量未設(shè)置腳本會拋出RuntimeError并提示export 變量名your-api-key這一行為也有對應(yīng)的測試覆蓋見 test_run_aiperf.py 中test_build_command_with_missing_api_key_env_var。運(yùn)行基準(zhǔn)測試每個(gè)基準(zhǔn)測試都通過 aiperf_models.py 中定義的AIPerfConfigPydantic 模型進(jìn)行配置配置存于 YAML 文件加載后轉(zhuǎn)換為AIPerfConfig對象并校驗(yàn)。倉庫內(nèi)置兩個(gè)可直接擴(kuò)展的示例配置均使用 NVIDIA 托管模型configs/single_concurrency.yaml單次運(yùn)行、固定單個(gè)并發(fā)度的示例configs/sweep_concurrency.yaml多次運(yùn)行、掃描并發(fā)度的示例。通用啟動命令python -m benchmark.aiperf --config-file path-to-config.yaml運(yùn)行單次基準(zhǔn)測試python -m benchmark.aiperf --config-file benchmark/aiperf/configs/single_concurrency.yaml示例輸出2025-12-01 10:35:17 INFO: Running AIPerf with configuration: benchmark/aiperf/configs/single_concurrency.yaml 2025-12-01 10:35:17 INFO: Results root directory: aiperf_results/single_concurrency/20251201_103517 2025-12-01 10:35:17 INFO: Sweeping parameters: None 2025-12-01 10:35:17 INFO: Running AIPerf with configuration: benchmark/aiperf/configs/single_concurrency.yaml 2025-12-01 10:35:17 INFO: Output directory: aiperf_results/single_concurrency/20251201_103517 2025-12-01 10:35:17 INFO: Single Run 2025-12-01 10:36:54 INFO: Run completed successfully 2025-12-01 10:36:54 INFO: SUMMARY 2025-12-01 10:36:54 INFO: Total runs : 1 2025-12-01 10:36:54 INFO: Completed : 1 2025-12-01 10:36:54 INFO: Failed : 0運(yùn)行并發(fā)度掃描python -m benchmark.aiperf --config-file benchmark/aiperf/configs/sweep_concurrency.yaml示例輸出2025-11-14 14:02:54 INFO: Running AIPerf with configuration: benchmark/aiperf/configs/sweep_concurrency.yaml 2025-11-14 14:02:54 INFO: Results root directory: aiperf_results/sweep_concurrency/20251114_140254 2025-11-14 14:02:54 INFO: Sweeping parameters: {concurrency: [1, 2, 4]} 2025-11-14 14:02:54 INFO: Running 3 benchmarks 2025-11-14 14:02:54 INFO: Run 1/3 2025-11-14 14:02:54 INFO: Sweep parameters: {concurrency: 1} 2025-11-14 14:04:12 INFO: Run 1 completed successfully 2025-11-14 14:04:12 INFO: Run 2/3 2025-11-14 14:04:12 INFO: Sweep parameters: {concurrency: 2} 2025-11-14 14:05:25 INFO: Run 2 completed successfully 2025-11-14 14:05:25 INFO: Run 3/3 2025-11-14 14:05:25 INFO: Sweep parameters: {concurrency: 4} 2025-11-14 14:06:38 INFO: Run 3 completed successfully 2025-11-14 14:06:38 INFO: SUMMARY 2025-11-14 14:06:38 INFO: Total runs : 3 2025-11-14 14:06:38 INFO: Completed : 3 2025-11-14 14:06:38 INFO: Failed : 0與 Guardrails 服務(wù)聯(lián)動的完整鏈路在 benchmark/README.md 中給出了與本文主題直接銜接的端到端用法先用 Honcho 按 benchmark/Procfile 拉起 Guardrails OpenAI 兼容服務(wù)端口 9000與兩個(gè) Mock LLM應(yīng)用主模型在 8000 端口、內(nèi)容安全模型在 8001 端口再用python -m benchmark.aiperf --config-file benchmark/aiperf/configs/sweep_concurrency_benchmark.yaml發(fā)起從并發(fā)度 1 到 2562 的冪次共 9 輪掃描。請求鏈路為AIPerf → Guardrails 服務(wù) → Mock LLM應(yīng)用 內(nèi)容安全從而在無需 GPU、幾分鐘內(nèi)即可量化加入 guardrails 所帶來的安全收益與延遲代價(jià)之間的權(quán)衡。附加選項(xiàng)--dry-run預(yù)覽而不執(zhí)行--dry-run允許只預(yù)覽所有將執(zhí)行的基準(zhǔn)命令而不真正運(yùn)行適用于校驗(yàn)配置文件是否正確檢查會生成哪些參數(shù)組合在投入長時(shí)掃描前預(yù)估總執(zhí)行時(shí)長調(diào)試配置問題。python -m benchmark.aiperf --config-file benchmark/aiperf/configs/sweep_concurrency.yaml --dry-rundry-run 模式下腳本會依次執(zhí)行加載并校驗(yàn)配置 → 檢查服務(wù)連通性 → 生成全部掃描組合 → 顯示將要執(zhí)行的命令 → 不運(yùn)行任何基準(zhǔn)測試即退出。從源碼看dry-run 在 run_aiperf.py 與 run_aiperf.py 中會直接返回AIPerfSummary(total0, completed0, failed0)。--verbose詳細(xì)調(diào)試輸出python -m benchmark.aiperf --config-file config.yaml --verboseVerbose 模式提供傳給 AIPerf 的完整命令行參數(shù)詳細(xì)的參數(shù)合并邏輯base config sweep params輸出目錄創(chuàng)建細(xì)節(jié)AIPerf 的實(shí)時(shí)輸出默認(rèn)被捕獲到文件錯(cuò)誤的完整堆棧信息。提示調(diào)試配置問題或想實(shí)時(shí)觀察基準(zhǔn)執(zhí)行進(jìn)度時(shí)使用 verbose 模式。從源碼看--verbose會把日志級別提升到 DEBUGrun_aiperf.py這會產(chǎn)生兩個(gè)連鎖效果一是構(gòu)建命令時(shí)把ui_type設(shè)為simple而非nonerun_aiperf.py二是subprocess.run不再捕獲輸出而是透傳到終端run_aiperf.py。此外日志中打印的命令會經(jīng)過 API Key 脫敏處理——只保留密鑰最后 6 個(gè)字符其余以*遮蔽見 run_aiperf.py避免密鑰泄露到日志與元數(shù)據(jù)文件中。配置文件詳解配置文件是位于 configs 目錄下的 YAML 文件使用 Pydantic 模型提前校驗(yàn)盡早發(fā)現(xiàn)配置錯(cuò)誤。配置加載失敗文件不存在、YAML 語法錯(cuò)誤、校驗(yàn)失敗時(shí)腳本會記錄錯(cuò)誤并以退出碼 1 終止見 run_aiperf.py。頂層配置字段字段類型是否必填說明batch_namestring否這批基準(zhǔn)測試的名稱用于輸出目錄命名如aiperf_results/batch_name/timestamp/。默認(rèn)值benchmarkoutput_base_dirstring否所有基準(zhǔn)結(jié)果存放的根目錄。默認(rèn)值aiperf_resultsbase_configobject是應(yīng)用于所有基準(zhǔn)運(yùn)行的基礎(chǔ)配置參數(shù)見下文sweepsobject否可選的參數(shù)掃描用于以不同取值運(yùn)行多個(gè)基準(zhǔn)測試base_config 基礎(chǔ)配置參數(shù)base_config中的參數(shù)會被原樣傳給 AIPerf其中任意一項(xiàng)都可以被掃描參數(shù)覆蓋。模型與服務(wù)配置參數(shù)類型是否必填說明modelstring是模型標(biāo)識如meta/llama-3.3-70b-instructtokenizerstring否Hugging Face 上的 tokenizer 名稱或本地路徑。未提供時(shí) AIPerf 會嘗試使用模型名urlstring是推理服務(wù)的 Base URL如https://integrate.api.nvidia.comendpointstring否API 端點(diǎn)路徑默認(rèn)/v1/chat/completionsendpoint_typestring否端點(diǎn)類型chat或completions默認(rèn)chatapi_key_env_varstring否存放 API Key 的環(huán)境變量名如NVIDIA_API_KEYstreamingboolean否是否使用流式模式默認(rèn)false負(fù)載生成設(shè)置參數(shù)類型是否必填說明warmup_request_countinteger是基準(zhǔn)測試開始前發(fā)送的預(yù)熱請求數(shù)量benchmark_durationinteger是基準(zhǔn)測試時(shí)長秒concurrencyinteger是基準(zhǔn)期間維持的并發(fā)請求數(shù)request_ratefloat否目標(biāo)請求速率請求/秒。未提供時(shí)由并發(fā)度推算request_rate_modestring否分布模式constant或poisson默認(rèn)constant合成數(shù)據(jù)生成以下參數(shù)控制基準(zhǔn)測試用合成提示詞的生成參數(shù)類型是否必填說明random_seedinteger否用于可復(fù)現(xiàn)合成數(shù)據(jù)生成的隨機(jī)種子prompt_input_tokens_meaninteger否每條提示詞輸入 Token 數(shù)的均值prompt_input_tokens_stddevinteger否輸入 Token 數(shù)的標(biāo)準(zhǔn)差prompt_output_tokens_meaninteger否期望輸出 Token 數(shù)的均值prompt_output_tokens_stddevinteger否輸出 Token 數(shù)的標(biāo)準(zhǔn)差源碼佐證上述字段的類型、必填性與默認(rèn)值均定義于 aiperf_models.py 的BaseConfig。其中endpoint_type與request_rate_mode使用Literal類型約束取值非法值會在配置加載階段直接報(bào)錯(cuò)對應(yīng)測試見 test_aiperf_models.py 中test_base_config_invalid_endpoint_type與test_base_config_invalid_request_rate_mode。參數(shù)掃描Parameter Sweepssweeps部分允許用不同參數(shù)值運(yùn)行多個(gè)基準(zhǔn)測試。腳本會生成所有掃描值的笛卡爾積Cartesian product為每個(gè)組合單獨(dú)運(yùn)行一次基準(zhǔn)測試見 run_aiperf.py?；A(chǔ)掃描示例sweeps: concurrency: [1, 2, 4, 8, 16]這將運(yùn)行 5 個(gè)基準(zhǔn)測試每個(gè)并發(fā)度一個(gè)。多參數(shù)掃描示例sweeps: concurrency: [1, 4, 16] prompt_input_tokens_mean: [100, 500, 1000]這將運(yùn)行9 個(gè)基準(zhǔn)測試3 × 3 笛卡爾積每個(gè)concurrency與prompt_input_tokens_mean的組合一個(gè)。每個(gè)掃描組合會創(chuàng)建一個(gè)以參數(shù)值命名的子目錄aiperf_results/ └── my_benchmark/ └── 20251114_140254/ ├── concurrency1_prompt_input_tokens_mean100/ ├── concurrency1_prompt_input_tokens_mean500/ ├── concurrency4_prompt_input_tokens_mean100/ └── ...源碼細(xì)節(jié)子目錄命名由_create_output_dir實(shí)現(xiàn)規(guī)則是keyvalue以_連接且參數(shù)按 key 排序以保證命名確定性見 run_aiperf.py。例如{concurrency: 10, benchmark_duration: 30}會生成目錄benchmark_duration30_concurrency10對應(yīng)測試見 test_run_aiperf.py 中TestCreateOutputDir。安全上限掃描組合總數(shù)受 100 次上限約束超過會拋出RuntimeError(Requested N runs, max is 100)run_aiperf.py防止誤配置導(dǎo)致超長任務(wù)。校驗(yàn)約束掃描鍵必須是BaseConfig的合法字段aiperf_models.py掃描值必須是 int 或 str 且不能為空列表否則配置校驗(yàn)直接失敗對應(yīng)測試見 test_aiperf_models.py 的TestAIPerfConfig類。完整配置示例# Name for this batch of benchmarks batch_name: my_benchmark # Base directory where all benchmark results will be stored output_base_dir: aiperf_results # Base configuration applied to all benchmark runs base_config: # Model and service configuration model: meta/llama-3.3-70b-instruct tokenizer: meta-llama/Llama-3.3-70B-Instruct url: https://integrate.api.nvidia.com endpoint: /v1/chat/completions endpoint_type: chat api_key_env_var: NVIDIA_API_KEY streaming: true # Load generation settings warmup_request_count: 20 benchmark_duration: 60 concurrency: 1 request_rate_mode: constant # Synthetic data generation random_seed: 12345 prompt_input_tokens_mean: 100 prompt_input_tokens_stddev: 10 prompt_output_tokens_mean: 50 prompt_output_tokens_stddev: 5 # Optional: parameter sweeps (Cartesian product) sweeps: concurrency: [1, 2, 4, 8, 16] prompt_input_tokens_mean: [100, 500, 1000]注意當(dāng)sweeps中聲明了某個(gè)參數(shù)如concurrency時(shí)base_config中對應(yīng)字段的值會被掃描值覆蓋因此示例配置 configs/sweep_concurrency.yaml 中把concurrency設(shè)為0并注釋由下方掃描覆蓋。參數(shù)合并邏輯見 run_aiperf.pyparams base_params if not sweep_params else {**base_params, **sweep_params}。常用掃描模式并發(fā)度擴(kuò)展測試sweeps: concurrency: [1, 2, 4, 8, 16, 32, 64]適用于尋找最優(yōu)并發(fā)度與吞吐上限。Token 長度影響測試sweeps: prompt_input_tokens_mean: [50, 100, 500, 1000, 2000] prompt_output_tokens_mean: [50, 100, 500, 1000]適用于理解 Token 數(shù)量對延遲與吞吐的影響。請求速率對比sweeps: request_rate_mode: [constant, poisson] concurrency: [4, 8, 16]適用于對比不同負(fù)載模式。輸出結(jié)構(gòu)結(jié)果歸檔在帶時(shí)間戳的目錄中aiperf_results/ ├── batch_name/ │ └── timestamp/ │ ├── run_metadata.json # Single run │ ├── process_result.json │ └── aiperf_outputs │ # OR for sweeps: │ ├── concurrency1/ │ │ ├── run_metadata.json │ │ ├── process_result.json │ │ └── aiperf_outputs │ ├── concurrency2/ │ │ └── ... │ └── concurrency4/ │ └── ...目錄層級由_get_batch_dir生成output_base_dir/batch_name/YYYYMMDD_HHMMSS時(shí)間戳格式長度固定為 15 位見 run_aiperf.py對應(yīng)測試見 test_run_aiperf.py 中TestGetBatchDir。輸出文件說明每個(gè)運(yùn)行目錄包含多類結(jié)果與元數(shù)據(jù)文件基準(zhǔn)運(yùn)行器生成的文件run_metadata.json包含本次基準(zhǔn)運(yùn)行的完整元數(shù)據(jù)用于復(fù)現(xiàn)。字段包括run_index、timestamp、config_file、sweep_params、base_config完整快照以及脫敏后的command見 run_aiperf.pyprocess_result.json包含子進(jìn)程執(zhí)行結(jié)果returncode、stdout、stderr 等CompletedProcess屬性見 run_aiperf.py。AIPerf 生成的文件inputs.json為基準(zhǔn)測試生成的合成提示詞數(shù)據(jù)profile_export_aiperf.json主指標(biāo)文件JSON 格式含聚合統(tǒng)計(jì)profile_export_aiperf.csv與 JSON 相同的指標(biāo)CSV 格式便于導(dǎo)入電子表格或數(shù)據(jù)分析庫profile_export.jsonlJSON Lines 格式含逐請求指標(biāo)每行是一個(gè)請求的完整 JSON 對象logs/aiperf.logAIPerf 執(zhí)行的詳細(xì)日志。深入原理命令如何從 YAML 變成 AIPerf 調(diào)用AIPerfRunner._build_commandrun_aiperf.py是配置與執(zhí)行之間的橋梁其轉(zhuǎn)換規(guī)則值得理解便于你在不修改腳本的情況下擴(kuò)展配置始終以aiperf profile作為命令前綴profile 模式base_config與掃描參數(shù)合并后逐字段轉(zhuǎn)換為命令行參數(shù)字段名下劃線轉(zhuǎn)為連字符prompt_input_tokens_mean→--prompt-input-tokens-mean值為None的可選字段不會生成對應(yīng)參數(shù)例如未配置tokenizer時(shí)就不傳--tokenizer布爾值True生成無值開關(guān)參數(shù)如--streamingFalse則忽略api_key_env_var特殊處理讀取環(huán)境變量值后生成--api-key 值自動注入--output-artifact-dir指向本次運(yùn)行的結(jié)果目錄?；鶞?zhǔn)開始前_check_servicerun_aiperf.py會對url /v1/models發(fā)起 5 秒超時(shí)的 HTTP 請求若配置了api_key_env_var則攜帶Authorization: Bearer key頭連接失敗或返回非 200 狀態(tài)都會拋出RuntimeError中止執(zhí)行對應(yīng)測試見 test_run_aiperf.py 中TestCheckService類。排查與注意事項(xiàng)API Key 缺失如果api_key_env_var指定的環(huán)境變量未設(shè)置腳本會在構(gòu)建命令階段報(bào)錯(cuò)并給出export提示服務(wù)不可達(dá)健康檢查會先于任何基準(zhǔn)運(yùn)行執(zhí)行ConnectError或非 200 響應(yīng)會中止任務(wù)避免浪費(fèi)一整輪掃描時(shí)間掃描組合過多超過 100 個(gè)組合會直接報(bào)錯(cuò)需縮小掃描值域長時(shí)任務(wù)中斷掃描中途按CtrlC會捕獲KeyboardInterrupt并中止后續(xù)運(yùn)行run_aiperf.py已完成的運(yùn)行結(jié)果與元數(shù)據(jù)仍保留在各自目錄中密鑰安全寫入日志與run_metadata.json的命令均經(jīng)過脫敏僅暴露 API Key 后 6 位可在復(fù)現(xiàn)命令時(shí)結(jié)合環(huán)境變量恢復(fù)完整密鑰結(jié)果可復(fù)現(xiàn)run_metadata.json中保存了完整base_config快照、掃描參數(shù)與脫敏命令配合random_seed固定合成數(shù)據(jù)可在后續(xù)分析中精確還原每次運(yùn)行的環(huán)境。延伸閱讀基準(zhǔn)測試總覽了解 Guardrails Mock LLM AIPerf 的端到端測試拓?fù)渑c Procfile 編排方式run_aiperf.py核心執(zhí)行器源碼命令構(gòu)建、掃描生成、元數(shù)據(jù)保存、健康檢查aiperf_models.py配置模型的字段定義與校驗(yàn)邏輯configs/single_concurrency.yaml 與 configs/sweep_concurrency.yaml開箱即用的示例配置tests/test_run_aiperf.py 與 tests/test_aiperf_models.py覆蓋命令構(gòu)建、參數(shù)合并、脫敏、掃描上限、配置校驗(yàn)等行為的測試用例是理解腳本行為邊界的權(quán)威參考。贊分享人工智能大模型AI 安全治理模型安全內(nèi)容安全提示詞注入防護(hù)RAG【免費(fèi)下載鏈接】GuardrailsNeMo Guardrails is an open-source toolkit for easily adding programmable guardrails to LLM-based conversational systems.項(xiàng)目地址https://gitcode.com/gh_mirrors/ne/Guardrails點(diǎn)擊查看免費(fèi)下載相關(guān)推薦garak 集成 NeMo Guardrails用 LLM 漏洞掃描器對防護(hù)配置做安全測試garak 集成 NeMo Guardrails用 LLM 漏洞掃描器對防護(hù)配置做安全測試 導(dǎo)讀 本篇文章圍繞 garakthe LLM vulnerabi人工智能大模型模型評測紅藍(lán)對抗提示詞注入防護(hù)模型安全AI 安全治理Model-Optimizer 性能基準(zhǔn)測試指南基于 AIPerf 的模型服務(wù)吞吐量與延遲測量Model Optimizer 性能基準(zhǔn)測試指南基于 AIPerf 的模型服務(wù)吞吐量與延遲測量 導(dǎo)讀 本文講解 Model Optimizer 倉庫中用于驗(yàn)證人工智能大模型模型優(yōu)化模型量化模型壓縮NeMo Guardrails性能基準(zhǔn)測試不同配置下的響應(yīng)時(shí)間對比NeMo Guardrails性能基準(zhǔn)測試不同配置下的響應(yīng)時(shí)間對比 想要了解如何為你的LLM應(yīng)用選擇最佳配置這篇 NeMo Guardrails性能基準(zhǔn)測試人工智能大模型AI 安全治理模型安全內(nèi)容安全提示詞注入防護(hù)RAG上一篇Git LFS終極安裝指南全平臺快速部署方案下一篇build-extra自動化構(gòu)建流程解析從源碼到發(fā)布的完整路徑創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考