戰(zhàn))
人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音【免費(fèi)下載鏈接】modelsOfficially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.項(xiàng)目地址https://gitcode.com/gh_mirrors/mo/models點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文以 PP-TinyPose 人體關(guān)鍵點(diǎn)檢測模型PaddleDetection 官方輕量級實(shí)時(shí)姿態(tài)估計(jì)模型為核心圍繞其配套部署文檔 fastdeploy_en.md 展開完整介紹基于 FastDeploy 的 3 步部署流程安裝 SDK、下載示例并實(shí)現(xiàn)部署代碼、執(zhí)行推理。讀者完成閱讀后可以在一行命令內(nèi)在 X86 CPU 與 NVIDIA GPU 上運(yùn)行 PP-TinyPose 的圖片關(guān)鍵點(diǎn)推理并可自由切換推理后端含 TensorRT 加速。本文還結(jié)合倉庫內(nèi)的模型信息、基準(zhǔn)數(shù)據(jù)與應(yīng)用代碼補(bǔ)充模型特性、精度/速度指標(biāo)、參數(shù)說明及源碼級原理幫助讀者理解 FastDeploy 背后的部署架構(gòu)。一、為什么選擇 FastDeploy 部署 PP-TinyPose1.1 PP-TinyPose 模型簡介PP-TinyPose 是 PaddleDetection 面向移動(dòng)端設(shè)備優(yōu)化的實(shí)時(shí)關(guān)鍵點(diǎn)檢測模型可流暢地在移動(dòng)端設(shè)備上執(zhí)行多人姿態(tài)估計(jì)任務(wù)。根據(jù) info.yaml 的模型信息其所屬任務(wù)為 Computer Vision 下的 Object Detection 與 Keypoints Detection數(shù)據(jù)來源為 COCO train2017、AI Challenger trainset、COCO person keypoints val2017 與 COCO instances val2017License 為 Apache 2.0。從 introduction_cn.ipynb 可以看出PP-TinyPose 借助 PaddleDetection 自研的優(yōu)秀輕量級檢測模型 PicoDet同時(shí)提供了特色的輕量級垂類行人檢測模型。因此完整的 PP-TinyPose 部署通常采用檢測PicoDet 行人檢測 關(guān)鍵點(diǎn)TinyPose的串聯(lián)管線如下圖所示PP-TinyPose 的模型特性來自 download_cn.md 與 benchmark_cn.md輸入尺寸AP業(yè)務(wù)數(shù)據(jù)集APCOCO Val參數(shù)量FLOPS單人推理耗時(shí)FP32單人推理耗時(shí)FP16128×9684.358.41.32M81.56M4.57ms3.27ms256×19291.068.31.32M326.24M14.07ms8.33ms說明關(guān)鍵點(diǎn)檢測模型與行人檢測模型均使用 COCO train2017、AI Challenger trainset 以及采集的多姿態(tài)場景數(shù)據(jù)集作為訓(xùn)練集關(guān)鍵點(diǎn)檢測模型使用多姿態(tài)場景數(shù)據(jù)集作為測試集關(guān)鍵點(diǎn)檢測模型的精度指標(biāo)所依賴的檢測框由 ground truth 標(biāo)注得到移動(dòng)端推理速度測試環(huán)境為 Qualcomm Snapdragon 865采用 arm8 下 4 線程推理。1.2 FastDeploy 的部署能力與適用場景FastDeploy 是一款全場景、易用靈活、極致高效的 AI 推理部署工具提供開箱即用的云邊端部署體驗(yàn)支持超過 150 Text、Vision、Speech 和跨模態(tài)模型實(shí)現(xiàn)了 AI 模型端到端的優(yōu)化加速。目前支持的硬件包括 X86 CPU、NVIDIA GPU、ARM CPU、XPU、NPU、IPU 等通過一行代碼即可切換不同推理后端和硬件fastdeploy_cn.md。FastDeploy 部署 AI 模型只需 3 步安裝 FastDeploy 預(yù)編譯 SDK調(diào)用 FastDeploy 的 API 實(shí)現(xiàn)部署代碼推理部署。前置說明本文檔演示的部署流程下載 FastDeploy 示例來完成高性能部署體驗(yàn)僅展示 X86 CPU、NVIDIA GPU 的推理且默認(rèn)已經(jīng)準(zhǔn)備好 GPU 環(huán)境如 CUDA 11.2 等。如需部署到其他硬件或完整了解 FastDeploy 部署能力請參考 FastDeploy 官方倉庫。二、第一步安裝 FastDeploy SDK根據(jù) fastdeploy_en.md安裝 FastDeploy GPU 版 Python 預(yù)編譯包的命令如下pip install fastdeploy-gpu-python0.0.0 -f https://www.paddlepaddle.org.cn/whl/fastdeploy_nightly_build.html命令要點(diǎn)說明fastdeploy-gpu-python為包含 GPU 推理后端含 TensorRT 等的 Python wheel 包-f--find-links指定額外的 wheel 索引頁面即飛槳官方的 FastDeploy nightly build 輪子下載頁該命令適用于已具備 GPU 環(huán)境CUDA 11.2 等的機(jī)器若僅需 CPU 部署可安裝對應(yīng)的 CPU 版本包。安裝完成后可通過python -c import fastdeploy; print(fastdeploy.__version__)驗(yàn)證 SDK 是否導(dǎo)入成功。三、第二步下載部署示例與模型文件3.1 獲取 FastDeploy 示例代碼# 下載部署示例代碼 git clone https://github.com/PaddlePaddle/FastDeploy.git cd FastDeploy/examples/vision/keypointdetection/tiny_pose/python示例目錄中包含pptinypose_infer.py推理腳本其核心邏輯為加載 PP-TinyPose 推理模型 → 讀取輸入圖片 → 調(diào)用 FastDeploy API 完成關(guān)鍵點(diǎn)推理 → 輸出可視化結(jié)果。3.2 下載 PP-TinyPose 模型與測試圖片# 下載 PP-TinyPose 模型文件和測試圖片 wget https://bj.bcebos.com/paddlehub/fastdeploy/PP_TinyPose_256x192_infer.tgz tar -xvf PP_TinyPose_256x192_infer.tgz wget https://bj.bcebos.com/paddlehub/fastdeploy/hrnet_demo.jpg解壓后的PP_TinyPose_256x192_infer目錄即推理部署模型包含 FastDeploy 推理所需的模型結(jié)構(gòu)與參數(shù)文件hrnet_demo.jpg為官方提供的測試圖片。提示模型輸入尺寸為 256×192。若希望使用更輕量的 128×96 版本可參考 download_cn.md 中的模型下載鏈接自行替換部署模型。四、第三步運(yùn)行推理4.1 CPU 推理python pptinypose_infer.py --tinypose_model_dir PP_TinyPose_256x192_infer --image hrnet_demo.jpg --device cpu4.2 GPU 推理python pptinypose_infer.py --tinypose_model_dir PP_TinyPose_256x192_infer --image hrnet_demo.jpg --device gpu4.3 GPU TensorRT 推理python pptinypose_infer.py --tinypose_model_dir PP_TinyPose_256x192_infer --image hrnet_demo.jpg --device gpu --use_trt True注意TensorRT 推理第一次運(yùn)行時(shí)會對模型進(jìn)行序列化構(gòu)建 TensorRT engine有一定耗時(shí)需要耐心等待序列化完成后后續(xù)推理會顯著加速。運(yùn)行完成后的可視化結(jié)果人體關(guān)鍵點(diǎn)骨骼繪制在原始圖片上如下4.4 腳本參數(shù)說明以示例腳本為基礎(chǔ)FastDeploy 示例腳本pptinypose_infer.py的核心參數(shù)如下參數(shù)取值示例說明--tinypose_model_dirPP_TinyPose_256x192_inferPP-TinyPose 推理模型目錄--imagehrnet_demo.jpg輸入圖片路徑--devicecpu/gpu指定推理設(shè)備可一行切換硬件--use_trtTrue/False是否在 GPU 上啟用 TensorRT 后端通過一行--device參數(shù)即可在不同硬件與推理后端之間切換這正是 FastDeploy 統(tǒng)一部署體驗(yàn)的核心體現(xiàn)。五、倉庫內(nèi) PP-TinyPose 部署實(shí)踐參考5.1 基于 PaddleDetection 的檢測 關(guān)鍵點(diǎn)串聯(lián)推理倉庫中 APP/det_keypoint_unite_infer.py 提供了完整的行人檢測 關(guān)鍵點(diǎn)檢測串聯(lián)推理實(shí)現(xiàn)其調(diào)用鏈為加載 PicoDet 行人檢測器與 TinyPose 關(guān)鍵點(diǎn)檢測器對圖片先做檢測detector.predict_image置信度閾值det_threshold默認(rèn) 0.5對檢測到的行人框裁切g(shù)et_person_from_rect后送入關(guān)鍵點(diǎn)檢測器keypoint_detector.predict_image將關(guān)鍵點(diǎn)坐標(biāo)映射回原圖translate_to_ori_images并可視化visualize_pose。對應(yīng)命令行推理示例如下來自 introduction_cn.ipynbpython deploy/python/det_keypoint_unite_infer.py --det_model_diroutput_inference/picodet_v2_s_320_pedestrian --keypoint_model_diroutput_inference/tinypose_128x96 --image_filedemo_input/000000568213.jpg --deviceGPU --output_dirdemo_output視頻推理同理python deploy/python/det_keypoint_unite_infer.py --det_model_diroutput_inference/picodet_v2_s_320_pedestrian --keypoint_model_diroutput_inference/tinypose_128x96 --video_filedemo_input/demo_PP-TinyPose.mp4 --deviceGPU --output_dirdemo_output5.2 關(guān)鍵推理參數(shù)來自 det_keypoint_unite_utils.py參數(shù)默認(rèn)值說明--keypoint_batch_size8關(guān)鍵點(diǎn)推理 batch 大小檢測 batch 為 1檢測結(jié)果收集后按此 batch 送入關(guān)鍵點(diǎn)推理--det_threshold0.5行人檢測置信度閾值--keypoint_threshold0.5關(guān)鍵點(diǎn)可視化置信度閾值--output_diroutput可視化結(jié)果輸出目錄--devicecpuCPU/GPU/XPU 設(shè)備選擇--run_modepaddle運(yùn)行模式支持paddle/trt_fp32/trt_fp16/trt_int8--enable_mkldnnFalseCPU 上是否啟用 MKLDNN 加速--cpu_threads1CPU 推理線程數(shù)--use_darkTrue是否使用 DARK 后處理以提升關(guān)鍵點(diǎn)位置精度--smoothFalse是否對關(guān)鍵點(diǎn)做時(shí)序平滑視頻推理更穩(wěn)定--filter_typeOneEuro平滑濾波器類型可選OneEuro或EMA5.3 在線體驗(yàn)應(yīng)用Gradio倉庫 APP/app.py 提供了一個(gè)基于 Gradio 的在線體驗(yàn)應(yīng)用配置見 APP/app.yml支持圖片與視頻輸入僅支持 .mp4/.avi通過def_keypoint(input_date)完成推理輸出可視化結(jié)果與 JSON 結(jié)構(gòu)化結(jié)果關(guān)鍵點(diǎn)坐標(biāo)、置信度、檢測框。六、性能參考與部署注意事項(xiàng)6.1 服務(wù)端推理基準(zhǔn)來自 benchmark_cn.mdPython 部署NVIDIA T4 / CUDA 10.1 / CUDNN 7 / Python 3.7 / TensorRT 6batch size8僅推理時(shí)間模型CPUMKLDNN (1線程)CPUMKLDNN (4線程)GPUTensorRT (FP32)TensorRT (FP16)PP-TinyPose-128x9625.2ms14.1ms2.7ms0.9ms0.8msPP-TinyPose-256x19282.4ms36.1ms3.0ms1.5ms1.1msC 部署軟硬件環(huán)境同上模型CPUMKLDNN (1線程)CPUMKLDNN (4線程)GPUTensorRT (FP32)TensorRT (FP16)PP-TinyPose-128x9624.06ms13.05ms2.43ms0.75ms0.72msPP-TinyPose-256x19282.73ms36.25ms2.57ms1.38ms1.15ms6.2 移動(dòng)端推理基準(zhǔn)Paddle Lite版本 v2.10-rc僅推理時(shí)間模型麒麟 980 (1線程)麒麟 980 (4線程)驍龍 845 (1線程)驍龍 845 (4線程)驍龍 660 (1線程)驍龍 660 (4線程)PicoDet-s-192x192 (det)14.85ms5.45ms17.50ms7.56ms80.08ms27.36msPicoDet-s-320x320 (det)38.09ms12.00ms45.26ms17.07ms232.81ms58.68msPP-TinyPose-128x96 (pose)12.03ms5.09ms13.14ms6.73ms71.87ms20.04ms6.3 部署注意事項(xiàng)GPU 環(huán)境要求FastDeploy GPU 版需要 CUDA 11.2 等就緒環(huán)境TensorRT 首次序列化首次運(yùn)行 TensorRT 推理時(shí)需構(gòu)建 engine耗時(shí)較長屬正?，F(xiàn)象模型文件完整性PP_TinyPose_256x192_infer目錄需完整解壓后再運(yùn)行推理腳本否則加載模型會失敗輸入尺寸一致性若替換為 128×96 版本的部署模型需確認(rèn)推理腳本或預(yù)處理與模型輸入尺寸匹配。七、總結(jié)本文完整復(fù)現(xiàn)了基于 FastDeploy 的 PP-TinyPose 3 步部署流程安裝 SDK → 下載示例與模型 → 一行命令切換 CPU/GPU/TensorRT 完成推理。同時(shí)結(jié)合倉庫內(nèi)的 fastdeploy_en.md、download_cn.md、benchmark_cn.md 以及 APP 下的推理源碼對 PP-TinyPose 的模型特性、性能基準(zhǔn)、串聯(lián)推理管線與關(guān)鍵參數(shù)做了縱深補(bǔ)充。通過本文讀者不僅可以照單操作完成一次 PP-TinyPose 的高性能推理體驗(yàn)還能理解 FastDeploy 統(tǒng)一部署抽象背后的關(guān)鍵點(diǎn)一份部署代碼、一行設(shè)備參數(shù)即可在 X86 CPU、NVIDIA GPU含 TensorRT 加速等多種硬件上運(yùn)行。若需將 PP-TinyPose 部署到 ARM、XPU、NPU、IPU 等其他硬件可進(jìn)一步探索 FastDeploy 官方倉庫的完整能力矩陣。贊分享人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音【免費(fèi)下載鏈接】modelsOfficially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.項(xiàng)目地址https://gitcode.com/gh_mirrors/mo/models點(diǎn)擊查看免費(fèi)下載相關(guān)推薦PP-TinyPose 高性能部署實(shí)戰(zhàn)基于 FastDeploy 三步完成云邊端人體姿態(tài)估計(jì)推理PP TinyPose 高性能部署實(shí)戰(zhàn)基于 FastDeploy 三步完成云邊端人體姿態(tài)估計(jì)推理 本文以 PaddleDetection 推出的輕量級人體姿態(tài)人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音ComfyUI 報(bào) No HIP GPUsROCm 下四步修好 AMD GPU 識別ComfyUI 報(bào) No HIP GPUsROCm 下四步修好 AMD GPU 識別 Ubuntu 24.04 下 ComfyUI 報(bào) RuntimeErro人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音PP-LCNetV2 全場景高性能部署指南基于 FastDeploy 的云邊端推理實(shí)踐PP LCNetV2 全場景高性能部署指南基于 FastDeploy 的云邊端推理實(shí)踐 導(dǎo)讀 本文以 modelcenter/PP LCNetV2/fastd人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音上一篇終極WeMod增強(qiáng)工具指南如何免費(fèi)解鎖遠(yuǎn)程控制和AI功能下一篇WarcraftHelper徹底解決魔獸爭霸3現(xiàn)代化兼容問題的終極方案創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 PP-TinyPose 高性能推理部署指南：基于 FastDeploy 的 3 步云邊端部署實(shí)戰(zhàn)
人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音【免費(fèi)下載鏈接】modelsOfficially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.項(xiàng)目地址https://gitcode.com/gh_mirrors/mo/models點(diǎn)擊查看免費(fèi)下載導(dǎo)讀本文以 PP-TinyPose 人體關(guān)鍵點(diǎn)檢測模型PaddleDetection 官方輕量級實(shí)時(shí)姿態(tài)估計(jì)模型為核心圍繞其配套部署文檔 fastdeploy_en.md 展開完整介紹基于 FastDeploy 的 3 步部署流程安裝 SDK、下載示例并實(shí)現(xiàn)部署代碼、執(zhí)行推理。讀者完成閱讀后可以在一行命令內(nèi)在 X86 CPU 與 NVIDIA GPU 上運(yùn)行 PP-TinyPose 的圖片關(guān)鍵點(diǎn)推理并可自由切換推理后端含 TensorRT 加速。本文還結(jié)合倉庫內(nèi)的模型信息、基準(zhǔn)數(shù)據(jù)與應(yīng)用代碼補(bǔ)充模型特性、精度/速度指標(biāo)、參數(shù)說明及源碼級原理幫助讀者理解 FastDeploy 背后的部署架構(gòu)。一、為什么選擇 FastDeploy 部署 PP-TinyPose1.1 PP-TinyPose 模型簡介PP-TinyPose 是 PaddleDetection 面向移動(dòng)端設(shè)備優(yōu)化的實(shí)時(shí)關(guān)鍵點(diǎn)檢測模型可流暢地在移動(dòng)端設(shè)備上執(zhí)行多人姿態(tài)估計(jì)任務(wù)。根據(jù) info.yaml 的模型信息其所屬任務(wù)為 Computer Vision 下的 Object Detection 與 Keypoints Detection數(shù)據(jù)來源為 COCO train2017、AI Challenger trainset、COCO person keypoints val2017 與 COCO instances val2017License 為 Apache 2.0。從 introduction_cn.ipynb 可以看出PP-TinyPose 借助 PaddleDetection 自研的優(yōu)秀輕量級檢測模型 PicoDet同時(shí)提供了特色的輕量級垂類行人檢測模型。因此完整的 PP-TinyPose 部署通常采用檢測PicoDet 行人檢測 關(guān)鍵點(diǎn)TinyPose的串聯(lián)管線如下圖所示PP-TinyPose 的模型特性來自 download_cn.md 與 benchmark_cn.md輸入尺寸AP業(yè)務(wù)數(shù)據(jù)集APCOCO Val參數(shù)量FLOPS單人推理耗時(shí)FP32單人推理耗時(shí)FP16128×9684.358.41.32M81.56M4.57ms3.27ms256×19291.068.31.32M326.24M14.07ms8.33ms說明關(guān)鍵點(diǎn)檢測模型與行人檢測模型均使用 COCO train2017、AI Challenger trainset 以及采集的多姿態(tài)場景數(shù)據(jù)集作為訓(xùn)練集關(guān)鍵點(diǎn)檢測模型使用多姿態(tài)場景數(shù)據(jù)集作為測試集關(guān)鍵點(diǎn)檢測模型的精度指標(biāo)所依賴的檢測框由 ground truth 標(biāo)注得到移動(dòng)端推理速度測試環(huán)境為 Qualcomm Snapdragon 865采用 arm8 下 4 線程推理。1.2 FastDeploy 的部署能力與適用場景FastDeploy 是一款全場景、易用靈活、極致高效的 AI 推理部署工具提供開箱即用的云邊端部署體驗(yàn)支持超過 150 Text、Vision、Speech 和跨模態(tài)模型實(shí)現(xiàn)了 AI 模型端到端的優(yōu)化加速。目前支持的硬件包括 X86 CPU、NVIDIA GPU、ARM CPU、XPU、NPU、IPU 等通過一行代碼即可切換不同推理后端和硬件fastdeploy_cn.md。FastDeploy 部署 AI 模型只需 3 步安裝 FastDeploy 預(yù)編譯 SDK調(diào)用 FastDeploy 的 API 實(shí)現(xiàn)部署代碼推理部署。前置說明本文檔演示的部署流程下載 FastDeploy 示例來完成高性能部署體驗(yàn)僅展示 X86 CPU、NVIDIA GPU 的推理且默認(rèn)已經(jīng)準(zhǔn)備好 GPU 環(huán)境如 CUDA 11.2 等。如需部署到其他硬件或完整了解 FastDeploy 部署能力請參考 FastDeploy 官方倉庫。二、第一步安裝 FastDeploy SDK根據(jù) fastdeploy_en.md安裝 FastDeploy GPU 版 Python 預(yù)編譯包的命令如下pip install fastdeploy-gpu-python0.0.0 -f https://www.paddlepaddle.org.cn/whl/fastdeploy_nightly_build.html命令要點(diǎn)說明fastdeploy-gpu-python為包含 GPU 推理后端含 TensorRT 等的 Python wheel 包-f--find-links指定額外的 wheel 索引頁面即飛槳官方的 FastDeploy nightly build 輪子下載頁該命令適用于已具備 GPU 環(huán)境CUDA 11.2 等的機(jī)器若僅需 CPU 部署可安裝對應(yīng)的 CPU 版本包。安裝完成后可通過python -c import fastdeploy; print(fastdeploy.__version__)驗(yàn)證 SDK 是否導(dǎo)入成功。三、第二步下載部署示例與模型文件3.1 獲取 FastDeploy 示例代碼# 下載部署示例代碼 git clone https://github.com/PaddlePaddle/FastDeploy.git cd FastDeploy/examples/vision/keypointdetection/tiny_pose/python示例目錄中包含pptinypose_infer.py推理腳本其核心邏輯為加載 PP-TinyPose 推理模型 → 讀取輸入圖片 → 調(diào)用 FastDeploy API 完成關(guān)鍵點(diǎn)推理 → 輸出可視化結(jié)果。3.2 下載 PP-TinyPose 模型與測試圖片# 下載 PP-TinyPose 模型文件和測試圖片 wget https://bj.bcebos.com/paddlehub/fastdeploy/PP_TinyPose_256x192_infer.tgz tar -xvf PP_TinyPose_256x192_infer.tgz wget https://bj.bcebos.com/paddlehub/fastdeploy/hrnet_demo.jpg解壓后的PP_TinyPose_256x192_infer目錄即推理部署模型包含 FastDeploy 推理所需的模型結(jié)構(gòu)與參數(shù)文件hrnet_demo.jpg為官方提供的測試圖片。提示模型輸入尺寸為 256×192。若希望使用更輕量的 128×96 版本可參考 download_cn.md 中的模型下載鏈接自行替換部署模型。四、第三步運(yùn)行推理4.1 CPU 推理python pptinypose_infer.py --tinypose_model_dir PP_TinyPose_256x192_infer --image hrnet_demo.jpg --device cpu4.2 GPU 推理python pptinypose_infer.py --tinypose_model_dir PP_TinyPose_256x192_infer --image hrnet_demo.jpg --device gpu4.3 GPU TensorRT 推理python pptinypose_infer.py --tinypose_model_dir PP_TinyPose_256x192_infer --image hrnet_demo.jpg --device gpu --use_trt True注意TensorRT 推理第一次運(yùn)行時(shí)會對模型進(jìn)行序列化構(gòu)建 TensorRT engine有一定耗時(shí)需要耐心等待序列化完成后后續(xù)推理會顯著加速。運(yùn)行完成后的可視化結(jié)果人體關(guān)鍵點(diǎn)骨骼繪制在原始圖片上如下4.4 腳本參數(shù)說明以示例腳本為基礎(chǔ)FastDeploy 示例腳本pptinypose_infer.py的核心參數(shù)如下參數(shù)取值示例說明--tinypose_model_dirPP_TinyPose_256x192_inferPP-TinyPose 推理模型目錄--imagehrnet_demo.jpg輸入圖片路徑--devicecpu/gpu指定推理設(shè)備可一行切換硬件--use_trtTrue/False是否在 GPU 上啟用 TensorRT 后端通過一行--device參數(shù)即可在不同硬件與推理后端之間切換這正是 FastDeploy 統(tǒng)一部署體驗(yàn)的核心體現(xiàn)。五、倉庫內(nèi) PP-TinyPose 部署實(shí)踐參考5.1 基于 PaddleDetection 的檢測 關(guān)鍵點(diǎn)串聯(lián)推理倉庫中 APP/det_keypoint_unite_infer.py 提供了完整的行人檢測 關(guān)鍵點(diǎn)檢測串聯(lián)推理實(shí)現(xiàn)其調(diào)用鏈為加載 PicoDet 行人檢測器與 TinyPose 關(guān)鍵點(diǎn)檢測器對圖片先做檢測detector.predict_image置信度閾值det_threshold默認(rèn) 0.5對檢測到的行人框裁切g(shù)et_person_from_rect后送入關(guān)鍵點(diǎn)檢測器keypoint_detector.predict_image將關(guān)鍵點(diǎn)坐標(biāo)映射回原圖translate_to_ori_images并可視化visualize_pose。對應(yīng)命令行推理示例如下來自 introduction_cn.ipynbpython deploy/python/det_keypoint_unite_infer.py --det_model_diroutput_inference/picodet_v2_s_320_pedestrian --keypoint_model_diroutput_inference/tinypose_128x96 --image_filedemo_input/000000568213.jpg --deviceGPU --output_dirdemo_output視頻推理同理python deploy/python/det_keypoint_unite_infer.py --det_model_diroutput_inference/picodet_v2_s_320_pedestrian --keypoint_model_diroutput_inference/tinypose_128x96 --video_filedemo_input/demo_PP-TinyPose.mp4 --deviceGPU --output_dirdemo_output5.2 關(guān)鍵推理參數(shù)來自 det_keypoint_unite_utils.py參數(shù)默認(rèn)值說明--keypoint_batch_size8關(guān)鍵點(diǎn)推理 batch 大小檢測 batch 為 1檢測結(jié)果收集后按此 batch 送入關(guān)鍵點(diǎn)推理--det_threshold0.5行人檢測置信度閾值--keypoint_threshold0.5關(guān)鍵點(diǎn)可視化置信度閾值--output_diroutput可視化結(jié)果輸出目錄--devicecpuCPU/GPU/XPU 設(shè)備選擇--run_modepaddle運(yùn)行模式支持paddle/trt_fp32/trt_fp16/trt_int8--enable_mkldnnFalseCPU 上是否啟用 MKLDNN 加速--cpu_threads1CPU 推理線程數(shù)--use_darkTrue是否使用 DARK 后處理以提升關(guān)鍵點(diǎn)位置精度--smoothFalse是否對關(guān)鍵點(diǎn)做時(shí)序平滑視頻推理更穩(wěn)定--filter_typeOneEuro平滑濾波器類型可選OneEuro或EMA5.3 在線體驗(yàn)應(yīng)用Gradio倉庫 APP/app.py 提供了一個(gè)基于 Gradio 的在線體驗(yàn)應(yīng)用配置見 APP/app.yml支持圖片與視頻輸入僅支持 .mp4/.avi通過def_keypoint(input_date)完成推理輸出可視化結(jié)果與 JSON 結(jié)構(gòu)化結(jié)果關(guān)鍵點(diǎn)坐標(biāo)、置信度、檢測框。六、性能參考與部署注意事項(xiàng)6.1 服務(wù)端推理基準(zhǔn)來自 benchmark_cn.mdPython 部署NVIDIA T4 / CUDA 10.1 / CUDNN 7 / Python 3.7 / TensorRT 6batch size8僅推理時(shí)間模型CPUMKLDNN (1線程)CPUMKLDNN (4線程)GPUTensorRT (FP32)TensorRT (FP16)PP-TinyPose-128x9625.2ms14.1ms2.7ms0.9ms0.8msPP-TinyPose-256x19282.4ms36.1ms3.0ms1.5ms1.1msC 部署軟硬件環(huán)境同上模型CPUMKLDNN (1線程)CPUMKLDNN (4線程)GPUTensorRT (FP32)TensorRT (FP16)PP-TinyPose-128x9624.06ms13.05ms2.43ms0.75ms0.72msPP-TinyPose-256x19282.73ms36.25ms2.57ms1.38ms1.15ms6.2 移動(dòng)端推理基準(zhǔn)Paddle Lite版本 v2.10-rc僅推理時(shí)間模型麒麟 980 (1線程)麒麟 980 (4線程)驍龍 845 (1線程)驍龍 845 (4線程)驍龍 660 (1線程)驍龍 660 (4線程)PicoDet-s-192x192 (det)14.85ms5.45ms17.50ms7.56ms80.08ms27.36msPicoDet-s-320x320 (det)38.09ms12.00ms45.26ms17.07ms232.81ms58.68msPP-TinyPose-128x96 (pose)12.03ms5.09ms13.14ms6.73ms71.87ms20.04ms6.3 部署注意事項(xiàng)GPU 環(huán)境要求FastDeploy GPU 版需要 CUDA 11.2 等就緒環(huán)境TensorRT 首次序列化首次運(yùn)行 TensorRT 推理時(shí)需構(gòu)建 engine耗時(shí)較長屬正?，F(xiàn)象模型文件完整性PP_TinyPose_256x192_infer目錄需完整解壓后再運(yùn)行推理腳本否則加載模型會失敗輸入尺寸一致性若替換為 128×96 版本的部署模型需確認(rèn)推理腳本或預(yù)處理與模型輸入尺寸匹配。七、總結(jié)本文完整復(fù)現(xiàn)了基于 FastDeploy 的 PP-TinyPose 3 步部署流程安裝 SDK → 下載示例與模型 → 一行命令切換 CPU/GPU/TensorRT 完成推理。同時(shí)結(jié)合倉庫內(nèi)的 fastdeploy_en.md、download_cn.md、benchmark_cn.md 以及 APP 下的推理源碼對 PP-TinyPose 的模型特性、性能基準(zhǔn)、串聯(lián)推理管線與關(guān)鍵參數(shù)做了縱深補(bǔ)充。通過本文讀者不僅可以照單操作完成一次 PP-TinyPose 的高性能推理體驗(yàn)還能理解 FastDeploy 統(tǒng)一部署抽象背后的關(guān)鍵點(diǎn)一份部署代碼、一行設(shè)備參數(shù)即可在 X86 CPU、NVIDIA GPU含 TensorRT 加速等多種硬件上運(yùn)行。若需將 PP-TinyPose 部署到 ARM、XPU、NPU、IPU 等其他硬件可進(jìn)一步探索 FastDeploy 官方倉庫的完整能力矩陣。贊分享人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音【免費(fèi)下載鏈接】modelsOfficially maintained, supported by PaddlePaddle, including CV, NLP, Speech, Rec, TS, big models and so on.項(xiàng)目地址https://gitcode.com/gh_mirrors/mo/models點(diǎn)擊查看免費(fèi)下載相關(guān)推薦PP-TinyPose 高性能部署實(shí)戰(zhàn)基于 FastDeploy 三步完成云邊端人體姿態(tài)估計(jì)推理PP TinyPose 高性能部署實(shí)戰(zhàn)基于 FastDeploy 三步完成云邊端人體姿態(tài)估計(jì)推理 本文以 PaddleDetection 推出的輕量級人體姿態(tài)人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音ComfyUI 報(bào) No HIP GPUsROCm 下四步修好 AMD GPU 識別ComfyUI 報(bào) No HIP GPUsROCm 下四步修好 AMD GPU 識別 Ubuntu 24.04 下 ComfyUI 報(bào) RuntimeErro人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音PP-LCNetV2 全場景高性能部署指南基于 FastDeploy 的云邊端推理實(shí)踐PP LCNetV2 全場景高性能部署指南基于 FastDeploy 的云邊端推理實(shí)踐 導(dǎo)讀 本文以 modelcenter/PP LCNetV2/fastd人工智能深度學(xué)習(xí)計(jì)算機(jī)視覺NLP語音上一篇終極WeMod增強(qiáng)工具指南如何免費(fèi)解鎖遠(yuǎn)程控制和AI功能下一篇WarcraftHelper徹底解決魔獸爭霸3現(xiàn)代化兼容問題的終極方案創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考