跟蹤)
項目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測實驗項目 - AtomGit上一篇我已經(jīng)把 YOLO 從圖片檢測擴展到了視頻檢測。當(dāng)時視頻檢測已經(jīng)可以完成Video Upload → YOLO Detection → Video Progress → Detection Video → Video Summary → JSON Export但做完以后有一個很明顯的問題。比如一輛車連續(xù)出現(xiàn)在幾十甚至幾百幀中普通 YOLO 會在每一幀都檢測到它。于是統(tǒng)計結(jié)果可能變成Car ×100但實際上它可能從頭到尾都是同一輛車。所以這一次我繼續(xù)使用碼道 Agent在原來的 YOLO 視頻檢測項目上加入了YOLO11n ByteTrack讓模型不只是知道這一幀有什么還能夠進(jìn)一步判斷這一幀里的這輛車和上一幀的是不是同一個目標(biāo)一、Detection 和 Tracking 到底差在哪普通目標(biāo)檢測的邏輯是Frame 1 → Car Frame 2 → Car Frame 3 → Car Frame 4 → CarYOLO 并不知道這四個 Car 是不是同一輛。因此統(tǒng)計時可能得到Detection Events 4而目標(biāo)跟蹤加入以后會給目標(biāo)一個持續(xù)存在的 ID。例如Frame 1 → Car #7 Frame 2 → Car #7 Frame 3 → Car #7 Frame 4 → Car #7雖然產(chǎn)生了 4 次 Detection Event但真正的唯一目標(biāo)只有Unique Objects 1這就是這一次加入 ByteTrack 最核心的原因。二、加入第四種模式Tracking現(xiàn)在項目頂部已經(jīng)有四種模式Single Image Batch Images Video TrackingTracking 模式繼續(xù)復(fù)用之前的視頻上傳和 metadata 讀取能力。我這次測試的視頻參數(shù)為Resolution: 1920 × 1080 FPS: 29.97 Total Frames: 962 Duration: 32.10 sTracking Settings 中增加了Confidence ThresholdFrame IntervalShow Track TrailsTrail Length這次實際設(shè)置為Confidence 0.50 Frame Interval Every Frame Show Track Trails ON Trail Length 30三、ByteTrack 是怎么接進(jìn)來的這次沒有再引入 DeepSORT 或其他新的 Tracking 框架。直接使用 Ultralytics 已經(jīng)集成的ByteTrack核心思路類似model.track( frame, persistTrue, trackerbytetrack.yaml, confconfidence, devicedevice)其中比較關(guān)鍵的是persistTrue它讓 tracker 在連續(xù)視頻幀之間保留跟蹤狀態(tài)。這樣同一個目標(biāo)在下一幀再次出現(xiàn)時就有機會繼續(xù)使用原來的track_id例如Car #4 Person #6 Bicycle #15而不是每一幀都當(dāng)成新的目標(biāo)。四、Track ID 才是 Unique Count 的基礎(chǔ)這次后端會從 ByteTrack 返回結(jié)果中讀取boxes.id再把它轉(zhuǎn)換成真實的track_id然后維護(hù)一個集合unique_track_ids set()每出現(xiàn)一個新的有效 IDunique_track_ids.add(track_id)最終Unique Objects len(unique_track_ids)所以如果Car #7連續(xù)出現(xiàn) 200 幀Detection Events 200 Unique Objects 1這就和之前的視頻檢測統(tǒng)計產(chǎn)生了本質(zhì)區(qū)別。五、真實結(jié)果3989 次檢測最終只有 37 個唯一目標(biāo)這次完整處理了962 / 962 Frames Progress: 100%頁面最終統(tǒng)計Detection Events: 3989 Unique Objects: 37也就是說YOLO 在視頻幀中一共產(chǎn)生了3989 次檢測事件但 ByteTrack 根據(jù) Track ID 去重以后真正跟蹤到的唯一目標(biāo)數(shù)量是37這就是 Detection 和 Tracking 最直觀的區(qū)別。六、37 個 Unique Objects 分別是什么Tracking Summary 會按照類別繼續(xù)統(tǒng)計唯一目標(biāo)。這次真實結(jié)果為ClassUnique ObjectsCar18Person16Bicycle3剛好18 16 3 37這比上一篇單純看到大量 Detection Event 更容易解釋實際場景。以前只能說Car 被檢測了很多次?，F(xiàn)在可以進(jìn)一步說ByteTrack 最終關(guān)聯(lián)出了 18 個不同的 Car Track。七、為什么還要保留 Detection Events既然已經(jīng)有了 Unique Objects是不是 Detection Events 就沒用了其實不是。兩者代表不同的信息。Detection Events表示所有檢測幀中一共出現(xiàn)了多少次目標(biāo)框它更能反映目標(biāo)在視頻中的持續(xù)時間和檢測頻率。Unique Objects表示基于 ByteTrack Track ID 去重后的目標(biāo)數(shù)量例如Car #7出現(xiàn) 150 幀。那么Detection Events 150 Unique Objects 1所以這次頁面同時保留Detection Event Summary Unique Object Summary兩種統(tǒng)計而不是用一個數(shù)字替代另一個。八、給每個目標(biāo)畫上運動軌跡這次另外加入了一個比較直觀的功能Track Trails對于每個 Track ID會根據(jù) Bounding Box 中心點計算cx (x1 x2) / 2 cy (y1 y2) / 2然后保存最近若干個位置。這次設(shè)置Trail Length 30也就是每個目標(biāo)最多保留最近 30 個中心點。最后通過 OpenCV 把這些點連接起來。因此在結(jié)果視頻中除了Bounding Box Class Track ID Confidence還可以看到黃色的運動軌跡。這比普通 YOLO 的矩形框更容易觀察目標(biāo)到底從哪里移動到哪里。九、Active Tracks 和 Unique Seen 不是一個概念Tracking Progress 中還有兩個容易混淆的值A(chǔ)ctive Tracks Unique Seen比如這次任務(wù)結(jié)束后頁面顯示Active Tracks: 0 Unique Seen: 37這并不代表跟蹤失敗。因為Active Tracks代表的是當(dāng)前幀仍然活躍的目標(biāo)數(shù)量。任務(wù)結(jié)束以后最后一幀如果沒有活躍目標(biāo)它自然可能變成 0。而Unique Seen代表整個視頻處理過程中累計見過多少個不同 Track ID。所以這次真正要看的累計結(jié)果是Unique Seen 37十、Track List 能看到每個目標(biāo)的生命周期Tracking 模式還增加了一個Track List每個唯一目標(biāo)都會保存自己的生命周期信息Track ID Class First Frame Last Frame Frames Seen Avg Confidence Max Confidence例如#1 Car Frames: 0 → 79 Seen: 78 Avg Confidence: ... Max Confidence: ...這樣就不只是知道“有 18 輛車”還可以進(jìn)一步查看某一輛車是什么時候第一次出現(xiàn)的持續(xù)了多少幀整個跟蹤過程中置信度怎么樣這已經(jīng)開始有一點真正視頻分析系統(tǒng)的感覺了。十一、新任務(wù)必須重置 Tracker做 Tracking 時還有一個需要特別注意的問題Tracker 本身是有狀態(tài)的。因為 ByteTrack 要記住上一幀有哪些 Track ID所以如果Video A處理完以后直接開始Video B但沒有清空 tracker那么第二個任務(wù)可能繼承第一個視頻中的狀態(tài)。因此這次專門增加了reset_tracker()每一個新的 Tracking Job 開始以前都先把舊 tracker 狀態(tài)清掉。這樣Tracking Job 1和Tracking Job 2就是完全獨立的。同時也不會影響原來的普通 Video Detection。十二、導(dǎo)出 Tracking JSON 和 CSV跟蹤完成以后現(xiàn)在可以導(dǎo)出兩類結(jié)果。Export Tracking JSONJSON 會保存Detection Events Unique Objects Unique Class Summary Detection Class Summary Tracks每個 Track 里面還有track_id class_name first_frame last_frame frames_seen avg_confidence max_confidence結(jié)構(gòu)類似{ detection_events: 3989, unique_objects: 37, unique_class_summary: { car: 18, person: 16, bicycle: 3 } }Export Tracks CSVCSV 則是一條 Track 一行。例如track_id,class_name,first_frame,last_frame,frames_seen,... 1,car,0,79,78,... 2,person,0,72,57,...相比把視頻每一幀全部導(dǎo)出來這種形式更適合分析一個獨立目標(biāo)的完整生命周期。十三、測試也增加到了 126 個在加入 Tracking 之前整個項目已經(jīng)有77 passed這次又增加了大量 ByteTrack 相關(guān)測試。最終126 passed前端邏輯測試72 assertions passed新增測試主要覆蓋tracker resetTrack ID 解析boxes.id is NoneUnique Track 去重同一 ID 多幀只統(tǒng)計一次Detection EventsUnique Class SummaryTrail LengthFirst / Last FrameFrames SeenAvg ConfidenceMax ConfidenceActive TracksTracking JSONTracks CSV新 Job 不繼承舊 tracker原 Video / Batch / Single Image 不回歸總結(jié)這一篇之后項目已經(jīng)不只是YOLO Detection而是進(jìn)一步進(jìn)入了YOLO Detection ↓ ByteTrack ↓ Track ID ↓ Cross-frame Association ↓ Unique Object Count ↓ Trajectory Trail ↓ Track Lifecycle這次真實測試中962 Frames 3989 Detection Events 37 Unique Objects其中Car ×18 Person ×16 Bicycle ×3也就是說之前那些成百上千次重復(fù)檢測現(xiàn)在終于可以通過 Track ID 關(guān)聯(lián)成真正的獨立目標(biāo)。從這一幀有一輛車變成這是之前那輛 Car #7它現(xiàn)在移動到了這里。這就是從Object Detection到Multi-Object Tracking最直觀的一步。項目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測實驗項目 - AtomGit下一篇就可以繼續(xù)解決一個更實際的問題既然已經(jīng)知道每輛車是誰那能不能統(tǒng)計到底有多少輛車真正經(jīng)過某一條線下一步Y(jié)OLO ByteTrack Line Crossing做真正的行人 / 車流過線計數(shù)。 同一輛車為什么被算幾百次？我給 YOLO 加了 ByteTrack 目標(biāo)跟蹤
項目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測實驗項目 - AtomGit上一篇我已經(jīng)把 YOLO 從圖片檢測擴展到了視頻檢測。當(dāng)時視頻檢測已經(jīng)可以完成Video Upload → YOLO Detection → Video Progress → Detection Video → Video Summary → JSON Export但做完以后有一個很明顯的問題。比如一輛車連續(xù)出現(xiàn)在幾十甚至幾百幀中普通 YOLO 會在每一幀都檢測到它。于是統(tǒng)計結(jié)果可能變成Car ×100但實際上它可能從頭到尾都是同一輛車。所以這一次我繼續(xù)使用碼道 Agent在原來的 YOLO 視頻檢測項目上加入了YOLO11n ByteTrack讓模型不只是知道這一幀有什么還能夠進(jìn)一步判斷這一幀里的這輛車和上一幀的是不是同一個目標(biāo)一、Detection 和 Tracking 到底差在哪普通目標(biāo)檢測的邏輯是Frame 1 → Car Frame 2 → Car Frame 3 → Car Frame 4 → CarYOLO 并不知道這四個 Car 是不是同一輛。因此統(tǒng)計時可能得到Detection Events 4而目標(biāo)跟蹤加入以后會給目標(biāo)一個持續(xù)存在的 ID。例如Frame 1 → Car #7 Frame 2 → Car #7 Frame 3 → Car #7 Frame 4 → Car #7雖然產(chǎn)生了 4 次 Detection Event但真正的唯一目標(biāo)只有Unique Objects 1這就是這一次加入 ByteTrack 最核心的原因。二、加入第四種模式Tracking現(xiàn)在項目頂部已經(jīng)有四種模式Single Image Batch Images Video TrackingTracking 模式繼續(xù)復(fù)用之前的視頻上傳和 metadata 讀取能力。我這次測試的視頻參數(shù)為Resolution: 1920 × 1080 FPS: 29.97 Total Frames: 962 Duration: 32.10 sTracking Settings 中增加了Confidence ThresholdFrame IntervalShow Track TrailsTrail Length這次實際設(shè)置為Confidence 0.50 Frame Interval Every Frame Show Track Trails ON Trail Length 30三、ByteTrack 是怎么接進(jìn)來的這次沒有再引入 DeepSORT 或其他新的 Tracking 框架。直接使用 Ultralytics 已經(jīng)集成的ByteTrack核心思路類似model.track( frame, persistTrue, trackerbytetrack.yaml, confconfidence, devicedevice)其中比較關(guān)鍵的是persistTrue它讓 tracker 在連續(xù)視頻幀之間保留跟蹤狀態(tài)。這樣同一個目標(biāo)在下一幀再次出現(xiàn)時就有機會繼續(xù)使用原來的track_id例如Car #4 Person #6 Bicycle #15而不是每一幀都當(dāng)成新的目標(biāo)。四、Track ID 才是 Unique Count 的基礎(chǔ)這次后端會從 ByteTrack 返回結(jié)果中讀取boxes.id再把它轉(zhuǎn)換成真實的track_id然后維護(hù)一個集合unique_track_ids set()每出現(xiàn)一個新的有效 IDunique_track_ids.add(track_id)最終Unique Objects len(unique_track_ids)所以如果Car #7連續(xù)出現(xiàn) 200 幀Detection Events 200 Unique Objects 1這就和之前的視頻檢測統(tǒng)計產(chǎn)生了本質(zhì)區(qū)別。五、真實結(jié)果3989 次檢測最終只有 37 個唯一目標(biāo)這次完整處理了962 / 962 Frames Progress: 100%頁面最終統(tǒng)計Detection Events: 3989 Unique Objects: 37也就是說YOLO 在視頻幀中一共產(chǎn)生了3989 次檢測事件但 ByteTrack 根據(jù) Track ID 去重以后真正跟蹤到的唯一目標(biāo)數(shù)量是37這就是 Detection 和 Tracking 最直觀的區(qū)別。六、37 個 Unique Objects 分別是什么Tracking Summary 會按照類別繼續(xù)統(tǒng)計唯一目標(biāo)。這次真實結(jié)果為ClassUnique ObjectsCar18Person16Bicycle3剛好18 16 3 37這比上一篇單純看到大量 Detection Event 更容易解釋實際場景。以前只能說Car 被檢測了很多次?，F(xiàn)在可以進(jìn)一步說ByteTrack 最終關(guān)聯(lián)出了 18 個不同的 Car Track。七、為什么還要保留 Detection Events既然已經(jīng)有了 Unique Objects是不是 Detection Events 就沒用了其實不是。兩者代表不同的信息。Detection Events表示所有檢測幀中一共出現(xiàn)了多少次目標(biāo)框它更能反映目標(biāo)在視頻中的持續(xù)時間和檢測頻率。Unique Objects表示基于 ByteTrack Track ID 去重后的目標(biāo)數(shù)量例如Car #7出現(xiàn) 150 幀。那么Detection Events 150 Unique Objects 1所以這次頁面同時保留Detection Event Summary Unique Object Summary兩種統(tǒng)計而不是用一個數(shù)字替代另一個。八、給每個目標(biāo)畫上運動軌跡這次另外加入了一個比較直觀的功能Track Trails對于每個 Track ID會根據(jù) Bounding Box 中心點計算cx (x1 x2) / 2 cy (y1 y2) / 2然后保存最近若干個位置。這次設(shè)置Trail Length 30也就是每個目標(biāo)最多保留最近 30 個中心點。最后通過 OpenCV 把這些點連接起來。因此在結(jié)果視頻中除了Bounding Box Class Track ID Confidence還可以看到黃色的運動軌跡。這比普通 YOLO 的矩形框更容易觀察目標(biāo)到底從哪里移動到哪里。九、Active Tracks 和 Unique Seen 不是一個概念Tracking Progress 中還有兩個容易混淆的值A(chǔ)ctive Tracks Unique Seen比如這次任務(wù)結(jié)束后頁面顯示Active Tracks: 0 Unique Seen: 37這并不代表跟蹤失敗。因為Active Tracks代表的是當(dāng)前幀仍然活躍的目標(biāo)數(shù)量。任務(wù)結(jié)束以后最后一幀如果沒有活躍目標(biāo)它自然可能變成 0。而Unique Seen代表整個視頻處理過程中累計見過多少個不同 Track ID。所以這次真正要看的累計結(jié)果是Unique Seen 37十、Track List 能看到每個目標(biāo)的生命周期Tracking 模式還增加了一個Track List每個唯一目標(biāo)都會保存自己的生命周期信息Track ID Class First Frame Last Frame Frames Seen Avg Confidence Max Confidence例如#1 Car Frames: 0 → 79 Seen: 78 Avg Confidence: ... Max Confidence: ...這樣就不只是知道“有 18 輛車”還可以進(jìn)一步查看某一輛車是什么時候第一次出現(xiàn)的持續(xù)了多少幀整個跟蹤過程中置信度怎么樣這已經(jīng)開始有一點真正視頻分析系統(tǒng)的感覺了。十一、新任務(wù)必須重置 Tracker做 Tracking 時還有一個需要特別注意的問題Tracker 本身是有狀態(tài)的。因為 ByteTrack 要記住上一幀有哪些 Track ID所以如果Video A處理完以后直接開始Video B但沒有清空 tracker那么第二個任務(wù)可能繼承第一個視頻中的狀態(tài)。因此這次專門增加了reset_tracker()每一個新的 Tracking Job 開始以前都先把舊 tracker 狀態(tài)清掉。這樣Tracking Job 1和Tracking Job 2就是完全獨立的。同時也不會影響原來的普通 Video Detection。十二、導(dǎo)出 Tracking JSON 和 CSV跟蹤完成以后現(xiàn)在可以導(dǎo)出兩類結(jié)果。Export Tracking JSONJSON 會保存Detection Events Unique Objects Unique Class Summary Detection Class Summary Tracks每個 Track 里面還有track_id class_name first_frame last_frame frames_seen avg_confidence max_confidence結(jié)構(gòu)類似{ detection_events: 3989, unique_objects: 37, unique_class_summary: { car: 18, person: 16, bicycle: 3 } }Export Tracks CSVCSV 則是一條 Track 一行。例如track_id,class_name,first_frame,last_frame,frames_seen,... 1,car,0,79,78,... 2,person,0,72,57,...相比把視頻每一幀全部導(dǎo)出來這種形式更適合分析一個獨立目標(biāo)的完整生命周期。十三、測試也增加到了 126 個在加入 Tracking 之前整個項目已經(jīng)有77 passed這次又增加了大量 ByteTrack 相關(guān)測試。最終126 passed前端邏輯測試72 assertions passed新增測試主要覆蓋tracker resetTrack ID 解析boxes.id is NoneUnique Track 去重同一 ID 多幀只統(tǒng)計一次Detection EventsUnique Class SummaryTrail LengthFirst / Last FrameFrames SeenAvg ConfidenceMax ConfidenceActive TracksTracking JSONTracks CSV新 Job 不繼承舊 tracker原 Video / Batch / Single Image 不回歸總結(jié)這一篇之后項目已經(jīng)不只是YOLO Detection而是進(jìn)一步進(jìn)入了YOLO Detection ↓ ByteTrack ↓ Track ID ↓ Cross-frame Association ↓ Unique Object Count ↓ Trajectory Trail ↓ Track Lifecycle這次真實測試中962 Frames 3989 Detection Events 37 Unique Objects其中Car ×18 Person ×16 Bicycle ×3也就是說之前那些成百上千次重復(fù)檢測現(xiàn)在終于可以通過 Track ID 關(guān)聯(lián)成真正的獨立目標(biāo)。從這一幀有一輛車變成這是之前那輛 Car #7它現(xiàn)在移動到了這里。這就是從Object Detection到Multi-Object Tracking最直觀的一步。項目地址yolo-object-detection-lab:基于 FastAPI 與 Ultralytics YOLO 的圖像目標(biāo)檢測實驗項目 - AtomGit下一篇就可以繼續(xù)解決一個更實際的問題既然已經(jīng)知道每輛車是誰那能不能統(tǒng)計到底有多少輛車真正經(jīng)過某一條線下一步Y(jié)OLO ByteTrack Line Crossing做真正的行人 / 車流過線計數(shù)。