CheckSORT: Refined Synthetic Data Combination and Optimized SORT for Automatic Retail Checkout
- 發表版本
- CVPR Workshops 2023研討會(Workshop)
引用此論文 · BibTeX
引用資料對應所連結的論文版本,作者為原論文作者。
@inproceedings{retailproductchecksort2023,
title = {{CheckSORT: Refined Synthetic Data Combination and Optimized SORT for Automatic Retail Checkout}},
author = {Ziqiang Shi and Zhongling Liu and Liu Liu and Rujie Liu and Takuma Yamamoto and Xiaoyu Mi and Daisuke Uchida},
year = {2023},
booktitle = {CVPR Workshops},
url = {https://openaccess.thecvf.com/content/CVPR2023W/AICity/html/Shi_CheckSORT_Refined_Synthetic_Data_Combination_and_Optimized_SORT_for_Automatic_CVPRW_2023_paper.html}
}
還記得不久前我們看完 2022 AI CITY CHALLENGE Track 4 的 DeepACO 系統嗎?
現在這篇是 2023 AI CITY CHALLENGE 的比賽冠軍論文,我們接著看。
定義問題
自助結帳正逐漸成為零售場域的標配,不論是無人商店還是傳統賣場的數位轉型,都希望透過影像辨識系統,在不干預使用者流程的前提下,快速、準確地辨識商品與數量。
這樣的任務,一般在計算機視覺領域中,通常被形式化為一個結合「多類別商品偵測、分類與計數」的多模組系統。
乍看之下,這項任務不過就是將現有的物件偵測、追蹤與分類技術組合起來。
但實際動手操作起來,卻會發現一堆問題。
一個完整的影像式自動結帳系統,至少包括以下五個模組:
- 前處理:如何從乾淨的合成資料中產生更貼近實拍的訓練樣本?
- 物件偵測:如何定位商品與手部,並取得遮罩以供後續處理?
- 物件追蹤:如何追蹤短暫且可能重疊的商品軌跡?
- 商品分類:如何提升辨識率並適應視角、遮擋、光照的變化?
- 後處理:如何從多個 frame 的暫時結果中整合出最終結帳商品清單?
作者認為每個部分都必須精心設計,才能滿足實際落地的需求。
解決問題
在自動結帳的任務中,或許最困難的部分是取得具有代表性的訓練資料,這不僅涉及實地拍攝,還需要耗費人力逐格標註。
所以作者先從合成資料優化著手,提出一套可控式資料合成流程,生成大量多樣的合成影像。
合成資料優化
具體來說,參賽者會獲得每個商品的純淨合成圖與遮罩,然後自行生成背景、進行拼接,製作訓練用的合成影像。
這項過程看似單純,但從這次比賽的結果來看,這幾乎是決定成敗的關鍵。
因為商品與背景的合成方式,將直接決定模型表現的上限。為提升合成圖的真實性與多樣性,作者設計了一套可控式資料合成流程,其中核心是三個超參數:
- 商品數量(number of products)
- 遮擋程度(occlusion / IoU)
- 縮放比例(scaling size)
這三者彼此牽動:放進太多商品會導致遮擋增加,若縮放太小又可能失真。
因此,作者允許使用者自行設定參數範圍,例如:
- 商品數:1 ~ 6 個
- 遮擋上限:IoU ≤ 0.3
- 縮放比例:0.15 ~ 0.5
透過系統性的排列組合,產生大量多樣合成資料。
作者接著比較不同的 IoU 上限與縮放範圍;實驗中的較佳設定及其適用條件,留待後面的表格討論。
除了調整參數之外,作者也對比了不同背景來源的影響。
雖然官方限制使用外部資料,但作者仍在允許的範圍內,實作了使用實拍背景圖拼接商品的版本;在論文測試的配置中,使用實拍背景得到較高的 F1 分數。
因此,較符合這裡實驗的結論是:
在這項結帳任務的測試配置中,實拍背景比實驗使用的合成背景更有幫助。
在資料的使用策略上,這些合成資料被應用於兩大模型的訓練:
- 商品偵測(Detection):使用 COCO 上預訓練的 DetectoRS 模型進行 fine-tuning。此模型同時具備 detection 與 segmentation 能力,可偵測商品並提供手部遮罩。
- 商品分類(Classification):從合成資料中額外擷取背景變化多樣的商品圖,微調分類模型。
模型架構
CheckSORT 在架構上延續自 DeepSORT 和 StrongSORT,論文可以參考一下連結:
- [17.03] Simple Online and Realtime Tracking with a Deep Association Metric
- [22.06] StrongSORT: Make DeepSORT Great Again
作者在追蹤邏輯中導入了兩大關鍵改進:
- 解耦式 Kalman 濾波器(Decomposed Kalman Filter)
- 動態特徵序列管理(Dynamic EMA Tracklet Gallery)
SORT 算法簡介
傳統的 SORT / DeepSORT / StrongSORT 都是採用「Tracking-by-detection」的兩階段方式,其中輸入是每一幀的物件偵測結果,輸出則是對應的商品軌跡。
追蹤器內部將每個 bounding box 初始化為一條軌跡(tracklet),並透過 Kalman filter 預測未來位置。軌跡根據匹配狀況維持三種狀態:
tentative:剛建立的軌跡confirmed:連續多張影格被正確匹配後升級deleted:長時間無匹配則移除
每一幀處理流程如下:
- 預測:根據軌跡歷史狀態,預測當前影格中 bounding box 的位置及不確定性。
- 匹配:先以外觀餘弦距離和匈牙利演算法匹配 confirmed 軌跡,再以 Kalman 預測與當前偵測框的 Mahalanobis 距離,處理未確認及尚未匹配的軌跡。
- 更新:根據兩階段匹配結果更新軌跡狀態。
解耦式 Kalman filter
傳統 Kalman filter 將 bounding box 狀態向量表示為:
其中:
- :中心座標
- :長寬比(aspect ratio)
- :高度
- “” 表導數,即變化速率
問題在於:中心移動 與外觀形變 的運動模式差異極大,如下圖所示:
- 橘色曲線:商品中心到原點的距離隨時間變化,曲線較平滑;
- 紅色曲線:商品翻轉時 常劇烈跳動。
為此,作者提出解耦式 Kalman 濾波(Decomposed Kalman Filter, DKF),將整體狀態拆解為兩組獨立的 Kalman 運算:
-
位置向量:
-
形狀向量:
兩者共享下列轉移矩陣 與觀測矩陣 :
此外,為建構距離矩陣,將第 個偵測框的位置觀測 、形狀觀測 ,分別與第 條軌跡投影到觀測空間的預測值比較;、 為相應的投影共變異矩陣。距離如下:
-
位置距離:
-
形狀距離:
動態特徵序列
自 DeepSORT 起,軌跡匹配已結合外觀特徵,不再只依賴位置。
CheckSORT 引入改良策略:
- StrongSORT 使用 EMA 平滑軌跡的外觀特徵;
- CheckSORT 採用 動態、非連續特徵庫,僅當新特徵與歷史特徵有足夠差異時才新增,避免重複。
定義如下:
-
每條軌跡 擁有一組外觀特徵庫(gallery):
-
當新偵測結果的 EMA 特徵與既有 差異足夠時才加入;
-
外觀距離定義為:
最終成本矩陣結合三種信號,並透過加權調整其重要性:
這使得匈牙利演算法能在綜合考量位置、形狀、外觀三者的基礎上,達成最適匹配。
後處理優化
即使前述匹配結果已具高品質,CheckSORT 最後仍進行一輪「軌跡校正」,處理下列三種常見誤差情況:
- 軌跡過短或屬於背景類別 → 刪除
- 軌跡中間斷裂超過 0.5 秒 → 拆分為兩條
- 多條屬於同一類別、時間差小於 3 秒 → 合併
不過這個部分已經算是經驗法則,並非論文的核心貢獻。
下圖顯示後處理前後的辨識差異:
討論
作者發現,AI CITY CHALLENGE 2023 的第 4 軌任務與前一年略有差異:2023 年的任務要求預測商品在影片中「首次出現的影格」,而 2022 年僅需預測「出現的秒數」。
雖然作者希望能直接在 2023 年的測試集上驗證演算法,但因資料集未提供 ground truth,最後改以手動標註 TestA 2022 與 TestA 2023 中商品的出現時間(以秒計),作為替代評估基準。
評估方式延續 2022 年規則,採用 F1‑score 作為準則,其中:
- TP(True Positive):成功在感興趣區域正確辨識物件;
- FN(False Negative):未能正確辨識的標註物件。
此外,大會提供了 116,500 張合成影像,以及 116 個 3D 商品模型。
合成資料的影響
在不同 IoU 下,CheckSORT 在 TestA 2022 的表現
在不同 IoU 下,CheckSORT 在 TestA 2023 的表現
作者設計了控制變因實驗,探討兩個超參數對效能的影響:一是 IoU 的上限,另一是 縮放比例範圍。在固定縮放範圍為 0.15∼0.5 的條件下,作者觀察不同 IoU 上限下的辨識效果,如上表。
兩個測試集都在表中的 IoU 上限 0.25 取得最高 F1(58.6% 與 51.0%),但中間各組數值並非單調增加;這支持在所測範圍內保留一定遮擋。這裡的追蹤器固定為 DeepSORT。
接著,作者將 IoU 上限固定為 0.1,觀察不同縮放範圍對效能的影響,如下表:
在不同縮放範圍下,CheckSORT 在 TestA 2022 的表現
在不同縮放範圍下,CheckSORT 在 TestA 2023 的表現
在這三組範圍中,縮放上限 0.55 在兩個測試集都取得最高 F1(58.2% 與 50.2%);追蹤器同樣固定為 DeepSORT。
- 若縮放比例太大,將導致樣本數不足;
- 若比例太小,則與實際應用情境不符,影響泛化能力。
合成與真實背景比較
根據前述最佳參數組合,作者進一步評估背景樣式對模型的影響。
實驗設定使用「合成背景」與「真實背景」兩種配置,並於 TestA 2022 與 2023 資料集進行測試,結果如下表所示:
在 IoU ≤ 0.5、縮放範圍 0.4∼0.8 下的表現
在 IoU ≤ 0.5、縮放範圍 0.3∼0.75 下的表現
作者指出:在表中兩個測試集與兩組配置下,使用真實背景皆提高了 F1。特別是在「IoU ≤ 0.5、縮放範圍 0.4∼0.8」的 TestA 2022 上,F1 從 60.7% 增至 69.0%,差 8.3 個百分點;TestA 2023 同組則從 53.7% 增至 54.9%。此處追蹤器固定為 DeepSORT。
CheckSORT 成效分析
在 IoU ≤ 0.5、縮放範圍 0.3∼0.75 下的比較
在 IoU ≤ 0.5、縮放範圍 0.4∼0.8 下的比較
最後,作者比較了三種追蹤器在不同情境下的效能表現:DeepSORT、StrongSORT 以及作者提出的 CheckSORT。
在表中兩組資料合成配置與兩個測試集,CheckSORT 的 F1 均高於 DeepSORT 與 StrongSORT;例如縮放範圍 0.3∼0.75 時,TestA 2022 為 70.3%/69.0%/67.8%,TestA 2023 為 62.1%/58.2%/60.0%(依序為 CheckSORT/DeepSORT/StrongSORT)。這些結果尚不足以推論其他場景的泛化能力。
論文截稿時的官方 TestA 排行榜將作者團隊列為 第 5 名;論文也註明,最終名次仍待提交程式至 TestB 評估,與上面的自行標註、以秒計的實驗指標不是同一組成績。
結論
最後的結果我們都已經知道了。
CheckSORT 在 2023 AI CITY CHALLENGE Track 4 中奪得冠軍。
這項成果凸顯出,自動結帳任務中最大的挑戰,並非單純提升追蹤或辨識的準確率,而是如何有效縮小訓練資料與實際測試環境之間的差距(domain gap)。在真實世界中,光線變化、遮擋情況、擺放角度等因素錯綜複雜,使得模型在泛化能力上面臨極大考驗。
這篇論文正是從這個核心問題出發,提出兩大解法:
- 一方面,作者設計了合成資料優化流程,透過調控 IoU 上限與縮放參數,生成更多具代表性的訓練樣本;
- 另一方面,作者提出針對商品結帳場景,在濾波層級上解耦位置與形狀資訊,使追蹤在旋轉、翻轉、遮擋等狀態下依然穩定。
這些改進不僅提升了模型在各種複雜情境下的辨識率,也為自動結帳系統的實際應用提供了更堅實的基礎。