論文ノートライブラリに戻る
arXiv 2023ICIP 2023複数物体追跡論文ノート

Deep OC-SORT

見た目を呼び戻す

原論文

Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification

論文の著者

Gerard Maggiolino · Adnan Ahmad · Jinkun Cao · Kris Kitani

発表先
ICIP 2023国際会議
arXiv への初回投稿
arXiv:2302.11813
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multiobjecttrackingdeepocsort2023,
  title = {{Deep OC-SORT: Multi-Pedestrian Tracking by Adaptive Re-Identification}},
  author = {Gerard Maggiolino and Adnan Ahmad and Jinkun Cao and Kris Kitani},
  year = {2023},
  eprint = {2302.11813},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2302.11813}
}
このページの内容

2022 年前後、運動による関連付けに頼るトラッカーがまた脚光を浴びた。

検出器はますます強くなり、ByteTrack はカルマンフィルタと IoU だけで、外観特徴を学習する多くの手法を MOT17 で打ち負かした。OC-SORT は遮蔽の後にカルマンフィルタの誤差が溜まる問題を修正し、DanceTrack のように外観で見分けにくく動きも複雑な場面でも、さまざまな re-ID 手法を上回った。

だが外観の手がかりは役に立たないのではなく、使いこなしにくいだけだ。BoT-SORT や StrongSORT も外観を戻してきたが、やり方はどれもごく単純だった。軌跡の外観特徴は固定の重みの指数移動平均で更新し、外観距離をさらに固定の重みで運動のコストに足す。

カーネギーメロン大学の Gerard Maggiolino、Adnan Ahmad と、OC-SORT の著者である Jinkun Cao、Kris Kitani は、OC-SORT に外観を加え、外観特徴が当てにならないときは控えめに、当てになるときは多めに使えるようにしたいと考えた。

OC-SORT に深層の外観特徴を加えたものなので、Deep OC-SORT と呼ぶ。著者らは、これは DeepSORT が SORT に対してやったことをそのまま繰り返したものではないと、わざわざ断っている。

問題の定義

ボックスから抽出した外観特徴は、re-ID モデルがどれだけ強くても、ノイズが多い。人が半分隠れている、動きが速すぎてぼやける、すぐ隣にたまたま似た服装の人がいる、といった具合だ。

従来のやり方には、決め打ちになっている箇所が二つある。

  • 更新の重みが固定。 指数移動平均の重み α\alpha は定数で、そのフレームの検出の質がどうであれ、新しい特徴は同じ割合で軌跡の外観モデルに混ぜ込まれる。半分隠れたボックスでも、そのまま軌跡の外観を汚してしまう。
  • 融合の重みが固定。 外観のコストは、決まった割合で運動のコストに足される。ある検出がある軌跡にとりわけよく似ていて、ほかの軌跡には似ていない場合も、ある検出がいくつもの軌跡に同じくらい似ている場合も、外観のコストの比重は同じになる。

著者らは、この二つの重みをどちらも状況に応じて調整できるようにしたい。さらに、OC-SORT は検出の位置に強く頼っていて、カメラが動くと位置も一緒に乱れるので、カメラ運動補償も加える。

問題を解く

原論文 Fig. 1:Deep OC-SORT の流れ。画像は一方では ReID モデルに送られて外観特徴が抽出され、外観特徴の更新は動的外観(DA)モジュールが制御する。もう一方ではカメラ運動補償(CMC)を経て、OC-SORT のカルマンフィルタに送られる。二つの経路の結果は適応的重み付け(AW)モジュールでコスト行列にまとめられ、線形割り当てで解かれる。
原論文 Fig. 1(Maggiolino ら)、PDF 2 ページより。arXiv ライセンス、学術引用。

Deep OC-SORT は OC-SORT の流れをそっくり引き継いでいる。観測中心のモメンタム(OCM)、観測中心の復帰(OCR)、オンラインでの平滑化(OOS)、そして最後のハンガリアン法だ。新しく加わったモジュールは三つで、カメラ運動補償(CMC)、動的外観(DA)、適応的重み付け(AW)だ。

カメラ運動補償

カメラ運動補償では、OpenCV の VidStab モジュールで隣り合う二フレーム間の相似変換を推定する。まず特徴点を抽出してオプティカルフローを計算し、それから RANSAC で拡大縮小と回転の行列 Mt=stRtM_t = s_t R_t と平行移動 TtT_t を求める。

BoT-SORT もカメラ運動補償を行っているが、補正するのはカルマンフィルタの状態だけだ。OC-SORT には過去の観測ボックスを直接使う箇所がほかにもいくつかあり、それらもすべて一緒に補正しなければならない。

  1. OOS: 物体が再び現れると、OC-SORT は最後の観測から線形補間で仮想の軌跡を作り、カルマンフィルタを更新し直す。最後の観測のボックスの中心は、まず c←Mtc+Ttc \leftarrow M_t c + T_t で補正してから補間を始める。
  2. OCM: OC-SORT は直近 Δt=3\Delta t = 3 個のボックスから運動の向きを計算する。これらのボックスの左上と右下の角の点は、フレームごとに p←Mtp+Ttp \leftarrow M_t p + T_t で補正する。
  3. OCR: 最後に見えたボックスで見失った軌跡を見つけ直すので、このボックスの位置もフレームごとに補正する。

カルマンフィルタの状態は x=[xc,yc,a,s,x˙c,y˙c,a˙]\mathbf{x} = [x_c, y_c, a, s, \dot{x}_c, \dot{y}_c, \dot{a}] で、中心位置、面積、縦横比、そして最初の三つの速度だ。補正のしかたは次のとおり。

x[0:2]←Mt x[0:2]+Ttx[4:6]←Mt x[4:6]P[0:2,0:2]←Mt P[0:2,0:2] Mt⊤P[4:6,4:6]←Mt P[4:6,4:6] Mt⊤\begin{aligned} \mathbf{x}[0{:}2] &\leftarrow M_t\,\mathbf{x}[0{:}2] + T_t \\ \mathbf{x}[4{:}6] &\leftarrow M_t\,\mathbf{x}[4{:}6] \\ P[0{:}2,0{:}2] &\leftarrow M_t\,P[0{:}2,0{:}2]\,M_t^\top \\ P[4{:}6,4{:}6] &\leftarrow M_t\,P[4{:}6,4{:}6]\,M_t^\top \end{aligned}

補正するのは中心位置と中心の速度、そしてそれらの共分散だけだ。理屈の上では、変換の拡大縮小を面積に当てはめ、回転を縦横比の変化として近似することもできる。だが回転した物体の外接ボックスは線形の関係にならず、正確に計算するには物体のマスクが要る。著者らによると、OCM と OCR はこの種の近似にそれなりに耐えるが、カルマンフィルタはずっと敏感なので、中心だけを補正した。補正はカルマンフィルタの予測ステップの前に行う。

動的外観

通常の指数移動平均は次のとおりだ。

et=α et−1+(1−α) enewe_t = \alpha\, e_{t-1} + (1 - \alpha)\, e^{new}

enewe^{new} はこのフレームでマッチした検出の外観特徴だ。著者らは固定の α\alpha を、検出の信頼度に応じて変わる αt\alpha_t に置き換えた。

αt=αf+(1−αf)(1−sdet−σ1−σ)\alpha_t = \alpha_f + (1 - \alpha_f)\left(1 - \frac{s_{det} - \sigma}{1 - \sigma}\right)

sdets_{det} は検出の信頼度、σ\sigma はノイズの多い検出を除くための信頼度のしきい値で、αf=0.95\alpha_f = 0.95 だ。

発想は単純だ。検出の信頼度が低いのは、たいてい物体が遮蔽されているか画像がぼやけているからで、そういうときに抽出した外観特徴も当てにならない。

  • sdet=σs_{det} = \sigma、つまりちょうどしきい値上にあるとき、αt=1\alpha_t = 1 となり、新しい特徴は完全に無視される。
  • sdet=1s_{det} = 1 のとき、αt=αf\alpha_t = \alpha_f となり、新しい特徴は最大の割合で加わる。
  • その間の信頼度では、線形に補間される。

σ\sigma はもともとトラッカーのパラメータで、αf\alpha_f はもとの固定の α\alpha そのものだ。動的外観は新しいハイパーパラメータを持ち込まず、計算量もほぼゼロだ。

適応的重み付け

外観のコスト行列 AcA_c の大きさは M×NM \times N で、MM 本の軌跡と NN 個の検出からなり、各マスは軌跡と検出のコサイン類似度だ。一般的なやり方では、これを固定の重み awa_w で IoU の行列に足す。C=IoU+awAcC = \text{IoU} + a_w A_c だ。

著者らの観察では、外観によるマッチングが信用できるかどうかは、それに「識別力」があるかどうかで決まる。本当の外観のマッチングなら、最高スコアと二番目のスコアの間にはっきりした差がある。ある軌跡がいくつもの検出に同じくらい似ているなら、外観にあまり発言権を与えるべきではない。

第 mm 本目の軌跡について、識別力はその行の最高スコア am(1)a^{(1)}_m から二番目のスコア am(2)a^{(2)}_m を引いたものと定義し、上限 ϵ\epsilon を設ける。

zmtrack=min⁡(am(1)−am(2), ϵ)z^{track}_{m} = \min\big(a^{(1)}_m - a^{(2)}_m,\ \epsilon\big)

第 nn 個目の検出についても、同じ方法でその列の zndetz^{det}_{n} を計算する。両者の平均が、そのマスの追加の重みになる。

wb(m,n)=zmtrack+zndet2w_b(m, n) = \frac{z^{track}_{m} + z^{det}_{n}}{2}

最終的なコスト行列は次のとおりだ。

C[m,n]=IoU[m,n]+[aw+wb(m,n)] Ac[m,n]\begin{aligned} C[m, n] = {} & \text{IoU}[m, n] \\ & + \big[a_w + w_b(m, n)\big]\, A_c[m, n] \end{aligned}

著者らはあえて上位二つだけを見て、KL ダイバージェンスのような分布の指標は使わない。後ろに並ぶ低いスコア同士がどれだけ違っていても、今回のマッチングが信用できるかどうかとは関係ないからだ。

実装

検出器は ByteTrack などの手法の YOLOX を引き継ぎ、re-ID モデルは fast-reid の SBS50 だ。

MOT17 と MOT20 では aw=0.75a_w = 0.75、ϵ=0.5\epsilon = 0.5。DanceTrack では aw=1.25a_w = 1.25、ϵ=1.0\epsilon = 1.0 で、著者らの説明によれば、そこでは外観のほうが IoU より役に立つからだ。

議論

各モジュールの貢献

設定MOT17 HOTAMOT17 IDF1MOT20 HOTADanceTrack HOTADanceTrack AssA
OC-SORT68.1379.5258.3553.0735.93
+CMC69.6682.4458.3353.5736.68
+外観68.5980.1859.1058.0342.37
+外観+DA68.6580.4559.1658.3643.00
+外観+DA+CMC69.8082.5659.3558.4643.33
すべて(さらに+AW)70.2082.7859.4558.5343.41

原論文 Table 3 をもとに整理。三つのデータセットの検証セット。「外観」は固定の重みの EMA で更新する外観特徴を指す。MOT20 の IDF1 は順に 74.77、74.63、75.71、75.87、76.11、76.30。

カメラ運動補償 だけを加えると、MOT17 の IDF1 は 3 ポイント近く上がり、DanceTrack でも小幅に改善する。MOT20 は改善しない。MOT20 の動画はどれも固定カメラだからだ。

外観特徴 は DanceTrack で最も大きな一歩だ。固定の EMA の外観を加えるだけで、HOTA は 53.07 から 58.03 に跳ね上がり、AssA は 6 ポイント以上上がる。

動的外観 と 適応的重み付け による改善はどちらも大きくないが、三つのデータセット、すべての指標でプラスになっている。

DanceTrack で外観は結局役に立つのか

この結果は、DanceTrack の論文の発見とはかなり違う。DanceTrack の著者らが YOLOX の検出を固定して関連付けの手法だけを比べたとき、DeepSORT は SORT より悪く、外観を加えるとかえって悪化した。正解ボックスを使った oracle 実験でも同じで、外観を加えるとすべての指標が下がった。

Jinkun Cao は両方の論文に名を連ねている。OC-SORT を土台にすると、外観はむしろ DanceTrack で最も改善をもたらす構成要素になった。

二つの論文の設定は大きく違い、re-ID モデルも運動モデルも異なる。DanceTrack の論文の DeepSORT は、遮蔽の後に狂いやすい SORT の運動モデルの上で、外観をマッチングの主な根拠にしている。Deep OC-SORT は外観を IoU に添える補助的なコストとして、もともと安定した運動ベースのトラッカーに加えている。ダンサーはよく似ているが、まったく同じではない。使い方さえ正しければ、外観からはまだ情報を搾り取れる。

テストセット

データセット手法HOTAMOTAIDF1ID スイッチAssA
MOT17OC-SORT63.278.077.51,95063.2
MOT17StrongSORT++(オフライン)64.479.679.51,19464.4
MOT17Deep OC-SORT64.979.480.61,02365.9
MOT20OC-SORT62.175.575.991362.0
MOT20StrongSORT++(オフライン)62.673.877.077064.0
MOT20Deep OC-SORT63.975.679.277965.7

原論文 Table 1 をもとに整理。MOT17 と MOT20 のテストセット。

MOT17 では、Deep OC-SORT の HOTA は 64.9 で、当時のリーダーボードで二位だった。MOT20 では 63.9 で一位だ。OC-SORT と比べると、MOT17 での ID スイッチはほぼ半分に減った。

StrongSORT++ はオフラインの後処理(AFLink、GSI)を使っているが、Deep OC-SORT は純粋なオンラインの手法で、それでも関連付けの精度 AssA は StrongSORT++ より高い。

原論文 Table 2:DanceTrack テストセットでの比較。列は HOTA、DetA、AssA、MOTA、IDF1。上半分はそれぞれ異なる検出を使う手法で、MOTR の HOTA 54.2 が最も高い。下半分は同じ YOLOX の検出を使う手法で、SORT 47.9、DeepSORT 45.6、ByteTrack 47.3、OC-SORT 55.1、StrongSORT++ 55.6。Deep OC-SORT は HOTA 61.3、DetA 82.2、AssA 45.8、MOTA 92.3、IDF1 61.5。
原論文 Table 2(Maggiolino ら)、PDF 3 ページより。arXiv ライセンス、学術引用。

DanceTrack では、同じ YOLOX の検出を使う手法の中で、Deep OC-SORT の HOTA は 61.3 で、OC-SORT より 6.2 ポイント高く、AssA は 38.3 から 45.8 に上がった。DeepSORT は SORT より悪く、Deep OC-SORT は OC-SORT より良い。この二組の対照が同じ表に並んでいることが、外観の加え方の違いをちょうどよく示している。

著者らはこれを、発表済みの手法の中で最良の結果だとしている。ただし三か月前に arXiv に投稿された MOTRv2 は、DanceTrack でずっと高い成績をすでに報告していた。当時はまだ正式に発表されておらず、この表にも入っていない。

限界

これは 4 ページの短い会議論文で、分析の深さには限りがある。

三つの新しいモジュールはどれも人手で設計したルールで、外観の重み awa_w と上限 ϵ\epsilon はデータセットごとに別々に調整する必要があり、DanceTrack の設定は MOT17 とかなり違う。論文は速度も報告していない。re-ID モデルが一つ増え、検出ごとに特徴を一回抽出しなければならないので、運動だけの OC-SORT より遅いのは確実だ。

結論

Deep OC-SORT は OC-SORT に外観を戻したが、その戻し方はとても控えめだった。検出の信頼度が低いときは外観を更新せず、外観に識別力がないときは外観の重みを大きくせず、カメラが動いたら使っている古いボックスをすべて一緒に補正する。

どのモジュールも小さいが、合わせると三つのデータセットすべてで安定した改善が得られる。

DanceTrack の論文は、ダンサーの服がかぶっていれば外観は役に立たないと教えてくれた。一年あまり後、同じ著者が DanceTrack で、外観の重みを MOT17 よりも高く設定した。