論文ノートライブラリに戻る
arXiv 2019ECCV 2020複数物体追跡論文ノート

JDE

ついでに人も見分ける

原論文

Towards Real-Time Multi-Object Tracking

論文の著者

Zhongdao Wang · Liang Zheng · Yixuan Liu · Yali Li · Shengjin Wang

発表先
ECCV 2020国際会議
arXiv への初回投稿
arXiv:1909.12605
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multiobjecttrackingjde2019,
  title = {{Towards Real-Time Multi-Object Tracking}},
  author = {Zhongdao Wang and Liang Zheng and Yixuan Liu and Yali Li and Shengjin Wang},
  year = {2019},
  eprint = {1909.12605},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1909.12605}
}
このページの内容

DeepSORT、POI、MOTDT の世代のトラッカーは、どれもやり方がよく似ている。まず検出器を走らせ、次に各検出ボックスを切り出して、別の re-ID ネットワークに送って外観特徴を取り出す。

ネットワークを二つそれぞれ走らせるので、時間は両者の合計になる。画面に人が多いほど走らせる re-ID も増え、システム全体が遅くなる。

多くの論文が「リアルタイム追跡」をうたっているが、よく見ると、計時しているのは関連付けのステップだけで、検出器と re-ID の時間が入っていないことが多い。関連付けはリアルタイムでも、追跡システム全体はそうではない。

清華大学の Zhongdao Wang とオーストラリア国立大学の Liang Zheng らは、本当にリアルタイムで動くシステムを作ろうとした。検出器についでに人も見分けさせる。同じネットワークの一回の順伝播で、検出ボックスと各ボックスの外観特徴を同時に出力する。彼らはこのやり方を JDE(Joint Detection and Embedding)と呼んだ。

問題の定義

原論文 Fig. 1:三種類の追跡システムの比較。(a) 検出と埋め込みを分ける方式(SDE):画像はまず検出器を通り、検出ボックスが画像パッチとして切り出されて、独立した埋め込みモデルに送られる。(b) 二段階モデル:RPN が候補ボックスを作ったあと、特徴マップから特徴をサンプリングし直して埋め込みモデルに送る。(c) JDE:画像は一つのネットワークを通り、検出結果と埋め込み特徴を直接同時に出力する。
原論文 Fig. 1(Wang ら)、PDF 2 ページより。arXiv ライセンス、学術引用。

著者らは当時のやり方を三つに分類している。

  • (a) 検出と埋め込みを分ける方式(Separate Detection and Embedding, SDE): DeepSORT も POI もこれにあたる。検出器と re-ID モデルが完全に独立していて、re-ID の計算量は人数に比例する。
  • (b) 二段階モデル: Faster R-CNN の第二段階を、外観特徴を学ぶように変えたもの。第一段階の RPN はそのままボックスを出力し、第二段階は特徴マップから各ボックスの特徴を取り出して、距離学習で訓練する。計算の一部を共有できるが、二段階の設計そのものが遅く、たいてい毎秒 10 フレームに届かない。しかも第二段階の時間は、やはり人数とともに増える。
  • (c) JDE: 一段階の検出器に出力を一つ追加するだけで、一回の順伝播でボックスと特徴が得られる。

(c) を実現するには、目的が大きく異なる二つのタスクを、同じネットワークの中で一緒にうまく学ばせなければならない。著者らは、訓練データ、ネットワーク構成、損失関数、マルチタスクの重み、評価方法の五つの面から一つずつ取り組んだ。

問題を解く

ネットワーク構成

原論文 Fig. 2:(a) ネットワーク構成の全体像:入力画像はバックボーンを通って三つのスケールの特徴マップになり、最も小さい層をアップサンプリングして次の層と融合し、以下同様に続ける。各スケールにはそれぞれ予測ヘッドがつく。(b) 予測ヘッド:出力される密な予測マップはボックス分類、ボックス回帰、埋め込みの三つの部分に分かれ、三つの損失にはそれぞれ学習可能な不確かさのパラメータ s がついて、足し合わせて最終的な損失になる。
原論文 Fig. 2(Wang ら)、PDF 5 ページより。arXiv ライセンス、学術引用。

バックボーンは YOLOv3 が使う DarkNet-53 で、特徴ピラミッドネットワーク(FPN)をつなぎ、入力の 1/32、1/16、1/8 の三つのスケールで予測する。歩行者は遠近によって大きさがかなり違うので、マルチスケールの予測は検出に役立つ。

各スケールには予測ヘッドが一つつき、大きさ (6A+D)×H×W(6A + D) \times H \times W の密な予測マップを出力する。AA はそのスケールのアンカーボックスの数、DD は埋め込み特徴の次元だ。このマップは三つに分かれる。

  1. ボックス分類: 2A×H×W2A \times H \times W。各アンカーボックスが前景か背景か。
  2. ボックス回帰: 4A×H×W4A \times H \times W。各アンカーボックスの四つの補正量。
  3. 埋め込みマップ: D×H×WD \times H \times W。位置ごとに DD 次元の外観特徴が一つ。

デフォルトの入力 1088×6081088 \times 608 で形を計算してみよう。三つのスケールの特徴マップは、それぞれ 34×1934 \times 19、68×3868 \times 38、136×76136 \times 76 になる。論文には DD の値が書かれていないが、FairMOT の実験では JDE は 512 次元を使っている。各スケールで A=4A = 4 なので、各予測ヘッドの出力チャネル数は 6×4+512=5366 \times 4 + 512 = 536 になり、最も細かい層は 536×76×136536 \times 76 \times 136 のテンソルになる。

あるアンカーボックスが前景と判定されたら、埋め込みマップの同じ位置にある 512 次元のベクトルを取り出し、そのボックスの外観特徴とする。検出と外観特徴は一緒に計算されるので、画面に人が一人増えても、計算量はほとんど変わらない。

検出の分岐:歩行者向けにアンカーボックスを調整する

検出の分岐はおおむね RPN と同じだが、二つの変更が加えられている。

  • アンカーボックスは歩行者専用に設計されている。 すべてのアンカーボックスのアスペクト比は 1:3 で、大きさは全部で 12 種類、各スケールに 4 種類ずつ割り振られ、幅は 8×21/2≈118 \times 2^{1/2} \approx 11 から 8×212/2=5128 \times 2^{12/2} = 512 ピクセルまである。
  • 前景と背景のしきい値。 真のボックスとの IoU が 0.5 を超えれば前景で、これは一般の物体検出と同じだ。ただし IoU が 0.4 未満(一般的な 0.3 ではなく)なら背景とする。著者らは、こうすると激しい遮蔽のときの誤検出を効果的に抑えられることを見つけた。

分類には交差エントロピー、ボックス回帰には smooth-L1 を使う。

埋め込みの分岐:三つ組を分類で置き換える

埋め込みで学ぶのは、同じ人の特徴同士は近づき、違う人の特徴同士は離れるような空間だ。いちばん素直なやり方は三つ組損失(triplet loss)で、MOTDT もそうやって訓練していた。だが三つ組は組み合わせが多すぎてサンプリングが難しく、訓練もあまり安定せず、収束が遅い。

著者らは三種類の損失を比べた。

  • 三つ組損失: ミニバッチの中で、すべての負例と最も難しい正例を掘り出す。
  • 三つ組損失の滑らかな上界: より安定し、収束も速い変形。
  • 交差エントロピー: 訓練セットの身元を一人ずつ一つのクラスとみなし、取り出した埋め込み特徴を全結合層一つに通して、身元の分類を行う。

著者らはまず、後の二つを式の上で比べた。滑らかな上界は次のように書ける。

Lupper=−log⁡ef⊤f+ef⊤f++∑ief⊤fi−L_{upper} = -\log\frac{e^{f^\top f^+}}{e^{f^\top f^+} + \sum_i e^{f^\top f_i^-}}

交差エントロピーは次のとおりだ。

LCE=−log⁡ef⊤g+ef⊤g++∑ief⊤gi−L_{CE} = -\log\frac{e^{f^\top g^+}}{e^{f^\top g^+} + \sum_i e^{f^\top g_i^-}}

二つはほとんど同じ形をしていて、違いは二つある。一つ目に、交差エントロピーは各身元を、他のサンプルの特徴 ff をそのまま使うのではなく、学習可能な「クラスの重み」gg で表す。二つ目に、交差エントロピーの分母には他のすべての身元が含まれるが、三つ組系の損失に含まれるのは、そのミニバッチで抽出された負例だけだ。交差エントロピーは、ある人が他のどの身元よりも自分のクラスに似ていることを求めるので、制約は三つ組よりずっと厳しい。

実験結果の差も歴然としている。同じ重みの設定で、検索タスクでの埋め込みの TPR@FAR=0.1 は、三つ組がわずか 42.2、滑らかな上界が 44.3、交差エントロピーが 88.2 と、ちょうど倍になった。

ボックスはあっても身元のアノテーションがない前景のアンカーボックスは、埋め込みの損失を計算するときに無視される。三つのスケールの埋め込み特徴は同じ全結合層を通り、同じ特徴空間を共有するので、異なるスケールで検出された同じ人も互いに比べられる。

三つの損失をどう釣り合わせるか

予測ヘッドごとに損失が三つあり、三つのスケールを合わせると九つになる。いちばん単純なのはすべて同じ重みで足すことだが、これではほとんど訓練にならない。

著者らはいくつかの重みづけの戦略を比べた。

  • 均等な重み(Uniform): 検出の AP はわずか 6.8 に落ちる。埋め込みの損失は他の二つよりずっと大きく、訓練全体がそれに支配されて、検出はまったく学べず、MOTA は 36.9 しかない。
  • MGDA-UB: 理論的には最も整ったマルチタスク最適化の手法だが、埋め込みの損失に大きすぎる重みを与えてしまい、結果は均等な重みとあまり変わらず、AP は 8.3。
  • 損失の正規化(Loss.Norm): 各損失の移動平均の逆数を重みにする。MOTA は 57.9。
  • 近似的な最適重み(App.Opt): 独立な変数二つに制限して、人手で重みの組を探す。MOTA は 64.3。
  • 不確かさによる重みづけ(Uncertainty): 各損失に学習可能なパラメータ ss を一つずつ持たせ、ネットワーク自身に重みを決めさせる。
Ltotal=∑iM∑j∈{α,β,γ}12(1esjiLji+sji)\mathcal{L}_{total} = \sum_{i}^{M}\sum_{j \in \{\alpha, \beta, \gamma\}} \frac{1}{2}\left(\frac{1}{e^{s_j^i}}\mathcal{L}_j^i + s_j^i\right)

人手の探索を上回ったのは、この最後の方法だけだった。AP 83.0、TPR 90.4、MOTA 65.8 で、ID スイッチ 207 も最も少ない。翌年の FairMOT も、同じ重みづけのやり方を踏襲している。

訓練データ

JDE にはボックスと身元のアノテーションが両方そろったデータが必要だが、追跡のデータセットは小さすぎる。著者らは六つの公開データセットをつなぎ合わせて、大きな訓練セットを作った。ETH と CityPersons にはボックスしかないので検出だけを訓練し、CalTech、MOT16、CUHK-SYSU、PRW には身元のアノテーションがあるので、二つの分岐を一緒に訓練する。合計で約 5.4 万枚の画像、27 万個のボックス、8,700 の身元だ。ETH のうち、MOT16 のテストセットと重なる動画は取り除いてある。

この組み合わせはのちに FairMOT で MIX と呼ばれ、one-shot トラッカーの標準的な訓練データになった。

関連付け

関連付けはこの論文の主眼ではなく、著者らは単純で速いオンラインの関連付けを設計した。各軌跡は外観の状態 ee と、カルマンフィルタの運動の状態を一つずつ持つ。毎フレーム、すべての検出と軌跡のあいだの外観の類似度 AeA_e(コサイン類似度)と運動の距離 AmA_m(マハラノビス距離)を計算し、重みをつけてコストにする。

C=λAe+(1−λ)AmC = \lambda A_e + (1 - \lambda)A_m

ハンガリアン法でマッチングしたあと、軌跡の外観の状態を指数移動平均で更新する。

eit=α eit−1+(1−α) fit,α=0.9e_i^t = \alpha\, e_i^{t-1} + (1 - \alpha)\, f_i^t, \qquad \alpha = 0.9

2 フレーム続けて現れた検出だけが新しい軌跡を始め、30 フレーム更新されなかった軌跡だけが削除される。そのあいだの軌跡は一時的なプールに残り、戻ってきたときにはまだつなぎ直せる。

この EMA の更新は、のちに StrongSORT と BoT-SORT がそのまま借りている。著者らはまた、カルマンフィルタをベクトル化(すべての軌跡を一度に処理)することが速度にとって決定的だとも述べている。ネットワークがすでに十分速いと、かえって関連付けがボトルネックになりやすい。

議論

JDE は SGD で 30 エポック訓練し、入力解像度のデフォルトは 1088×6081088 \times 608 だ。検証では、検出は CalTech 検証セットの AP、埋め込みは三つのデータセットでの検索の TPR、追跡は MOT15 訓練セットの MOTA を見る。最後に MOT16 テストセットで比較する。

関連付けの手法

著者らはまず、同じ JDE のモデルに SORT と自分たちの関連付けの手法をそれぞれつないだ。人の少ない MOT15 では、自分たちの手法が MOTA 67.5、IDF1 67.6、SORT は 66.9 と 55.8 で、速度も 44.1 から 46.2 FPS に上がった。人の多い CVPR19-01 シーケンス(1 フレームあたり平均 61 人)では、速度が 26.4 から 33.9 FPS に上がり、MOTA と IDF1 はわずかに改善しただけだった。IDF1 の大きな改善は、主に外観特徴から来ている。

分離型のシステムと比べる

原論文 Fig. 3:JDE と、さまざまな SDE の組み合わせの追跡精度と速度の比較。横軸は速度(FPS)、縦軸は MOTA または IDF1。(a)(c) は人の少ない MOT15 訓練セット、(b)(d) は混雑した CVPR19-01 シーケンス。色は異なる埋め込みモデル(IDE、Triplet、PCB、JDE)を、形は異なる検出器(Faster R-CNN、Cascade R-CNN、JDE のそれぞれに ResNet-50 か ResNet-101 を組み合わせたもの、そして JDE の DarkNet-53)を表す。赤い印の JDE は右上にあり、速度が最も速く、精度は最も強い組み合わせに近い。
原論文 Fig. 3(Wang ら)、PDF 12 ページより。arXiv ライセンス、学術引用。

公平を期すため、著者らはまったく同じ訓練データを使い、いくつかの検出器(JDE、Faster R-CNN、Cascade R-CNN)といくつかの re-ID モデル(IDE、Triplet、PCB)を総当たりで組み合わせ、同じ関連付けをつないだ。

  1. 速度と精度のトレードオフが最も良い。 人が少ない場合、JDE は毎秒 22 フレームで MOTA 65.8。最も強い組み合わせである Cascade R-CNN(ResNet-101)と PCB は MOTA 66.2 だが、毎秒約 6 フレームしか出ない。
  2. 人が多いと差はもっとはっきりする。 SDE の組み合わせはどれも、混雑した場面で大きく遅くなる。re-ID の時間が人数に比例するからだ。JDE の埋め込みは検出と一緒に計算されるので、速度はほとんど影響を受けず、遅くなるぶんは主に関連付けから来ている。
  3. 一緒に学んだ埋め込みは、別々に学んだものに劣らない。 JDE の検出器を固定して、独立に訓練した IDE、Triplet、PCB の埋め込みに替えても、追跡精度はどれも近く、JDE は IDE をわずかに上回りさえする。

だが IDF1 の側は、それほど見栄えがよくない。混雑した場面では、JDE の IDF1 は強い SDE の組み合わせより大きく落ちる。

MOT16 テストセット

原論文 Table 4:MOT16 の private ルールでのオンライン手法との比較。列は訓練に使ったボックス数、身元数、MOTA、IDF1、MT、ML、ID スイッチ、そして検出、関連付け、全体の速度。DeepSORT_2 は 42.9 万個のボックスを使い、MOTA 61.4、IDF1 62.2、ID スイッチ 781、全体で 8.1 FPS 未満。POI は 66.1、65.1、805、6 FPS 未満。TAP は 64.8、73.5、794。JDE は 27 万個のボックスと 8,700 の身元を使い、入力 864 では MOTA 62.1、IDF1 56.9、ID スイッチ 1,608、30.3 FPS。入力 1088 では MOTA 64.4、IDF1 55.8、ID スイッチ 1,544、22.2 FPS。
原論文 Table 4(Wang ら)、PDF 13 ページより。arXiv ライセンス、学術引用。

JDE は追加の訓練データを使っているので、MOT16 の private ルールで比べる。相手はみな、大規模な非公開の歩行者データで訓練した同じ Faster R-CNN を使っていて、違いは re-ID モデルと関連付けのやり方にある。

MOTA では、JDE の 64.4 は DeepSORT より 3 ポイント高く、POI より 1.7 ポイント低い。しかも訓練に使ったボックスは相手の六割あまり(27 万対 42.9 万個)しかない。速度については、完全な時間を報告していない手法が多いので、著者らはそれらが共通に使う検出器を実装し直して上限を見積もった。これほど甘い上限と比べても、JDE は毎秒 22.2 フレームで、少なくとも二、三倍速い。入力の幅を 864 に縮めると、速度は 30.3 FPS まで上がり、MOTA は 62.1 に下がるだけだ。

だが IDF1 と ID スイッチは、JDE のはっきりした弱点だ。IDF1 55.8 は DeepSORT の 62.2 にも POI の 65.1 にも及ばず、ID スイッチ 1,544 は他の手法の二倍近い。

問題はボックスにある

著者らは最初、一緒に学んだ埋め込みが弱いのではないかと疑った。しかし埋め込みを独立に訓練したモデルに替えても、IDF1 と ID スイッチはほとんど変わらなかった。

本当の原因は検出にあった。歩行者が大きく重なり合うと、一段階の検出器のボックスはずれやすく、位置が合わなくなる。位置の合わないボックスで特徴を取ると、特徴に他人が混じり、ID もそれにつられて入れ替わる。こうした ID スイッチは軌跡の途中で起こることが多いので、IDF1 が特に大きく下がる。著者らは「歩行者が激しく重なり合うときに、どうやってボックスをより正確にするか」を今後の研究に残した。

その後

この問題は、半年後には引き継ぐ人が現れた。FairMOT は、問題はアンカーボックスにあると考えた。一つのアンカーボックスが何人もの人を囲むことがあり、何個ものアンカーボックスが同じ一人に対応することもあるので、re-ID 特徴があいまいに学ばれてしまう。FairMOT はアンカーフリーの中心点表現に切り替え、埋め込みを 64 か 128 次元に減らした。FairMOT の実験では、JDE の埋め込みを 512 次元から 64 次元に減らすだけで、MOTA、IDF1、ID スイッチがすべて良くなった。

結論

JDE は外観特徴を一段階の検出器に詰め込み、一回の順伝播でボックスと特徴を同時に出力した。リアルタイムに近い完全な複数物体追跡システムとしては、これが最初だ。MOT16 での MOTA は別々に訓練した強力なシステムに近く、速度は二、三倍速い。しかも人が多いほど、その強みははっきりする。

この論文でいちばん持ち帰る価値があるのは、二つの訓練の細部だ。埋め込みには身元分類の交差エントロピーを使うと、三つ組損失より倍も良い。マルチタスクの重みは不確かさのパラメータに学ばせると、人手で探すより良い。この二つの手は、その後の one-shot トラッカーでほぼ定番になった。

論文のタイトルは「Towards」だ。ボックスの位置が合わないという区間は、次の論文に歩いてもらうしかないと、著者ら自身もよくわかっていた。