NOOUGAT: Towards Unified Online and Offline Multi-Object Tracking
- arXiv への初回投稿
- arXiv:2509.02111
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multiobjecttrackingnoougat2025,
title = {{NOOUGAT: Towards Unified Online and Offline Multi-Object Tracking}},
author = {Benjamin Missaoui and Orcun Cetintas and Guillem Brasó and Tim Meinhardt and Laura Leal-Taixé},
year = {2025},
eprint = {2509.02111},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2509.02111}
}
トラッカーは昔から二派に分かれている。オンラインのトラッカーはフレームを一枚ずつ処理し、過去しか見られない。自動運転車や監視カメラに必要なのはこちらだ。オフラインのトラッカーは動画全体を見て前後を突き合わせることができ、データのアノテーションや試合の事後分析に向いている。
二派の手法は見た目もまるで違う。オンライン側は SORT、ByteTrack の流れで、関連付けは人が書いたルールに頼る。まず高スコアのボックスと組み、次に低スコアのボックスと組み、外観と運動にそれぞれどれだけ重みを与えるか、といったルールだ。オフライン側は MPNTrack、SUSHI のようなグラフニューラルネットワークで、関連付けは学習によるもので成績も良いが、固定長のクリップしか処理できない。
ところが実際の応用では、遅延の要求は「すぐに」と「無制限」の二種類だけではない。遠隔手術なら 200 ミリ秒は待てるし、ドローンは一秒に一、二枚しか撮らないので、数十フレームためてからまとめて処理できる。
この論文の著者陣には SUSHI の著者三人と TrackFormer の筆頭著者 Tim Meinhardt が含まれ、筆頭著者は Benjamin Missaoui で、論文上の所属はすべて NVIDIA だ。彼らが作ろうとしたのは、どれだけ待つかを自由に選べるトラッカーだ。一フレーム待てばオンライン追跡、二百フレーム余り待てばオフライン追跡、その間のどんな長さでもいい。名前は NOOUGAT、読めばヌガーになる。
問題の定義

著者らは、二派それぞれの欠点を指摘する。
オンラインのトラッカーは関連付けをルールに頼り、ルールのパラメータはデータセットごとに調整しなければならない。HybridSORT の外観の重みは、DanceTrack では 4.0、MOT17 では 1.3、MOT20 では 4.6 で、さらに検出の信頼度によっても変わる。こうしたルールは長時間の遮蔽も扱いにくく、ほとんどの手法は軌跡が 30 フレーム途切れるとあきらめてしまう。
オフラインのトラッカーのグラフネットワークは強力だが、動画を一度に処理しきれることを前提にしている。動画が長すぎると、互いに重なるクリップに切ってそれぞれ処理し、重なった部分でハンガリアン法や線形計画法によって縫い合わせるしかない。このステップでまたルールに戻ってしまううえ、重なった部分は何度も計算することになる。
計算してみれば、重複がどれほどかがわかる。1,024 フレームの動画で考える。
| 手法 | 区間長 | 移動幅 | 区間数 | 総処理フレーム |
|---|---|---|---|---|
| MPNTrack | 15 | 1 | 1,010 | 15,150 |
| SUSHI | 512 | 256 | 3 | 1,536 |
| NOOUGAT | 256 | 256 | 4 | 1,024 |
本稿で整理した計算例。MPNTrack と SUSHI の設定は論文 4.1 節から。
MPNTrack は一フレームをほぼ 15 回計算し、SUSHI は 1.5 回、NOOUGAT は一フレームにつき一回だけだ。
問題を解く
重ならない区間に切り、一つずつつないでいく

NOOUGAT は動画を、互いに重ならない フレームずつのサブクリップに切る。各区間はまず SUSHI と同じ GNN 階層で処理し、その区間の中の tracklet を得る。
次に、新しい ALT 層(autoregressive long-term tracking)が「これまでの軌跡」と「新しく来た区間の tracklet」をつなぐ。
つないだ結果を、さらに次の区間とつなぎ、そのまま転がしていく。
ALT 自体も一層のグラフネットワークだ。過去の軌跡の一本一本がノードで、新しく来た tracklet の一本一本もノードであり、過去の各軌跡は最も近い 10 本の新しい tracklet と結ばれる。SUSHI の各層と同じように、ネットワークは各エッジが同一人物かどうかを判定し、それを丸めて組み合わせにする。
縫い合わせという作業が、人の書いたルールから学習されたグラフネットワークに置き換わった。ALT は GNN 階層と重みも共有していて、著者らはこれで訓練が二倍以上速くなり、約 4 万回の反復で収束することを見出した。もとは 9 万回かかっていた。
パラメータ一つで、オンラインからオフラインまで
は NOOUGAT で最も重要なパラメータだ。
のときは各区間が一フレームしかないので、GNN 階層の出番はなく、ALT が過去の軌跡とこのフレームの検出を直接つなぐ。これはフレームごとのオンラインのトラッカーそのものだ。このとき著者らはグラフを二部グラフに制限している。過去の軌跡と新しく来た検出のあいだにしかエッジがなく、過去にした決定は変えられない。オンライン追跡の決まりに沿った形だ。
が大きいほど、各区間の GNN 階層が見られる時間は長くなり、判断にも確信が持てるようになるが、代わりに出力までにもっと多くのフレームを待たなければならない。オフライン設定では を使い、過去の関連付けを修正することも許す。
30 FPS の動画なら、一フレーム余分に待つごとに遅延は 33 ミリ秒増える。著者らはいくつかの用途と照らし合わせている。
| 用途 | 許容できる遅延 | 対応する |
|---|---|---|
| 自動運転 | 100 ミリ秒以内 | 1–2 |
| 監視カメラ | 約 125 ミリ秒 | 3–4 |
| 遠隔手術 | 200 ミリ秒が最適、300 ミリ秒が上限 | 6–9 |
| 空撮追跡 | 撮影自体が 1–2 FPS | 15–30 |
| アノテーション、スポーツ分析 | 制限なし | 任意 |
原論文 5.4 節をもとに整理。

同じモデルのアーキテクチャで、少し多めに待てば、そのぶん精度が手に入る。 を 1 から 8 にすると IDF1 はおよそ 8 ポイント上がり、その後は伸びが緩やかになって、256 フレームで約 77 になる。
特徴と訓練
入力特徴は SUSHI の幾何、運動、外観を踏襲し、さらにオンラインのトラッカーがよく使うものを二つ加えている。一つは OC-SORT の速度の向きの一貫性だ。もとは一本の軌跡と一つの検出ボックスを比べるものだったが、著者らはこれを二本の tracklet の比較に拡張した。前の tracklet の最後の 12 個のボックスの進行方向と、後ろの tracklet の最初の 12 個のボックスから逆算した方向を比べ、なす角が小さいほど同一人物である可能性が高い。もう一つは検出の信頼度で、ノードの初期特徴に入れる。
ALT の訓練が難しいのは、推論のときに扱う「過去の軌跡」が千差万別で、長いものも短いものも、途切れたものも続いているものもあるからだ。著者らは訓練時に、過去の正解軌跡の一部をランダムに切り出して入力にする。長さも始点もランダムで、さらに一部の軌跡やボックスをランダムに消す。過去と新しく来た区間のあいだにはわざと数フレームの空白を置き、短い遮蔽を模す。
議論
テストセット
| データセット | オンライン最強の相手 | 相手 AssA | オンライン AssA | オフライン AssA |
|---|---|---|---|---|
| DanceTrack | Hybrid-SORT | 52.6 | 54.9 | 58.7 |
| SportsMOT | DiffMOT | 65.1 | 74.3 | 83.0 |
| MOT17 | DiffMOT | 64.6 | 65.3 | 68.5 |
| MOT20 | BoT-SORT | 62.9 | 67.5 | 70.7 |
DanceTrack は原論文 Table 1、SportsMOT は原論文 Table 2、MOT17 は原論文 Table 3、MOT20 は原論文 Table 4 をもとに整理。いずれもテストセット。相手には、表の中で NOOUGAT と同じ検出を使うオンライン手法のうち、AssA が最も高いものを取った。
比較対象はすべて ByteTrack の YOLOX の検出を使っている。オンライン版は四つのデータセットすべてで関連付けのスコアが最も高く、オフライン版はそこからさらに 3 から 9 ポイント上乗せする。伸びが最も大きいのは SportsMOT で、選手はよく画面の外に走り出てはまた戻ってくる。これこそ長時間の関連付けが最も力を発揮する場面だ。
オフライン版の HOTA が MOT17、MOT20 で最も高いとは限らない。MOT17 では CoNo-Link の HOTA が 67.1、NOOUGAT が 66.9 だ。著者らの説明では、CoNo-Link のほうが検出が強く MOTA が 2 ポイント高いが、NOOUGAT は AssA と IDF1 で勝っている。
学習はルールよりどれだけ良いか
著者らは二つの直接的な比較を行っている。
- マッチング。 オンライン設定で ALT をハンガリアン法に替え、コストには HybridSORT の重みで外観、運動、速度の向きを組み合わせ、さらにその周辺でグリッドサーチも行った。DanceTrack 検証セットで、HOTA は 64.6 から 62.1 に、IDF1 は 69.0 から 65.8 に落ちる。
- 縫い合わせ。 オフライン設定で、NOOUGAT と同じ特徴と ReID を使って SUSHI を訓練し直し、重なったクリップをハンガリアン法で縫い合わせるやり方はそのまま残した。SUSHI の IDF1 は 72.0、NOOUGAT は 76.6 だ。
二つ目の比較はとくに説得力がある。両者のグラフネットワークはほとんど同じで、違いは縫い合わせがルールか学習かだけだからだ。
どこまで途切れてもつなぎ直せるか

SportsMOT では、30 フレームより長い遮蔽こそが大半を占める。下半分の分布で、32 フレームを超える遮蔽は合わせて 303 回あり、32 フレームより短い 66 回よりずっと多い。
SORT 系のトラッカーはたいてい 30 フレームで軌跡を捨てる。NOOUGAT は軌跡を長く保持するほど IDF1 が高くなり、256 フレーム保持すると約 92 になる。長期の遮蔽のために特別に設計したルールは一つもなく、すべて ALT が自分で学んでいる。
特徴それぞれの働き
幾何特徴だけを与えると HOTA は 59.1、外観だけだとかえって 57.9 しかなく、幾何と運動で 60.4、すべて与えると 64.6 になる。DanceTrack のダンサーは同じ服を着ているので、外観単独ではあまり当てにならないが、ほかの手がかりと合わせると、あいまいな場面を解決する助けになる。
速度と規模
V100 で、検出と ReID をあらかじめ計算しておいた条件では、オンライン版はわずか 12 FPS で、オフライン版はむしろ 340 FPS 出る。オンライン版は毎フレーム新しいグラフを作らなければならず、グラフの構築だけで時間の半分近くを占めるからだ。オフライン版は 256 フレームの区間につきグラフを 8 枚作るだけで済む。著者らも、オンラインの実装にはまだ最適化の余地が大きいと認めている。論文は理想的な条件での速度(oracle runtime)も別に見積もっていて、 ならすでに 37 FPS に達する。
最も混雑した MOT20-05(1,154 人、61 万個の検出ボックス)でも、オフライン版は 74 FPS を保つ。DanceTrack 検証セットでは、オンライン版もオフライン版()も GPU メモリの使用量は 6 GB 未満だ。
オンラインモデルの訓練可能なパラメータはわずか 2.7 万個で、MeMOTR は 5,100 万個ある。NOOUGAT は関連付けだけを担い、検出は既製の検出器に任せるので、MOT17 のように訓練データの少ないデータセットでも不利にならない。
ほかの領域へ
著者らはさらに三つのデータセットでテストしている。ミツバチ追跡の BEE24 は動画が最長五千フレームあり、NOOUGAT の HOTA は二位の手法より 4.5 高い。空撮車両の VETRA は一秒に一フレームしかなく、隣り合う二フレームのあいだに車が遠くまで移動する。NOOUGAT は BoT-SORT より HOTA が 17.2 高いが、このデータセット専用に設計され、車速と車両サイズの事前知識を使う Deep SR-SORT にはまだ及ばない(82.2 対 68.0)。
MOT17 の公開検出では、優位はずっと小さくなり、オフライン版の IDF1 は 72.1、SUSHI は 71.5 だ。著者らは、検出ボックスのノイズが多すぎると ALT が学びにくくなるのだろうと推測している。
結論
NOOUGAT がやったのは、SUSHI のオフラインのグラフネットワークを、任意の遅延を受け入れられるトラッカーに作り変えることだ。動画を重ならない区間に切り、各区間をグラフネットワークで処理し、区間と区間のあいだを別の一層のグラフネットワークでつなぐ。もともとオフライン手法にあった縫い合わせも、オンライン手法にあったマッチングも、学習による関連付けに置き換わった。
価値は、 を調整するだけで遅延と精度のあいだのどこか一点を選べることにある。一フレーム待てば、関連付けのスコアでリードするオンラインのトラッカーになる。二百フレーム余り待てば、オフラインのトラッカーになる。その間のどの でも、同じ一つのモデルだ。