論文ノートライブラリに戻る
arXiv 2024ICASSP 2025複数物体追跡論文ノート

MambaMOT

マンバ・メンタリティ

原論文

MambaMOT: State-Space Model as Motion Predictor for Multi-Object Tracking

論文の著者

Hsiang-Wei Huang · Cheng-Yen Yang · Wenhao Chai · Zhongyu Jiang · Jenq-Neng Hwang

発表先
ICASSP 2025国際会議
arXiv への初回投稿
arXiv:2403.10826
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{multiobjecttrackingmambamot2024,
  title = {{MambaMOT: State-Space Model as Motion Predictor for Multi-Object Tracking}},
  author = {Hsiang-Wei Huang and Cheng-Yen Yang and Wenhao Chai and Zhongyu Jiang and Jenq-Neng Hwang},
  year = {2024},
  eprint = {2403.10826},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2403.10826}
}
このページの内容

2023 年末、Mamba は「選択的状態空間モデル」として登場し、長い系列で Transformer と互角に渡り合いながら、計算量は系列長に対して線形にしか増えなかった。それから数か月のあいだに、あらゆる分野でこれを持ち込もうとする人が現れた。

複数物体追跡で系列モデルを置くのに最も向いた場所は、運動予測だ。ある軌跡の過去数フレームのボックスが与えられたとき、次のフレームのボックスを予測する。これはもともと系列の問題で、SORT 以来ずっとカルマンフィルタが担ってきた。

ワシントン大学の Hsiang-Wei Huang、Jenq-Neng Hwang らがやったのは、まさにカルマンフィルタを Mamba に置き換えることだ。論文はわずか 4 ページで、発想もごく素直だが、二週間足らず前に出た DiffMOT と並べて見るのにちょうどいい。同じ問題に、一方は拡散モデル、もう一方は状態空間モデルで挑んでいる。

問題の定義

カルマンフィルタは、物体が短い時間なら等速で直進すると仮定する。歩行者はおおむねこの仮定に合うが、ダンサーや選手はそうはいかない。

OC-SORT は以前、こうした場面でのカルマンフィルタの二つの弱点を分析した。一つは状態のノイズに敏感なことだ。速度の推定が少しずれているだけで、物体が数フレーム検出されないと、予測位置は大きくずれてしまう。もう一つは誤差が時間とともに拡大することだ。新しい観測がないあいだ、カルマンフィルタは古い速度のままひたすら推し進めるしかない。

原論文 Fig. 1:左は DanceTrack の二フレームで、上段が MambaMOT の予測ボックス、下段が ByteTrack(カルマンフィルタ)の予測ボックス、赤枠が正解。カルマンフィルタの緑枠は正解からずれている。右は同じ対象の各フレームでの予測ボックスと正解の IoU で、青線が Mamba、平均 0.95。緑線がカルマンフィルタ、平均 0.86 で、しかもたびたび急に 0.75 未満まで落ちる。
原論文 Fig. 1(Huang ら)、PDF 1 ページより。arXiv ライセンス、学術引用。

右の曲線は問題をよく表している。カルマンフィルタもたいていはうまく予測しているが、ダンサーが急に動きを変えるたびに緑線が下に落ち、何度か 0.75 を下回っている。IoU による関連付けにとって、こうした突然の外れこそ軌跡が途切れる瞬間だ。

著者らの考えは、運動を線形と仮定するより、ダンサーがふだんどう動くか、選手がふだんどう動くかをモデルにデータから学ばせたほうがいい、というものだ。

問題を解く

Mamba で次のボックスを予測する

原論文 Fig. 2:左は MambaMOT+ のアーキテクチャ。同じ軌跡の各フレームのボックスが線形射影を経て二層の Mamba ブロックに送られ、隠れ状態が一フレームずつ次へ受け渡される。最後のフレームの出力には二つのヘッドがつながる。予測ヘッドは次のフレームのボックスを、埋め込みヘッドはこの軌跡の特徴ベクトルを出力する。右は Mamba ブロックの内部で、MLP で次元を広げたあと二つの経路に分かれ、一方は一次元畳み込みと選択的 SSM を通り、もう一方はゲートとして働く。両者を掛け合わせてから元の次元に射影し戻す。
原論文 Fig. 2(Huang ら)、PDF 3 ページより。arXiv ライセンス、学術引用。

MambaMOT の運動モデルはとても小さい。入力はある軌跡の過去 nn フレームのボックスで、ボックス一つにつき四つの数字。まず一層の線形射影で 64 次元に上げ、二つの Mamba ブロックを通し、最後の MLP が次のフレームのボックスを出力する。訓練の損失は、予測ボックスと正解ボックスの GIoU に平均二乗誤差を足したものだ。

関連付けは ByteTrack をそのまま使う。高スコアのボックスをまず予測ボックスと IoU でマッチングし、残った軌跡を低スコアのボックスともう一度マッチングする。だから MambaMOT と ByteTrack の違いは、運動モデルという部品一つだけだ。

「選択的」とはどういうことか

Mamba の核心は一つの再帰式だ。

ht=Aˉt ht−1+Bˉt xt,yt=C hth_t = \bar{A}_t\, h_{t-1} + \bar{B}_t\, x_t,\qquad y_t = C\, h_t

隠れ状態 hth_t は過去のすべての入力の要約で、新しい入力が来るたびに、古い要約をどれだけ残し、新しい入力をどれだけ取り込むかを決める。

従来の状態空間モデルでは Aˉ\bar{A}、Bˉ\bar{B} は固定で、毎ステップ残す量も取り込む量も同じだ。Mamba はこれらを入力に応じて変わるようにした。だから「選択的」と呼ばれる。論文ではこの二つの量を Aˉt=1−σ(Linear(xt))\bar{A}_t = 1 - \sigma(\text{Linear}(x_t)) と Bˉt=σ(Linear(xt))\bar{B}_t = \sigma(\text{Linear}(x_t)) と書いており、足し合わせるとちょうど 1 になる。

この式を一次元に簡略化すると、運動予測での意味が見えてくる。st=σ(Linear(xt))s_t = \sigma(\text{Linear}(x_t)) とおくと、再帰式は次のようになる。

ht=(1−st) ht−1+st xth_t = (1 - s_t)\, h_{t-1} + s_t\, x_t

これは指数移動平均だ。ただし平滑化係数 sts_t は入力によって決まる。

振り向く例

入力を、ダンサーの各フレームの水平方向の速度に簡略化してみよう。直前の数フレーム、ダンサーはずっと右に向かっていて、1 フレームあたり 10 ピクセル、記憶の中は h=10h = 10 だ。このフレームで急に振り向き、速度は −10-10 になる。

やり方平滑化係数更新後の記憶予測の向き
固定係数0.20.8×10+0.2×(−10)=60.8 \times 10 + 0.2 \times (-10) = 6右のまま
選択的0.80.2×10+0.8×(−10)=−60.2 \times 10 + 0.8 \times (-10) = -6左に変わる

本稿で整理した計算例。実際のモデルの隠れ状態は高次元ベクトルで、出力はさらに MLP を通る。

係数が固定のモデルは、どの入力も同じように扱うので、古い傾向が新しい情報に塗り替えられるまで何フレームもかかる。選択的なモデルなら、こういう入力を見たら古い傾向は信用できない、新しい観測を大きく取り入れるべきだ、と学べる。

カルマンフィルタも実は観測に応じて調整するが、その調整幅はあらかじめ設定したノイズのパラメータで決まり、しかも背後にはいつも等速モデルがある。Mamba の調整のしかたは、データから学んだものだ。

MambaMOT+:ついでに軌跡の特徴も学ぶ

Mamba の隠れ状態が軌跡全体の運動パターンを覚えているのなら、それをさらに活用したい。著者らはそう考えた。MambaMOT+ は Mamba ブロックの出力に埋め込みヘッドを一つ追加し、この軌跡の特徴ベクトルを出力する。

この特徴の訓練にはコサイン埋め込み損失を使う。同じ軌跡から切り出した二つの区間は特徴が似るように、異なる軌跡の二つの区間は類似度が 0 を下回るように押し下げる。

追跡が終わったあと、すべての tracklet の特徴を総当たりで比べ、階層的クラスタリングで運動パターンの似たものをつなぐ。不合理な組み合わせをつながないよう、時間差が 50 フレームを超えるもの、空間的な距離が 50 ピクセルを超えるものはつながない。

著者らは、従来の tracklet の統合では別にシャムネットワークを訓練し、tracklet のペアごとに一回ずつ走らせる必要があるので計算量は O(N2)O(N^2) になるが、MambaMOT+ は tracklet ごとに順伝播を一回走らせるだけで O(N)O(N) だと強調している。ただしクラスタリングでコサイン類似度を総当たりで比べるステップは依然として O(N2)O(N^2) で、ベクトルの内積はネットワークを走らせるよりずっと安いというだけだ。

もう一点注意したいのは、この統合が動画全体を追跡し終えてから行われることだ。そのため MambaMOT+ はもはやオンライン手法ではない。

訓練データ

運動モデルの訓練データは、MOT17、DanceTrack、SportsMOT の訓練セットの軌跡から取る。毎回、長さが 2 から nn の区間をランダムに切り出し、nn に満たないものはパディングで埋め、次のフレームの正解ボックスを目標にする。RTX 4080 一枚で 500 epoch 訓練する。

議論

DanceTrack と SportsMOT

手法HOTAAssAIDF1
ByteTrack47.331.452.5
OC-SORT54.640.254.6
MambaMOT55.538.353.9
MambaMOT+56.139.054.9

原論文 Table I をもとに整理。DanceTrack テストセット。

同じ検出を使う ByteTrack と比べると、MambaMOT の HOTA は 8.2 高い。これが論文の主な売りだ。

ただ分解してみると、この 8.2 のうちかなりの部分は検出の側から来ている。ByteTrack の DetA は 71.6、MambaMOT は 80.8 で、AssA は 31.4 対 38.3 だ。運動モデルがおもに影響するのは関連付けなのに、同じ検出で DetA が 9 ポイント以上も違うのだから、表の中の両者は運動モデル以外の設定も違っている可能性がある。OC-SORT の DetA は 80.4 で MambaMOT に近く、これを比較対象にしたほうが公平だ。

OC-SORT と比べると、話は少し変わってくる。OC-SORT はカルマンフィルタに手を加えた手法で、MambaMOT の HOTA はそれより 0.9 高いだけ、AssA と IDF1 はむしろ低い。軌跡の統合を加えた MambaMOT+ で、ようやく IDF1 が 0.3 差で競り勝つ。

SportsMOT でも状況は似ている。同じ YOLOX 検出器を使って、MambaMOT の HOTA は 70.4、OC-SORT は 70.2 で、MambaMOT+ は 71.3 まで上がる。MambaMOT を ByteTrack の 62.0 と比べると、差は 8.4 だ。

足りないもの

この論文は短く、説明されていないことがいくつかある。

  1. アブレーションがない。 何フレーム入力するか、Mamba ブロックをいくつ使うか、GIoU 損失を外すとどうなるか、どれも実験がない。LSTM や Transformer に替えても同じくらい良いのかも、比べていない。
  2. 歩行者データセットの結果がない。 訓練データには MOT17 の軌跡が入っているのに、テストは DanceTrack と SportsMOT しか報告していない。
  3. データセットをまたぐ実験がない。 運動モデルは三つのデータセットの訓練軌跡で一緒に訓練され、そのうち二つのテストセットで評価されている。見たことのない種類の運動に移ったときにどうなるかは、論文では測っていない。
  4. 比較対象が不完全。 表の中で最強の相手は OC-SORT だ。同時期の DiffMOT は DanceTrack の HOTA が 62.3、Deep OC-SORT は 61.3 だが、どちらも載っていない。これらの手法は外観特徴も使っているので直接は比べられないが、この論文から Mamba そのものの立ち位置を判断するのは難しい。

DiffMOT のアブレーションが、側面からの参考になる。DiffMOT の枠組みの中では、同じ学習型の運動モデルでも、LSTM の HOTA は 51.2、Transformer は 54.6、拡散モデルは 55.7 で、カルマンフィルタは 46.8 だ。学習型の運動モデルは確かにカルマンフィルタより良いが、どの系列モデルを使うかでの差はずっと小さい。

速度

MambaMOT は GPU 一枚で 28.8 FPS で動く。著者らはこれを MOTR のようなエンドツーエンドの手法と比べていて、後者はたいてい 10 FPS に届かない。運動モデルは 64 次元の Mamba ブロック二つだけで、それ自体はとても軽い。

結論

MambaMOT は、カルマンフィルタを小さな Mamba に置き換えて、追跡が良くなるかどうかを確かめた。ダンサーや選手については答えは「良くなる」で、ByteTrack と比べて HOTA が一気に 8 ポイント以上伸びた。

選択的状態空間モデルの良さは、古い傾向と新しい観測のどちらを信じるかを入力に応じて決められることにあり、それこそ不規則な運動が最も必要とするものだ。ただ、OC-SORT のような改良型のカルマンフィルタ手法と比べると、優位はほんのわずかしか残らない。ほかの系列モデルよりこのタスクに向いているのかどうかについては、この論文は答えを出していない。