Fast Convergence of DETR with Spatially Modulated Co-Attention
- 発表先
- ICCV 2021国際会議
- arXiv への初回投稿
- arXiv:2101.07448
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{objectdetectionsmcadetr2021,
title = {{Fast Convergence of DETR with Spatially Modulated Co-Attention}},
author = {Peng Gao and Minghang Zheng and Xiaogang Wang and Jifeng Dai and Hongsheng Li},
year = {2021},
eprint = {2101.07448},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2101.07448}
}
DETR の議論を続けます。
DETR が行っていることは、読者の皆さんもすでに非常に馴染み深いものだと思います。
問題の定義
著者は DETR を読んだ後、前の Deformable DETR と同じようなため息をつきました:
- DETR の収束速度が遅すぎる。
問題の根源は、DETR のクロスアテンションメカニズムが予測されるバウンディングボックスを考慮していないため、各物体クエリに対して適切なアテンションマップを生成するために何度も反復しなければならないことです。
この考え方に基づけば、クロスアテンションメカニズムを改善することで、DETR の収束速度を向上させることができるかもしれません。
解決策
空間調整共注意力(SMCA)
空間調整共注意力(Spatially Modulated Co-Attention, SMCA)の核心思想は:
学習可能なクロスアテンションマップと手作業で設計されたクエリ空間の先験的情報を組み合わせること。
SMCA は、各物体クエリに対応するバウンディングボックスの初期中心と、幅・高さそれぞれのスケールを動的に予測し、2D 空間のガウス分布に似た重みマップを生成します。そのマップで、クエリから画像特徴へのクロスアテンションの重みを調整し、予測位置の近くへ注目を集めます。
初期予測
各物体クエリは、まずその責任物体の中心と比率を動的に予測します。物体クエリの予測中心とスケールはそれぞれ次のように表されます:
ここで、2 層の MLP と sigmoid 関数を通して、物体クエリがの範囲内で正規化された中心予測を行い、その後逆操作を経て画像内の実際の中心座標を得ます。
物体クエリ は、幅と高さそれぞれのスケールも予測し、これを基に 2D ガウス分布に似た重みマップを生成します。そしてクロスアテンションの重みを調整し、予測位置に近い特徴をより強調します。
ガウス重みマップ
物体の中心とスケールを予測した後、SMCA は 2D ガウス重みマップを生成します。数式は次のように表されます:
ここでは空間インデックスで、はガウス分布の幅を調整するためのハイパーパラメータです。
は中心に近い空間位置に高い重みを与え、中心から遠い位置には低い重みを与えます。
生成された空間先験情報を使用して、SMCA はクロスアテンションマップを調整します。点積アテンションによって生成された各クロスアテンションマップは、次のように調整されます:
ここで、SMCA は空間重みマップの対数を点積クロスアテンションに加算し、すべての空間位置に対して softmax 正規化を行います。これにより、予測されたバウンディングボックス周辺の領域に対する重みが強調され、クロスアテンションの空間的な探索範囲が制限され、モデルの収束速度が速くなります。
多頭 SMCA
SMCA の多頭調整バージョンでは、異なるクロスアテンションヘッドがそれぞれの空間重みマップに基づいて特定の特徴調整を行います。
各アテンションヘッドは、共有された中心位置から始まり、ヘッド特有のオフセットとヘッド特有のスケールを予測します。
これにより、ヘッド特有の中心とスケールを基にガウス分布の空間重みマップを生成します。
多頭クロスアテンション特徴マップは次のように表されます:
物体検出性能を向上させるために、SMCA は多尺度特徴を統合します。CNN は多尺度の視覚特徴を抽出し、それぞれのダウンサンプリングレートは 16、32、64 です。計算コストを削減するために、これらの特徴は CNN バックボーンネットワークから直接抽出され、Feature Pyramid Network (FPN)は使用されません。
最適なスケールを自動的に選択するために、各物体クエリはスケール選択アテンション重みを生成します:
異なるスケールのクロスアテンション計算の数式は次のようになります:
この仕組みにより、各物体クエリは動的に最も関連性の高いスケールを選択し、無関係なスケール特徴を抑制します。
クロスアテンション計算後、更新された物体クエリ特徴がバウンディングボックスと分類スコアの予測に使用されます:
バウンディングボックス予測にも初期の空間事前情報を使います。まず sigmoid 前の中心座標 logits に、初期中心の logits を加え、その後 sigmoid を適用します。論文の は、初期中心の sigmoid 前の値です:
これにより、バウンディングボックス予測は SMCA で強調されたクロスアテンション領域と密接に関連します。
訓練戦略
-
データセット:
- 実験では COCO 2017 データセットを使用して検証を行いました。訓練セットは 118,000 枚の画像、検証セットは 5,000 枚の画像を含んでおり、性能評価には mAP(Mean Average Precision)を使用しています。これは以前の研究と一致します。
-
実験実装の詳細:
- 実験は元の DETR 設定に従っています。特徴抽出には ResNet-50 を使用し、SMCA-R50 としてラベル付けされています。
- DETR とは異なり、SMCA は 300 個の物体クエリを使用(100 個ではなく)、元の交差エントロピー分類損失を focal loss に置き換え、前景と背景分類における正負サンプルの不均衡を解決しています。focal loss の初期確率は 0.01 に設定され、訓練過程の安定化に役立ちます。
-
訓練設定:
- モデルは 50 エポックで訓練され、40 エポック目に学習率は元の 1/10 に減少します。
- Transformer エンコーダの初期学習率は、事前訓練された ResNet バックボーンの学習率はに設定され、AdamW オプティマイザーを使用して最適化されます。
- 多尺度特徴エンコーディングのデフォルトのダウンサンプリング率は 16、32、64 です。
-
損失関数とマッチング:
- 二部マッチングで使う分類損失、L1 距離損失、GIoU 損失の係数はそれぞれ 2、5、2 に設定されています。
- 二部マッチング後、モデルは分類損失、バウンディングボックス L1 損失、GIoU 損失を最小化して訓練され、損失の係数は前述の通りです。
-
その他の実験の詳細:
- Transformer 層は post-norm 設定を使用しており、以前の研究と一致します。
- データ増強プロセスではランダムクロッピングを使用し、クロップ後の最大幅または高さは 1333 に設定されています。
- すべてのモデルは 8 台の V100 GPU で訓練され、各 GPU は 1 枚の画像を担当します。
討論
DETR との比較
単一スケールの SMCA は主に DETR デコーダのクロスアテンションを置き換え、空間事前情報を作るネットワークを加えます。完全な多尺度版では、エンコーダ側も変わります。表の推論時間と GFLOPs は分けて読む必要があります。単一スケール SMCA は 0.043 秒・86 GFLOPs、DETR は 0.038 秒・86 GFLOPs。完全版 SMCA は 0.100 秒・152 GFLOPs、DETR-DC5 は 0.079 秒・187 GFLOPs です。
単一スケール特徴を使用する場合、SMCA の自己注意の次元は 256 に設定され、前方ネットワーク(FFN)の中間次元は 2048 です。多尺度特徴を使用する場合、FFN の中間次元は 1024 に設定され、エンコーダでは 5 層の内部尺度と多尺度自己注意層を使用して、DETR と類似のパラメータ数を維持し、公平な比較を行っています。
表に示されたように、「SMCA w/o multi-scale」での 50 エポックの訓練では、単一スケール特徴での mAP は 41.0 であり、多尺度特徴を使用した場合の mAP は 43.7 です。訓練時間を延長すると、単一スケール特徴の SMCA の mAP は 41.0 から 42.7 に、多尺度特徴の SMCA は 43.7 から 45.6 に改善されました。
約 43 mAP に達するまでの訓練 epoch を比べると、完全版 SMCA は 50 epoch で 43.7、DETR-DC5 は 500 epoch で 43.3 です。「10 分の 1」は訓練周期の比較です。総 GPU 時間は別途測定します。また、完全版 SMCA の画像 1 枚あたりの推論時間 0.100 秒を、DETR-DC5 の 0.079 秒と同じとは扱えません。
消融実験
著者は、SMCA の各コンポーネントの重要性を検証するために、さまざまな消融実験を実施しました。
Head-shared SMCA
著者は基準モデルにヘッド共有の空間調整メカニズムを加え、学習率や訓練計画などを揃えて比較しました。ただし Table 2 の 34.8 mAP の基準は 300 クエリと focal loss を使う修正版であり、100 クエリと交差エントロピーを使う元の DETR そのものではありません。
同じ 50 epoch の設定では、mAP は 34.8 から 40.2 に上がりました。表中の batch size 8、16、32 の結果はそれぞれ 40.2、40.2、39.9 mAP で、この三条件の差は小さいと言えます。
空間調整を行うための多頭機構を使用し、Transformer の各ヘッドを異なる空間重みマップに調整しました。すべてのヘッドは同じ物体中心から始まり、共通の中心に対するオフセットとヘッド固有のスケールを予測します。結果として、多頭空間調整での mAP は 41.0 に達し、ヘッド共有の調整よりもさらに改善されました(40.2 から 41.0 に向上)。
また、固定スケール、高さと幅の共有または独立した予測による空間重みマップもテストされました。ガウス分布スケールを固定した場合(1 に固定)は、mAP は 38.5 となり(基線から 3.7 向上)、物体中心予測の空間調整における役割が確認されました。
Multi-head SMCA
エンコーダに多尺度特徴エンコーディングを導入し、2 層の内部尺度自己注意、1 層の多尺度自己注意、およびさらに 2 層の内部尺度自己注意(「SMCA (2Intra-Multi-2Intra)」としてラベル付け)を使用しました。この設計により、性能は 41.0 から 43.7 に向上しました。もし SSA を除外すると、性能は 42.6 に低下しました。
2Intra-Multi-2Intra を 5 層の内部尺度自己注意だけに置き換えると、mAP は 43.3 に下がります。この比較は尺度間の情報交換の寄与を支えています。5Intra の 43.3 は 3Intra の 42.9 より高く、3Multi も 43.3 で 5Intra と同点です。ただし両者の層数と計算コストは異なります。
著者が選んだ 2Intra-Multi-2Intra は 43.7 mAP・39.5M パラメータで、単一スケール SMCA の 41.0 mAP・41.0M パラメータを上回ります。表の下部にある重み共有の消融は別の構成です。FFN のみ共有すると 43.0/42.2M、自己注意のみ共有すると 42.8/44.7M、どちらも共有しない場合は 42.3/47.3M。別データセットへの汎化能力は、この表だけでは測っていません。
他の SOTA アーキテクチャとの比較
上表では、著者が SMCA と他の物体検出フレームワークとの性能を COCO 2017 検証セットで比較しています。
-
DETR との比較:
- DETR はエンドツーエンドの Transformer を使用し、DETR-R50 と DETR-DC5-R50 はそれぞれ通常/膨張畳み込みを使う ResNet-50 の構成です。500 epoch 学習した DETR-DC5 と比べると、108 epoch の SMCA は小・中・大物体の AP がいずれも高い。一方、50 epoch の SMCA は中・大物体の AP でなお少し低い値です。
-
Faster R-CNN との比較:
- Faster R-CNN と FPN を組み合わせた二段階検出器との比較では、108 epoch の SMCA-R50 が 45.6 mAP で、同じ 108 epoch の Faster R-CNN-FPN-R50++ の 42.0 を上回ります。
- 後者の小物体 AP は 26.6 で SMCA の 25.9 より高く、SMCA の大物体 AP は 62.6 で後者の 53.4 より高い。ただし、異なる検出器全体の比較です。
-
Deformable DETR との比較:
- Deformable DETR は元の DETR のエンコーダの自己注意とデコーダのクロスアテンションを局所的な変形可能注意に置き換え、デコーダの自己注意は残します。元の DETR より早く収束しますが、表の R50 構成では DETR-DC5 の大物体 AP 61.1 に対して、Deformable DETR・50 epoch は 58.0、SMCA・50 epoch は 60.4 です。骨幹と学習期間が異なるので、差を空間調整だけの効果とはできません。
- SMCA は 50 エポックでの mAP(43.7)が Deformable DETR(43.8)とほぼ同じですが、SMCA は大物体の検出に強く、Deformable DETR は小物体検出に優れています。
-
UP-DETR との比較:
- UP-DETR は教師なし事前学習を用います。表では SMCA が 108 epoch で 45.6 mAP、UP-DETR-R50+ が 300 epoch で 42.8 mAP ですが、訓練手順が異なるため、この表から両者の収束速度だけを切り分けることはできません。
-
TSP-FCOS および TSP-RCNN との比較:
- TSP-FCOS と TSP-RCNN は DETR のハンガリアンマッチング方法と FCOS および RCNN 検出器を組み合わせ、DETR よりも速い収束速度と良い性能を持っています。
- Deformable DETR や Faster R-CNN-FPN と同様に、TSP-FCOS と TSP-RCNN は小物体の検出に強みがありますが、大物体の検出では若干劣ります。
- 短期の比較では、SMCA-R50 は 50 epoch で 43.7 mAP、TSP-RCNN-R50 は 36 epoch で 43.8、TSP-FCOS-R50 は 36 epoch で 43.1 です。長期では SMCA が 108 epoch で 45.6、TSP-RCNN+-R50 が 96 epoch で 45.0。異なるモデルと訓練期間の表記値であり、単一モジュールの消融ではありません。
-
ResNet-101 バックボーンの比較:
- ResNet-50 を ResNet-101 バックボーンに変更すると、性能の向上傾向は ResNet-50 の使用時と類似しています。
結論
この論文では、著者が空間調整共注意力(SMCA)メカニズムを DETR フレームワークに組み込み、顕著な性能向上を達成したことを示しています。
元の DETR-DC5 が 500 epoch で 43.3 mAP だったのに対し、完全版 SMCA は 108 epoch で 45.6 mAP に達しました。ただし、推論時間や GFLOPs は構成によって異なります。全域の特徴情報を活かしながら探索範囲を絞る設計は、収束と精度を両立する一つの道を示しています。
今後も DETR を改良する研究が続きそうですので、引き続き注目していきましょう。