DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution
- 発表先
- CVPR 2021国際会議
- arXiv への初回投稿
- arXiv:2006.02334
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{featurefusiondetectors2020,
title = {{DetectoRS: Detecting Objects with Recursive Feature Pyramid and Switchable Atrous Convolution}},
author = {Siyuan Qiao and Liang-Chieh Chen and Alan Yuille},
year = {2020},
eprint = {2006.02334},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2006.02334}
}
FPN の構造だけを研究するのは、そろそろ行き詰まりでしょうか。
Google Research はこの問題をさらに探り、バックボーンとネックの設計を統合することで、新しい設計方向を見つけられるかもしれません。
問題の定義
これまでの主要な成果である PANet、BiFPN、NAS-FPN などは、すべて FPN を基にした改良であり、ピラミッドの基本構造を壊すことはありませんでした。
検出性能には改善の余地があります。特徴融合の寄与は、対象を絞った実験で確かめる必要があります。
より豊富な特徴が必要であり、それによって評価データセットで新たなパフォーマンスを達成できる可能性があります。
問題の解決
再帰的特徴ピラミッド
再帰的特徴ピラミッド(Recursive Feature Pyramid、RFP)は、著者が本論文で提案した新しい設計方式です。RFP の「R」は再帰的(Recursive)を意味し、FPN の出力を「再度」バックボーンネットワークに送ることを表しています。
上図の(a)は従来の FPN 構造で、(b)は著者が提案した RFP 構造です。バックボーンネットワークはフィードバックされた特徴を受け取ると、それを再度抽出して融合し、再び FPN の処理を通じて「何度も考え、何度も修正する」効果を得ます。
以前の BiFPN の設計概念を思い出してください。複数の特徴ピラミッドを接続して多尺度の情報を融合することで、「強力なネック」を訓練することが目的でした。一方、RFP では特徴マップをバックボーンネットワークに送るので、「強力なバックボーン」の訓練が目的です。つまり、BiFPN は後段の特徴融合の強化に焦点を当て、RFP はバックボーンに何度も「再度画像を見直す」機会を与えて、全体的な特徴表現能力を向上させることに重点を置いています。
図 (c) は再帰を 2 回の逐次計算に展開したものです。緑の点は前回の FPN 特徴を次のバックボーンへ戻す ASPP、赤の点は融合モジュールです。融合モジュールは sigmoid で得た空間重みを使い、前回と今回の FPN 特徴を組み合わせて予測ヘッドへ渡します。標準設定では 2 回の処理でバックボーン段階の重みを共有しません。特徴マップと予測ヘッドを残差加算する構造でもありません。
空洞畳み込み
次の章に進む前に、前提知識を補足します:空洞畳み込みとは何でしょうか?
空洞畳み込み(Atrous Convolution)は、畳み込みカーネル内に空洞(dilation holes)を挿入する技術で、出力サイズとチャネル数が同じなら、重み数や理論的な積和演算数を増やさずに受容野を広げられます。実測遅延は実装に依存します。これにより、モデルは「局所的な詳細」と「全体的な情報」の両方に同時に注目することができ、セマンティックセグメンテーションや物体検出などのタスクで特に効果的です。
標準の畳み込みでは、カーネルの範囲がそのサイズに制限され、広範囲の情報を一度に捉えることはできません。受容野を拡大するために多層の畳み込みを重ねることは可能ですが、計算コストが大きくなります。空洞畳み込みは、畳み込みカーネル内に「間隔」を挿入することで、固定サイズのカーネルがいくつかのピクセルを飛ばし、計算量を増やすことなく受容野を拡大します。
次に、異なる空洞率(Atrous Rate)での 3×3 畳み込みがどのように機能するかを図で見てみましょう:
-
(a) 標準畳み込み(空洞率 = 1)
X X X X X X X X X- 畳み込みカーネルがカバーする範囲が小さく、局所的な詳細を学習するのに適しています。
-
(b) 空洞畳み込み(空洞率 = 2)
X - X - X - - - - - X - X - X - - - - - X - X - X- 各重みの間隔が 1 ピクセル(
-は飛ばされたピクセル)で、実効カーネルサイズは 3×3 から 5×5 になります。
- 各重みの間隔が 1 ピクセル(
-
(c) 空洞畳み込み(空洞率 = 3)
X - - X - - X - - - - - - - - - - - - - - X - - X - - X - - - - - - - - - - - - - - X - - X - - X- 各重みの間隔が 2 ピクセルで、さらに受容野が拡大します。
空洞率を調整することで、モデルは異なるスケールの特徴を柔軟に学習でき、セマンティックな理解能力を向上させることができます。
切替可能な空洞畳み込み
切替可能な空洞畳み込み(Switchable Atrous Convolution、SAC)は、著者が本論文で提案したもう一つの重要な設計で、関連する重みを持つ異なる空洞率の二分岐を、位置ごとの重みで組み合わせます。通常は両方を計算するソフトな切り替えであり、一方だけを実行する方式ではありません。
SAC の構造は以下の図に示されています。これには三つの主要部分が含まれています:
- 前段のGlobal Contextモジュール(左側の Pre-Global Context)
- 中央のSAC 主体
- 後段のGlobal Contextモジュール(右側の Post-Global Context)
Global Context 部分は一旦置いておき、SAC 主体の設計を見てみましょう:
著者はを、入力に対して重みと空洞率で作用させた畳み込み演算を表し、出力をとします。
普通の 3×3 畳み込みを SAC に変換するための数学式は以下のように表されます:
ここで:
- は SAC の空洞率のハイパーパラメータ(実験ではデフォルトで)。
- は元々の事前学習された重みです。
- は空洞率に対応する重みで、は学習可能なパラメータで、初期値は 0 です。
- は「スイッチ関数」で、ピクセル単位で「標準畳み込み」または「空洞率が大きい畳み込み」のいずれを優先するかを動的に決定します。
が 1 に近づくと空洞率 1 の分岐が、0 に近づくと空洞率 の分岐が相対的に強く寄与します。ただし両分岐とも計算され、 は に制限されません。これは両端付近での直感的な説明です。論文の実装では両方の畳み込みを変形可能畳み込みに置き換えています。表 3 の SAC - DCN は、その部分を外した消融です。
次に問題になるのは:
- 追加した空洞畳み込み分岐で、事前学習済みの重みをどう使うか。
これに対し、著者は「重みロックメカニズム」を提案しました。これにより、二つの分岐で基底の重み を共有し、第二分岐は差分 を加えた として、事前学習された重みを保持しながら、は訓練中に空洞率の畳み込みの挙動を微調整できます。「ロック」はこのパラメータの関係を指し、 も学習で更新します。
最後に、Global Context モジュールの設計に戻ります。SAC 主体の前後には軽量な「Global Context モジュール」が接続されています。
このアプローチは SENet に似ていますが、著者は以下の 2 つの変更を加えました:
- 1×1 畳み込み層のみを使用し、追加の非線形性(ReLU など)は使用しません。
- 出力された特徴を、SENet のように Sigmoid を通して掛け算するのではなく、元の特徴に加算します。
具体的な手順は、上図を参照してください。まず入力に対してグローバル平均プーリング(Global AvgPool)を適用し、次に 1×1 畳み込みでチャネルをスケーリングし、最後にこれらのグローバル情報を元の特徴マップに加算します。
討論
ここでは、RFP(再帰的特徴ピラミッド) と SAC(切替可能な空洞畳み込み) が実験でどのように効果を発揮したかを中心に見ていきます。
RFP と SAC の効果
著者は COCO データセットを使用して実験を行い、HTC + ResNet-50 + FPN をベースモデルとして、そこに RFP と SAC をそれぞれ追加し、最終的に両者を組み合わせてDetectoRSモデルを構築しました。
COCO val2017 での 12 エポック学習では、RFP と SAC により box AP が 42.0 から 46.2、46.3 に上がります。改善はそれぞれ 4.2、4.3 AP ポイントです。mask AP はどちらも 37.1 から 40.4 に上がり、速度はベースラインの 4.3 fps からそれぞれ 4.1/4.2 fps に下がります。これらは相対的な増加率ではありません。
両者を組み合わせた(DetectoRS)モデルは、評価データセットで49.0% box AP と 42.1% mask APを達成し、単一の NVIDIA TITAN RTX で約 3.9 fps、ベースラインは 4.3 fps でした。許容できる速度かどうかは用途に依存します。
RFP と SAC の消融実験
まず、RFP の消融実験を見てみましょう:
- RFP + sharing:RFP の繰り返し(unrolled)過程で、同じバックボーン段が再帰の各回で重みを共有する場合です。表の標準 RFP は重みを共有しません。共有すると box AP は 46.2 から 45.4 に下がります。
- RFP - aspp:フィードバックリンクで使用される ASPP モジュールを除去した場合です。ASPP は多尺度情報を提供しており、これを除去するとパフォーマンスが低下しました。
- RFP - fusion:融合モジュール(Fusion Module)を無効化した場合です。融合がなくなると、複数回の再帰的特徴の統合が欠け、同様にパフォーマンスが低下しました。
- RFP + 3X:unrolled ステップを 2 から 3 に増加させた場合です。この変更によりbox AP が 1.3 AP ポイント の向上が見られ、「より多くの回数(3 回)見る」ことが特徴表現の強化に寄与することが分かりましたが、計算コストが高くなります。
次に SAC の消融実験です:
- SAC - DCN:Deformable Convolution(DCN)を使用せず、空洞畳み込みのみを使用した場合です。この結果、DCN を追加したバージョンよりも AP が低くなりました。
- SAC - DCN - global:DCN を使用しない場合に、さらに SAC の前後の Global Context モジュールを削除した場合です。この操作により AP が再度低下しました。
- SAC - DCN - locking:SAC の「ロック機構」を無効にし、第二の空洞率畳み込みをではなくで直接使用した場合です。この結果、AP が低下し、「ロック機構」が事前学習された重みを保持しながら、空洞率の畳み込み挙動を学習する重要性が示されました。
- SAC - DCN + DS(デュアルスイッチ):元の「S(x)」と「1 - S(x)」の設計を 2 つの独立したスイッチ S1(x)と S2(x)で置き換えた場合です。この結果、前向きな改善は見られず、元の相補的な重みの設計の方が効果的であることが示されました。
アブレーションは、この HTC/COCO 条件での RFP と SAC の有効性を支持しています。一方で、再帰や複数分岐には追加コストがあり、AP と併せて遅延も評価する必要があります。
他の方法との比較
上表の結果は 4 つのカテゴリに分けられています:
- 一段階(one-stage)検出器
- 複数段階(multi-stage)検出器
- HTC
- 著者の DetectoRS 結果
また、Test-Time Augmentation(TTA)を使用したかどうかで分類され、第三の列では TTA を使用したモデルが示されています。
論文ごとに TTA の方法や規模は異なります。原論文の本文によると、CBNet の box AP は TTA なしの 50.7 から TTA ありの 53.3 に上がりますが、表 4 に載るのは 53.3 の行だけです。ResNeXt-101-32x4d の DetectoRS では TTA による増分は 1.4 AP ポイントです。
表 4 では ResNet-50 の DetectoRS は TTA なしで 51.3 box AP、ありで 53.0 です。ResNeXt-101-32x4d では 53.3/54.7、ResNeXt-101-64x4d と TTA の組み合わせでは 55.7 に達します。これは COCO test-dev の値で、前述の 12 エポック・val2017 消融とは設定が異なります。論文間でもバックボーン、学習条件、TTA の負担がそろっていないため、構造だけを変えた統一条件の比較ではありません。
結論
本論文では、再帰的特徴ピラミッド(RFP)と切替可能な空洞畳み込み(SAC)の 2 つのコア概念が提案され、両者を組み合わせてDetectoRSモデルが作成されました。
「マクロレベル」で見ると、RFP はフィードバックメカニズムを通じて FPN の出力を再びバックボーンの各段階に注入し、より深い特徴強化を実現しています。一方、「ミクロレベル」では、SAC は切替可能な空洞畳み込みを使ってモデルが感受野を柔軟に調整できるようにし、特徴学習の多様性を向上させています。
特徴融合の観点から、バックボーンとネックを同時に考慮する設計アプローチは、今後の研究方向の一つかもしれません。