{"notes":[{"id":"mamba/mambaout","category":"mamba","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"MambaOut","subtitle":"マンバ退場","author":"Z. Yuan","paperDate":"2024-05-13","publishedOn":"2025-11-18","world":"external/vim-2","paperTitle":"MambaOut: Do We Really Need Mamba for Vision?","paperUrl":"https://arxiv.org/abs/2405.07992","bibliography":{"title":"MambaOut: Do We Really Need Mamba for Vision?","authors":["Weihao Yu","Xinchao Wang"],"url":"https://arxiv.org/abs/2405.07992","pdfUrl":"https://arxiv.org/pdf/2405.07992v3","codeUrl":"https://github.com/yuweihao/MambaOut","preprint":{"id":"2405.07992","submittedOn":"2024-05-13","url":"https://arxiv.org/abs/2405.07992"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Yu_MambaOut_Do_We_Really_Need_Mamba_for_Vision_CVPR_2025_paper.html"},"citation":"@misc{mambamambaout2024,\n  title = {{MambaOut: Do We Really Need Mamba for Vision?}},\n  author = {Weihao Yu and Xinchao Wang},\n  year = {2024},\n  eprint = {2405.07992},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.07992}\n}\n","citationPath":"/content/papers/citations/mamba/mambaout.a7cd237c551a.bib"},"thumbnail":{"src":"/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png","width":1112,"height":456},"locale":"ja","path":"/content/papers/ja/mamba/mambaout.5dbd942077ff.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"mamba-はどんなタスクに向いているのか","text":"Mamba はどんなタスクに向いているのか？","depth":3},{"id":"画像は長い系列か","text":"画像は長い系列か？","depth":3},{"id":"ssm-を取り除く","text":"SSM を取り除く","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"imagenet-の分類","text":"ImageNet の分類","depth":3},{"id":"検出とセグメンテーション","text":"検出とセグメンテーション","depth":3},{"id":"この物差しの限界","text":"この物差しの限界","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/poolformer","relation":"referenced","topic":""},{"id":"vision-transformers/caformer","relation":"referenced","topic":""},{"id":"mamba/vim","relation":"referenced","topic":""}]},{"id":"vision-transformers/poolformer","category":"vision-transformers","legacyPath":"vision-transformers/2111-poolformer","legacySlug":"2111-poolformer","legacyPaths":[],"title":"PoolFormer","subtitle":"あなたが必要なのはフレームワーク！","author":"Z. Yuan","paperDate":"2021-11-22","publishedOn":"2024-07-10","paperTitle":"MetaFormer Is Actually What You Need for Vision","paperUrl":"https://openaccess.thecvf.com/content/CVPR2022/html/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.html","bibliography":{"title":"MetaFormer Is Actually What You Need for Vision","authors":["Weihao Yu","Mi Luo","Pan Zhou","Chenyang Si","Yichen Zhou","Xinchao Wang","Jiashi Feng","Shuicheng Yan"],"url":"https://openaccess.thecvf.com/content/CVPR2022/html/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.html","pdfUrl":"https://openaccess.thecvf.com/content/CVPR2022/papers/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.pdf","codeUrl":"https://github.com/sail-sg/poolformer","preprint":{"id":"2111.11418","submittedOn":"2021-11-22","url":"https://arxiv.org/abs/2111.11418"},"publication":{"venue":"CVPR","year":2022,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2022/html/Yu_MetaFormer_Is_Actually_What_You_Need_for_Vision_CVPR_2022_paper.html"},"citation":"@misc{visiontransformerspoolformer2021,\n  title = {{MetaFormer Is Actually What You Need for Vision}},\n  author = {Weihao Yu and Mi Luo and Pan Zhou and Chenyang Si and Yichen Zhou and Xinchao Wang and Jiashi Feng and Shuicheng Yan},\n  year = {2021},\n  eprint = {2111.11418},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2111.11418}\n}\n","citationPath":"/content/papers/citations/vision-transformers/poolformer.f2f96629d283.bib"},"thumbnail":{"src":"/content/papers/assets/3cb141e9bb1247410c8214276b21b28ed1d536060d470406f1bfb0c88fe68df2.jpg","width":1498,"height":548},"locale":"ja","path":"/content/papers/ja/vision-transformers/poolformer.f4daa609b693.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"入力埋め込み-input-embedding","text":"入力埋め込み (Input Embedding)","depth":3},{"id":"token-mixer","text":"Token-Mixer","depth":3},{"id":"チャネル-mlp-channel-mlp","text":"チャネル MLP (Channel MLP)","depth":3},{"id":"token-mixer-は重要でない","text":"Token-Mixer は重要でない？","depth":3},{"id":"解決問題","text":"解決問題","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"モデル設定","text":"モデル設定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"imagenet-実験","text":"ImageNet 実験","depth":3},{"id":"消融実験","text":"消融実験","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/mlp-mixer","relation":"background","topic":"骨格とトークン混合の分離"},{"id":"vision-transformers/caformer","relation":"next","topic":"骨格とトークン混合の分離"}]},{"id":"vision-transformers/caformer","category":"vision-transformers","legacyPath":"vision-transformers/2210-caformer","legacySlug":"2210-caformer","legacyPaths":[],"title":"CAFormer","subtitle":"MetaFormer ユーザーマニュアル","author":"Z. Yuan","paperDate":"2022-10-24","publishedOn":"2024-07-11","paperTitle":"MetaFormer Baselines for Vision","paperUrl":"https://doi.org/10.1109/TPAMI.2023.3329173","bibliography":{"title":"MetaFormer Baselines for Vision","authors":["Weihao Yu","Chenyang Si","Pan Zhou","Mi Luo","Yichen Zhou","Jiashi Feng","Shuicheng Yan","Xinchao Wang"],"url":"https://doi.org/10.1109/TPAMI.2023.3329173","pdfUrl":"https://arxiv.org/pdf/2210.13452v4","codeUrl":"https://github.com/sail-sg/metaformer","preprint":{"id":"2210.13452","submittedOn":"2022-10-24","url":"https://arxiv.org/abs/2210.13452"},"publication":{"venue":"IEEE Transactions on Pattern Analysis and Machine Intelligence","shortVenue":"IEEE TPAMI","year":2024,"kind":"journal","url":"https://doi.org/10.1109/TPAMI.2023.3329173"},"citation":"@misc{visiontransformerscaformer2022,\n  title = {{MetaFormer Baselines for Vision}},\n  author = {Weihao Yu and Chenyang Si and Pan Zhou and Mi Luo and Yichen Zhou and Jiashi Feng and Shuicheng Yan and Xinchao Wang},\n  year = {2022},\n  eprint = {2210.13452},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2210.13452}\n}\n","citationPath":"/content/papers/citations/vision-transformers/caformer.aa84265d674f.bib"},"thumbnail":{"src":"/content/papers/assets/6ccbfbc74d7ee0be5bc2f37dd6cdd936bf9ed5cf9412cdab0f7dcc2c77a6d9ec.jpg","width":1224,"height":1004},"locale":"ja","path":"/content/papers/ja/vision-transformers/caformer.6e5f8e64cd7f.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"starrelu","text":"StarReLU","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"基本的-token-mixer-の使用","text":"基本的 Token Mixer の使用","depth":3},{"id":"一般的な-token-mixer-の使用","text":"一般的な Token Mixer の使用","depth":3},{"id":"消融実験","text":"消融実験","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/poolformer","relation":"background","topic":"骨格とトークン混合の分離"},{"id":"vision-transformers/convmixer","relation":"comparison","topic":"畳み込みによる画像パッチの混合"},{"id":"classic-cnns/convnext","relation":"comparison","topic":"畳み込みによる画像パッチの混合"}]},{"id":"mamba/vim","category":"mamba","legacyPath":"mamba/2401-vim","legacySlug":"2401-vim","legacyPaths":[],"title":"Vim","subtitle":"マンバの視線","author":"Z. Yuan","paperDate":"2024-01-17","publishedOn":"2025-01-08","paperTitle":"Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model","paperUrl":"https://arxiv.org/abs/2401.09417","bibliography":{"title":"Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model","authors":["Lianghui Zhu","Bencheng Liao","Qian Zhang","Xinlong Wang","Wenyu Liu","Xinggang Wang"],"url":"https://arxiv.org/abs/2401.09417","pdfUrl":"https://arxiv.org/pdf/2401.09417","codeUrl":"https://github.com/hustvl/Vim","preprint":{"id":"2401.09417","submittedOn":"2024-01-17","url":"https://arxiv.org/abs/2401.09417"},"publication":{"venue":"ICML","year":2024,"kind":"conference","url":"https://arxiv.org/abs/2401.09417"},"citation":"@misc{mambavim2024,\n  title = {{Vision Mamba: Efficient Visual Representation Learning with Bidirectional State Space Model}},\n  author = {Lianghui Zhu and Bencheng Liao and Qian Zhang and Xinlong Wang and Wenyu Liu and Xinggang Wang},\n  year = {2024},\n  eprint = {2401.09417},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2401.09417}\n}\n","citationPath":"/content/papers/citations/mamba/vim.04f7a0c3f9ed.bib"},"thumbnail":{"src":"/content/papers/assets/f6f1543dc8b09bec8d718b356195b440e445961b944f10cc2cca7bbae4ba11e1.jpg","width":1616,"height":440},"locale":"ja","path":"/content/papers/ja/mamba/vim.333ba8b0815f.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"vision-mamba-block","text":"Vision Mamba Block","depth":3},{"id":"パラメータ設定","text":"パラメータ設定","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"画像分類の性能","text":"画像分類の性能","depth":3},{"id":"高解像度下の性能比較","text":"高解像度下の性能比較","depth":3},{"id":"画像セグメンテーションの性能","text":"画像セグメンテーションの性能","depth":3},{"id":"物体検出の性能","text":"物体検出の性能","depth":3},{"id":"アブレーション---双方向設計","text":"アブレーション - 双方向設計","depth":3},{"id":"アブレーション---分類戦略","text":"アブレーション - 分類戦略","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"討論":"考察","物件検出の性能":"物体検出の性能","消融実験---双方向設計":"アブレーション---双方向設計","消融実験---分類戦略":"アブレーション---分類戦略"},"guide":null,"relatedReading":[{"id":"mamba/mamba","relation":"background","topic":"状態空間の記憶から視覚系列へ"}]}],"text":"この論文の扉には、こう書かれています。In memory of Kobe Bryant。\n\nその下には、Kobe が2016年の NBA 引退スピーチを締めくくった言葉が引かれています。「What can I say, Mamba out.」Black Mamba は Kobe のあだ名で、「Mamba out」とはつまり、マンバ退場です。\n\nMamba を読んだとき、私たちは、これはまた新たな膨大な論文の始まりだと書きました。視覚分野の反応は確かに速く、2024年1月に Vision Mamba と VMamba が相次いで現れ、続いて LocalMamba、PlainMamba、EfficientVMamba が、分類、検出、セグメンテーションのさまざまなバックボーンに Mamba を組み込みました。\n\nそれから半年もたたないうちに、シンガポール国立大学の Weihao Yu と Xinchao Wang がこの論文を書きました。タイトルでずばり問いかけています。視覚に Mamba は本当に必要なのか？\n\n私たちの PoolFormer と CAFormer のノートを読んだことがあれば、筆頭著者に見覚えがあるはずです。彼はずっと同じ種類の問いを立ててきました。モデルの性能がよいのは、結局どの部品のおかげなのか？\n\n## 問題の定義\n\n著者らの出発点は、ある観察です。こうした視覚 Mamba モデルの成績は、当時最高の畳み込みモデルやアテンションモデルと比べると、見劣りすることが多かったのです。\n\nでは、Mamba は何に向いているのか？ 視覚タスクはそれに当てはまるのか？ 著者らはまず概念の面からこの2つの問いに答え、次に SSM をあえて取り除いた一連のモデルで検証します。\n\n## 問題の解決\n\n### Mamba はどんなタスクに向いているのか？\n\n[![2列の模式図。左列の Causal attention：1ステップ目は古い記憶が空で、x1 を加えると新しい記憶に k1、v1 が保存される。2ステップ目の新しい記憶は k1 v1、k2 v2 の2組、3ステップ目は3組になり、記憶はステップごとに長くなる。右列の RNN-like：各ステップで古い隠れ状態 h と新しい入力を融合し、同じ大きさの新しい状態にする。h0 から h1、h1 から h2、h2 から h3](/content/papers/assets/0a06070fe70c8178d01ed035d860f87f5caa629d7b13f3eb90b15d154a055398.png)](/content/papers/assets/0a06070fe70c8178d01ed035d860f87f5caa629d7b13f3eb90b15d154a055398.png)\n\n*原論文 Figure 2。[**v3 PDF の4ページ**](https://arxiv.org/pdf/2405.07992v3#page=4)から抜粋。左が因果的アテンション、右が RNN 型のモデルです。*\n\nこの図は、2種類の記憶のしかたをはっきり描いています。\n\n左の因果的アテンションは、トークンを一つ読むたびに、その key と value を記憶に加えます。各位置の key と value がすべて残る代わりに、記憶はどんどん長くなります。3ステップ目には新しい入力を3組の key、value と一緒に計算し、1,000ステップ目なら1,000組です。\n\n右の RNN 型のモデルは、Mamba の SSM も含めて、各ステップで古い状態と新しい入力を融合し、同じ大きさの新しい状態にします。融合のコストは一定ですが、状態の大きさには限りがあるので、古い情報は必ず圧縮されるか捨てられます。\n\n著者らはここから、Mamba が適する2つの条件を導きます。\n\n1. **系列が十分に長い**。短い系列ではアテンションのコストはまだ高くなく、しかも各位置の key と value を保持しているので、Mamba が優位に立つのは難しいと著者らは考えます。系列が十分に長くなって初めて、アテンションの二乗コストが重荷になります。\n2. **タスクが因果的な情報の流れを必要とする**。SSM の再帰は本来、過去と現在しか見られないので、一語ずつ生成するタスクに向いています。\n\n2点目には少し補足が必要です。著者らはトークン混合を2つのモードに分けます。**因果モード**では $t$ 番目のトークンは1番目から $t$ 番目までしか見られず、**完全可視モード**では各トークンがすべてを見られます。アテンションはどちらもでき、マスクを加えれば因果モードになります。一方向の RNN は、読む方向に沿ってしか情報を蓄積できません。各位置に前後の文脈を見せるには、逆方向の分岐を別に加えて統合する必要があります。統合すれば各位置は確かに入力全体を使えますが、情報は2つの固定サイズの状態を通らなければならず、アテンションのように直接参照し合うのとは違います。著者らはこの場合も因果モードの延長に分類し、完全可視のアテンションほど自然ではないと考えています。\n\n画像認識は理解のタスクで、画像全体を一度に見られるので、因果的な制約は要りません。著者らは小さな実験をしています。ViT のアテンションを因果モードに変えると、ImageNet の正解率が下がりました（原論文 Figure 3b）。\n\n### 画像は長い系列か？\n\n1つ目の条件には物差しが必要です。著者らは Transformer ブロックの計算量で測ります。入力が $L$ 個のトークンで各 $D$ 次元、MLP の拡張率が4倍のとき、\n\n$$\n\\text{FLOPs}=24D^2L+4DL^2,\\qquad r_L=\\frac{4DL^2}{24D^2L}=\\frac{L}{6D}\n$$\n\n$r_L$ が1より大きい、つまり $L>6D$ のとき、長さの二乗に関わる項が線形の項を上回り、長い系列とみなせます。\n\n論文の3つのタスクで計算してみましょう。パッチはどれも 16×16 です。\n\n```python\nD = {\"ViT-S\": 384, \"ViT-B\": 768}\ntasks = {\"ImageNet 224×224\": (224, 224), \"COCO 800×1280\": (800, 1280), \"ADE20K 512×2048\": (512, 2048)}\nfor name, (h, w) in tasks.items():\n    L = (h // 16) * (w // 16)\n    ratios = \"、\".join(f\"{k} の L/6D = {L / (6 * d):.2f}\" for k, d in D.items())\n    print(f\"{name}: {L:,} トークン。{ratios}\")\n```\n\n```text\nImageNet 224×224: 196 トークン。ViT-S の L/6D = 0.09、ViT-B の L/6D = 0.04\nCOCO 800×1280: 4,000 トークン。ViT-S の L/6D = 1.74、ViT-B の L/6D = 0.87\nADE20K 512×2048: 4,096 トークン。ViT-S の L/6D = 1.78、ViT-B の L/6D = 0.89\n```\n\nImageNet の分類はわずか196トークンで、閾値には10倍以上足りません。COCO の検出と ADE20K のセグメンテーションは約 4K トークンで、ViT-S では閾値を超え、ViT-B でも閾値に近づいています。\n\nそこで著者らは、2つの仮説を立てます。\n\n- **仮説1**：ImageNet の分類は長くもなく、因果性も必要ないので、SSM は要らない。\n- **仮説2**：検出とセグメンテーションは因果性を必要としないが、系列が十分に長いので、SSM がまだ役立つかもしれない。\n\n### SSM を取り除く\n\n[![左の図は2種類のブロックの構造。Gated CNN ブロックの入力は2つの Linear で2本に分かれ、一方は Conv を、もう一方は活性化関数を通り、2本を掛け合わせてから Linear を通る。Mamba ブロックも同じだが、Conv の後に活性化関数と SSM が加わる。右の図は ImageNet の Top-1 正解率と計算量のバブルチャートで、MambaOut の曲線は VMamba、PlainMamba、Vision Mamba より上にある](/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png)](/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png)\n\n*原論文 Figure 1。[**v3 PDF の1ページ**](https://arxiv.org/pdf/2405.07992v3#page=1)から抜粋。(a) では正規化と残差接続を省略しています。(b) のバブルの大きさはパラメータ数を表します。*\n\n左の図を見ると、2つのブロックはほとんど同じです。著者らは両者を同じ式で書きます。\n\n$$\nY=\\big(\\text{TokenMixer}(X'W_1)\\odot\\sigma(X'W_2)\\big)W_3+X\n$$\n\n$X'$ は正規化後の入力です。一方は token mixer を通り、もう一方は活性化関数を通ってゲートになり、2本を要素ごとに掛け合わせてから、元の次元に射影し直します。違いは token mixer だけです。\n\n$$\n\\text{TokenMixer}_{\\text{Gated CNN}}(Z)=\\text{Conv}(Z),\\qquad\n\\text{TokenMixer}_{\\text{Mamba}}(Z)=\\text{SSM}\\big(\\sigma(\\text{Conv}(Z))\\big)\n$$\n\nMamba ブロックは、Gated CNN の畳み込みの後に SSM を一つつないだものです。\n\nつまり、Mamba ブロックから SSM を取り除けば、残るのは Gated CNN です。著者らはこれを積み重ねて一連のモデルを作り、**MambaOut** と名付けました。\n\n- token mixer には ConvNeXt にならって 7×7 の depthwise 畳み込みを使い、実際の速度のために、InceptionNeXt にならって一部のチャネルだけを畳み込みます。\n- ResNet のように4つのステージに分け、ステージ間でダウンサンプリングします。\n- 最小の Femto から Base まで、計4種類のサイズがあります。\n\nこの設計はベースラインです。SSM なしで、どこまでやれるかを見ます。断っておくと、MambaOut と各視覚 Mamba の違いは SSM 一つではなく、畳み込みの書き方、ブロック設計、各ステージの構成も異なります。ですから MambaOut のほうが優れていても、厳密に証明されるのは「SSM を使わなくてもこの水準に届く」ということです。SSM そのものの貢献を測るには、同じバックボーンから SSM を取り除いて比べる必要があります。\n\n## 考察\n\n### ImageNet の分類\n\n学習は DeiT のレシピに従い、蒸留なし、入力は 224×224 です。パラメータ数の近いものをいくつか比べます。\n\n| モデル | パラメータ（M） | MACs（G） | Top-1（%） |\n| --- | ---: | ---: | ---: |\n| Vim-Ti | 7 | 1.5 | 76.1 |\n| EfficientVMamba-S | 11 | 1.3 | 78.7 |\n| **MambaOut-Femto** | 7 | 1.2 | **78.9** |\n| VMamba-T | 22 | 5.6 | 82.2 |\n| LocalVMamba-T | 26 | 5.7 | 82.7 |\n| **MambaOut-Tiny** | 27 | 4.5 | **82.7** |\n| LocalVMamba-S | 50 | 11.4 | 83.7 |\n| VMambaV9-S | 50 | 8.7 | 83.6 |\n| **MambaOut-Small** | 48 | 9.0 | **84.1** |\n| VMambaV9-B | 89 | 15.4 | 83.9 |\n| **MambaOut-Base** | 85 | 15.8 | **84.2** |\n\n*表：原論文 Table 1 より抜粋。*\n\nどの規模でも、MambaOut は SSM を持つ視覚 Mamba に並ぶか、上回っています。Small を例にとると、MambaOut は LocalVMamba-S より0.4ポイント高く、計算量は後者の79%にすぎません。ただし VMambaV9 と比べると、MambaOut の MACs のほうがやや多くなります。\n\n原論文の Table 1 には、見比べておきたい数字がもう一組あります。CAFormer-M36 は 56M パラメータ、13.2G MACs で 85.2% に達し、パラメータがより多い VMambaV9-B（89M、15.4G）は 83.9% です。つまり、SSM を使う価値があるかを評価するには、最強クラスの畳み込みやアテンションのバックボーンも一緒に比べる必要があります。\n\n\n> [!TIP]\n> \n> CAFormer と MetaFormer の研究の流れも、同じ著者によるものです。\n> \n> - **[[21.11] PoolFormer：あなたが必要なのはフレームワーク！](/blog/papers/vision-transformers/poolformer)**\n> - **[[22.10] CAFormer：MetaFormer ユーザーマニュアル](/blog/papers/vision-transformers/caformer)**\n\n\n### 検出とセグメンテーション\n\n長い系列のタスクに移ると、結果は逆転します。COCO で Mask R-CNN、1× の学習スケジュールを使った結果です。\n\n| バックボーン | AP（ボックス） | AP（マスク） |\n| --- | ---: | ---: |\n| MambaOut-Tiny | 45.1 | 41.0 |\n| VMamba-T | 46.5 | 42.1 |\n| LocalVMamba-T | 46.7 | 42.2 |\n| VMambaV9-T | 47.4 | 42.7 |\n\n*表：原論文 Table 2 より抜粋。*\n\nMambaOut-Tiny は VMamba-T より、ボックス AP で1.4、マスク AP で1.1低くなっています。ADE20K のセマンティックセグメンテーションも同様で、MambaOut-Tiny のシングルスケール mIoU 47.4 は VMamba-T の 47.3 とほぼ同じですが、LocalVMamba-T の 47.9、VMambaV9-T の 48.3 には届きません。\n\n著者らはこれを仮説2の裏付けと解釈しています。系列が十分に長いとき、SSM が役立った可能性がある、と。分類と同じく、ここで比べているのも全体のアーキテクチャが異なるモデル同士なので、この結果は、さらに研究するための手がかりとして扱うのが適切です。\n\nとはいえ、著者らは視覚 Mamba を持ち上げすぎてもいません。COCO（Table 2、Mask R-CNN）と ADE20K（Table 3、UperNet）のどちらの表でも、畳み込みとアテンションを組み合わせた TransNeXt が、同クラスの視覚 Mamba をリードしています。たとえば ADE20K のシングルスケール mIoU では、TransNeXt-Tiny が 51.1 です。\n\n### この物差しの限界\n\n$L>6D$ という閾値が測るのは、1つの Transformer ブロックの計算量がいつ二乗の項に支配されるか、です。便利な目安ですが、あるタスクが線形時間のモデルを「必ず必要とする」ことの証明には使えません。本稿からもう一点付け加えると、検出やセグメンテーションのバックボーンでは、ウィンドウアテンションや階層的なダウンサンプリングでコストを下げることも多く、二乗の項の負担が実際に現れるとは限りません。\n\nまた、仮説2の証拠は仮説1より少し弱めです。上の Tiny クラスでは、検出での差はボックス AP で1.4〜2.3、マスク AP で1.1〜1.7で、セグメンテーションでは MambaOut に勝てていない視覚 Mamba もあります。「ImageNet の分類に SSM は要らない」については、この論文の裏付けは十分です。一方、「長い系列の視覚タスクには SSM が必要」については、「さらに研究する価値がある」に近い段階です。\n\n## 結論\n\nこの論文は、シンプルなベースラインでタイトルの問いに答えました。\n\n1. **著者らは、Mamba は長い系列で因果的なタスクに向くと考える**。固定サイズの記憶は短い系列では優位に立てず、一方向の再帰は読む方向に沿ってしか情報を蓄積しません。\n2. **ImageNet の分類は2つの条件のどちらも満たさない**。SSM を含まない MambaOut は、表に挙げたどの規模でも視覚 Mamba に並ぶか上回ります。MACs の多少は比較相手によって異なります。\n3. **検出とセグメンテーションは長い系列で、SSM が少し役立つかもしれない**。ここで MambaOut は最良の視覚 Mamba に負けますが、視覚 Mamba はどれも、より強力な畳み込みとアテンションのハイブリッドモデルに負けています。\n\nVision Mamba の火種は、まさに燃え上がろうとしたその矢先に、あっさり消されてしまいました。\n\nああ、諸行無常。\n\n\n> [!TIP]\n> \n> Mamba を視覚に持ち込んだ最初期の研究の一つは、こちらを参照してください。\n> \n> - **[[24.01] Vim：マンバの視線](/blog/papers/mamba/vim)**\n","imageSizes":{"/content/papers/assets/0a06070fe70c8178d01ed035d860f87f5caa629d7b13f3eb90b15d154a055398.png":{"width":983,"height":619},"/content/papers/assets/a9e2bb043c6ac8f4558024557394c6a1ec7b9007b52ba19b5d1f7c05b07a3bc7.png":{"width":1112,"height":456}}}