{"notes":[{"id":"lightweight/lsnet","category":"lightweight","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"LSNet","subtitle":"広く見て、狭く捉える","author":"Z. Yuan","paperDate":"2025-03-29","publishedOn":"2026-03-09","paperTitle":"LSNet: See Large, Focus Small","paperUrl":"https://arxiv.org/abs/2503.23135","bibliography":{"title":"LSNet: See Large, Focus Small","authors":["Ao Wang","Hui Chen","Zijia Lin","Jungong Han","Guiguang Ding"],"url":"https://arxiv.org/abs/2503.23135","pdfUrl":"https://arxiv.org/pdf/2503.23135v1","codeUrl":"https://github.com/jameslahm/lsnet","preprint":{"id":"2503.23135","submittedOn":"2025-03-29","url":"https://arxiv.org/abs/2503.23135"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Wang_LSNet_See_Large_Focus_Small_CVPR_2025_paper.html"},"citation":"@misc{lightweightlsnet2025,\n  title = {{LSNet: See Large, Focus Small}},\n  author = {Ao Wang and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},\n  year = {2025},\n  eprint = {2503.23135},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2503.23135}\n}\n","citationPath":"/content/papers/citations/lightweight/lsnet.d31e2f81ec32.bib"},"thumbnail":{"src":"/content/papers/assets/6d3e348c9f8512697f7230b2ac3fde0efdd4fd84198dbb519d931acd26bcbb59.png","width":1728,"height":948},"locale":"ja","path":"/content/papers/ja/lightweight/lsnet.c73930ed87a1.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"知覚と集約","text":"知覚と集約","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ls畳み込み","text":"LS畳み込み","depth":3},{"id":"ネットワークを組む","text":"ネットワークを組む","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"imagenet","text":"ImageNet","depth":3},{"id":"アブレーション","text":"アブレーション","depth":3},{"id":"デプロイ","text":"デプロイ","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"reparameterization/repvit","relation":"referenced","topic":""},{"id":"object-detection/yolov10","relation":"referenced","topic":""},{"id":"classic-cnns/overlock","relation":"referenced","topic":""}]},{"id":"reparameterization/repvit","category":"reparameterization","legacyPath":"reparameterization/2307-repvit","legacySlug":"2307-repvit","legacyPaths":[],"title":"RepViT","subtitle":"ViT の視点から","author":"Z. Yuan","paperDate":"2023-07-18","publishedOn":"2024-07-19","paperTitle":"RepViT: Revisiting Mobile CNN From ViT Perspective","paperUrl":"https://arxiv.org/abs/2307.09283","bibliography":{"title":"RepViT: Revisiting Mobile CNN From ViT Perspective","authors":["Ao Wang","Hui Chen","Zijia Lin","Jungong Han","Guiguang Ding"],"url":"https://arxiv.org/abs/2307.09283","pdfUrl":"https://arxiv.org/pdf/2307.09283","codeUrl":null,"preprint":{"id":"2307.09283","submittedOn":"2023-07-18","url":"https://arxiv.org/abs/2307.09283"},"publication":{"venue":"CVPR","year":2024,"kind":"conference","url":"https://arxiv.org/abs/2307.09283"},"citation":"@misc{reparameterizationrepvit2023,\n  title = {{RepViT: Revisiting Mobile CNN From ViT Perspective}},\n  author = {Ao Wang and Hui Chen and Zijia Lin and Jungong Han and Guiguang Ding},\n  year = {2023},\n  eprint = {2307.09283},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2307.09283}\n}\n","citationPath":"/content/papers/citations/reparameterization/repvit.583fd659fe6d.bib"},"thumbnail":{"src":"/content/papers/assets/f501c7d5eb209527b5401ba7607cd34496d2dda89aeb1848aa9927e0d0f713eb.jpg","width":1224,"height":704},"locale":"ja","path":"/content/papers/ja/reparameterization/repvit.34f41e3212d7.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"アーキテクチャの再設計","text":"アーキテクチャの再設計","depth":3},{"id":"再パラメータ化構造","text":"再パラメータ化構造","depth":3},{"id":"膨張比率を減少させ幅を増加","text":"膨張比率を減少させ、幅を増加","depth":3},{"id":"stem-構造の調整","text":"Stem 構造の調整","depth":3},{"id":"ダウンサンプリング構造の調整","text":"ダウンサンプリング構造の調整","depth":3},{"id":"シンプルな分類器","text":"シンプルな分類器","depth":3},{"id":"ステージごとの深さの調整","text":"ステージごとの深さの調整","depth":3},{"id":"カーネルサイズの選択","text":"カーネルサイズの選択","depth":3},{"id":"squeeze-and-excitation-の選択","text":"Squeeze-and-Excitation の選択","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"imagenet-1k-上の性能","text":"ImageNet-1K 上の性能","depth":3},{"id":"アブレーション実験---再パラメータ化された構造","text":"アブレーション実験 - 再パラメータ化された構造","depth":3},{"id":"アブレーション実験---se-層の影響","text":"アブレーション実験 - SE 層の影響","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"階段比率調整":"ステージごとの深さの調整","討論":"考察","消融実験---再パラメータ化された構造":"アブレーション実験---再パラメータ化された構造","消融実験---se-層の影響":"アブレーション実験---se-層の影響"},"guide":null,"relatedReading":[{"id":"reparameterization/fastvit","relation":"comparison","topic":"実装向けの高速視覚バックボーン"},{"id":"reparameterization/mobileone","relation":"comparison","topic":"実装向けの高速視覚バックボーン"}]},{"id":"object-detection/yolov10","category":"object-detection","legacyPath":"object-detection/2405-yolov10","legacySlug":"2405-yolov10","legacyPaths":[],"title":"YOLOv10","subtitle":"NMS、さようなら","author":"Z. Yuan","paperDate":"2024-05-23","publishedOn":"2025-07-19","paperTitle":"YOLOv10: Real-Time End-to-End Object Detection","paperUrl":"https://proceedings.neurips.cc/paper_files/paper/2024/hash/c34ddd05eb089991f06f3c5dc36836e0-Abstract-Conference.html","bibliography":{"title":"YOLOv10: Real-Time End-to-End Object Detection","authors":["Ao Wang","Hui Chen","Lihao Liu","Kai Chen","Zijia Lin","Jungong Han","Guiguang Ding"],"url":"https://proceedings.neurips.cc/paper_files/paper/2024/hash/c34ddd05eb089991f06f3c5dc36836e0-Abstract-Conference.html","pdfUrl":"https://proceedings.neurips.cc/paper_files/paper/2024/file/c34ddd05eb089991f06f3c5dc36836e0-Paper-Conference.pdf","codeUrl":"https://github.com/THU-MIG/yolov10","preprint":{"id":"2405.14458","submittedOn":"2024-05-23","url":"https://arxiv.org/abs/2405.14458"},"publication":{"venue":"NeurIPS","year":2024,"kind":"conference","url":"https://proceedings.neurips.cc/paper_files/paper/2024/hash/c34ddd05eb089991f06f3c5dc36836e0-Abstract-Conference.html"},"citation":"@misc{objectdetectionyolov102024,\n  title = {{YOLOv10: Real-Time End-to-End Object Detection}},\n  author = {Ao Wang and Hui Chen and Lihao Liu and Kai Chen and Zijia Lin and Jungong Han and Guiguang Ding},\n  year = {2024},\n  eprint = {2405.14458},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2405.14458}\n}\n","citationPath":"/content/papers/citations/object-detection/yolov10.f624ec9e20b6.bib"},"thumbnail":{"src":"/content/papers/assets/43843817d1e6667933eb36b7b588db3ca318fe74e00d2d47095426923f3a5b44.jpg","width":1614,"height":536},"locale":"ja","path":"/content/papers/ja/object-detection/yolov10.1a0519be94bb.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"二重アノテーション構造","text":"二重アノテーション構造","depth":3},{"id":"効率と精度の最適化","text":"効率と精度の最適化","depth":3},{"id":"精度志向の強化","text":"精度志向の強化","depth":3},{"id":"実装の詳細","text":"実装の詳細","depth":3},{"id":"実験結果と考察","text":"実験結果と考察","depth":2},{"id":"sota-手法との比較","text":"SOTA 手法との比較","depth":3},{"id":"アブレーション実験","text":"アブレーション実験","depth":3},{"id":"nms-free-は本当に伝統手法を完全に置き換えられるか","text":"NMS-free は本当に伝統手法を完全に置き換えられるか？","depth":3},{"id":"なぜ軽量化しても性能は落ちないのか","text":"なぜ軽量化しても性能は落ちないのか？","depth":3},{"id":"精度向上しながら遅延はほぼ不変","text":"精度向上しながら遅延はほぼ不変？","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"議論":"実験結果と考察"},"guide":null,"relatedReading":[{"id":"object-detection/yolov11","relation":"comparison","topic":"リアルタイム検出の近年の設計"},{"id":"object-detection/yolo-tiny","relation":"comparison","topic":"リアルタイム検出の近年の設計"}]},{"id":"classic-cnns/overlock","category":"classic-cnns","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"OverLoCK","subtitle":"まず全体を見る","author":"Z. Yuan","paperDate":"2025-02-27","publishedOn":"2026-02-24","paperTitle":"OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels","paperUrl":"https://arxiv.org/abs/2502.20087","bibliography":{"title":"OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels","authors":["Meng Lou","Yizhou Yu"],"url":"https://arxiv.org/abs/2502.20087","pdfUrl":"https://arxiv.org/pdf/2502.20087v3","codeUrl":"https://github.com/LMMMEng/OverLoCK","preprint":{"id":"2502.20087","submittedOn":"2025-02-27","url":"https://arxiv.org/abs/2502.20087"},"publication":{"venue":"CVPR","year":2025,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2025/html/Lou_OverLoCK_An_Overview-first-Look-Closely-next_ConvNet_with_Context-Mixing_Dynamic_Kernels_CVPR_2025_paper.html"},"citation":"@misc{classiccnnsoverlock2025,\n  title = {{OverLoCK: An Overview-first-Look-Closely-next ConvNet with Context-Mixing Dynamic Kernels}},\n  author = {Meng Lou and Yizhou Yu},\n  year = {2025},\n  eprint = {2502.20087},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2502.20087}\n}\n","citationPath":"/content/papers/citations/classic-cnns/overlock.a1eecba8875b.bib"},"thumbnail":{"src":"/content/papers/assets/99458c439c8f5458671d09ec6d68f52f31a20702b6a0bdba99e2fe33dbf86ea7.png","width":2112,"height":681},"locale":"ja","path":"/content/papers/ja/classic-cnns/overlock.153d2dc52901.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"中間層には方向付けが足りない","text":"中間層には方向付けが足りない","depth":3},{"id":"カーネルが遠くを見られない","text":"カーネルが遠くを見られない","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"3つのサブネットワークへ分ける","text":"3つのサブネットワークへ分ける","depth":3},{"id":"contmix画像全体をカーネルへ入れる","text":"ContMix：画像全体をカーネルへ入れる","depth":3},{"id":"4つのサイズ","text":"4つのサイズ","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"imagenet","text":"ImageNet","depth":3},{"id":"物体検出とセグメンテーション","text":"物体検出とセグメンテーション","depth":3},{"id":"1つずつ追加する","text":"1つずつ追加する","depth":3},{"id":"ほかの動的演算子と比べる","text":"ほかの動的演算子と比べる","depth":3},{"id":"実際に使うとき","text":"実際に使うとき","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/internimage","relation":"referenced","topic":""},{"id":"classic-cnns/dcnv4","relation":"referenced","topic":""}]}],"text":"軽量ネットワークの空間混合には、通常2つの選択肢しかありません。自己注意は広く見られますが高価で、小さなカーネルは安価ですが範囲が狭く、学習後の重みも固定です。\n\nこの研究は清華大学によるもので、筆頭著者のAo WangはRepViTとYOLOv10の筆頭著者でもあります。着想源は網膜の2種類の光受容細胞です。桿体は周辺に分布して広くぼんやり見て、錐体は中央に集中し、範囲は狭くても鮮明に見ます。題名See Large, Focus Smallはこの分業を表します。\n\n\n> [!TIP]\n> \n> 同じ著者のほかの2つの研究はこちらです。\n> \n> - **[[23.07] RepViT：ViT の視点から](/blog/papers/reparameterization/repvit)**\n> - **[[24.05] YOLOv10：NMS、さようなら](/blog/papers/object-detection/yolov10)**\n\n\n## 問題の定義\n\n### 知覚と集約\n\n著者はtoken mixing、つまり空間方向の情報交換を2段階に分けます。\n\n- **知覚（perception）**：その位置が周囲のどこと、どれほど関係するかを決め、集約重みを求めます。\n- **集約（aggregation）**：その重みで周囲の特徴を加重和にします。\n\n[![原論文Figure 1。(a) 自己注意。猫と犬の写真を格子に分け、濃い青の1マスをqueryとする。橙色の矢印が知覚で、softmaxで広い範囲の重み行列を作り、緑は有用、赤は余分な重み。青い矢印は集約で、知覚と同じ範囲を使う。(b) 畳み込みは知覚も集約も3×3の狭い範囲で、重みは固定カーネル。(c) 人の目の網膜は周辺の桿体と中央の錐体に分かれ、左の橙矢印は広くぼやけた画像から入るSee Large・Perception、右の青矢印は鮮明な局所へ向かうFocus Small・Aggregationを示す。(d) 横軸は中心窩からの偏心角度で、青い桿体密度は周辺で高く中央で0、赤い錐体密度は中央付近だけ鋭いピークがある。](/content/papers/assets/85567a02dcfb2f88ff1be569a4d077a422f781df88b73b63effe301953d2985b.png)](/content/papers/assets/85567a02dcfb2f88ff1be569a4d077a422f781df88b73b63effe301953d2985b.png)\n\n*Wangらの原論文Figure 1。[**PDF 2ページ**](https://arxiv.org/pdf/2503.23135v1#page=2)より。CC BY 4.0。原図のキャプションは省略。*\n\nこの2段階で見ると、一般的な2つのtoken mixerにはそれぞれ問題があります。\n\n自己注意は知覚と集約が同じ広さです。queryをすべての位置と比較し、softmaxを掛け、すべての位置を加重和にします。広いほど計算量が増え、図(a)の赤いマスのように、背景など情報の少ない場所へも多くの重みを割り当てがちです。\n\n畳み込みも両者の範囲は同じですが、どちらも狭くなります。集約重みはカーネルで、相対位置だけを見て、どの位置にも同じ重みを使い、学習後は固定です。軽量ネットワークではカーネルが小さく、見る範囲が限られ、内容に応じて調整できません。\n\nどちらも「見る範囲と足す範囲が同じ」です。著者は両者を分け、広く知覚し、狭い範囲だけを集約したいと考えます。\n\n## 問題の解決\n\n### LS畳み込み\n\n[![原論文Figure 3。(a) LS畳み込み。上の橙色破線枠Large Kernel Perceptionでは、H×W×C入力を1×1畳み込みでC/2にし、K_L×K_L depthwise畳み込み、さらに2つの1×1畳み込みを経てH×W×Dを出力し、H×W×G×K_s×K_sへ変形する。下の青い破線枠Small Kernel Aggregationでは位置ごとのK_s×K_sカーネルを同じグループのC/Gチャネルで共有し、3×3近傍を畳み込む。(b) LSNetは下からStem、LS BlockとDownsampleの3段、最後のMSA Block、Pooling、FC。右ではStemをstride 2の3×3畳み込み3つ、Downsampleをstride 2のdepthwise 3×3と1×1へ展開する。LS BlockはDW3×3、SE、FFN、LS Convolution、FFNで、MSA BlockはLS ConvolutionをMHSAへ置き換える。](/content/papers/assets/6d3e348c9f8512697f7230b2ac3fde0efdd4fd84198dbb519d931acd26bcbb59.png)](/content/papers/assets/6d3e348c9f8512697f7230b2ac3fde0efdd4fd84198dbb519d931acd26bcbb59.png)\n\n*Wangらの原論文Figure 3。[**PDF 5ページ**](https://arxiv.org/pdf/2503.23135v1#page=5)より。CC BY 4.0。原図のキャプションは省略。*\n\nLS（Large-Small）畳み込みは、この発想を2段階で実装します。\n\n1. **大きなカーネルによる知覚**：1×1畳み込みで入力チャネルを半減し、$K_L\\times K_L$ depthwise畳み込みで広い近傍を見て、最後の1×1畳み込みで各位置の重みを作ります。既定値は$K_L=7$です。\n2. **小さなカーネルによる集約**：各位置の重みを$G$個の$K_S\\times K_S$カーネルへ整理し、その周囲の小近傍を加重和にします。既定値は$K_S=3$で、8チャネルごとに1つのカーネルを共有します。\n\n集約重みは位置ごとに異なる動的な値で、7×7を見て決めます。一方、本当に足し合わせるのは3×3の近傍だけです。実装して勾配を調べ、中央の出力に影響する入力を見ます。\n\n```python\nimport torch\nimport torch.nn as nn\nimport torch.nn.functional as F\n\ntorch.manual_seed(0)\nC, H, W = 16, 15, 15\nG, KL, KS = 2, 7, 3                                   # 2グループ、7×7で見て、3×3で集約\npw1 = nn.Conv2d(C, C // 2, 1)\ndw = nn.Conv2d(C // 2, C // 2, KL, padding=KL // 2, groups=C // 2)\npw2 = nn.Conv2d(C // 2, G * KS * KS, 1)\n\ndef ls_conv(x, detach_weights=False):\n    w = pw2(dw(pw1(x)))                               # 広い範囲の知覚：各位置・各グループの3×3カーネルを生成\n    if detach_weights:\n        w = w.detach()                                # 足し合わせる値の経路だけを残す\n    w = w.view(G, 1, KS * KS, H * W)\n    patches = F.unfold(x, KS, padding=KS // 2).view(G, C // G, KS * KS, H * W)\n    return (patches * w).sum(2).view(1, C, H, W)      # 狭い範囲の集約：同じグループのチャネルでカーネルを共有\n\ndef footprint(detach_weights):\n    x = torch.randn(1, C, H, W, requires_grad=True)\n    ls_conv(x, detach_weights)[0, :, H // 2, W // 2].sum().backward()\n    grid = x.grad[0].abs().sum(0) > 0\n    rows, cols = grid.nonzero().T\n    return f\"{int(grid.sum())}位置、範囲{int(rows.max() - rows.min() + 1)}×{int(cols.max() - cols.min() + 1)}\"\n\nprint(\"中央出力に影響する入力：\", footprint(False))\nprint(\"そのうち実際に足される値：\", footprint(True))\n```\n\n```text\n中央出力に影響する入力： 49位置、範囲7×7\nそのうち実際に足される値： 9位置、範囲3×3\n```\n\n49位置が重みの決定に関わり、足される値は9位置だけです。これがSee Large, Focus Smallです。実際のモジュールには正規化と活性化関数もありますが、ここでは省略しています。\n\n計算量も低く抑えられます。広範囲の部分はdepthwise畳み込みだけを使い、狭い部分は9値を足すだけです。全体は解像度に対して線形で、自己注意のように範囲の2乗では増えません。\n\n\n> [!TIP]\n> \n> 同じく広範囲を見てから狭い範囲の重みを決めるOverLoCKと、重み生成を比較できます。\n> \n> - **[[25.02] OverLoCK：まず全体を見る](/blog/papers/classic-cnns/overlock)**\n\n\n### ネットワークを組む\n\nLSブロックは空間混合にLS畳み込みを使い、残差接続、追加のdepthwise畳み込みとSE層を置き、FFNでチャネルを混合します。\n\nLSNetは4ステージです。前半3つはLSブロックで、最後は解像度が$H/64$まで下がるため、多頭自己注意を使うMSAブロックへ替えます。厳密には純粋な畳み込みネットワークではなく、最後に注意を使います。\n\nT、S、BのFLOPsは0.3G、0.5G、1.3Gです。前段は高解像度で時間がかかるため、ブロックを後段へ集中させます。\n\n## 考察\n\n### ImageNet\n\nRTX 3090 1枚で、メモリに収まる最大の2のべき乗をバッチサイズとして測定します。\n\n| モデル | パラメータ数 | FLOPs | スループット（枚／秒） | top-1 |\n| --- | ---: | ---: | ---: | ---: |\n| FasterNet-T0 | 3.9M | 0.3G | 14467 | 71.9% |\n| EfficientViT-M3 | 6.9M | 0.3G | 14613 | 73.4% |\n| StarNet-S1 | 2.9M | 0.4G | 5034 | 73.5% |\n| LSNet-T | 11.4M | 0.3G | **14708** | **74.9%** |\n| UniRepLKNet-A | 4.4M | 0.6G | 3931 | 77.0% |\n| RepViT-M0.9 | 5.1M | 0.8G | 4817 | 77.4% |\n| SHViT-S3 | 14.2M | 0.6G | 8993 | 77.4% |\n| LSNet-S | 16.1M | 0.5G | **9023** | **77.8%** |\n| FastViT-T12 | 6.8M | 1.4G | 2586 | 79.1% |\n| RepViT-M1.1 | 8.2M | 1.3G | 3604 | 79.4% |\n| LSNet-B | 23.2M | 1.3G | **3996** | **80.3%** |\n\n*表：原論文Table 1の一部の行を抜粋。蒸留版は含まない。*\n\n同じFLOPsでは精度もスループットも上位です。LSNet-TはStarNet-S1より1.4ポイント高く、スループットは約3倍です。LSNet-BはRepViT-M1.1より0.9ポイント高くなります。RegNetY-16GFを教師に蒸留すると、各サイズでさらに1.2〜1.3ポイント伸びます。\n\n同時に見るべきことが2つあります。\n\n第一はパラメータ数です。LSNet-Tは0.3G FLOPsでも11.4MとStarNet-S1の4倍あり、Bは23.2Mです。モデルサイズやメモリが制約なら、順位を見直す必要があります。\n\n第二は測定方法です。論文はRTX 3090の大バッチスループットしか測っておらず、スマートフォンやCPUの遅延はありません。StarNetの強みはiPhoneのバッチ1遅延です。測るものが異なるので、表の「約3倍」をスマートフォンへそのまま適用できません。\n\n### アブレーション\n\nLSNet-Tを100 epochだけ学習する実験で、基準は71.6%です。\n\n| 変更 | top-1 |\n| --- | ---: |\n| LS畳み込み（基準） | 71.6% |\n| LS畳み込みを除去 | 69.3% |\n| 大きなカーネルの知覚を除去 | 70.5% |\n| 知覚カーネルを7から3へ | 70.9% |\n| 知覚カーネルを7から9へ | 71.5% |\n| 小さなカーネルの集約を除去（大きなカーネルに通常の小さな畳み込みを接続） | 70.1% |\n| 集約カーネルを3から1へ | 69.6% |\n| 集約カーネルを3から5へ | 71.6% |\n\n*表：原論文Table 5とTable 7より。*\n\n特に2行へ注目します。\n\n「小さなカーネルの集約を除去」は、広い範囲の知覚の結果に通常の静的な小カーネルを直結する、素直な「大＋小」の組み合わせです。結果は70.1%でLS畳み込みより1.5ポイント低くなります。広い範囲の情報は、単に積み重ねるより重みの決定に使うほうが有効です。\n\n集約範囲を3から5へ増やしても精度は同じで、FLOPsだけ0.31Gから0.34Gへ増えます。知覚を7から9へ増やしても改善しません。7×7で見て3×3を足す組み合わせがちょうどよいのです。\n\n著者は他モデルにも組み込みます。ResNet-50の3×3をすべて替えると、FLOPsは4.1Gから2.6G、精度は78.8%から80.7%です。DeiT-Tの自己注意を替えると、FLOPsは1.3Gから0.9G、精度は72.2%から73.0%になります。\n\n### デプロイ\n\nLS畳み込みの小カーネル集約は、通常の畳み込みではありません。位置ごとにカーネルが違うため、PyTorch組み込みの`conv2d`では計算できず、公式コードはTritonで専用GPU演算子を書いています。GitHubには[組み込み畳み込みを使わない理由の質問](https://github.com/jameslahm/lsnet/issues/8)や、TensorRT変換時の互換性への言及があります。スマートフォンや別の推論エンジンでは書き直しが必要です。たとえば上のデモのように、`unfold`と要素ごとの乗算で実装できます。\n\n## 結論\n\nLSNetはtoken mixingを知覚と集約へ分け、異なる範囲を使います。7×7 depthwise畳み込みが見て、各位置の3×3重みを決め、集約は9値の加重和だけを行います。アブレーションは、広範囲の情報を重み決定へ使うほうが、大カーネルと小カーネルを直接積むより有効だと示します。\n\nLSNet全体より、部品としてのLS畳み込みに持ち帰る価値があります。depthwise畳み込みと位置ごとの加重和だけで、ResNet-50へ入れるとFLOPsが約4割減り、精度は1.9ポイント上がりました。\n","imageSizes":{"/content/papers/assets/85567a02dcfb2f88ff1be569a4d077a422f781df88b73b63effe301953d2985b.png":{"width":1743,"height":432},"/content/papers/assets/6d3e348c9f8512697f7230b2ac3fde0efdd4fd84198dbb519d931acd26bcbb59.png":{"width":1728,"height":948}}}