{"notes":[{"id":"lightweight/senet","category":"lightweight","legacyPath":"lightweight/1709-senet","legacySlug":"1709-senet","legacyPaths":[],"title":"SENet","subtitle":"強く絞ってください","author":"Z. Yuan","paperDate":"2017-09-05","publishedOn":"2024-06-28","paperTitle":"Squeeze-and-Excitation Networks","paperUrl":"https://arxiv.org/abs/1709.01507","bibliography":{"title":"Squeeze-and-Excitation Networks","authors":["Jie Hu","Li Shen","Samuel Albanie","Gang Sun","Enhua Wu"],"url":"https://arxiv.org/abs/1709.01507","pdfUrl":"https://arxiv.org/pdf/1709.01507","codeUrl":null,"preprint":{"id":"1709.01507","submittedOn":"2017-09-05","url":"https://arxiv.org/abs/1709.01507"},"publication":{"venue":"CVPR","year":2018,"kind":"conference","url":"https://arxiv.org/abs/1709.01507"},"citation":"@misc{lightweightsenet2017,\n  title = {{Squeeze-and-Excitation Networks}},\n  author = {Jie Hu and Li Shen and Samuel Albanie and Gang Sun and Enhua Wu},\n  year = {2017},\n  eprint = {1709.01507},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1709.01507}\n}\n","citationPath":"/content/papers/citations/lightweight/senet.1766a7978dde.bib"},"thumbnail":{"src":"/content/papers/assets/322f16ed8c782ffbdd7d7db3e8292c991908e3543dc69e1addd9238e22484363.jpg","width":1688,"height":394},"locale":"ja","path":"/content/papers/ja/lightweight/senet.73180da00315.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"画像分類の効果の表示","text":"画像分類の効果の表示","depth":3},{"id":"軽量モデルでの効果の表示","text":"軽量モデルでの効果の表示","depth":3},{"id":"squeeze-の重要性","text":"Squeeze の重要性","depth":3},{"id":"excitation-の重要性","text":"Excitation の重要性","depth":3},{"id":"その他の実験結果","text":"その他の実験結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"lightweight/mobilenet-v3","relation":"comparison","topic":"軽量ネットワークのチャネル Attention"},{"id":"lightweight/pp-lcnet","relation":"comparison","topic":"軽量ネットワークのチャネル Attention"}]},{"id":"lightweight/mobilenet-v3","category":"lightweight","legacyPath":"lightweight/1905-mobilenet-v3","legacySlug":"1905-mobilenet-v3","legacyPaths":[],"title":"MobileNet-V3","subtitle":"カスタマイズ検索アーキテクチャ","author":"Z. Yuan","paperDate":"2019-05-06","publishedOn":"2024-06-29","paperTitle":"Searching for MobileNetV3","paperUrl":"https://arxiv.org/abs/1905.02244","bibliography":{"title":"Searching for MobileNetV3","authors":["Andrew Howard","Mark Sandler","Grace Chu","Liang-Chieh Chen","Bo Chen","Mingxing Tan","Weijun Wang","Yukun Zhu","Ruoming Pang","Vijay Vasudevan","Quoc V. Le","Hartwig Adam"],"url":"https://arxiv.org/abs/1905.02244","pdfUrl":"https://arxiv.org/pdf/1905.02244","codeUrl":null,"preprint":{"id":"1905.02244","submittedOn":"2019-05-06","url":"https://arxiv.org/abs/1905.02244"},"publication":{"venue":"ICCV","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1905.02244"},"citation":"@misc{lightweightmobilenetv32019,\n  title = {{Searching for MobileNetV3}},\n  author = {Andrew Howard and Mark Sandler and Grace Chu and Liang-Chieh Chen and Bo Chen and Mingxing Tan and Weijun Wang and Yukun Zhu and Ruoming Pang and Vijay Vasudevan and Quoc V. Le and Hartwig Adam},\n  year = {2019},\n  eprint = {1905.02244},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1905.02244}\n}\n","citationPath":"/content/papers/citations/lightweight/mobilenet-v3.78d376f40aa4.bib"},"thumbnail":{"src":"/content/papers/assets/09d4bf8776407cb2ac13bc206505f30314b21d2459add8129ffcb929d11ec1bf.jpg","width":1552,"height":588},"locale":"ja","path":"/content/papers/ja/lightweight/mobilenet-v3.abaaf1883896.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"mobilenet-v2-モジュール","text":"MobileNet-V2 モジュール","depth":3},{"id":"mobilenet-v3-モジュール","text":"MobileNet-V3 モジュール","depth":3},{"id":"ネットワークアーキテクチャ探索","text":"ネットワークアーキテクチャ探索","depth":3},{"id":"ネットワークの末尾を変える","text":"ネットワークの末尾を変える","depth":3},{"id":"最初のフィルターを減らす","text":"最初のフィルターを減らす","depth":3},{"id":"非線形の活性化関数","text":"非線形の活性化関数","depth":3},{"id":"ネットワーク構成large","text":"ネットワーク構成（Large）","depth":3},{"id":"ネットワーク構成small","text":"ネットワーク構成（Small）","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"imagenet-での実験結果","text":"ImageNet での実験結果","depth":3},{"id":"モバイル機器での評価","text":"モバイル機器での評価","depth":3},{"id":"最適化の記録","text":"最適化の記録","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"網路結尾變更":"ネットワークの末尾を変える","縮減初始濾波器":"最初のフィルターを減らす","非線性啟動函數":"非線形の活性化関数","網路架構大":"ネットワーク構成large","網路架構小":"ネットワーク構成small","imagenet-實驗結果":"imagenet-での実験結果","移動裝置評估":"モバイル機器での評価","優化紀錄":"最適化の記録","ネットワーク末尾の変更":"ネットワークの末尾を変える","最初のフィルタ数の削減":"最初のフィルターを減らす","非線形活性化関数":"非線形の活性化関数","ネットワーク構造large":"ネットワーク構成large","ネットワーク構造small":"ネットワーク構成small","imagenet-の実験結果":"imagenet-での実験結果","モバイル端末での評価":"モバイル機器での評価","最適化の過程":"最適化の記録"},"guide":null,"relatedReading":[{"id":"lightweight/mobilenet-v2","relation":"background","topic":"モバイル向けの効率的な畳み込み"},{"id":"lightweight/mobilenet-v4","relation":"next","topic":"モバイル向けの効率的な畳み込み"},{"id":"lightweight/senet","relation":"comparison","topic":"軽量ネットワークのチャネル Attention"}]},{"id":"lightweight/pp-lcnet","category":"lightweight","legacyPath":"lightweight/2109-pp-lcnet","legacySlug":"2109-pp-lcnet","legacyPaths":[],"title":"PP-LCNet","subtitle":"速度の限界を探る","author":"Z. Yuan","paperDate":"2021-09-17","publishedOn":"2024-06-25","paperTitle":"PP-LCNet: A Lightweight CPU Convolutional Neural Network","paperUrl":"https://arxiv.org/abs/2109.15099","bibliography":{"title":"PP-LCNet: A Lightweight CPU Convolutional Neural Network","authors":["Cheng Cui","Tingquan Gao","Shengyu Wei","Yuning Du","Ruoyu Guo","Shuilong Dong","Bin Lu","Ying Zhou","Xueying Lv","Qiwen Liu","Xiaoguang Hu","Dianhai Yu","Yanjun Ma"],"url":"https://arxiv.org/abs/2109.15099","pdfUrl":"https://arxiv.org/pdf/2109.15099","codeUrl":null,"preprint":{"id":"2109.15099","submittedOn":"2021-09-17","url":"https://arxiv.org/abs/2109.15099"},"publication":null,"citation":"@misc{lightweightpplcnet2021,\n  title = {{PP-LCNet: A Lightweight CPU Convolutional Neural Network}},\n  author = {Cheng Cui and Tingquan Gao and Shengyu Wei and Yuning Du and Ruoyu Guo and Shuilong Dong and Bin Lu and Ying Zhou and Xueying Lv and Qiwen Liu and Xiaoguang Hu and Dianhai Yu and Yanjun Ma},\n  year = {2021},\n  eprint = {2109.15099},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2109.15099}\n}\n","citationPath":"/content/papers/citations/lightweight/pp-lcnet.2f8ae63c431a.bib"},"thumbnail":{"src":"/content/papers/assets/bba59bbde82b2b9237b883b28433cb3ac5b8dc0ff1fe8b70b81c04b2581078c3.jpg","width":1224,"height":708},"locale":"ja","path":"/content/papers/ja/lightweight/pp-lcnet.0e49687aca63.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"実験結果","text":"実験結果","depth":3},{"id":"アブレーション実験","text":"アブレーション実験","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"lightweight/shufflenet","relation":"comparison","topic":"畳み込みとチャネルの計算コスト削減"},{"id":"lightweight/ghostnet","relation":"comparison","topic":"畳み込みとチャネルの計算コスト削減"},{"id":"lightweight/senet","relation":"comparison","topic":"軽量ネットワークのチャネル Attention"}]}],"text":"これは、誰もが ImageNet のランキングを争っている時代であり、さまざまなネットワークアーキテクチャが次々と登場しています。\n\nSENet というネットワークアーキテクチャの提案は、ネットワーク内の異なるチャネル間の全体的な相互関係を改善し、ネットワークのパフォーマンスを向上させることを目的としています。\n\n## 問題の定義\n\n過去の研究で、VGG や ResNet からの一つの観察結果は、深さを増すことでモデルの品質が向上し、残差接続の手法がネットワークがより良い特徴を学習するのに役立つことを示しています。\n\n別の研究の流れには、グループ畳み込みや Inception のような多分岐構造があります。これは設計概念の関係です。\n\nこれらの研究は実際には一つの仮定を反映しており、それは：\n\n- **チャネル間の関係は通常、局所受容野を持ち、学習済みパラメータが入力サンプルごとには変わらない関数によって暗黙的に表現される**というものです。\n\nそして、この考え方が著者が問題だと考える点です：\n\n- **特徴マップ全体の情報を使って、入力ごとにチャネルを動的に調節できないか？**\n\nCNN も層を重ねれば大域的な受容野を持てます。SE の要点は、入力に依存するチャネル重みを明示的に生成することです。\n\n## 問題の解決\n\n著者はネットワークのチャネル間に全体的な情報を導入したいと考えていますが、計算量とパラメータの増加を抑えながらこれを実現したいと考えています。\n\nそのため、計算量をあまり増やさずに全体的な情報を導入するために、Squeeze-and-Excitation モジュールを提案しました。\n\n### モデルアーキテクチャ\n\n![SENet arch](/content/papers/assets/322f16ed8c782ffbdd7d7db3e8292c991908e3543dc69e1addd9238e22484363.jpg)\n\nこれは、論文を読むよりもコードを見た方が簡単なネットワークアーキテクチャです。\n\nまずは実装してみましょう：\n\n```python\nimport torch\nimport torch.nn as nn\n\nclass SEBlock(nn.Module):\n\n    def __init__(self, in_channels, reduction_ratio=16):\n        super(SEBlock, self).__init__()\n        self.squeeze = nn.AdaptiveAvgPool2d(1)\n        self.excitation = nn.Sequential(\n            nn.Conv2d(in_channels, in_channels // reduction_ratio, kernel_size=1, stride=1, padding=0, bias=False),\n            nn.ReLU(),\n            nn.Conv2d(in_channels // reduction_ratio, in_channels, kernel_size=1, stride=1, padding=0, bias=False),\n            nn.Sigmoid()\n        )\n\n    def forward(self, x: torch.Tensor) -> torch.Tensor:\n        # x: (B, C, H, W)\n\n        # (B, C, H, W) -> (B, C, 1, 1)\n        out = self.squeeze(x)\n\n        # (B, C, 1, 1) -> (B, C//16, 1, 1) -> (B, C, 1, 1)\n        out = self.excitation(out)\n\n        # (B, C, H, W) * (B, C, 1, 1) -> (B, C, H, W)\n        return x * out\n```\n\nこのコードは SE ブロックだけの例です。SE-ResNet では残差分岐に適用してからショートカットと足し合わせます。\n\nそうですね？論文を読むよりコードを見る方が簡単です！\n\nSENet では、全体的な情報を導入する方法として Global Average Pooling を使用しています。\n\n特徴マップの各チャネルの特徴値を平均化し、その後、二つの全結合変換の間に ReLU、最後に sigmoid を適用して、チャネルのスケーリング重みを得ます。\n\nこの全体的な情報は実際にはそれほど多くはありませんが、実験においてこの設計がネットワークのパフォーマンスを向上させることが証明されています。\n\n\n> [!TIP]\n> \n> 1x1 畳み込みを使用して全結合層を実装することで、permute や reshape を避けて手間を省いています。\n\n\n次に、コードを見た後に、著者が描いた図を見てみましょう：\n\n\n\n![SENet arch 1](/content/papers/assets/38cf2bc67ed6247c9a9a12cc13f43089a069c019706afc81b2c65584b9e405e3.jpg)\n\n\n\n図のように、SENet では以下の手順が進行します：\n\n1. **Global Pooling**：全体的な情報。\n2. **FC**：次元削減。\n3. **ReLU**：非線形性の導入。\n4. **FC**：次元拡張。\n5. **Sigmoid**：各チャネルの重要性重みを取得。\n\nここで`Sigmoid`を選択したのは、著者が各チャネル間で競争関係を作らず、相互に組み合わせることを望んでいるからです。\n\n各チャネルが独立した連続的な重みを得られるので、softmax のようにチャネル同士を競わせる必要はありません。\n\n## 討論\n\n### 画像分類の効果の表示\n\n![senet params](/content/papers/assets/8b31d0188bee9d59739fccaa0eded5ee8aadd74714a834c077c1aa018fbb09ae.jpg)\n\nSENet はさまざまな CNN に組み込めて、計算量の増加も比較的小さく抑えられます。\n\n例えば、ResNet-50 と SE-ResNet-50 の比較を見てみましょう：\n\n224 × 224 ピクセルの入力画像に対して、ResNet-50 は 1 回の前向き伝播で約 3.86 GFLOP の計算量が必要です。\n\n各 SE ブロックは、圧縮段階でグローバル平均プーリング操作を使用し、活性化段階で 2 つの小型の FC 層を使用します。縮小率を 16 に設定した場合、SE-ResNet-50 は約 3.87 GFLOP の計算量が必要で、元の ResNet-50 と比較して約 0.26%増加しました。\n\nパラメータ数の増加は約 10%で、これは表には記載されていませんが、論文には記載されています。\n\n少しパラメータを増やすだけで、ResNet-50 は ResNet-101 に迫ります。同じ再訓練条件では、SE-ResNet-50 の top-5 誤り率は 6.62%、ResNet-101 は 6.52% で、前者の計算量は約半分です。\n\n\n> [!NOTE]\n> \n> 追加パラメータの多くは最後の stage にあります。その SE ブロックを外すと、パラメータ増加は約 10% から約 4% に下がり、ImageNet の top-5 誤り率の増加は 0.1 ポイント未満です。\n\n\n### 軽量モデルでの効果の表示\n\n![senet on mobile](/content/papers/assets/a95a28b84419e459700ef1ed345b5951b563f8adcc0c8a17d89c13e5b272d976.jpg)\n\nMobileNet に使っても効果があり、著者らが再実装した基準と比べ、ImageNet top-1 誤り率は 28.4% から 25.3% へ 3.1 ポイント下がりました。\n\nShuffleNet でも、再実装した基準の 32.6% から 31.0% へ 1.6 ポイント下がりました。\n\n\n> [!TIP]\n> \n> もう少しで MobileNet-V3 を作るところだった。（？？？）\n\n\n### Squeeze の重要性\n\n![ablation1](/content/papers/assets/eea938ce52f7a56e98b148101d6d1b4f461a06c0f6d91a44a46300da212c0fe5.jpg)\n\n著者は NoSqueeze の消融で Global Average Pooling を外し、1×1 畳み込みに置き換えました。効果は残りますが、全域の情報を直接取り込めなくなります。\n\n結果も少し物足りません。ResNet-50 の top-1 誤り率 23.30% に対し、Squeeze を使うと 22.28%（1.02 ポイント改善）、NoSqueeze は 22.93%（0.37 ポイント改善）です。両者のパラメータ数は同じ 28.1M でも、NoSqueeze の計算量の方が高くなります。\n\n### Excitation の重要性\n\n![ablation2](/content/papers/assets/37c9dd70f76458b00891235484e5fb820636d89cb117444a10a537fa0a483101.jpg)\n\n著者は金魚、パグ、飛行機、崖などについて、ネットワークの各層での活性化分布を調べ、次のようにまとめました：\n\n- ネットワークの初期層では、異なるカテゴリの活性化分布は似ているが、深い層では活性化値がよりカテゴリ特異的になる。\n- ネットワークの深層（例えば SE_4_6 や SE_5_1）では、特定のチャネルの活性化値が強いカテゴリの好みを示しており、SE モジュールがこれらの層で特徴の識別に顕著な影響を与えることを示しています。\n- SE_5_2 層では多くの活性化値が 1 に近づきます。すべての重みが 1 なら SE モジュールは恒等作用になりますが、図には異なるチャネルも残っています。\n- ネットワークの末端では SE の寄与が小さくなり、これらのブロックを外せば、わずかな性能低下でパラメータを大きく減らせます。\n\nこのように、SE モジュールの役割はネットワークの深さによって違います。\n\n### その他の実験結果\n\n著者は他にもさまざまな条件を調べ、次の結果を報告しています：\n\n1. SE-ResNet-50 の Excitation の消融では、`Sigmoid` が最も良く、次に `Tanh`、最後が `ReLU` です。\n2. 同じモデルの Squeeze の消融では、`AvgPool` が `MaxPool` よりわずかに良い結果でした。\n3. Reduction Ratio 16 は精度とパラメータ数のバランスが良い設定です。\n\n詳細な表は原論文を参照してください。これらの実験は主にエンジニアリングの実践に関連しており、ここでは一つ一つ詳述することは控えます。\n\n## 結論\n\nSENet は SE ブロックを加えることで、ネットワークの学習と汎化を改善します。\n\n重要なのは、注意の仕組みを簡潔な形で畳み込みネットワークに組み込み、重要な特徴へ焦点を当てられるようにしたことです。\n\n内部の特徴表現を高めるだけでも、モデルの性能を大きく改善できることを示しました。\n\n\n> [!TIP]\n> \n> `Squeeze-and-Excitation` モジュールの計算コストは比較的小さいものの、後続の研究では性能のボトルネックになる場合もあります。\n> \n> リアルタイムシステムや計算資源の限られた環境で使うなら、性能の改善と追加の計算負担を比べる必要があります。\n","imageSizes":{"/content/papers/assets/322f16ed8c782ffbdd7d7db3e8292c991908e3543dc69e1addd9238e22484363.jpg":{"width":1688,"height":394},"/content/papers/assets/38cf2bc67ed6247c9a9a12cc13f43089a069c019706afc81b2c65584b9e405e3.jpg":{"width":850,"height":848},"/content/papers/assets/8b31d0188bee9d59739fccaa0eded5ee8aadd74714a834c077c1aa018fbb09ae.jpg":{"width":4477,"height":999},"/content/papers/assets/a95a28b84419e459700ef1ed345b5951b563f8adcc0c8a17d89c13e5b272d976.jpg":{"width":1756,"height":162},"/content/papers/assets/eea938ce52f7a56e98b148101d6d1b4f461a06c0f6d91a44a46300da212c0fe5.jpg":{"width":1044,"height":228},"/content/papers/assets/37c9dd70f76458b00891235484e5fb820636d89cb117444a10a537fa0a483101.jpg":{"width":1290,"height":692}}}
