{"notes":[{"id":"reparameterization/vanillanet","category":"reparameterization","legacyPath":"reparameterization/2305-vanillanet","legacySlug":"2305-vanillanet","legacyPaths":[],"title":"VanillaNet","subtitle":"バニラシンプルスタイル","author":"Z. Yuan","paperDate":"2023-05-22","publishedOn":"2024-07-16","paperTitle":"VanillaNet: the Power of Minimalism in Deep Learning","paperUrl":"https://arxiv.org/abs/2305.12972","bibliography":{"title":"VanillaNet: the Power of Minimalism in Deep Learning","authors":["Hanting Chen","Yunhe Wang","Jianyuan Guo","Dacheng Tao"],"url":"https://arxiv.org/abs/2305.12972","pdfUrl":"https://arxiv.org/pdf/2305.12972","codeUrl":null,"preprint":{"id":"2305.12972","submittedOn":"2023-05-22","url":"https://arxiv.org/abs/2305.12972"},"publication":{"venue":"NeurIPS","year":2023,"kind":"conference","url":"https://papers.nips.cc/paper_files/paper/2023/hash/16336d94a5ffca8de019087ab7fe403f-Abstract-Conference.html"},"citation":"@misc{reparameterizationvanillanet2023,\n  title = {{VanillaNet: the Power of Minimalism in Deep Learning}},\n  author = {Hanting Chen and Yunhe Wang and Jianyuan Guo and Dacheng Tao},\n  year = {2023},\n  eprint = {2305.12972},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2305.12972}\n}\n","citationPath":"/content/papers/citations/reparameterization/vanillanet.b9acdc9bd855.bib"},"thumbnail":{"src":"/content/papers/assets/06625ee04056b280cc6af76420bf49d8df37a7087cf59cf66f0a5a1e974af7bc.jpg","width":1526,"height":600},"locale":"ja","path":"/content/papers/ja/reparameterization/vanillanet.fbf7db4cd6bd.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"なぜ非残差畳み込みアーキテクチャは再評価されなくなったのか","text":"なぜ非残差畳み込みアーキテクチャは再評価されなくなったのか？","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"これではうまくいかないのでは","text":"これではうまくいかないのでは？","depth":3},{"id":"深度訓練戦略","text":"深度訓練戦略","depth":3},{"id":"級数に着想を得た活性化関数series-informed-activation-function","text":"級数に着想を得た活性化関数（Series Informed Activation Function）","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"アブレーション実験---活性化関数","text":"アブレーション実験 - 活性化関数","depth":3},{"id":"アブレーション実験---深層訓練戦略","text":"アブレーション実験 - 深層訓練戦略","depth":3},{"id":"アブレーション実験---残差接続","text":"アブレーション実験 - 残差接続","depth":3},{"id":"imagenet-上での性能","text":"ImageNet 上での性能","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"シーケンス情報を取り入れた活性化関数series-informed-activation-function":"級数に着想を得た活性化関数series-informed-activation-function","討論":"考察","消融実験---活性化関数":"アブレーション実験---活性化関数","消融実験---深層訓練戦略":"アブレーション実験---深層訓練戦略","消融実験---残差接続":"アブレーション実験---残差接続"},"guide":null,"relatedReading":[{"id":"classic-cnns/vgg","relation":"background","topic":"畳み込みネットワークの設計を簡潔にする"}]},{"id":"classic-cnns/vgg","category":"classic-cnns","legacyPath":"classic-cnns/1409-vgg","legacySlug":"1409-vgg","legacyPaths":[],"title":"VGG","subtitle":"深い、さらに深く","author":"Z. Yuan","paperDate":"2014-09-04","publishedOn":"2024-07-11","paperTitle":"Very Deep Convolutional Networks for Large-Scale Image Recognition","paperUrl":"https://arxiv.org/abs/1409.1556","bibliography":{"title":"Very Deep Convolutional Networks for Large-Scale Image Recognition","authors":["Karen Simonyan","Andrew Zisserman"],"url":"https://arxiv.org/abs/1409.1556","pdfUrl":"https://arxiv.org/pdf/1409.1556","codeUrl":null,"preprint":{"id":"1409.1556","submittedOn":"2014-09-04","url":"https://arxiv.org/abs/1409.1556"},"publication":{"venue":"ICLR","year":2015,"kind":"conference","url":"https://arxiv.org/pdf/1409.1556"},"citation":"@misc{classiccnnsvgg2014,\n  title = {{Very Deep Convolutional Networks for Large-Scale Image Recognition}},\n  author = {Karen Simonyan and Andrew Zisserman},\n  year = {2014},\n  eprint = {1409.1556},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1409.1556}\n}\n","citationPath":"/content/papers/citations/classic-cnns/vgg.6d704fc68256.bib"},"thumbnail":{"src":"/content/papers/assets/f8c8263e4970f0d994107c8084552e778e2f8f3cee14e213551fb6b0942568c2.jpg","width":968,"height":980},"locale":"ja","path":"/content/papers/ja/classic-cnns/vgg.c040f1a3d61f.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"ネットワークアーキテクチャ","text":"ネットワークアーキテクチャ","depth":3},{"id":"訓練の詳細","text":"訓練の詳細","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"lrn-は貢献しなかった","text":"LRN は貢献しなかった","depth":3},{"id":"imagenet-でのパフォーマンス","text":"ImageNet でのパフォーマンス","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/alexnet","relation":"background","topic":"深い畳み込みネットワークの学習"},{"id":"classic-cnns/resnet","relation":"next","topic":"深い畳み込みネットワークの学習"},{"id":"reparameterization/vanillanet","relation":"next","topic":"畳み込みネットワークの設計を簡潔にする"}]}],"text":"深層畳み込みネットワークが十年もの間流行した後、こんなにもシンプルなスタイルの作品を見ることができるとは驚きだ。\n\n## 問題の定義\n\nここ数年で、コンピュータビジョン分野の研究は急速に進展した。初期の AlexNet から、現在では最新の CNN と Transformer のハイブリッドアーキテクチャに至るまで、目を見張るような進化を遂げてきた。\n\nImageNet のランキングを更新するために、研究者たちはモデルの複雑さをどんどん高めてきた。その結果、計算コストやリソースの需要は急激に増加した。さらに、複雑なアーキテクチャはデプロイメントにおいても課題を引き起こす。例えば、ResNet は操作時に大量の追加メモリを消費し、Swin Transformer ではシフトウィンドウメカニズムが必要で、CUDA コードの書き直しなどの複雑なエンジニアリングが求められる。\n\n### なぜ非残差畳み込みアーキテクチャは再評価されなくなったのか？\n\nそれが言及されているのは、AlexNet と VGG だ。\n\n深さが増すと最適化や性能劣化の問題が生じ、ResNet の残差接続はそれらを改善した。VanillaNet はこの設計空間を見直している。\n\nシンプルなアーキテクチャのネットワーク設計は一時的に行き詰まり、あまり注目されなくなった。\n\nGPU は並列計算を得意とするが、遅延はメモリアクセス、演算子の起動コスト、逐次処理の深さにも依存する。FLOPs やパラメータ数だけでは予測できず、ボトルネックはハードウェア、バッチサイズ、実装によって変わる。\n\nこの時点で人々は驚き、最後のボトルネックは出発前からすでに静かに決まっていたことに気づいた。\n\n## 問題の解決\n\n### モデルアーキテクチャ\n\n![model arch](/content/papers/assets/06625ee04056b280cc6af76420bf49d8df37a7087cf59cf66f0a5a1e974af7bc.jpg)\n\n本論文の著者は、普通のニューラルネットワークアーキテクチャを提案し、それを VanillaNet と呼んでいる。上の図のように。\n\nこのアーキテクチャを見ると、時間が十年前に戻ったような気分になる：\n\n- AlexNet！君はどうしてここに？\n\n---\n\n図は VanillaNet-6 の例で、各段階に主要な畳み込みブロックが一つある。より深いモデルでは一部の段階にブロックを追加する。\n\nStem 段階では、著者は stride を 4 に設定した$4 \\times 4 \\times 3 \\times C$の畳み込み層を使用し、画像を$C$次元の特徴空間にマッピングする。\n\n第 1～3 段階では 1×1 畳み込みがチャネルを増やし、stride 2 の MaxPool が空間サイズを縮小する。プーリング自体はチャネル数を増やさない。第 4 段階ではチャネル数を維持し、最後に大域平均プーリングと分類層を置く。\n\n主なチャネル混合には 1×1 畳み込みを使うが、stem は 4×4 で、後述の活性化モジュールには大きな depthwise カーネルも含まれる。実装の分類層は大域平均プーリング後の 1×1 畳み込みで、全結合層と等価である。BN は訓練に使い、推論時に融合する。\n\nここには残差接続も、注意機構も、シフトウィンドウもなく、最も基本的な畳み込みとプーリングだけがある。\n\n### これではうまくいかないのでは？\n\nこんなに質素なアーキテクチャで、どうして良いパフォーマンスが出る可能性があるのか？\n\n著者が指摘するのは非線形表現力の弱さです。\n\n私たちは、ニューラルネットワークの強力な点はその非線形性にあることを知っている。これが複雑な関数を適合させる鍵であり、このネットワークの非線形性をどのように向上させるか？この部分については後で見るとして、まずはもう一つの問題、「深さ」について見ていこう。\n\n### 深度訓練戦略\n\n畳み込みニューラルネットワークにおいて、畳み込み層と活性化関数の組み合わせは、ネットワークがデータの非線形特徴を捉えるための鍵となります。\n\n訓練初期には主要な畳み込みを二つの畳み込みと中間の活性化関数に置き換える。徐々に恒等写像へ変えるのはこの中間活性化だけで、ブロック後の series-informed 活性化は残る。\n\n活性化関数の変化全体は、次の式で表すことができます：\n\n$$\nA'(x) = (1 - \\lambda)A(x) + \\lambda x,\n$$\n\nここで、$\\lambda$は訓練の進行に伴い変化するハイパーパラメータです。訓練開始時には、$\\lambda = 0$となり、このとき$A'(x) = A(x)$となり、活性化関数は最大強度で動作します。訓練が進むにつれて、$\\lambda$は徐々に増加し、訓練終了時には$\\lambda = 1$となり、$A'(x) = x$となって活性化関数は恒等写像に変わります。\n\n訓練終了時には、活性化関数が恒等写像に変わるため、2 つの畳み込み層は 1 つの畳み込み層として統合され、推論時間が短縮され、モデルの運行効率が向上します。この統合部分は、私たちがよく知っている再パラメータ化のプロセスに戻ります：\n\n- **BatchNorm の統合**：\n\n  まず BN の running 統計量を固定してから、直前の畳み込みと融合します。$v$ は running variance、$\\epsilon$ は数値安定化の項です。\n\n  畳み込み層の重みとバイアス行列をそれぞれ$W \\in \\mathbb{R}^{C_{out} \\times C_{in} \\times k \\times k}$と$B \\in \\mathbb{R}^{C_{out}}$、バッチ正規化のパラメータ（スケーリング、シフト、平均、分散）をそれぞれ$\\gamma, \\beta, \\mu, v \\in \\mathbb{R}^{C_{out}}$とします。\n\n  統合後の重みとバイアス行列は次のようになります：\n\n  $$\n  W'_i = \\frac{\\gamma_i}{\\sqrt{v_i+\\epsilon}} W_i, \\quad B'_i = \\frac{(B_i - \\mu_i) \\gamma_i}{\\sqrt{v_i+\\epsilon}} + \\beta_i,\n  $$\n\n  ここで$i$は$i$番目の出力チャネルの値を示します。\n\n- **2 つの$1 \\times 1$畳み込み層の統合**：\n\n  バッチ正規化層を統合した後、次に 2 つの$1 \\times 1$畳み込み層を統合します。\n\n  $x \\in \\mathbb{R}^{C_{in} \\times H \\times W}$および$y \\in \\mathbb{R}^{C_{out} \\times H' \\times W'}$を入力と出力の特徴量とし、畳み込みは次のように表せます：\n\n  $$\n  y = W * x = W \\cdot \\text{im2col}(x) = W \\cdot X,\n  $$\n\n  ここで$*$は畳み込み演算を示し、$\\cdot$は行列積を示します。$X$は im2col 操作によって生成され、入力を畳み込みカーネルの形状に対応する行列に変換します。$1 \\times 1$畳み込みの場合、im2col 操作は単純なリシェイプ操作になるため、2 つの畳み込み層の重み行列$W_1$と$W_2$は 1 つの行列に統合できます：\n\n  $$\n  y = W_1(W_2X+B_2)+B_1 = (W_1W_2)X + (W_1B_2+B_1),\n  $$\n\n  ここでは $W_2$、$W_1$ の順に適用し、バイアスは各空間位置へブロードキャストします。中間の非線形性がなくなれば一つのアフィン畳み込みへ融合でき、推論時の演算を減らせます。\n\nこの深度訓練戦略には次のような利点があります：\n\n1. **モデルの非線形能力の向上**：訓練初期に強い非線形活性化関数を使用することで、モデルがデータ中の複雑なパターンを捉えやすくなり、モデルのパフォーマンスが向上します。\n2. **簡素化されたモデルへの段階的移行**：訓練が進むにつれて、活性化関数が恒等写像に変わるため、最終的なモデルの構造が簡素化され、推論速度が向上します。\n3. **便利な層の統合操作**：訓練終了時に、2 つの畳み込み層を簡単に 1 つに統合でき、計算コストが削減され、モデルの運行効率が向上します。\n\n\n> [!TIP]\n> \n> この再パラメータ化のプロセスは、私たちが以前見た RepVGG の概念と同じです。\n> \n> - [**RepVGG: VGG を再び偉大にする**](/blog/papers/reparameterization/repvgg)\n\n\n### 級数に着想を得た活性化関数（Series Informed Activation Function）\n\n著者は浅いネットワークの表現力に着目し、この構造のボトルネックを非線形性の不足と考えている。すべての浅いネットワークが複雑な関数を表せないという定理ではなく、設計の動機である。\n\n実際、ニューラルネットワークの非線形性を向上させる方法は 2 つあります：\n\n1. **非線形活性化層のスタック**\n2. **各活性化層の非線形性を強化**\n\n既存のネットワークのトレンドは前者を選んでいますが、これは並列計算能力が過剰な場合に遅延を引き起こします。\n\n---\n\n活性化層の非線形性を向上させる直接的なアイデアは、活性化関数の「直列」スタックです。これは深層ネットワークの核心的なアイデアです。\n\nそれに対して、この論文では著者は「並列」スタックを活性化関数に使用しています。\n\nニューラルネットワークで入力$x$に対する単一の活性化関数を$A(x)$とすると、ReLU や Tanh などの一般的な関数が考えられます。\n\n活性化関数の並列スタックは次のように表現できます：\n\n$$\nA_s(x) = \\sum_{i=1}^{n} a_i A(x + b_i)\n$$\n\nここで、$n$はスタックする活性化関数の数を示し、$a_i$と$b_i$は各活性化関数のスケーリングとオフセットです。並列スタックにより、活性化関数の非線形性を大幅に強化することができます。この式は数学的には級数として見ることができ、つまり「複数の操作を加える」ことに相当します。\n\n次に、近傍位置の活性化値を重み付きで加算し、空間情報も集約する。これは局所的な操作である。BNET と関連する発想である。\n\n- [**[23.01] BNET: Batch normalization with enhanced linear transformation**](https://ieeexplore.ieee.org/document/10012548)\n\n入力特徴量$x \\in \\mathbb{R}^{H \\times W \\times C}$が与えられた場合、ここで$H$、$W$、$C$はそれぞれ高さ、幅、チャンネル数を示し、活性化関数は次のように表されます：\n\n$$\nA_s(x_{h,w,c}) = \\sum_{i,j \\in \\{-n,\\ldots,n\\}} a_{i,j,c} A(x_{i+h,j+w,c} + b_c)\n$$\n\nここで、$h \\in \\{1, 2, ..., H\\}$、$w \\in \\{1, 2, ..., W\\}$、$c \\in \\{1, 2, ..., C\\}$です。\n\n空間半径 $n=0$ では近傍との混合がなくなり、位置ごとのスケール・シフト付き活性化になる。厳密に $A(x)$ と等しくなるには $a_{0,0,c}=1$、$b_c=0$ も必要である。ここでの $n$ は空間半径であり、先ほどのスカラー式の項数とは異なる。基本活性化には ReLU を使う。\n\n\n> [!TIP]\n> \n> 少し休憩を挟みましょう。論文を読んでいると、この部分は少し抽象的に感じるかもしれません。\n> \n> 簡単に言えば、一般的なネットワーク設計では、例えば$3 \\times 3$の畳み込み層を持ち、その後に ReLU を接続すると、ReLU の受容野は$3 \\times 3$です。次に、次の層に$3 \\times 3$の畳み込み層を加えて再び ReLU を接続すると、ReLU の受容野は$5 \\times 5$に広がり、こうして深層に進むごとに「直列」に受容野が広がっていきます。\n> \n> では、論文で言及されている「並列」スタックの活性化関数とはどういう意味でしょうか？\n> \n> このモジュールは ReLU の後に depthwise 畳み込みを適用し、近傍の活性化値を集約する。半径 $n=1,2,3$ はそれぞれ 3×3、5×5、7×7 カーネルに対応する。\n> \n> ここでは実装を確認すれば、この概念が明確に理解できるでしょう：\n> \n> ```python\n> # Ref: VanillaNet\n> #     https://github.com/huawei-noah/VanillaNet/blob/main/models/vanillanet.py\n> import torch\n> import torch.nn as nn\n> from timm.models.layers import weight_init\n> \n> class activation(nn.ReLU):\n> \n>     def __init__(self, dim, act_num=3, deploy=False):\n>         super(activation, self).__init__()\n>         self.act_num = act_num\n>         self.deploy = deploy\n>         self.dim = dim\n>         self.weight = nn.Parameter(torch.randn(dim, 1, act_num*2 + 1, act_num*2 + 1))\n>         if deploy:\n>             self.bias = nn.Parameter(torch.zeros(dim))\n>         else:\n>             self.bias = None\n>             self.bn = nn.BatchNorm2d(dim, eps=1e-6)\n>         weight_init.trunc_normal_(self.weight, std=.02)\n> \n>     def forward(self, x):\n>         if self.deploy:\n>             return nn.functional.conv2d(\n>                 super(activation, self).forward(x),\n>                 self.weight, self.bias, padding=self.act_num, groups=self.dim)\n>         else:\n>             return self.bn(nn.functional.conv2d(\n>                 super(activation, self).forward(x),\n>                 self.weight, padding=self.act_num, groups=self.dim))\n> ```\n> \n> `forward` は ReLU の後に depthwise 畳み込みを適用する。`act_num` は近傍半径であり、カーネル幅は `2*act_num+1` となる。活性化層の数ではない。この抜粋は forward のみを示し、変換メソッドは省略している。`deploy` フラグを切り替えるだけでは BN 融合にならない。\n> \n> 最後に、これらの操作は各チャンネルごとに行われ、上記の`groups=self.dim`パラメータを見ると、PyTorch の`groups`パラメータが示すように、各チャンネルに対して独立した畳み込み操作が行われています。\n> \n\n\n## 考察\n\n先ほど述べたように、浅層ネットワークの能力が限られている主な原因は「非線形性の不足」であり、並列スタックされた活性化関数を追加することで、これがモデルの性能向上に寄与するのでしょうか？\n\n### アブレーション実験 - 活性化関数\n\n![ablation](/content/papers/assets/f29821a121059b3b7b83d3ad74e7a644a69a169118d88cb6dd82b78bc79b7f3b.jpg)\n\n上の表は、VanillaNet が異なる$n$の数で得られたパフォーマンスを示しています。\n\n近傍集約を行わない $n=0$ の設定は、この表では通常の ReLU に対応する対照とされ、ImageNet top-1 精度は 60.53% です。\n\n$n = 1$では精度が 74.53％に向上し、大きな進展が見られます。そして、$n = 3$では精度と推論速度の最適なバランス点に達しました。\n\n### アブレーション実験 - 深層訓練戦略\n\n![ablation_2](/content/papers/assets/af8193cb18bf06839daf2b28171580429aeaf10bc0f4b6a1724444967960fb06.jpg)\n\nVanillaNet の構造は非常に浅いため、著者はその性能向上のために訓練中の非線形性を増加させることを提案しています。\n\n上の表は、提案された深層訓練技術の有効性を分析したもので、結果は次の通りです：級数型活性化を使い、深層訓練を使わない VanillaNet-6 は 75.23％の top-1 精度に達しました。深層訓練を加えると 76.36％になり、この浅いネットワークで効果が見られました。\n\nさらに著者は、深層訓練と級数型活性化関数を他のネットワークに適用し、これらの技術の一般化能力を示しました。\n\n表では AlexNet と ResNet-50 も比較している。AlexNet の基準精度は 57.52% である。論文は他の演算を含む深さの数え方を用いるが、一般的な AlexNet の学習層数は 8 層（畳み込み 5、全結合 3）である。\n\n提案された深層訓練と級数型活性化関数を適用することにより、AlexNet のパフォーマンスは57.52% から 63.59% へ、6.07 ポイント向上し、これらの技術が浅層ネットワークに非常に効果的であることを示しています。\n\nResNet-50 は両手法を加えると 76.13% から 76.27% になり、級数型活性化だけを加えた 76.30% よりも低い。この訓練条件では深層訓練の追加効果が限られ、著者は深いネットワークの非線形性がすでに比較的十分だと推測しています。\n\n### アブレーション実験 - 残差接続\n\n![ablation_3](/content/papers/assets/649903a82e1a9c0192d9d896c8b2582c4c04cc0df0ca352d63f7841d149ee98b.jpg)\n\n最後に、一般的なネットワーク構造で流行している残差接続の効果はどうでしょうか？\n\nVanillaNet-6 では、二種類のパラメータを持たない shortcut によって精度が 76.36% から 75.92%、75.72% に下がった。すべての浅いネットワークで残差接続が不適切だと示す結果ではない。\n\n著者は、この浅い構造には非線形表現力の強化が必要で、恒等経路の追加は有効でない可能性を指摘している。ただし残差接続が非線形分岐を削除するわけではない。精度低下はあくまで今回の構造での観察結果である。\n\n### ImageNet 上での性能\n\n![imagenet_1](/content/papers/assets/19fce98409e4d1ebb995a65f3dbf76d01ac0620d287439fd8644de25727d5a5b.jpg)\n\n提案された方法の有効性を示すため、著者は ImageNet データセットで実験を行いました。\n\nImageNet-1K は約 128 万枚の訓練画像、5 万枚の検証画像、1000 クラスを含む。元画像の寸法は一定ではなく、224×224 は主要実験の前処理後の入力サイズである。VanillaNet は浅い一方でチャネル幅とパラメータ数が大きいため、過学習対策として強い正則化を使う。\n\n遅延は NVIDIA A100、バッチサイズ 1 で測定している。\n\nこの設定の下で、研究は推論速度が FLOPs 数やパラメータ数とはほとんど関係がないことを発見しました。例えば、MobileNetV3-Large の FLOPs は非常に低い（0.22B）にもかかわらず、GPU 遅延は 7.83ms で、11.9B FLOPs を持つ VanillaNet-13 よりも高い結果となっています。\n\n研究はまた、この設定下で推論速度がネットワークの複雑さと層数に高度に関連していることを示しました。例えば、ShuffleNetV2x1.5 と ShuffleNetV2x2 の推論速度はほとんど変わりません（それぞれ 7.23ms と 7.84ms）が、FLOPs には約 0.3B と 0.6B の差があります（これはパラメータ数ではありません）。これは、両者の違いはチャンネル数にあるだけだということです。\n\nVGG、ResNet、VanillaNet などの規則的な構造は、この環境で競争力を示した。ただし ResNet 自体には残差分岐があり、分岐のないモデルではない。\n\n![imagenet_2](/content/papers/assets/325c3ef11e96abc33ae688af6fc006b33bd2f0255d12ed82e5c9e11cefd30fef.jpg)\n\n## 結論\n\nVanillaNet は、シンプルで幅の広い畳み込み構造でも、測定した GPU 遅延条件で競争力のある精度を得られることを示した。パラメータ数が最少というわけでも、どの装置でも最速というわけでもない。\n\n設計上の教訓は、訓練時に表現力を追加し、推論時には融合可能な部分を簡素化したうえで、対象ハードウェア上で評価することである。\n","imageSizes":{"/content/papers/assets/06625ee04056b280cc6af76420bf49d8df37a7087cf59cf66f0a5a1e974af7bc.jpg":{"width":1526,"height":600},"/content/papers/assets/f29821a121059b3b7b83d3ad74e7a644a69a169118d88cb6dd82b78bc79b7f3b.jpg":{"width":910,"height":342},"/content/papers/assets/af8193cb18bf06839daf2b28171580429aeaf10bc0f4b6a1724444967960fb06.jpg":{"width":1220,"height":816},"/content/papers/assets/649903a82e1a9c0192d9d896c8b2582c4c04cc0df0ca352d63f7841d149ee98b.jpg":{"width":1194,"height":390},"/content/papers/assets/19fce98409e4d1ebb995a65f3dbf76d01ac0620d287439fd8644de25727d5a5b.jpg":{"width":1036,"height":1080},"/content/papers/assets/325c3ef11e96abc33ae688af6fc006b33bd2f0255d12ed82e5c9e11cefd30fef.jpg":{"width":1350,"height":660}}}
