{"notes":[{"id":"classic-cnns/efficientnet","category":"classic-cnns","legacyPath":"classic-cnns/1905-efficientnet","legacySlug":"1905-efficientnet","legacyPaths":[],"title":"EfficientNet","subtitle":"結合スケーリングアーキテクチャ","author":"Z. Yuan","paperDate":"2019-05-28","publishedOn":"2024-07-04","paperTitle":"EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks","paperUrl":"https://arxiv.org/abs/1905.11946","bibliography":{"title":"EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks","authors":["Mingxing Tan","Quoc V. Le"],"url":"https://arxiv.org/abs/1905.11946","pdfUrl":"https://arxiv.org/pdf/1905.11946","codeUrl":null,"preprint":{"id":"1905.11946","submittedOn":"2019-05-28","url":"https://arxiv.org/abs/1905.11946"},"publication":{"venue":"ICML","year":2019,"kind":"conference","url":"https://arxiv.org/abs/1905.11946"},"citation":"@misc{classiccnnsefficientnet2019,\n  title = {{EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks}},\n  author = {Mingxing Tan and Quoc V. Le},\n  year = {2019},\n  eprint = {1905.11946},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1905.11946}\n}\n","citationPath":"/content/papers/citations/classic-cnns/efficientnet.ad7d6744b5d4.bib"},"thumbnail":{"src":"/content/papers/assets/f8202301fddceafac70e33ea34ffeb6b2255d2617c880baee08c51ce4c8a4c93.jpg","width":1596,"height":674},"locale":"ja","path":"/content/papers/ja/classic-cnns/efficientnet.3498948275ea.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"2-つの観察","text":"2 つの観察","depth":3},{"id":"結合スケーリング","text":"結合スケーリング","depth":3},{"id":"モデルの基礎アーキテクチャ","text":"モデルの基礎アーキテクチャ","depth":3},{"id":"モデル拡張アーキテクチャ","text":"モデル拡張アーキテクチャ","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"結合スケーリングの重要性","text":"結合スケーリングの重要性","depth":3},{"id":"imagenet-上の結果","text":"ImageNet 上の結果","depth":3},{"id":"推論速度","text":"推論速度","depth":3},{"id":"パラメータ-精度曲線","text":"パラメータ-精度曲線","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/nasnet","relation":"background","topic":"アーキテクチャ探索と効率的な拡大"},{"id":"classic-cnns/efficientnet-v2","relation":"next","topic":"アーキテクチャ探索と効率的な拡大"}]},{"id":"classic-cnns/nasnet","category":"classic-cnns","legacyPath":"classic-cnns/1707-nasnet","legacySlug":"1707-nasnet","legacyPaths":[],"title":"NASNet","subtitle":"ネットワークアーキテクチャの探索","author":"Z. Yuan","paperDate":"2017-07-21","publishedOn":"2024-06-26","paperTitle":"Learning Transferable Architectures for Scalable Image Recognition","paperUrl":"https://arxiv.org/abs/1707.07012","bibliography":{"title":"Learning Transferable Architectures for Scalable Image Recognition","authors":["Barret Zoph","Vijay Vasudevan","Jonathon Shlens","Quoc V. Le"],"url":"https://arxiv.org/abs/1707.07012","pdfUrl":"https://arxiv.org/pdf/1707.07012","codeUrl":null,"preprint":{"id":"1707.07012","submittedOn":"2017-07-21","url":"https://arxiv.org/abs/1707.07012"},"publication":{"venue":"CVPR","year":2018,"kind":"conference","url":"https://doi.org/10.1109/cvpr.2018.00907"},"citation":"@misc{classiccnnsnasnet2017,\n  title = {{Learning Transferable Architectures for Scalable Image Recognition}},\n  author = {Barret Zoph and Vijay Vasudevan and Jonathon Shlens and Quoc V. Le},\n  year = {2017},\n  eprint = {1707.07012},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1707.07012}\n}\n","citationPath":"/content/papers/citations/classic-cnns/nasnet.f6a561f13f90.bib"},"thumbnail":{"src":"/content/papers/assets/b2d2e9edd0aa83df25d43fcba9a942774de024dfa090f0771473452abb1ff417.jpg","width":930,"height":966},"locale":"ja","path":"/content/papers/ja/classic-cnns/nasnet.1b9e7b57e189.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"転送可能なアーキテクチャ","text":"転送可能なアーキテクチャ","depth":3},{"id":"基本構造","text":"基本構造","depth":3},{"id":"探索プロセス","text":"探索プロセス","depth":3},{"id":"droppath-モジュール","text":"DropPath モジュール","depth":3},{"id":"探索実験結果","text":"探索実験結果","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"cifar-10-での結果","text":"CIFAR-10 での結果","depth":3},{"id":"imagenet-へのアーキテクチャの転送","text":"ImageNet へのアーキテクチャの転送","depth":3},{"id":"モバイルデバイスでの評価","text":"モバイルデバイスでの評価","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/efficientnet","relation":"next","topic":"アーキテクチャ探索と効率的な拡大"}]},{"id":"classic-cnns/efficientnet-v2","category":"classic-cnns","legacyPath":"classic-cnns/2104-efficientnet-v2","legacySlug":"2104-efficientnet-v2","legacyPaths":[],"title":"EfficientNet-V2","subtitle":"深層畳み込みの這い進み","author":"Z. Yuan","paperDate":"2021-04-01","publishedOn":"2024-07-04","paperTitle":"EfficientNetV2: Smaller Models and Faster Training","paperUrl":"https://arxiv.org/abs/2104.00298","bibliography":{"title":"EfficientNetV2: Smaller Models and Faster Training","authors":["Mingxing Tan","Quoc V. Le"],"url":"https://arxiv.org/abs/2104.00298","pdfUrl":"https://arxiv.org/pdf/2104.00298","codeUrl":null,"preprint":{"id":"2104.00298","submittedOn":"2021-04-01","url":"https://arxiv.org/abs/2104.00298"},"publication":{"venue":"ICML","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2104.00298"},"citation":"@misc{classiccnnsefficientnetv22021,\n  title = {{EfficientNetV2: Smaller Models and Faster Training}},\n  author = {Mingxing Tan and Quoc V. Le},\n  year = {2021},\n  eprint = {2104.00298},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2104.00298}\n}\n","citationPath":"/content/papers/citations/classic-cnns/efficientnet-v2.34695baab490.bib"},"thumbnail":{"src":"/content/papers/assets/c5df9ddc37c9f54ce84a2ab8ad6c6cd691c306b759beeb9c9ed42670ac005a34.jpg","width":1068,"height":944},"locale":"ja","path":"/content/papers/ja/classic-cnns/efficientnet-v2.e4c1c9dfd21c.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"漸進的学習","text":"漸進的学習","depth":3},{"id":"再度の-nas","text":"再度の NAS","depth":3},{"id":"議論","text":"議論","depth":2},{"id":"fused-mbconv-はどこに配置するか","text":"Fused-MBConv はどこに配置するか？","depth":3},{"id":"ネットワーク探索の結果","text":"ネットワーク探索の結果","depth":3},{"id":"学習の高速化","text":"学習の高速化","depth":3},{"id":"imagenet-での結果","text":"ImageNet での結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"classic-cnns/efficientnet","relation":"background","topic":"アーキテクチャ探索と効率的な拡大"}]}],"text":"畳み込みニューラルネットワークの性能を向上させる一般的な方法には 3 つあります：\n\n1. **深いネットワーク**：ネットワークの深さを増加させる、例えば ResNet。\n2. **広いネットワーク**：ネットワークの幅を増加させる、例えば WideResNet。\n3. **高い解像度**：入力画像の解像度を増加させる。\n\n今日は私が少し、明日はあなたが少し改良して、精度をちょっとずつ上げながらランキングを更新する。楽しそうですよね？\n\n## 問題の定義\n\nところが著者は、深さ、幅、解像度を別々に増やすだけでよいのかと問い直します。同じ計算予算を三つの方向へどう配分すべきでしょうか。\n\nそこで、結合スケーリングアーキテクチャ（**Compound Scaling**）を提案します。\n\n![EfficientNet 論文 Figure 2：幅、深さ、解像度を単独または同時に拡大する模式図](/content/papers/assets/f8202301fddceafac70e33ea34ffeb6b2255d2617c880baee08c51ce4c8a4c93.jpg)\n\n*原論文 Figure 2：(a) は基準モデル、(b)～(d) は一つの次元だけを拡大し、(e) は三つを同時に拡大します。棒の長さは模式的な表現で、EfficientNet-B0 の実際の各層の寸法ではありません。*\n\n## 問題の解決\n\n### 2 つの観察\n\nこの論文で、著者は 2 つの重要な観察を提案しました。これらの観察は結合スケーリング法の基盤です。\n\n- **観察 1：任意の次元の拡張は精度を向上させるが、モデルが大きくなると精度向上は急速に飽和する**\n\n  ![EfficientNet 論文 Figure 3：幅、深さ、解像度を個別に拡大したときの ImageNet top-1 精度と FLOPs](/content/papers/assets/1d7bf9b3ed86d1a83d2eec9543d8e0276346dfeb3e3f6854e0fa6749ee999140.jpg)\n\n  *原論文 Figure 3：横軸は十億回単位の FLOPs、縦軸は ImageNet top-1 精度。各点はその図で変えた係数を表し、後半ほど精度向上が鈍ります。各点の FLOPs は横軸で確認します。*\n\n  一つの次元を増やすと初めは精度が上がりますが、曲線の傾きは次第に小さくなります。中央の図では深さの係数を $d=6$ から $8$ にしても精度はほぼ 80% のまま、FLOPs は増え続けます。\n\n- **観察 2：モデルのスケーリングにおいて、ネットワークの幅、深さ、解像度のバランスが鍵である**\n\n  ![EfficientNet 論文 Figure 4：深さと解像度の異なる基準モデルを幅方向へ拡大した曲線](/content/papers/assets/4d39b79a3b1c3412b4788ff167b975fc34d1e9b4fe5bfb9397459067376d8d99.jpg)\n\n  *原論文 Figure 4：四本の線はいずれも幅を拡大します。基準の深さは $d=1$ または $2$、解像度の倍率は $r=1$ または $1.3$。赤線は深さと解像度の両方を増やした場合で、横軸はパラメータ数ではなく FLOPs です。*\n\n  この図では深さと解像度の組み合わせを変えた上で、幅を増やしています。青線の $d=r=1$ から幅だけを増やすと早く頭打ちになりますが、深く高解像度の赤線は図の FLOPs 範囲で高い精度を得ています。\n\n### 結合スケーリング\n\nここで、モデルスケーリングの問題を再定義します：\n\n畳み込み神経ネットワークの各層は、次のような関数 $Y_i = F_i(X_i)$ として定義できます。\n\n- ここで $F_i$ は演算子、$Y_i$ は出力テンソル、$X_i$ は入力テンソルです。\n\n全体の畳み込み神経ネットワーク $N$ は、一連の層の組み合わせとして表されます：$N = F_k \\odot ... \\odot F_2 \\odot F_1(X_1)$。\n\n実際には、畳み込み神経ネットワークの層は複数のステージに分割されており、各ステージ内のすべての層は同じアーキテクチャを共有しています。\n\nしたがって、ここでは畳み込み神経ネットワークを次のように定義できます：\n\n$$N = \\odot_{i=1}^s F_i^{L_i}(X)$$\n\nここで $\\odot$ は関数の合成を表し、要素ごとの乗算ではありません。重みの共有は、構造の反復とは別に定めます。\n\n$F_i^{L_i}$ は第 $i$ ステージ内の層 $F_i$ が $L_i$ 回繰り返されることを示します。\n\nモデルスケーリングの目標は、与えられたリソース制約の下でモデルの精度を最大化することです。私たちは、基礎ネットワークアーキテクチャ $F_i$ を不変に保ちながら、ネットワークの深さ ($d$)、幅 ($w$)、および解像度 ($r$) を調整してモデルを最適化したいと考えています。\n\nこれは最適化問題として形式化できます：\n\n- $\\max_{d,w,r} \\text{Accuracy}(N(d, w, r))$\n\n制約条件としては：\n\n- $\\text{Memory}(N) \\leq \\text{target memory}$\n- $\\text{FLOPs}(N) \\leq \\text{target flops}$\n\n著者は結合スケーリング法を提案し、1 つの結合係数 $\\phi$ を使用してネットワークの幅、深さ、および解像度を統一的にスケーリングします：\n\n- $\\text{depth: } d = \\alpha^\\phi$\n- $\\text{width: } w = \\beta^\\phi$\n- $\\text{resolution: } r = \\gamma^\\phi$\n\n制約として、$\\alpha \\cdot \\beta^2 \\cdot \\gamma^2 \\approx 2$ という関係を満たし、ここで $\\alpha, \\beta, \\gamma$ は小範囲の探索によって決定された定数で、$\\phi$ はユーザーがスケーリングリソースを制御するために指定する係数です。\n\n通常の畳み込みでは計算量が概ね $d w^2 r^2$ に比例するため、$\\phi$ を 1 増やすと FLOPs は約 2 倍になります。実際の層数やチャネル数には丸めが必要です。これは経験的な規則で、精度と遅延は各構造で評価します。\n\n### モデルの基礎アーキテクチャ\n\n良いベースラインネットワークを開発するために、著者はマルチ目標神経アーキテクチャ探索（Multi-Objective NAS）を参考にし、精度と FLOPs（1 回の順伝播の浮動小数点演算量であり、毎秒の処理能力ではありません）を最適化しました。\n\n著者は $\\text{Acc}(m) \\times \\left(\\frac{\\text{FLOPs}(m)}{T}\\right)^w$ を最適化目標として使用しました。\n\n- ここで、$\\text{Acc}(m)$ と $\\text{FLOPs}(m)$ はそれぞれモデル $m$ の精度と $\\text{FLOPs}$ を表します。\n- $T$ は目標 $\\text{FLOPs}$。\n- $w=-0.07$ は報酬の指数（先ほどの幅の倍率とは別の記号）であり、精度と $\\text{FLOPs}$ のトレードオフを制御するハイパーパラメータです。\n\n最終的に、EfficientNet-B0 が検索され、そのアーキテクチャは `MnasNet` に似ていますが、少し大きめで、$\\text{FLOPs}$ 目標は 400M です。\n\n下の表は EfficientNet-B0 をステージごとに示したもので、繰り返される MBConv を一層ずつ列挙した表ではありません：\n\n![EfficientNet 論文 Table 1：EfficientNet-B0 の各ステージの演算、入力解像度、チャネル数、層数](/content/papers/assets/a0fa2e7633d2652450a7b904cb38d6d80202d01ccca6a456c89f2e92eef4cbd1.jpg)\n\n*原論文 Table 1：一行が一つのステージです。たとえば stage 4 は入力解像度 56×56、5×5 カーネルの MBConv6 を二層繰り返し、出力は 40 チャネルです。Resolution 欄はそのステージへの入力サイズです。*\n\nEfficientNet-B0 の主な構成単位は MBConv（逆ボトルネック畳み込み）で、squeeze-and-excitation も加えています。Table 1 の MBConv1／MBConv6 の数は拡張率、3×3／5×5 はカーネルサイズ、右端はステージ内の層数です。\n\n### モデル拡張アーキテクチャ\n\nベースラインの EfficientNet-B0 から、著者は以下の 2 つのステップで結合スケーリング法を適用してネットワークを拡張しました：\n\n- **ステップ 1**：まず、$\\phi = 1$ を固定し、2 倍のリソースが利用できると仮定し、式 2 および 3 に基づいて$\\alpha, \\beta, \\gamma$の最適値を小範囲でグリッド検索で決定します。EfficientNet-B0 の場合、最適値は$\\alpha = 1.2, \\beta = 1.1, \\gamma = 1.15$ で、$\\alpha \\cdot \\beta^2 \\cdot \\gamma^2 \\approx 2$ の条件を満たします。\n\n- **ステップ 2**：次に、$\\alpha, \\beta, \\gamma$を定数として固定し、異なる$\\phi$値を使用してベースラインネットワークを拡張し、EfficientNet-B1 から B7 までのモデルを得ます。\n\nさらに、$\\alpha, \\beta, \\gamma$を大規模なモデルで直接検索して性能を向上させることもできますが、この検索は大規模モデルでは非常にコストがかかります。著者の方法では、小型のベースラインネットワークで一度だけ検索（ステップ 1）を行い、同じスケーリング係数を使って他のすべてのモデルにスケーリングを適用（ステップ 2）することで、この問題を効果的に解決しています。\n\n## 討論\n\n### 結合スケーリングの重要性\n\n![EfficientNet 論文 Figure 7：菓子と迷路の画像に対する各スケーリング方法のクラス活性化マップ](/content/papers/assets/ade5464687c4f31cdbcf37443a6dbd3db6ead9fb133cfdb1bbf0a0b7bf135574.jpg)\n\n*原論文 Figure 7：各行に元画像、同じ EfficientNet-B0 基準、単一方向に拡大した三モデル、複合スケーリングモデルの CAM が並びます。この二例は位置特定精度や物体検出の再現率を測ったものではありません。*\n\n結合スケーリング法が他の方法よりも優れている理由をさらに理解するために、著者は上記の図で異なるスケーリング方法を使用した代表的なモデルのクラス活性化マップ（CAM）を比較しました。\n\nすべて EfficientNet-B0 から作ったモデルです。菓子と迷路の二例で、活性化がどこに集まるかを比べます：\n\n- **単一次元のモデル**：この二例では、強い反応が物体の一部や不完全な形に限られるものがあります。ここから物体検出の再現率は計算できません。\n- **複合スケーリングモデル**：分類に関係する細部まで反応が広がっています。これは視覚的な観察で、全体的な効果は後述の分類結果で判断します。\n\nさらに、著者はさまざまなスケーリング方法の性能を観察しました：\n\n1. **単次元スケーリング法**：\n\n   - **深さスケーリング**：ネットワークの深さ、つまり層数を増加させます。\n   - **幅スケーリング**：ネットワークの幅、つまり各層のチャンネル数を増加させます。\n   - **解像度スケーリング**：入力画像の解像度を増加させます。\n\n2. **結合スケーリング法**：\n   - 深さ、幅、および解像度の増加を組み合わせ、本文で提案された$\\alpha, \\beta, \\gamma$パラメータを使用して調和的にスケーリングします。\n\n次の Figure 8 は**同じ EfficientNet-B0 基準**からの比較です。画像を載せていない Table 7 では、約 1.8～1.9B FLOPs の設定で深さのみ **79.0%**、幅のみ **78.9%**、解像度のみ **79.1%**、複合スケーリング **81.1%** の top-1 精度です。差は **2.0～2.2 ポイント**。論文の「最大約 2.5 ポイント」は曲線上の別の比較であり、この Table 7 の数値ではありません。\n\n![EfficientNet 論文 Figure 8：同じ B0 基準の単一次元／複合スケーリングにおける ImageNet top-1 と FLOPs](/content/papers/assets/0190856ff507253c8d84c0aa87c3f2f80ccafa4fbad474041271cb150da939c8.jpg)\n\n*原論文 Figure 8：赤線は複合スケーリング、他の三線は幅、深さ、解像度を単独で拡大したもの。横軸は十億回単位の FLOPs。Table 7 の近い計算量の設定は約 1.8～1.9B で、曲線上のすべての点が完全に同じ計算量ではありません。*\n\n### ImageNet 上の結果\n\n![EfficientNet 論文 Table 2：ImageNet モデルの top-1／top-5 精度、パラメータ数、FLOPs](/content/papers/assets/863a6d99518158fc4501b7880c289ef945cb377ad759d9f3abf0e4e9a668039f.jpg)\n\n*原論文 Table 2：単一モデル・単一クロップの結果を近い精度ごとにまとめています。B7 と GPipe は top-1 がともに 84.3%、パラメータ数は 66M／557M。GPipe の FLOPs は表にないため、両者の FLOPs 比はこの表から求められません。*\n\nこの論文では、著者は次のような具体的な訓練設定を使用しました：\n\n- **オプティマイザ**：RMSProp、decay と momentum はともに 0.9。BatchNorm momentum は 0.99\n- **重み減衰**：$1 \\times 10^{-5}$\n- **初期学習率**：0.256、2.4 エポックごとに 0.97 で減衰\n- **活性化関数**：Swish（ここで使われる形式は SiLU と同じ）\n- **データ拡張**：AutoAugment\n- **正則化**：stochastic depth、経路の生存確率は 0.8\n\n著者は dropout 率を B0 の 0.2 から B7 の 0.5 まで線形に増やしました。訓練セットから 25k 枚を別に取り分けて早期終了を判断し、元の検証セットで最終結果を報告しています。dropout と stochastic depth は異なる操作です。\n\n節約できる量は比較対象で変わります。B7 は **66M パラメータ、37B FLOPs** で **84.3% top-1**。GPipe も **84.3%** ですが **557M パラメータ**で、約 **8.4 倍**です。Table 2 に GPipe の FLOPs はなく、B7 の 37B から両者の演算量比を計算することはできません。\n\nB3 と ResNeXt-101 は **81.6／80.9% top-1**、**1.8／32B FLOPs** です。この論文の設定では演算量に約 **18 倍**の差がありますが、すべての機器での遅延比を表すものではありません。\n\n### 推論速度\n\n遅延を検証するために、著者はIntel Xeon E5-2690 の単一 CPU コア、batch size 1 でいくつかの代表的な畳み込み神経ネットワークの推論遅延も測定しました。\n\n下の表は、20 回の実行の平均遅延を示しています：\n\n![EfficientNet 論文 Table 4：単一 Xeon コア、batch 1 における EfficientNet と比較モデルの遅延](/content/papers/assets/756d1824a0fb4d9486cccb28673706be59f2d2bb179579618d1e3f099b6c4f90.jpg)\n\n*原論文 Table 4：B1／ResNet-152 は 0.098／0.554 秒、B7／GPipe は 3.1／19.0 秒。B1／B7 の精度はこの表では 78.8／84.4% で、上の Table 2 の 79.1／84.3% と異なります。別表の値を同一の測定結果として組み合わせません。*\n\nこの条件での **20 回平均**では、B1 は ResNet-152 より約 **5.7 倍**、B7 は GPipe より約 **6.1 倍**速い結果です。単一 Xeon コア、batch 1 の値であり、GPU やモバイル端末では改めて測る必要があります。Table 4 の精度は Table 2 と完全には一致しません。\n\n### パラメータ-精度曲線\n\n![EfficientNet 論文 Figure 5：ImageNet top-1 精度とパラメータ数／FLOPs の比較曲線](/content/papers/assets/cb10376a9cf400f09a44a0c3cc7b90f4be15c3e4a0e8e85c51d21c28c602bee4.jpg)\n\n*原論文 Figure 5：左の横軸はパラメータ数、右は FLOPs。赤線が EfficientNet 系列です。横長の画像にある小表も Figure 5 の一部で、別の実験ではありません。*\n\n赤線を B0 から B7 へ追うと、規模とともに精度が上がります。図中の一部の他モデルより少ないパラメータ数や FLOPs で、同程度以上の top-1 精度を得ています。ただし左右の横軸は別で、パラメータ数の少なさは遅延の小ささを証明しません。右側の小表は NASNet-A を **80.7%**、上の Table 2 は **82.7%** と記載します。論文はここで差を説明していないため、主な ImageNet 比較には Table 2 の値を使います。\n\n## 結論\n\nモデルの深さ、幅、解像度は、畳み込み神経ネットワークの性能において重要な要素です。\n\n基準モデルの演算子を固定し、$\\phi$ で深さ、幅、解像度を同時に変えます。Table 7／Figure 8 は同じ B0 から始めた比較で、この ImageNet 設定で複合スケーリングが有効な根拠です。一方、B0 自体が NAS で得られ、訓練設定も調整されているので、B7 と旧モデルの差をすべて式だけの効果とは言えません。\n\n今後は複合スケーリングの係数の選び方を改善し、他の種類のネットワークにも応用できるか調べる余地があります。実装するなら、層数・チャネル数を丸めた後も予算内か確認し、対象ハードウェアで遅延を測りたいところです。\n\n\n> [!TIP]\n> \n> 実を言うと、この論文は要約を読んだらすぐモデル構造を使ってみました。効果は確かに良かったですよ。\n","imageSizes":{"/content/papers/assets/f8202301fddceafac70e33ea34ffeb6b2255d2617c880baee08c51ce4c8a4c93.jpg":{"width":1596,"height":674},"/content/papers/assets/1d7bf9b3ed86d1a83d2eec9543d8e0276346dfeb3e3f6854e0fa6749ee999140.jpg":{"width":1396,"height":428},"/content/papers/assets/4d39b79a3b1c3412b4788ff167b975fc34d1e9b4fe5bfb9397459067376d8d99.jpg":{"width":1080,"height":800},"/content/papers/assets/a0fa2e7633d2652450a7b904cb38d6d80202d01ccca6a456c89f2e92eef4cbd1.jpg":{"width":1112,"height":556},"/content/papers/assets/ade5464687c4f31cdbcf37443a6dbd3db6ead9fb133cfdb1bbf0a0b7bf135574.jpg":{"width":1446,"height":444},"/content/papers/assets/0190856ff507253c8d84c0aa87c3f2f80ccafa4fbad474041271cb150da939c8.jpg":{"width":852,"height":596},"/content/papers/assets/863a6d99518158fc4501b7880c289ef945cb377ad759d9f3abf0e4e9a668039f.jpg":{"width":1730,"height":1066},"/content/papers/assets/756d1824a0fb4d9486cccb28673706be59f2d2bb179579618d1e3f099b6c4f90.jpg":{"width":1312,"height":296},"/content/papers/assets/cb10376a9cf400f09a44a0c3cc7b90f4be15c3e4a0e8e85c51d21c28c602bee4.jpg":{"width":4583,"height":1837}}}
