論文ノートライブラリに戻る
arXiv 2021軽量モデル論文ノート

PP-LCNet

速度の限界を探る

原論文

PP-LCNet: A Lightweight CPU Convolutional Neural Network

論文の著者

Cheng Cui · Tingquan Gao · Shengyu Wei …

著者全 13 名を表示

Cheng Cui · Tingquan Gao · Shengyu Wei · Yuning Du · Ruoyu Guo · Shuilong Dong · Bin Lu · Ying Zhou · Xueying Lv · Qiwen Liu · Xiaoguang Hu · Dianhai Yu · Yanjun Ma

発表先
正式な発表先は未確認
arXiv への初回投稿
arXiv:2109.15099
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{lightweightpplcnet2021,
  title = {{PP-LCNet: A Lightweight CPU Convolutional Neural Network}},
  author = {Cheng Cui and Tingquan Gao and Shengyu Wei and Yuning Du and Ruoyu Guo and Shuilong Dong and Bin Lu and Ying Zhou and Xueying Lv and Qiwen Liu and Xiaoguang Hu and Dianhai Yu and Yanjun Ma},
  year = {2021},
  eprint = {2109.15099},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2109.15099}
}
このページの内容

軽量モデルの競争には、いくつかの主要な方向性があります。

  • 一つは、パラメータ数を最適化してモデルのサイズを減らすこと。
  • 二つ目は、計算量(FLOPs)を最適化し、計算コストを減らしてモデルの速度を向上させること。
  • 三つ目は、推論時間を最適化すること。

え、待って?

パラメータ数と計算量を最適化することは、推論時間を最適化することと同じではないのか?

多くの人はこう考えがちです:「パラメータ数と計算量を最適化すれば、自然に推論時間も速くなるだろう」と。

  • 答えは:必ずしもそうではありません!

簡単な例を挙げてみましょう:

  • ResNet のスキップ接続
  • GoogLeNet の Inception モジュール
  • 異なるモジュール間でのパラメータ共有

分岐、テンソルの移動、同期によって、同じパラメータ数や演算量でも遅延が変わります。

その理由は、メモリの読み取りや複数の分岐アーキテクチャ間での待機によるものです。

しかし、この論文ではこの問題について深く掘り下げて議論することはなく、他の論文でさらに議論を深めることになります。

問題の定義

この論文では、いくつかの問題を解決することを目的としています:

  1. 遅延を増加させずに、ネットワークがより強力な特徴表現を学習する方法は?
  2. 軽量モデルの精度を CPU 上で向上させる要素は何か?
  3. 異なる戦略を効果的に組み合わせて、CPU 上で軽量モデルを設計する方法は?

解決策

モデルアーキテクチャ

著者は上記の問題を解決するためにいくつかの戦略を提案しています。

  1. DepthSepConv

    著者は、MobileNetV1 で採用された DepthSepConv を基本ブロックとして使用しています。ここでは、ショートカットや結合(concat)などの操作を使用しないため、計算効率が向上します。

    過去の研究では、小型モデルでショートカットを足しても、性能の改善があまり大きくない場合があります。

    また、論文によると Intel CPU の高速化ライブラリは DepthSepConv を十分に最適化しており、この CPU の設定では Inverted Block や ShuffleNet Block より高速でした。

  2. HSwish

    ReLU を使えば計算は速いでしょう!

    Swish、Mish、GELU など、表現力を高める活性化関数もあります。

    そこで著者は MobileNetV3 の HSwish を採用し、小さな遅延の増分で精度を高めました。

  1. SEBlock

    このアーキテクチャは、次の論文に由来します:

    このモジュールは、SENet が 2017 年の ImageNet チャレンジで優勝するのに役立ちました。

    ただし、Intel CPU 上ではこのモジュールが推論時間を増加させるため、著者はここで簡素化を行い、ネットワークの末端にのみ配置しました。

    実験では最後の二つのブロックにだけ SE を置くと、精度と遅延のバランスが良くなりました。ただし、SE を入れない場合より遅延は増えます。

  2. 大きなカーネルの畳み込み

    MixNet では、著者が異なるサイズの畳み込みカーネルがネットワークの性能に与える影響を分析し、最終的に同じ層で異なるサイズの畳み込みカーネルを混合しました。

    ただし、このような混合は推論速度を落とすため、著者は一つの層で使うカーネルの大きさを一種類に絞り、主にネットワークの後半で 5×5 を使います。

    ネットワークの末端では、3x3 の畳み込みを 5x5 の畳み込みに変更することで、モデルの精度を向上させました。

  3. 最後に追加した全結合層

    モデルが小さく表現容量も限られるので、グローバル平均プーリングの後、分類層の前に 1280 次元の 1×1 畳み込みを足します。これは全結合層に相当します。

討論

実験結果

著者は ImageNet-1k データセットで実験を行いました。このデータセットには 128 万枚の訓練画像と 1000 クラスの 5 万枚の検証画像があります。

  • 訓練設定:

    • 最適化には SGD(確率的勾配降下法)を使用し、モーメンタムは 0.9、重み減衰は 3e-5(大きなモデルの場合は 4e-5)です。
    • バッチサイズは 2048、学習率は 0.8 から開始し、余弦退火スケジュールで調整されます。
    • 訓練プロセスは 360 エポックで、5 回の線形ウォームアップエポックを含みます。
    • 画像前処理には、224×224 ピクセルへのランダムクロップとランダム水平反転が含まれます。
  • 評価フェーズ:

    • 評価時には、まず画像の短辺を 256 ピクセルに調整し、次に 224×224 ピクセルの中心クロップを行います。
  • 精度向上技術:

    • SSLD 蒸留法で PP-LCNet の精度を大きく高められます。蒸留結果は論文 Table 2 にあり、上の Table 3 は星印のないモデル同士の比較です。

上の図表からは、Intel Xeon Gold 6148、MKLDNN、10 スレッド、バッチサイズ 1 という論文の条件で速度の利点が分かります。例えば PP-LCNet-1x は top-1 71.32%・2.46 ms、MobileNetV2-1x は 72.15%・4.26 ms です。前者は約 1.73 倍速い一方、精度は 0.83 ポイント低くなります。

アブレーション実験

  1. SE モジュール(Squeeze-and-Excitation):

    • SE モジュールは、チャネル間の関係に対する注意を強化することで、モデルの精度を向上させます。
    • 論文 Table 7 では、最後の二つのブロックに加えると 63.14%・2.05 ms、すべてのブロックに加えると 64.27%・3.80 ms でした。

    したがって、PP-LCNet では、推論速度と精度のバランスを取るために、最後の 2 つのブロックに SE モジュールを優先して追加しています。

  2. 大きなカーネルの使用:

    • 大きなカーネル(例えば 5×5)は精度を向上させますが、ネットワークのすべての場所に追加するのは適していません。
    • SE と同様、後半に置く方が精度と遅延のバランスが良くなります。Table 8 では、後半のみが 63.14%・2.05 ms、全体への適用は 63.22%・2.08 ms です。

    したがって、特定の層にのみ 5×5 の depthwise 畳み込みカーネルを使用し、他の層では 3×3 のカーネルを維持します。

  3. 異なる技術の統合効果:

    • Table 9 は技術を順に加えた累積比較です。H-Swish で top-1 が 55.58% から 58.18%、遅延は 1.61 から 1.66 ms になり、大きなカーネルを加えると 59.09%・1.70 ms です。
    • SE を加えると 59.91%・1.85 ms で、遅延は増えています。
    • GAP 後の 1280 次元 1×1 畳み込みを加えると 62.50%・2.05 ms です。
    • Dropout を加えると 63.14%・2.05 ms。BaseNet より 7.56 ポイント高く、遅延は 0.44 ms 増えています。

結論

著者は軽量な Intel CPU 向けネットワークで、推論時間をなるべく増やさずに精度を上げる方法を探しました。

広範な実験と手法の最適化を通じて、さまざまな視覚タスクで優れた性能を発揮するネットワークアーキテクチャを提案し、特に精度と速度のバランスにおいて優れたパフォーマンスを示しました。