Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network
- 発表先
- ICCV 2019国際会議
- arXiv への初回投稿
- arXiv:1908.05900
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{textdetectionpan2019,
title = {{Efficient and Accurate Arbitrary-Shaped Text Detection with Pixel Aggregation Network}},
author = {Wenhai Wang and Enze Xie and Xiaoge Song and Yuhang Zang and Wenjia Wang and Tong Lu and Gang Yu and Chunhua Shen},
year = {2019},
eprint = {1908.05900},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1908.05900}
}
著者は最近 PSENet を発表し、その勢いを利用して、すぐに PAN を発表しました。
問題の定義
今回は目標が非常にシンプルです。それは、以前のモデルアーキテクチャが遅すぎると感じたことです。
ResNet50 と VGG16 を変更し、ResNet18 に変更!
FPN も変更し、深さ方向分離畳み込みに変更!
とにかく、軽量化できる部分はすべて軽量化しました。
解決方法
モデルアーキテクチャ
上の図は PAN のモデルアーキテクチャで、全体的に PSENet と似た構造ですが、速度向上のためにいくつかの改良戦略が提案されています。
最初に行われたのは、特徴ピラミッドネットワーク(FPN)のパラメータ量を削減することですが、削減後は特徴の表現能力が低下します。そのため、新しい融合戦略が提案されています。
論文では多くの略語が使われており、時には混乱するかもしれませんが、まずは以下の略語を覚えておきましょう:
- FPEM: Feature Pyramid Enhancement Module(特徴ピラミッド強化モジュール)
- FFM: Feature Fusion Module(特徴融合モジュール)
次に、これらについて順番に見ていきましょう。
FPEM
FPEM は U 字型の経路でトップダウンとボトムアップの両方向に特徴を融合します。深さ方向分離畳み込みで計算量を抑え、複数回重ねることで軽量バックボーンの特徴を補強します。
論文では、このモジュールは多層スタックできることが強調されており、スタックすることで特徴の表現能力を向上させ、軽量なバックボーンネットワークの不足を補うことができます。
FFM
FPEM を何層もスタックすると、多くの特徴マップが得られます。
例えば、論文では 1 層の FPEM が 4 つのスケールの特徴マップを得ることになり、各スケールの出力チャンネル数は 128 で、4 つのスケールの特徴マップで合計 512 チャンネルになります。もしこれをさらに N 層スタックすると、最終的には 512N チャンネルの特徴マップが得られます。このような特徴マップは後処理にとって非常に重くなります。
FFM は、各 FPEM 段階の同じスケールの特徴を加算します。その後、4 つのスケールを同じ解像度に拡大して連結するため、段階数にかかわらず最終出力は チャネルになります。
ピクセル集約戦略
Backbone と Neck 部分が完了すると、予測ヘッドはテキスト領域、カーネル領域、そして各テキストピクセルの 4 次元の類似度ベクトルを出力します。
ピクセル集約の目的は、テキスト領域のピクセルを対応するカーネルに正しく結び付けることによって、完全なテキストインスタンスを再構築することです。この方法はクラスタリングの概念を取り入れ、テキストインスタンスをクラスタとして扱い、カーネルをクラスタの中心とし、テキスト領域のピクセルをクラスタリングされるサンプルとして扱います。
トレーニング中、ピクセル集約は集約損失(Aggregation Loss)を計算してテキストピクセルをカーネルに近づけ、同時に区別損失(Discrimination Loss)によって異なるカーネル間の区別を保ちます。
-
(1) 集約損失
- 集約損失 の目的は、同じテキストインスタンスのピクセルとそのカーネルとの距離をできるだけ小さくすることです。
- 各テキストインスタンス に対して、損失関数は以下のように定義されます:
ここで、 はテキストインスタンスの総数、 は第 のテキストインスタンス、 はそのカーネル、 はテキストインスタンス内のピクセルです。
- 距離関数 は以下のように定義されます:
ここで、 はピクセル の類似度ベクトル、 はカーネル の類似度ベクトルで、次のように定義されます:
は実験的に設定された定数で、0.5 に設定されています。これは、分類が容易なサンプルをフィルタリングするためのものです。
-
(2) 区別損失
- 区別損失 の目的は、異なるテキストインスタンスのカーネル間に十分な距離を保つことです。
- 区別損失の定義は以下の通りです:
ここで、 はカーネル と の距離に対するマージン違反のペナルティで、次のように定義されます:
マージン は 3 です。距離がこれより小さいと罰則が生じますが、学習後の距離が必ず 3 以上になる保証ではありません。
推論段階では、予測された類似度ベクトルを基にテキスト領域のピクセルを対応するカーネルに統合します。
具体的な手順は以下の通りです:
- カーネルの連結成分を見つける:カーネルのセグメンテーション結果において、連結成分を見つけ、各連結成分は一つのカーネルを表します。
- 隣接するテキストピクセルを統合する:各カーネル に対して、4 方向連結方式でその隣接テキストピクセル を条件付きで統合します。ピクセル とカーネル の類似度ベクトルのユークリッド距離が閾値 より小さい場合、統合を行います。
- 統合手順を繰り返す:第 2 ステップを繰り返し、条件を満たす隣接ピクセルがなくなるまで統合を続けます。
この方法は集約損失と区別損失を利用してカーネルとテキストピクセルの正しい統合を導き、最終的に完全なテキストインスタンスを再構築します。
損失関数
損失関数の全体的な形式は次の通りです:
ここで:
- はテキスト領域の損失を示します。
- はカーネル領域の損失を示します。
- と はそれぞれ集約損失と区別損失です。
- パラメータ と はこれらの損失の重要性をバランスさせるために使用され、すべての実験で と に設定されています。
テキストピクセルと非テキストピクセルの数が非常に不均衡であるため、過去の文献を参照し、テキスト領域 とカーネル領域 のセグメンテーション結果を監視するために Dice Loss を使用しています。
カーネル領域の真のラベル は、元の真のラベルポリゴンを縮小することによって得られ、この縮小処理は PSENet の方法を参考にし、ポリゴンを比率 で縮小します。
を計算する際には、オンラインハードサンプルマイニング (Online Hard Example Mining, OHEM) 方法を使用して、簡単な非テキストピクセルを無視します。、、および を計算する際には、真のラベル内のテキストピクセルのみを考慮します。
はカーネル領域損失の重み、 は集約損失と区別損失の重みで、テキスト領域損失の重みは 1 です。実験では 、 に設定されています。
訓練データセット
-
SynthText
このデータセットはモデルの事前訓練に使用されます。大規模なデータセットで、約 80 万枚の合成画像を含んでいます。これらの画像は自然なシーンとランダムなフォント、サイズ、色、方向で書かれたテキストが混ざり合っており、非常に現実的です。
-
CTW1500
CTW1500 は長曲線テキスト検出のための挑戦的なデータセットで、Yuliang らによって構築されました。1000 枚の訓練画像と 500 枚のテスト画像が含まれています。従来のテキストデータセット(例えば ICDAR 2015 や ICDAR 2017 MLT)とは異なり、CTW1500 のテキストインスタンスは 14 点の多角形でアノテーションされており、任意の曲線テキストの形状を表現できます。
-
Total-Text
Total-Text は新しく公開された曲線テキスト検出データセットで、水平、多方向、曲線テキストインスタンスを含んでいます。この基準データセットには 1255 枚の訓練画像と 300 枚のテスト画像が含まれています。
-
ICDAR 2015
ICDAR 2015 はテキスト検出において広く使用されるデータセットで、1500 枚の画像が含まれています。そのうち 1000 枚が訓練用で、残りはテスト用として使用されます。テキスト領域は四点の四角形でアノテーションされています。
-
MSRA-TD500
これは多言語、任意方向、長いテキスト行に対応するデータセットです。300 枚の訓練画像と 200 枚のテスト画像が含まれており、テキスト行は行単位でアノテーションされています。訓練セットが小さいため、実験では HUST-TR400 データセットの画像も訓練データとして使用されています。
訓練戦略
PAN は ResNet または VGG16 をモデルのバックボーンとして使用し、これらのモデルは事前に ImageNet で訓練されています。
すべてのネットワークモデルは確率的勾配降下法 (SGD) を使用して最適化されます。追加データを使う設定では、先に SynthText で 50K 回、固定学習率 で事前訓練します。追加データを使わない設定では、対象データセットで直接訓練します。
対象データセットでは、どちらの設定も 36K 回訓練し、初期学習率は です。直接訓練では指数 0.9 の poly 学習率減衰を使います。重み減衰は で、Nesterov モーメンタムの値は 0.99 です。
訓練中、すべてのデータセットで "DO NOT CARE" とマークされたぼやけたテキスト領域は無視されました。OHEM の負例:正例の比率は 3:1 に設定されています。訓練画像にはランダムスケーリング、ランダム水平反転、ランダム回転、およびランダムクロッピングといった多くのデータ拡張手法が適用されました。
討論
アブレーション実験
著者は ICDAR 2015 および CTW1500 データセット上でアブレーション実験を行い、PAN の各モジュールがパフォーマンスに与える影響を分析しました。
-
FPEM の積み重ね効果
FPEM の数がモデルのパフォーマンスに与える影響を、 の値を調整して研究しました。上の表から分かるように、 が増加するにつれてテストセットでの F-measure は上昇し、 から安定し始めます。
しかし、FPEM の計算コストは低いものの、FPEM を過剰に追加すると推論速度が低下します。1 つ追加するごとに FPS は約 2~5 減少します。性能と速度のバランスを取るため、後の実験では を 2 に設定しました。
-
FPEM の有効性
同じ実験設定のもとで、著者は以下を比較しました:
- ResNet18 + 2 FPEMs + FFM
- ResNet50 + PSPNet
上の表に示すように、「ResNet18 + 2 FPEMs + FFM」は軽量なバックボーンを使いながら、「ResNet50 + PSPNet」とほぼ同等の F-measure を示し、推論速度は 5 倍以上速く、パラメータ数は 1225 万です。
-
FFM / PA の有効性
FFM を除外し、最後の特徴ピラミッド に特徴マップを連結して最終的なセグメンテーションを行った結果、FFM を除去した場合、F-measure は 0.6~0.8 ポイント低下(上表 #1 と #2 参照)し、浅層特徴が意味的セグメンテーションにとって重要であることが示されました。
PA を除去した場合、訓練時には とし、推論時にも類似度による隣接ピクセルの選別を行いません。F-measure は ICDAR 2015 で 1.0 ポイント、CTW1500 で 1.2 ポイント低下しました(上表 #4 参照)。
軽量な ResNet18 を ResNet50 または VGG16 に置き換えると、同じ設定で ICDAR 2015 の F-measure はそれぞれ 1.1、1.6 ポイント、CTW1500 ではそれぞれ 0.6、0.5 ポイント向上しました(上表 #5 と #6 参照)。ただし、重いバックボーンでは推論速度が下がります。
曲線テキスト実験結果
-
CTW1500 上で:
CTW1500 実験結果
-
PAN-320(入力画像の短辺が 320)の場合、外部データで事前訓練を行っていない状態で F-measure は 77.1%、速度は 84.2 FPS です。この F-measure は多くの対照方法を超えており(外部データで事前訓練された方法を含む)、最速の方法と比べて速度は 4 倍速 です。
-
SynthText で事前学習し、CTW1500 で微調整した後、PAN-320 の F-measure は 79.9%、PAN-512 は 83.5% で、表中の他の方法より少なくとも 1.3 ポイント 高く、速度は 58.1 FPS でした。
-
Total-Text 上で:
Total-Text 実験結果
- 外部データで事前訓練していない場合、PAN-320 の速度はリアルタイム(82.4 FPS)で、F-measure は 77.1% です。一方、PAN-640 の F-measure は 83.5% に達し、すべての最先端方法(外部データ使用の方法を含む)を 0.6 ポイント 以上超えています。
- SynthText で事前訓練し、Total-Text で微調整した後、PAN-320 の F-measure は 79.9%、PAN-640 は 85.0% で、表中の SPCNet [50] より 2.1 ポイント 高く、速度は約 40 FPS でした。
ICDAR 2015 実験結果
PAN は追加データで事前訓練しない場合、表中の F-measure が 80.3%、速度が 26.1 FPS です。EAST の 78.2% より F-measure が 2.1 ポイント 高く、表中の FPS は約 2 倍です。
SynthText で事前学習し、ICDAR 2015 で微調整した場合、F-measure は 82.9% で TextSnake の 82.6% に近い値です。PAN の 26.1 FPS は、表中の TextSnake 1.1 FPS の約 24 倍です。PSENet の 1.6 FPS と比べると約 16 倍ですが、SPCNet には速度の記載がありません。
MSRA-TD500 実験結果
追加データを使用しない場合、PAN の F-measure は 78.9% で、追加データを使用すると 84.1% に上がり、表中で最も高い F-measure です。PAN の速度は 30.2 FPS ですが、比較対象の一部には速度の記載がありません。
可視化結果
上図 (b) と (c) は予測したテキスト領域とカーネルをそれぞれ示します。(d) は類似度ベクトルを次元削減した色と散布図で表し、同じカーネルの近くにあるピクセルがまとまっている様子を示しています。
結論
PAN は曲線テキスト、方向付きテキスト、および長い直線テキストの検出において優れたパフォーマンスを示し、外部データで事前訓練を行った場合でも、比較的高い F-measure を維持し、相対的に高速な実行速度を保持しています。これにより、PAN はさまざまなシーンで使用可能な堅牢なテキスト検出方法となっています。