ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting
- arXiv への初回投稿
- arXiv:2105.03620
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{textspottingabcnetv22021,
title = {{ABCNet v2: Adaptive Bezier-Curve Network for Real-time End-to-end Text Spotting}},
author = {Yuliang Liu and Chunhua Shen and Lianwen Jin and Tong He and Peng Chen and Chongyu Liu and Hao Chen},
year = {2021},
eprint = {2105.03620},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2105.03620}
}
ABCNet v2 は、最初の ABCNet に新しい構成要素と学習戦略を加えた拡張版です。ここでは追加部分を中心に読みます。基本的な考え方は、以前の記事をご参照ください。
問題の定義
他の研究に触発され、著者は ABCNet をアップグレードすることを決定しました。
主な参考対象は以下の通りです。
- [19.11] Efficientdet: Scalable and efficient object detection
- この論文で提案された BiFPN は、FPN を最適化する方法であり、著者はこれを ABCNet に適用しました。
- [18.07] An intriguing failing of convolutional neural networks and the coordconv solution
- この論文では CoordConv が提案され、座標情報の CNN における重要性が議論されています。
- [20.03] Solov2: Dynamic and fast instance segmentation
- この論文では CoordConv がインスタンスセグメンテーションに適用されており、著者もこれを ABCNet に取り入れました。
改良後の ABCNet v2 の主な貢献点は以下の通りです。
- ベジエ曲線文字表現方法の提案。(これは第 1 版と同じです。)
- BezierAlign 特徴整列方法の提案。(これも第 1 版と同じです。)
- BiFPN を使用し、双方向多スケールピラミッドによる全体的なテキスト特徴。(新規追加部分。)
- 適応型エンドツーエンドトレーニング戦略の提案。(新規追加部分。)
- 中国語認識データセットの追加で、中国語認識をサポート。(新規追加部分。)
- モデルの量子化による推論速度の向上。(新規追加部分。)
問題解決
ここでは新たに追加された部分について説明します。
モデルアーキテクチャ
座標畳み込みモジュール
これは前述の CoordConv に該当します。過去の研究によれば、従来の畳み込みは(x, y)座標とピクセル空間座標の対応に制限があるとされています。
この問題を解決するため、本バージョンでは各位置の絶対 、 座標を 2 つのチャネルとして FPN の特徴マップに結合し、座標情報を含む新たな特徴 を形成しました。これをカーネルサイズ 3、ストライド 1、パディング 1 の 3 層の畳み込み層に通し、後続のネットワークに入力することで、シーンテキスト検出の効果を向上させています。
注意機構に基づく認識ブランチ
認識ブランチは、6 層の畳み込み層、1 層の双方向 LSTM、1 つの注意機構モジュールで構成されています。認識過程では、過去の隠れ状態と加重和を利用して文字を逐次予測します。カテゴリ数は 96(英字・数字・記号、EOS を除く)または 5462(中国語・英語の二言語、EOS を除く)であり、注意重みの計算は以下のように表されます。
加重和:
隠れ状態の更新:
適応型エンドツーエンドトレーニング
原文では Adaptive End-to-End Training、論文中では AET と略されています。
ABCNet 第 1 版では、トレーニング段階で真のアノテーションによるベジエ曲線整列のみが文字認識ブランチの入力として使用され、テスト段階では検出結果が特徴切り出しに使用されていました。
著者は、検出結果が真のアノテーションのベジエ曲線境界ほど正確でない場合、誤りが生じる可能性があることを観察しました。
この問題を解決するため、著者は「適応型エンドツーエンドトレーニング(Adaptive End-to-End Training, AET)」というシンプルかつ効果的な戦略を提案しました。その主なプロセスは以下の通りです。
-
検出結果のフィルタリング:検出結果はまず信頼度の閾値によってフィルタリングされ、非極大値抑制(NMS)によって冗長な検出結果が除去されます。
-
認識アノテーションの割り当て:制御点座標の距離総和を最小化する基準で、各検出結果に対応する認識アノテーションが割り当てられます。以下の式で表されます。
は正解テキストのインスタンス、 は 個の制御点の添字です。 で座標差を足し合わせ、最も近いインスタンス の文字列を認識ラベルにします。これは幾何学的な割り当て規則です。
-
アノテーションセットの更新:新たなターゲットを元の真のアノテーションセットと結合し、以降の認識トレーニングに使用します。
モデル量子化
著者はモデル量子化の技術を用いて、異なる精度におけるモデルのパフォーマンスと推論速度を検討しました。これは現在のテキスト検出分野では比較的少ない研究です。
討論
アブレーション実験
各コンポーネントの効果を評価するため、著者は Total-Text と SCUT-CTW1500 の 2 つのデータセット上でアブレーション研究を実施しました。
以下の表に基づき、主な実験結果は以下の通りです:
- 注意認識モジュール:CTC ベースラインと比べ、Total-Text のエンドツーエンド Hmean は 63.5% から 66.2%(2.7 パーセントポイント増)、SCUT-CTW1500 では 45.0% から 52.9%(7.9 パーセントポイント増)になりました。
- BiFPN アーキテクチャ:注意認識モジュールのみの設定に BiFPN を追加すると、Total-Text で 1.9、SCUT-CTW1500 で 1.6 パーセントポイントさらに向上し、表中の速度は 11 から 10 FPS に下がりました。
- 座標畳み込み (CoordConv):同じく注意認識モジュールのみの設定と比べ、両データセットでそれぞれ 2.8、2.9 パーセントポイント向上し、表中の速度は 11 FPS のままでした。
- 適応型エンドツーエンド学習 (AET):同じ設定と比べ、それぞれ 1.2、1.7 パーセントポイント向上しました。
- Bezier 曲線次数:4 次の Bezier 曲線でラベルを作り直して制御点を学習すると、注意認識モジュールのみの同じ条件で Total-Text は 66.2% から 67.0%、SCUT-CTW1500 は 52.9% から 54.4% に上がりました。一方、Total-Text で 5 次を使うと 66.2% から 65.5% に下がります。著者は、次数が高すぎると制御点が大きく変動し、回帰が難しくなる可能性を挙げています。
テキスト検出手法の比較
検出タスクの実験は、任意形状データセット(Total-Text と SCUT-CTW1500)、多方向データセット(MSRA-TD500 と ICDAR 2015)、およびバイリンガルデータセット ReCTS を含む 5 つのデータセット上で実施されました。
上表の Hmean では、ABCNet v2 は 5 つのデータセットすべてで表中最高です。例えば Total-Text は 87.0%、SCUT-CTW1500 は 84.7%、ReCTS は 90.4% でした。
テキスト認識手法の比較
エンドツーエンドの位置特定と文字列認識では、ABCNet v2 の SCUT-CTW1500 における辞書なし/全語辞書のスコアは 57.5%/77.2%、複数スケールでは 58.4%/79.0% で、いずれも表中最高です。一方、ICDAR 2015 の単一スケールの強/弱辞書は 82.7%/78.5% で、Feng らの 87.3%/83.1% を下回ります。複数スケールの汎用辞書スコア 75.0% は表中最高です。ReCTS の 1-NED は 62.7%(複数スケールでは 65.4%)で、Mask TextSpotter’19 の 67.8% を下回ります。
モデルの量子化効果の評価
"A/W" はそれぞれアクティベーションと重みのビット幅構成を表し、"†" は漸進的な学習戦略を採用したことを示します。
著者は量子化モデルについて多くの検討を行いました。
まず、低ビットモデルを合成データセット上で事前学習し、その後 TotalText と CTW1500 で微調整を行って性能を向上させました。
事前学習段階では、26 万回のイテレーションを行い、バッチサイズは 8、初期学習率を 0.01 に設定し、16 万回と 22 万回のイテレーションで学習率を 1/10 に減少させました。
TotalText 上で微調整する際には、バッチサイズを 8 のまま、初期学習率を 0.001 に設定し、5000 回のイテレーションを実施しました。CTW1500 の微調整設定は同様ですが、総イテレーション回数は 12 万回で、8 万回目で学習率を 1/10 に減少させました。入力層と出力層以外のすべての畳み込み層が量子化されました。LSTM はフル精度のままです。
実験結果は上表の通りで、以下の点が確認されました:
-
4 ビットモデル:その性能はほぼフル精度モデルと同等でした。
- 合成データセットで事前学習した 4 ビットモデルのエンドツーエンド Hmean は 58.9% で、全精度モデルの 57.6% を上回りました。論文本文ではこの 2 つの数値の順序が逆になっていますが、上表のモデル行に従っています。
- TotalText と CTW1500 で微調整した後は、それぞれ 66.5% 対 67.2%、52.2% 対 53.0% で、0.7、0.8 パーセントポイント低い結果でした。
この ResNet-18 を骨格とし、主に畳み込み層を量子化した実験では、4 ビットモデルは全精度に近いスコアを保っています。表中の FPS は単一の 2080 Ti で計測した値です。
-
1 ビットモデル(バイナリネットワーク、BNN):
漸進的な学習を使わない事前学習後のエンドツーエンド Hmean は 44.3% で、性能が大幅に低下しました。
この問題を補うため、著者は漸進的な学習戦略(†で示される)を提案し、量子化ビット数を徐々に減らす(例:4 ビット → 2 ビット → 1 ビット)ことで BNN の性能を大幅に向上させました。
新たな学習戦略の後、合成データセットで事前学習した BNN のエンドツーエンド Hmean は 55.8% となり、同じ段階の全精度モデルの 57.6% より 1.8 パーセントポイント低い結果でした。
結論
本論文では、注意認識モジュール、BiFPN 構造、座標畳み込み、新しい適応型エンドツーエンド学習戦略など、いくつかの新しいコンポーネントがテストされました。
著者は多くのトレーニング手法と戦略を示しており、本論文には学ぶべき点が多く、実務にも応用可能な要素が含まれています。