Why You Should Try the Real Data for the Scene Text Recognition
- 発表先
- 正式な発表先は未確認
- arXiv への初回投稿
- arXiv:2107.13938
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{textrecognitionyatr2021,
title = {{Why You Should Try the Real Data for the Scene Text Recognition}},
author = {Vladimir Loginov},
year = {2021},
eprint = {2107.13938},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2107.13938}
}
STR 領域では、ほとんどのモデルが合成データから始まります。
標準的な方法は、まず合成データで事前訓練を行い、その後、ベンチマークのテストセットで直接評価を行うか、少量の実データで微調整を行ってから評価を行うことです。
問題の定義
実データの重要性は誰も否定しません。なぜなら、合成データは特定の生成ルールに基づいており、特定のフォントの選択やノイズの追加、背景の選定が含まれるからです。
ルールがあれば例外もありますが、これらの例外は合成データではカバーできないことがあり、その結果、モデルの汎化能力に影響を与える可能性があります。そして、実世界においては、合成データこそが例外であり、実データこそがルールです。
例外を使ってルールを適合させ、そしてそのモデルが優れた汎化能力を持っていると言われても、あなたは信じられますか?
著者は、合成データと実データの併用がよい訓練方法だと考え、STR の認識性能がどう変わるかを実験しています。
問題の解決
モデルアーキテクチャ
著者は WWWSTR の方法を参考にしました:
ただし、最終段階の 2 つのフェーズを分けず、テキスト認識の最終段階にシーケンスモデリングと最終予測を含めています。
画像補正部分では ASTER の Thin Plate Spline (TPS)技術を使用しています:
TPS の空間変換機構は 3 つの部分に分かれています:
- 位置推定ネットワーク:最初に入力画像から空間変換パラメータを生成します。
- グリッド生成器:予測されたパラメータを基に、入力画像のサンプリング位置を示すグリッドを生成します。
- サンプラー:グリッドと入力画像を使用して最終的な出力画像を生成します。
TPS 設計の利点は、文字ごとのアノテーションが不要であり、さまざまなテキスト認識アーキテクチャに直接使用でき、パラメータはエンドツーエンドで学習できます。
バックボーンには ImageNet で事前学習した ResNeXt-101 を使い、最後のステージを除きます。著者はこの構成を、精度と計算量の兼ね合いから選びました。
最後に、テキスト認識ヘッドでは 2D 注意マップと GRU をデコーダとして使用しています。
討論
実データの重要性
著者は合成データセットと実データセットを使用して訓練を行い、すべての実験は同じ条件下で行われました:ResNeXt-101 をバックボーンネットワークとして使用し、大文字と小文字を区別しない訓練とテストモード、そして TPS モジュールは使用しませんでした。
上の表では、MJSynth と OpenImagesV5 の併用が、MJSynth のみの場合を六つのテストセットすべてで上回ります。IC15 では、MJSynth のみで 64.2%、MJSynth と SynthText で 69.3%、MJSynth と OpenImagesV5 で 75.3% です。OpenImagesV5 のみでも MJSynth のみより高いものの、混合条件には届きません。著者は実画像の難しさから学習期間を延ばす必要があるかもしれないと推測していますが、表はその理由を直接検証していません。
この表では、MJSynth + OpenImagesV5 が最もよい組み合わせで、著者が本文で採用した訓練データです。
ViTSTR を試してみよう
実データの重要性を確認するために、著者は ViTSTR を使用して実験を行いました。ViTSTR は Transformer ベースのテキスト認識モデルです。
この論文でも触れていますので、参考にしてください:
著者は合成データセットと実データセットを使って訓練し、結果は以下の表に示されています:
Table 4 では、どちらもデータ拡張を使う ViTSTR-Tiny を比較します。基準のバッチは 0.5 MJSynth + 0.5 SynthText、もう一方は 0.4 MJSynth + 0.2 OpenImagesV5 + 0.4 SynthText です。六つのベンチマークすべてで精度が上がり、IC15 は 66.6% から 77.0%、SVT-P は 78.5% から 86.7%、IC03 は 93.7% から 95.6% になります。一律に約 5 ポイントの改善ではありません。この設定では、データ拡張だけで実画像の多様性を完全には代替できませんでした。
結論
この論文で試したモデルと六つのベンチマークでは、合成データと実データの併用が認識精度を高めました。
このことは常識だと思うかもしれませんが、具体的にどれだけの違いがあるのかを示すことは難しいです。
今後、誰かに「なぜ実データを使うのか?具体的にどれだけ差があるのか?」と聞かれたら、この論文の結果を具体例として示せます。