Robust Scene Text Recognition With Automatic Rectification
- 発表先
- CVPR 2016国際会議
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@inproceedings{textrecognitionrare2016,
title = {{Robust Scene Text Recognition With Automatic Rectification}},
author = {Baoguang Shi and Xinggang Wang and Pengyuan Lyu and Cong Yao and Xiang Bai},
year = {2016},
booktitle = {CVPR},
url = {https://openaccess.thecvf.com/content_cvpr_2016/html/Shi_Robust_Scene_Text_CVPR_2016_paper.html}
}
CRNN の登場で多くの問題は解決されましたが、不規則な文字の認識はまだ得意ではありませんでした。
問題の定義
自然のシーンでの文字認識は、印刷された文字よりもはるかに難しいです。認識段階での文字は、しばしば激しい変形、歪み、遮蔽、ぼやけなどの問題に直面します。
本論文で著者が解決したいのは、主に変形と歪みの問題です。少し前に、有名な STN のモデルがあったことを思い出してみてください。
もしかしたら、自動補正機能を備えたモデルを設計できるかもしれませんね?
問題の解決
空間変換ネットワーク
不規則な文字認識の問題を軽減するために、自動補正機能は認識モジュールの前に配置されるべきです。
ここで著者は、入力画像を補正するために空間変換ネットワーク(Spatial Transformer Network, STN)を導入しています。
STN の主な目的は、入力画像を補正後の画像に変換することです。この補正は、予測された TPS(Thin Plate Spline)変換を通じて行われます。このネットワークは、位置推定ネットワーク(Localization Network)を使って基準点のセットを予測し、これらの基準点を利用して TPS 変換パラメータを計算します。次に、画像上でサンプリンググリッドを生成し、このサンプリンググリッドを使って入力画像から補正後の画像を生成します。
位置推定ネットワーク
位置推定ネットワークは、 個の基準点を定位する役割を担い、出力はこれらの基準点の 、 座標で、次のように記述されます:
座標系の中心は画像の中央に設定され、座標値の範囲は です。
このネットワークは、畳み込みニューラルネットワークを使用して座標位置の回帰学習を行い、出力層には 個のノードが含まれ、活性化関数として tanh を使用し、出力値が の範囲に収まるようにします。
ネットワークの訓練は、STN の他の部分から逆伝播される勾配に完全に監視され、基準点座標の手動ラベル付けは必要ありません。
グリッド生成器
著者は補正後の画像の上下の縁に基本基準点 を固定し、位置推定ネットワークで入力画像上の対応点 を予測します。上の図に示した二組の点から、補正後の座標に対応する元画像のサンプリング位置を求めます。
グリッド生成器は、TPS 変換パラメータを推定し、サンプリンググリッドを生成します。ここでの TPS 変換パラメータは、行列 で表され、その計算式は次のようになります:
ここで、 は基準点 によって決定される行列であり、定数行列です。
の具体的な形式は次のようになります:
ここで、 行列の第 行第 列の要素 は次のように定義されます:
そして、 は基準点 と の間のユークリッド距離を表します。
補正後の画像 上のピクセルグリッドは、 と表され、ここで は第 番目のピクセルの 、 座標であり、 は画像内のピクセル数です。
上の各ピクセル点 に対して、次の変換を使用して入力画像 上の対応するピクセル点 を見つけることができます:
-
まず、 と基準点との距離を計算します:
ここで、 は と第 番目の基準点 の間のユークリッド距離です。
-
次に、拡張ベクトル を構築します:
-
最後に、次の行列演算を使用して、入力画像上の点 に変換します:
補正画像 上のすべてのピクセル点に対してこれらの演算を行うことによって、入力画像 上のピクセルグリッド を生成することができます。
行列 の計算と点 の変換は微分可能であるため、グリッド生成器は逆伝播で勾配を訓練に使用できます。
サンプラー
サンプラー(Sampler)は、双線形補間を使用して入力画像のピクセル値から補正後の画像 を生成します。
補正後の画像 中の各ピクセル の値は、入力画像 内の対応する 付近のピクセルを双線形補間計算することによって得られます。
このプロセスも微分可能であり、モデル全体の誤差を逆伝播できます。サンプリング後の結果は次のようになります:
エンコーダー-デコーダー
画像の自動補正が完了した後、次はお馴染みの認識プロセスに戻ります。
最初はエンコーダー(Encoder)で、ここでは CRNN モデルが使用されます。これは、バックボーンネットワークを使用して入力画像を特徴量のシーケンスに変換し、その後 BiLSTM ネットワークを通じて時系列モデルを構築します。
元の CRNN は逐次予測から文字列を作るために CTC を使いますが、この論文は注意機構を備えた GRU で文字を一つずつ生成します。
デコーダーの部分では、著者はデコード時に注意機構(Attention Mechanism)を組み合わせており、各時間ステップ において、デコーダーは注意重みベクトル を計算します。ここで は入力シーケンスの長さです。
注意重みの計算式は次の通りです:
ここで:
- は前の時間ステップの GRU ユニットの隠れ状態です。
- は前の時間ステップの注意重みベクトルです。
- はエンコーダーが入力シーケンスをエンコードした表現です。
この Attend 関数は、デコーダーの前の隠れ状態 と前の注意重みベクトル に基づいて、現在の注意重みベクトル を計算します。このベクトルの各要素は非負の数であり、全要素の合計は 1 です。これにより、入力シーケンスの各要素が現在のデコードステップでどれだけ重要かが表されます。
を計算した後、モデルは Glimpse ベクトル を生成します。このベクトルは、入力シーケンスのエンコード表現 に対する注意重み付きの和です。
計算式は次の通りです:
ここで:
- は注意重みベクトル の第 番目の要素です。
- は入力シーケンスの第 番目の要素のエンコード表現です。
Glimpse ベクトル は、入力シーケンスにおいて現在モデルが注目している部分の加重和です。
は確率分布であるため(全ての要素は非負で、合計は 1)、 は入力シーケンスの特徴の加重和であり、デコーダーは現在のデコードステップに基づいて入力シーケンスの異なる部分に焦点を合わせることができます。
Glimpse ベクトル を計算した後、デコーダーは GRU の再帰的な式を使って隠れ状態 を更新します:
ここで:
- は前の時間ステップのラベルです。
- 訓練時には実際のラベルです。
- テスト時には前の時間ステップで予測されたラベル です。
- は注意機構で計算された Glimpse ベクトルで、現在モデルが注目している入力情報を表します。
- は前の時間ステップの GRU の隠れ状態です。
GRU ユニットは、前のステップのラベル 、現在の Glimpse ベクトル 、および前の隠れ状態 に基づいて、現在の隠れ状態 を更新します。これにより、現在のステップの出力と入力情報の関係をエンコードします。
各時間ステップで、デコーダーは更新された隠れ状態 に基づいて次の出力文字を予測します。出力 は、全ての可能な文字に対する確率分布であり、ここには「シーケンス終了」シンボル(EOS)が含まれています。モデルが EOS を予測すると、シーケンス生成プロセスが終了します。
辞書による補助認識
最終的な出力結果にはいくつかの誤りが含まれる可能性があり、著者は辞書を使用して認識を補助しています。最後に、辞書を使用した場合と使用しなかった場合の効果を比較します。
テスト画像が辞書と関連付けられている場合、モデルは条件付き事後確率が最も高い単語を選択します:
辞書が非常に大きい場合(例えば、50k 語以上を含む Hunspell 辞書)、すべての単語を逐一チェックする計算コストが高いため、著者はトライ木(プレフィックスツリー)を使用して効率的な近似検索を行います。以下の図のように:
各ノードは 1 文字を表し、根ノードから葉ノードまでのパスは 1 つの単語を示します。
テスト時には、根ノードから開始し、モデルの出力分布に基づいて条件付き事後確率が最も高い子ノードを選択し、葉ノードに到達するまで進みます。対応するパスが予測単語となります。
ツリーの深さは辞書中の最長単語の長さを超えず、全単語を一つずつ調べるより計算を減らせます。論文では 1k 語を超える辞書の実験に、幅 7 の beam search も使って複数の候補経路を保持します。
モデルの訓練
著者は Jaderberg らが公開した合成データセットを、シーンテキスト認識の訓練データとして使用しています:
- Text Recognition Data:このデータセットは 800 万枚の訓練画像とその対応する注釈テキストを含んでおり、これらの画像は合成エンジンによって生成され、非常にリアルです。
これ以外には他の追加データは使用されていません。
訓練のバッチサイズは 64 に設定され、画像サイズは訓練およびテストでに調整されます。STN の出力サイズもです。モデルの訓練速度は秒間 160 サンプルを処理し、3 つの訓練サイクル後、2 日以内に収束しました。
評価指標
著者はモデルの性能を評価するために 4 つの一般的なシーンテキスト認識ベンチマークデータセットを使用しています。それぞれのデータセットは次の通りです:
-
ICDAR 2003 (IC03)
- テストセットには 251 枚のシーン画像が含まれており、これらの画像にはテキストの境界ボックスが付いています。
- 以前の研究と公平に比較するため、非アルファベット数字の文字や 3 文字未満の文字が含まれる画像は通常無視されます。フィルタリング後、最終的に 860 枚の切り抜かれた文字画像がテストセットとして使用されます。
- 各テスト画像には 50 個の単語が含まれた語彙表(辞書)が付属しています。また、完全辞書があり、すべての画像の語彙表を統合したもので、評価に使用されます。
-
ICDAR 2013 (IC13)
- テストセットは IC03 の一部を引き継いで修正したものです。この論文では IC03 と同じ規則でフィルタリングし、857 枚の切り抜かれた文字画像を評価します。
- IC03 と異なり、IC13 には語彙表が提供されていないため、評価時には辞書補助は使用されません(すなわち、無辞書設定)。
-
IIIT 5K-Word (IIIT5k)
- テストセットには、インターネットから収集された 3,000 枚の切り抜かれた文字画像が含まれており、多様なフォントや背景がカバーされています。
- 各画像には 2 つの語彙表が付いています:50 個の単語を含む小さな辞書と 1,000 個の単語を含む大きな辞書です。これらは辞書補助の評価に使用されます。
-
Street View Text (SVT)
- テストセットは、Google ストリートビューから収集された 249 枚のシーン画像で構成され、647 枚の文字画像が切り抜かれています。
- 各文字画像には 50 個の単語が含まれた語彙表が付いており、辞書補助の評価に使用されます。
討論
他の方法との比較
上の表は、各ベンチマークでの結果を他の方法と比較したものです。辞書に本当に制限されない方法の中では、RARE は IIIT5K、SVT、IC03、IC13 の四つの辞書なし設定で CRNN を上回りました。表中の Jaderberg ら [17] の値には、90k 語の辞書による制限が残ります。
IIIT5K の辞書なし設定では、RARE の 81.9% は CRNN【32】の 78.2% より 3.7 ポイント高い結果です。著者は、IIIT5K に不規則な文字が多いことを、補正モジュールが役立つ理由の一つと考えています。
一部のデータセットではモデルが【17】のモデルに後れを取っているものの、RARE は電話番号などのランダムな文字列を認識できるのに対し、【17】のモデルは 90k の辞書内の単語のみを認識できます。
辞書を使う IIIT5K、SVT、IC03 の各設定では、RARE は CRNN より少し低いものの、【17】とも競争力のある結果でした。辞書なしでの改善を、辞書付きの結果にまで広げてはいけません。RARE(SRN only)との比較では、補正モジュールの追加によって四つの辞書なし列がすべて改善しています。
結論
本論文は、主に不規則な文字の認識問題を解決することを目的としており、微分可能な空間変換ネットワーク(STN)モジュールを導入し、不規則な文字を自動的に補正することで、エンドツーエンドの学習を実現しました。いくつかの基準データセットで良好な結果を得ています。
著者は実験でも、モデルが「特に曲がった」文字に対してはうまく機能しないことを指摘しており、その原因として、訓練データに対応するパターンが不足していることが考えられます。これは今後改善できる方向です。