論文ノートライブラリに戻る
arXiv 2020CVPR 2020文字認識論文ノート

SEED

言語の種

原論文

SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition

論文の著者

Zhi Qiao · Yu Zhou · Dongbao Yang · Yucan Zhou · Weiping Wang

発表先
CVPR 2020国際会議
arXiv への初回投稿
arXiv:2005.10977
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{textrecognitionseed2020,
  title = {{SEED: Semantics Enhanced Encoder-Decoder Framework for Scene Text Recognition}},
  author = {Zhi Qiao and Yu Zhou and Dongbao Yang and Yucan Zhou and Weiping Wang},
  year = {2020},
  eprint = {2005.10977},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2005.10977}
}
このページの内容

視覚特徴に基づいたモデルは、すでに性能の壁に達しているようです。

では、もっと多くの言語情報を統合する可能性はあるのでしょうか?

問題の定義

NLP(自然言語処理)からのインスピレーションを受けて、多くの STR(Scene Text Recognition)の研究では、注意機構を使用して問題を解決し始めています。

規則的なテキストの場合、畳み込みニューラルネットワーク(CNN)と再帰的ニューラルネットワーク(RNN)に基づくエンコーダーを使用し、注意機構を組み合わせたデコーダーによって逐次的な文字予測を行います。一方、不規則なテキストには、多方向エンコーディングと 2D 注意方法を使用して処理します。

さて…

すでに NLP のアーキテクチャを模倣しているので、なぜもう少し模倣しないのでしょうか?

言語モデルの「言語」、それは良い手掛かりではないでしょうか?

著者は追加の意味情報を全体の参照として導入し、デコードを補助します。局所的な視覚特徴だけに頼らず、文字の埋め込みから得られる教師情報を画像認識に取り込む試みです。

問題の解決

モデルアーキテクチャ

原論文 Figure 3;出典:arXiv:2005.10977v1
図:原論文の Figure 3。符号化された系列は注意デコーダーと意味モジュールの両方に渡り、予測した SS がデコーダーを初期化します。

著者は ASTER を基にして、「意味強化型 ASTER(SE-ASTER)」という方法を提案しています。上図のように。

SE-ASTER には 4 つのモジュールがあります:

  1. 補正モジュール:不規則なテキスト画像を補正するために使用。
  2. エンコーダー:視覚特徴を豊かに抽出するために使用。
  3. 意味モジュール:視覚特徴から意味情報を予測するために使用。
  4. デコーダー:最終的な認識結果を出力する。

最初に、画像は補正モジュールに入力され、浅層 CNN で制御点を予測し、その後薄板スプライン(Thin-plate Splines、TPS)を使用して画像を補正します。

次に、補正後の画像はエンコーダーに入力され、視覚特徴を生成します。

エンコーダーは 45 層の ResNet CNN と、256 の隠れユニットを持つ BiLSTM ネットワークで構成され、出力は特徴のシーケンスh=(h1,…,hL)h = (h_1, \dots, h_L)です。その形状はL×CL \times Cで、ここでLLは CNN の最終層特徴マップの幅、CCは特徴の次元です。

この出力特徴シーケンスhhには 2 つの用途があります:

  • 1 つ目:意味モジュールによる意味情報の予測
  • 2 つ目:デコーダーの入力として使用

意味情報を予測するために、著者は特徴シーケンスを 1 次元の特徴ベクトルIIに展開し、その次元はK=L×CK=L\times Cです。

意味情報SSは二つの線形層と、その間の非線形活性化で計算されます:

S=W2σ(W1I+b1)+b2S = W_2\sigma(W_1I + b_1) + b_2

ここでW1,W2,b1,b2W_1, W_2, b_1, b_2は訓練可能な重み、σ\sigmaは ReLU 活性化関数です。意味情報は、事前に訓練された FastText モデルから提供される単語埋め込みを監督信号として使用します。

事前学習言語モデル

著者は事前学習済み FastText の単語ベクトルを意味の教師情報として使います。ここでの FastText は skip-gram に基づく単語埋め込みモデルであり、文字列を順に生成するデコーダーではありません。

T={wi−l,…,wi+l}T = \{w_{i-l}, \dots, w_{i+l}\}が単語 wiw_i を中心とする文脈窓であり、ll は片側の窓幅を示します。skip-gram モデルでは、単語wiw_iが埋め込みベクトルviv_iで表され、単純なフィードフォワードニューラルネットワークに入力され、その目的は文脈を予測することです:

Ci={wi−l,…,wi−1,wi+1,…,wi+l}C_i = \{w_{i-l}, \dots, w_{i-1}, w_{i+1}, \dots, w_{i+l}\}

訓練中、埋め込みベクトルviv_iは同期して最適化され、単語の最終的な埋め込みベクトルが意味的に類似した単語に近づくように調整されます。FastText はさらにサブワードを埋め込み、それらのサブワードを使用して単語wiw_iの最終的な埋め込みを生成します。

例えば、lmin=2l_{\text{min}} = 2、lmax=4l_{\text{max}} = 4、単語が「where」の場合、そのサブワード集合は{\{wh, he, er, re, whe, her, ere, wher, here}\}です。この例では説明のため単語境界記号を省いていますが、実際の FastText は境界を含む文字 n-gram も使います。単語はサブワードのベクトルと単語自身のベクトルで表されます。

FastText は、語彙にない単語でも学習済みのサブワードからベクトルを作れます。ただし、未知語の意味を常に正確に表せる保証はありません。


意味モジュールは画像特徴から SS を予測し、訓練時には FastText の単語ベクトルで教師を与えます。推論時には正解の転写文字列を参照せず、予測した SS を線形変換して GRU デコーダーの隠れ状態を初期化します。原論文 Table 2 では、単語埋め込みによる監督だけで SS をデコーダーに渡さない場合、明確な改善はなく、両方を使うと最も良い結果になります。

損失関数

訓練中、著者は意味モジュールとデコーダーモジュールの両方に監督信号を追加し、SE-ASTER はエンドツーエンドで訓練されます。

損失関数は次のようになります:

L=Lrec+λLsemL = L_{\text{rec}} + \lambda L_{\text{sem}}

ここで、LrecL_{\text{rec}}は標準的な交差エントロピー損失(cross-entropy loss)で、予測確率と実際のラベルとの違いを測定します。

LsemL_{\text{sem}}は意味情報のコサイン埋め込み損失(cosine embedding loss)です:

Lsem=1−cos⁡(S,em)L_{\text{sem}} = 1 - \cos(S, \text{em})

ここで、SSは予測された意味情報、em\text{em}は事前学習された FastText モデルの単語埋め込みです。目的は、予測された意味情報と、事前学習された FastText モデルから得られる転写ラベル単語埋め込みとの類似度を比較することです。

λ\lambdaは損失のバランスを取るためのハイパーパラメータで、ここでは 1 に設定されています。

実装の詳細

事前学習された FastText モデルは公式提供のモデルを使用し、このモデルは Common Crawl と Wikipedia のデータセットで訓練されています。SE-ASTER の認識出力は 97 種類のシンボルを含み、これには数字、大文字、小文字、32 の句読点、文の終わり符号、パディング符号、未知のシンボルが含まれます。

入力画像のサイズは 64 × 256 に調整され、アスペクト比は保持されません。最適化関数の更新には ADADELTA アルゴリズムが使用されます。

認識ネットワーク自体には追加の事前学習やデータ拡張を行いませんが、FastText の教師情報は事前学習済みです。認識ネットワークは SynthText と Synth90K データセットで 6 エポック訓練され、バッチサイズは 512 に設定され、学習率は初期値 1.0 から第 4 エポックで 0.1 に減衰し、第 5 エポックで 0.01 に減衰します。モデルは NVIDIA M40 GPU で訓練されました。

推論時、入力画像のサイズは訓練段階と一致させます。GRU デコーダーではビームサーチを使用し、累積スコアが最も高いkk個の候補結果を保持し、すべての実験でkkは 5 に設定されています。

討論

最新手法との比較

原論文 Table 5;出典:arXiv:2005.10977v1

表:原論文の Table 5。末尾には既発表の ASTER、著者が再訓練した ASTER と SE-ASTER が別々に載っています。星印は文字単位の教師情報も使う手法です。

著者は提案した手法を以前の最先端の手法といくつかのベンチマークデータセットで比較し、その結果を上の表に示しています。

語彙なし、単語レベルのアノテーションのみの場合、SE-ASTER は 6 つのベンチマークデータセットで 2 つの最良結果と 3 つの次善結果を達成しました。他の手法と比較して、提案された方法は低品質のデータセット(IC15 や SVTP など)で優れたパフォーマンスを示しました。

既発表の ASTER と比べると、IC15 は 76.1→80.0% で 3.9 ポイント、SVTP は 78.5→81.4% で 2.9 ポイント高い値です。著者が再訓練した ASTER と比べると、IC15 は 78.4→80.0% で 1.6 ポイント、SVTP は 79.1→81.4% で 2.3 ポイントです。前者は研究間の差であり、意味モジュールだけの効果ではありません。Table 2 の同一データでの消融では、埋め込みによる監督とデコーダー初期化を組み合わせることが重要です。ScRN より SVTP と IC15 でそれぞれ 0.6/1.3 ポイント高いものの、訓練時の教師情報の条件は異なります。

可視化結果

原論文 Figure 4;出典:arXiv:2005.10977v1
図:原論文の Figure 4。緑は正しく認識した文字、赤は誤認識です。選ばれた事例だけでは全体の性能は判断できません。

著者は低品質な画像を可視化しました。これにはぼやけや遮蔽などの状況が含まれ、いくつかの例を上の図に示しています。

これらの例では、SE-ASTER と SE-SAR がぼけや遮蔽による一部の誤りを直しています。原論文 Table 3 の文字が欠けた画像の評価では、再訓練した ASTER は IC15 で 78.4→65.6%、SE-ASTER は 80.0→70.0% に低下します。両方とも悪化しますが、後者の低下幅は小さく、著者は全体的な意味情報の寄与と解釈しています。

結論

言語モデルを取り入れることで、STR に新しい見方が生まれました。SE-ASTER は複数のベンチマークで良い結果を出し、低品質な画像にも強さを見せています。画像から予測した意味情報を FastText の単語埋め込みで監督し、デコーダーの初期化に使うのがポイントです。

その後の STR 研究でも、言語モデルとの組み合わせは大きな流れになりました。副作用の議論はいったん置いておくとして、当時は新しく、検討する価値のある方向だったと思います。