論文ノートライブラリに戻る
arXiv 2023WACV 2024文字認識論文ノート

DTrOCR

デコーダーだけで十分

原論文

DTrOCR: Decoder-only Transformer for Optical Character Recognition

論文の著者

Masato Fujitake

発表先
WACV 2024国際会議
arXiv への初回投稿
arXiv:2308.15996
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{textrecognitiondtrocr2023,
  title = {{DTrOCR: Decoder-only Transformer for Optical Character Recognition}},
  author = {Masato Fujitake},
  year = {2023},
  eprint = {2308.15996},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2308.15996}
}
このページの内容

この論文を発表した機関は、日本の OCR 会社であり、少し珍しい著者グループです。

このモデルの読み方は D-TrOCR で、Decoder-only を意味します。

最初に見たとき、思わず「Doctor」と読んでしまいそうになりますね。(?)

問題の定義

以前に TrOCR を取り上げたことがあるので、少しは覚えているかもしれません。

TrOCR は広く使われている事前学習アーキテクチャで、エンコーダモデルとデコーダモデルを組み合わせて文字認識の処理フローを構成しています。

しかし、この論文の著者たちは TrOCR のアーキテクチャに対していくつかの疑問を提起し、OCR タスクにおいてエンコーダモデルは必ずしも必要ではないと考えています:

  • おそらく、OCR タスクにはデコーダだけで十分ではないか?

なんだか見覚えがあるような気がしませんか?

そう、OpenAI が GPT で示した decoder-only の発想を思い出します。「デコーダだけで十分」という設計を、今度は画像に条件付けた文字生成へ持ち込むわけです。

論文を書いていると、こうした先駆的なアイデアを異なる領域に応用することで、意外と良い論文が生まれることがあります。

問題解決

モデルアーキテクチャ

簡単に言うと、エンコーダ部分を取り除き、画像入力を直接デコーダに渡すという構成です。

入力画像は Patch Embedding モジュールを通じて、小さなブロックに分割され、ベクトルに変換されます。入力ベクトルに位置エンコーディングを加えた後、デコーダに渡して文字生成を行います。この部分は ViT の方法と同様です。

画像パッチのベクトル列の後には、画像と文字の列を区切る特殊なトークン「[SEP]」が続きます。デコーダはそこから文字を順に生成し、「[EOS]」トークンに達すると終了します。

文字列をサブワード token(実装では BPE)で表現し、Beam Search で最終的な文字出力を取得します。

デコーダのアーキテクチャは、事前学習済みの GPT-2 をそのまま使用しており、ゼロからのトレーニングは不要で、多くの時間を節約できます。

合成データの事前学習

元々の言語モデルは大量のテキストデータセットを使用して訓練されていましたが、このようなモデルは OCR タスクには適していません。なぜなら、モデルは画像特徴を理解せず、画像と文字を結びつけることができないからです。

そこで著者は、人工的に合成したデータセットを使用して、モデルの事前学習を行っています。このデータセットは、シーンテキスト、手書き文字、印刷文字など、さまざまな形式を含んでいます。

以前の TrOCR 論文で使用されたトレーニングデータは、PDF ファイルと商用 OCR を用いてデータアノテーションを行ったものでしたが、このようなデータ準備は時間がかかり、手間がかかります。著者はその方法を取らず、テキストコーパスを用いて人工的にデータを生成し、データの再現性を向上させることを目指しています。関連するコーパスには PILE、CC100、Chinese NLP Corpus があります。

合成データの生成プロセスは次のようになっています:

  • 3 つのオープンソースライブラリを使って合成データを生成し、コーパスをランダムにシーン、印刷、手書き文字認識の 3 つのカテゴリに分け、割合を 60%、20%、20%に設定します。
  • シーン文字認識用に、40 億枚の水平テキスト画像と 20 億枚の垂直テキスト画像を SynthTIGER を使って生成し、デフォルトのフォント(英語)と 64 種類の一般的なフォント(中国語)を使用します。
  • SynthTIGER の複数行テキスト画像の設定を使い、MJSynth と SynthText をテキストコーパスとして 1 億枚の複数行の英語画像を生成します。単語数は 5 に設定します。
  • 印刷文字認識用に、20 億枚の画像を TextRender のデフォルト設定で生成します。
  • 手書き文字認識用には TRDG を使用して、20 億枚の画像を生成し、5427 種類の英語および 4 種類の中国語手書きフォントを使用します。

実データによる微調整

モデルが実際の環境で適応できるようにするためには、実データを使用して微調整する必要があります。

論文で使用された実データセットは、COCO-Text、RCTW、Uber-Text、ArT、LSVT、MLT19、ReCTS です。

実装の詳細

  1. モデル設定

    • デコーダモデル:

      • 英語 GPT-2 と中国語 GPT-2 モデルを使用。
      • モデルの構成:
        • 12 層の Transformer
        • 各層 768 次元の隠れ層
        • マルチヘッドアテンション機構は 12 のヘッドを使用
      • Byte Pair Encoding (BPE)語彙を使用。
    • 画像 Patch Embedding:

      • 先行研究に従い、8×4 の画像ブロックサイズを使用。
      • 相対位置エンコーディングを使用。
      • 最大トークン長さは 512 に設定。

  1. 訓練設定

    • 事前学習:
      • 英語モデル:英語データセットを使用。
      • 中国語モデル:中英データセットを組み合わせて使用。
      • 訓練パラメータ:
        • 1 エポック、バッチサイズ 32。
        • AdamW オプティマイザを使用、学習率は10−410^{-4}に設定。
    • 微調整:
      • 事前学習済みの重みで初期化。
      • ターゲットデータセットに微調整:
        • ほとんどのデータセットは 1 エポックで訓練し、学習率は5×10−65 \times 10^{-6}に設定。
        • SROIE データセットは 4 エポックで訓練。
      • 事前学習と同じオプティマイザとバッチサイズを使用。

  1. データ増強

    • RandAugment を適用(Sharpness は除く)。
    • 以下の増強方法を追加:
      • 色の反転(Invert)
      • ガウシアンブラー(Gaussian Blur)
      • ポアソンノイズ(Poisson Noise)
    • RandAugment 設定:
      • 3 層戦略
      • 増強幅は 5
    • すべての画像を 128×32 ピクセルに調整。
    • 画像の元の方向を保持し、ランダムに以下の回転を適用:
      • 元の方向を保持(95%)
      • 時計回りに 90 度回転(2.5%)
      • 反時計回りに 90 度回転(2.5%)
    • 画像を範囲[−1,1][-1, 1]に標準化。

討論

STR 性能比較

表は合成データと実データの訓練条件別に分かれています。各組で報告されているベンチマーク結果では、DTrOCR の単語精度が表中の比較手法を上回ります。ただし、手法ごとに訓練データや設定が異なるため、この表だけで差をデコーダ構成に帰することはできません。

表中の TrOCR、ABINet、PARSeq、MaskOCR は視覚エンコーダを使い、言語情報も取り入れています。DTrOCR は独立した視覚エンコーダを使わず、これらのベンチマークで高い精度を示しました。

下図の例では、DTrOCR は遮蔽や不規則な配置の文字を正しく認識し、2 行の文字も読み取っています。比較した他の 2 手法には、これらの例で誤認識があります。

SROIE 性能比較

上表は SROIE Task 2 の単語単位の再現率、適合率、F1 を比較しています。DTrOCR は独立した CNN や ViT の視覚エンコーダを用いず、3 指標とも表中の手法を上回ります。

手書き文字認識性能

ここでは IAM Handwriting Database を使っています。比較した Diaz らの手法は内部の注釈付きデータと外部言語モデルを使い、Transformer ベースの TrOCR も表に含まれます。

DTrOCR は合成データと IAM 訓練セットを使い、外部言語モデルなしで、表中で最も低い文字誤り率(CER 2.38、低いほど良い)を示しました。

中国語認識性能

中国語のベンチマークテストは 4 つのサブセット(シーン、ウェブページ、ドキュメント、手書き)を含みます。

DTrOCR の単語精度は 4 つのサブセットすべてで表中の手法を上回ります。シーン、ウェブ、手書きでは差が大きい一方、文書では次点との差は 0.5 ポイントです。

TrOCR のデコーダには MLM で事前学習された言語モデルの重みが使われ、MaskOCR も MLM 系の事前学習を用います。一方、DTrOCR は次の文字トークンを予測する生成型の事前学習に基づきます。なお、TrOCR の OCR 学習自体は自己回帰生成です。

これらの結果は、生成型デコーダが 4 つの中国語サブセットで有効なことを示します。ただし、表中の手法はアーキテクチャと訓練条件が異なるため、差のすべてを事前学習方式だけに帰することはできません。

結論

著者はこの論文で非常にシンプルな文字認識モデルの構造を示し、デコーダモデルのみを使用して OCR タスクを実行できることを証明しました。

複数のベンチマークテストで、DTrOCR は精度において既存の最先端技術を上回り、また良好な汎化能力も示しました。今後はおそらく LLM の進化の道を歩み、モデルをさらに速く、より良くする方法を探ることになるでしょう。