DTrOCR: Decoder-only Transformer for Optical Character Recognition
- 発表先
- WACV 2024国際会議
- arXiv への初回投稿
- arXiv:2308.15996
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{textrecognitiondtrocr2023,
title = {{DTrOCR: Decoder-only Transformer for Optical Character Recognition}},
author = {Masato Fujitake},
year = {2023},
eprint = {2308.15996},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2308.15996}
}
この論文を発表した機関は、日本の OCR 会社であり、少し珍しい著者グループです。
このモデルの読み方は D-TrOCR で、Decoder-only を意味します。
最初に見たとき、思わず「Doctor」と読んでしまいそうになりますね。(?)
問題の定義
以前に TrOCR を取り上げたことがあるので、少しは覚えているかもしれません。
TrOCR は広く使われている事前学習アーキテクチャで、エンコーダモデルとデコーダモデルを組み合わせて文字認識の処理フローを構成しています。
しかし、この論文の著者たちは TrOCR のアーキテクチャに対していくつかの疑問を提起し、OCR タスクにおいてエンコーダモデルは必ずしも必要ではないと考えています:
- おそらく、OCR タスクにはデコーダだけで十分ではないか?
なんだか見覚えがあるような気がしませんか?
そう、OpenAI が GPT で示した decoder-only の発想を思い出します。「デコーダだけで十分」という設計を、今度は画像に条件付けた文字生成へ持ち込むわけです。
論文を書いていると、こうした先駆的なアイデアを異なる領域に応用することで、意外と良い論文が生まれることがあります。
問題解決
モデルアーキテクチャ
簡単に言うと、エンコーダ部分を取り除き、画像入力を直接デコーダに渡すという構成です。
入力画像は Patch Embedding モジュールを通じて、小さなブロックに分割され、ベクトルに変換されます。入力ベクトルに位置エンコーディングを加えた後、デコーダに渡して文字生成を行います。この部分は ViT の方法と同様です。
画像パッチのベクトル列の後には、画像と文字の列を区切る特殊なトークン「[SEP]」が続きます。デコーダはそこから文字を順に生成し、「[EOS]」トークンに達すると終了します。
文字列をサブワード token(実装では BPE)で表現し、Beam Search で最終的な文字出力を取得します。
デコーダのアーキテクチャは、事前学習済みの GPT-2 をそのまま使用しており、ゼロからのトレーニングは不要で、多くの時間を節約できます。
合成データの事前学習
元々の言語モデルは大量のテキストデータセットを使用して訓練されていましたが、このようなモデルは OCR タスクには適していません。なぜなら、モデルは画像特徴を理解せず、画像と文字を結びつけることができないからです。
そこで著者は、人工的に合成したデータセットを使用して、モデルの事前学習を行っています。このデータセットは、シーンテキスト、手書き文字、印刷文字など、さまざまな形式を含んでいます。
以前の TrOCR 論文で使用されたトレーニングデータは、PDF ファイルと商用 OCR を用いてデータアノテーションを行ったものでしたが、このようなデータ準備は時間がかかり、手間がかかります。著者はその方法を取らず、テキストコーパスを用いて人工的にデータを生成し、データの再現性を向上させることを目指しています。関連するコーパスには PILE、CC100、Chinese NLP Corpus があります。
合成データの生成プロセスは次のようになっています:
- 3 つのオープンソースライブラリを使って合成データを生成し、コーパスをランダムにシーン、印刷、手書き文字認識の 3 つのカテゴリに分け、割合を 60%、20%、20%に設定します。
- シーン文字認識用に、40 億枚の水平テキスト画像と 20 億枚の垂直テキスト画像を SynthTIGER を使って生成し、デフォルトのフォント(英語)と 64 種類の一般的なフォント(中国語)を使用します。
- SynthTIGER の複数行テキスト画像の設定を使い、MJSynth と SynthText をテキストコーパスとして 1 億枚の複数行の英語画像を生成します。単語数は 5 に設定します。
- 印刷文字認識用に、20 億枚の画像を TextRender のデフォルト設定で生成します。
- 手書き文字認識用には TRDG を使用して、20 億枚の画像を生成し、5427 種類の英語および 4 種類の中国語手書きフォントを使用します。
実データによる微調整
モデルが実際の環境で適応できるようにするためには、実データを使用して微調整する必要があります。
論文で使用された実データセットは、COCO-Text、RCTW、Uber-Text、ArT、LSVT、MLT19、ReCTS です。
実装の詳細
-
モデル設定
-
デコーダモデル:
- 英語 GPT-2 と中国語 GPT-2 モデルを使用。
- モデルの構成:
- 12 層の Transformer
- 各層 768 次元の隠れ層
- マルチヘッドアテンション機構は 12 のヘッドを使用
- Byte Pair Encoding (BPE)語彙を使用。
-
画像 Patch Embedding:
- 先行研究に従い、8×4 の画像ブロックサイズを使用。
- 相対位置エンコーディングを使用。
- 最大トークン長さは 512 に設定。
-
-
訓練設定
- 事前学習:
- 英語モデル:英語データセットを使用。
- 中国語モデル:中英データセットを組み合わせて使用。
- 訓練パラメータ:
- 1 エポック、バッチサイズ 32。
- AdamW オプティマイザを使用、学習率はに設定。
- 微調整:
- 事前学習済みの重みで初期化。
- ターゲットデータセットに微調整:
- ほとんどのデータセットは 1 エポックで訓練し、学習率はに設定。
- SROIE データセットは 4 エポックで訓練。
- 事前学習と同じオプティマイザとバッチサイズを使用。
- 事前学習:
-
データ増強
- RandAugment を適用(Sharpness は除く)。
- 以下の増強方法を追加:
- 色の反転(Invert)
- ガウシアンブラー(Gaussian Blur)
- ポアソンノイズ(Poisson Noise)
- RandAugment 設定:
- 3 層戦略
- 増強幅は 5
- すべての画像を 128×32 ピクセルに調整。
- 画像の元の方向を保持し、ランダムに以下の回転を適用:
- 元の方向を保持(95%)
- 時計回りに 90 度回転(2.5%)
- 反時計回りに 90 度回転(2.5%)
- 画像を範囲に標準化。
討論
STR 性能比較
表は合成データと実データの訓練条件別に分かれています。各組で報告されているベンチマーク結果では、DTrOCR の単語精度が表中の比較手法を上回ります。ただし、手法ごとに訓練データや設定が異なるため、この表だけで差をデコーダ構成に帰することはできません。
表中の TrOCR、ABINet、PARSeq、MaskOCR は視覚エンコーダを使い、言語情報も取り入れています。DTrOCR は独立した視覚エンコーダを使わず、これらのベンチマークで高い精度を示しました。
下図の例では、DTrOCR は遮蔽や不規則な配置の文字を正しく認識し、2 行の文字も読み取っています。比較した他の 2 手法には、これらの例で誤認識があります。
SROIE 性能比較
上表は SROIE Task 2 の単語単位の再現率、適合率、F1 を比較しています。DTrOCR は独立した CNN や ViT の視覚エンコーダを用いず、3 指標とも表中の手法を上回ります。
手書き文字認識性能
ここでは IAM Handwriting Database を使っています。比較した Diaz らの手法は内部の注釈付きデータと外部言語モデルを使い、Transformer ベースの TrOCR も表に含まれます。
DTrOCR は合成データと IAM 訓練セットを使い、外部言語モデルなしで、表中で最も低い文字誤り率(CER 2.38、低いほど良い)を示しました。
中国語認識性能
中国語のベンチマークテストは 4 つのサブセット(シーン、ウェブページ、ドキュメント、手書き)を含みます。
DTrOCR の単語精度は 4 つのサブセットすべてで表中の手法を上回ります。シーン、ウェブ、手書きでは差が大きい一方、文書では次点との差は 0.5 ポイントです。
TrOCR のデコーダには MLM で事前学習された言語モデルの重みが使われ、MaskOCR も MLM 系の事前学習を用います。一方、DTrOCR は次の文字トークンを予測する生成型の事前学習に基づきます。なお、TrOCR の OCR 学習自体は自己回帰生成です。
これらの結果は、生成型デコーダが 4 つの中国語サブセットで有効なことを示します。ただし、表中の手法はアーキテクチャと訓練条件が異なるため、差のすべてを事前学習方式だけに帰することはできません。
結論
著者はこの論文で非常にシンプルな文字認識モデルの構造を示し、デコーダモデルのみを使用して OCR タスクを実行できることを証明しました。
複数のベンチマークテストで、DTrOCR は精度において既存の最先端技術を上回り、また良好な汎化能力も示しました。今後はおそらく LLM の進化の道を歩み、モデルをさらに速く、より良くする方法を探ることになるでしょう。