TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models
- 発表先
- AAAI 2023国際会議
- arXiv への初回投稿
- arXiv:2109.10282
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{textrecognitiontrocr2021,
title = {{TrOCR: Transformer-based Optical Character Recognition with Pre-trained Models}},
author = {Minghao Li and Tengchao Lv and Jingye Chen and Lei Cui and Yijuan Lu and Dinei Florencio and Cha Zhang and Zhoujun Li and Furu Wei},
year = {2021},
eprint = {2109.10282},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2109.10282}
}
これはシンプルで分かりやすい論文です。この分野に初めて触れる開発者は、ぜひこの論文から始めてみてください。
問題の定義
当時の OCR では CNN をバックボーンに使い、CTC または注意機構で文字列を予測する構成が一般的でした。外部の言語モデルでデコードを補助する場合もあります。CTC と外部言語モデルは役割が異なります。
これらの方法は一定の効果を上げていますが、既存のほとんどのモデルはネットワークパラメータを最初から訓練しており、大規模な事前訓練された CV(コンピュータビジョン)および NLP(自然言語処理)モデルを十分に活用していません。
そのため、この論文の著者は、事前学習済みモデルを OCR タスクにどう活用すべきかを実例で示しています。
問題の解決
モデルアーキテクチャ
TrOCR モデルは、画像とテキストの Transformer の 2 つの部分で構成されています。
従来の文字認識モデルとは異なり、著者はここで CNN のバックボーンを使用せず、ViT に従った方法で入力画像をに調整し、の小さなパッチに分割してから画像エンコーダに入力します。このエンコーダとデコーダは標準的な Transformer アーキテクチャに基づいており、出力は処理された wordpiece 単位として認識されたテキストになります。
訓練中、画像エンコーダは ViT スタイルの事前訓練モデルである DeiT または BEiT から初期化されます。デコーダは RoBERTa または MiniLM の事前学習済みパラメータを使い、OCR 用の自己回帰デコーダーに適応させます。元のモデルにないエンコーダー・デコーダー間の交差注意パラメータは、ランダムに初期化します。
訓練戦略
-
第一段階
事前訓練の第一段階では、公開されている PDF ファイルからランダムに 200 万ページを抽出し、これらの PDF をページ画像に変換し、各行のテキストから 684M の文字列画像を生成しました。これらの PDF は「デジタル生成」であるため、鮮明な文字画像を得やすくなっています。
-
第二段階
次に、オープンソースのテキスト生成器 TRDG と 5,427 種類の手書きフォントを使用して手書き文字列画像を合成し、テキスト内容はランダムに取得した Wikipedia ページから取られています。この段階で生成された手書きデータセットには、17.9M 行のテキストが含まれており、IIIT-HWS データセットも含まれています。
さらに、著者は約 53K 枚の領収書画像を収集し、商用 OCR エンジンを使ってテキストを認識し、テキストの位置に基づいて画像をトリミングし正規化しました。
最後に、TRDG を使用して約 100 万行の領収書フォントと組み込みフォントを持つ印刷テキスト画像を生成し、最終的な印刷データセットには 3.3M 行のテキストが含まれています。
シーンテキストの場合、第二段階では MJSynth と SynthText データセットを使用し、合計で約 16M 枚のテキスト画像が作成されました。
パラメータ設定
TrOCR の画像分岐は DeiT と BEiT モデルを使用し、テキスト分岐は RoBERTa または MiniLM モデルを使用しています。
DeiT モデルはtimmパッケージからコードと事前訓練されたモデルが提供され、BEiT と MiniLM モデルは UniLM の公式ライブラリから、RoBERTa モデルは Fairseq の GitHub リソースページから取得されます。
訓練は 32 台の V100 GPU で事前訓練を行い、8 台の V100 GPU で微調整を行いました。すべてのモデルのバッチサイズは 2,048 に設定され、学習率はに設定されました。
次に、いくつかの詳細なパラメータを示します:
- 解像度とパッチサイズ:DeiT および BEiT エンコーダはの画像解像度を使用し、パッチサイズはです。
- エンコーダ構造:
- : 12 層、384 次元の隠れ層、6 つの注意ヘッド。
- および: 12 層、768 次元の隠れ層、12 の注意ヘッド。
- : 24 層、1024 次元の隠れ層、16 の注意ヘッド。
- デコーダ構造:
- 小型デコーダ:6 層、256 次元の隠れ層、8 つの注意ヘッド。
- 基本デコーダ:論文が説明する設定では隠れ状態は 512 次元です。一般的な RoBERTa-base の構成を指す記述ではなく、下記の TrOCR-BASE も実際には大型デコーダーを使用します。
- 大型デコーダ:12 層、1024 次元の隠れ層、16 の注意ヘッド。
討論
エンコーダとデコーダの組み合わせ
たくさんのエンコーダとデコーダの組み合わせから、どれが最適かという問題があります。
著者はここでいくつかの実験を行い、異なるエンコーダとデコーダの組み合わせを比較しました。実験は SROIE データセットを基に行われ、結果は以下の表に示されています:
エンコーダについては、DeiT、BEiT、および ResNet-50 がテストされ、デコーダについては RoBERTa が使用されました。
SROIE のみで学習したこの構成比較では、BEiT と RoBERTa の組み合わせが F1 79.36% で最高でした。事前学習済み重みの初期化と二段階の追加事前学習による改善は、論文の別のアブレーション表で確認します。
この結果に基づき、著者は次の 3 つの主要設定を選んで後続の実験を行いました:
- TrOCR:DeiTエンコーダと MiniLM デコーダを使用(62M パラメータ)。
- TrOCR:BEiTエンコーダと RoBERTaデコーダを使用(334M パラメータ)。
- TrOCR:BEiTエンコーダと RoBERTaデコーダを使用(558M パラメータ)。
SROIE の性能比較
上の表は、正解の境界枠で切り出した SROIE の文字行画像について、TrOCR と既存モデルを比較した結果です。文字検出はこの評価に含まれません。
言語モデルに関して、MSO Lab と CLOVA OCR は LSTM 層を使用し、H&H Lab は GRU 層を使用、TrOCR モデルは純粋な注意機構を使用した Transformer デコーダを採用しています。
TrOCR の F1 は 96.58% で、表中の H&H Lab の 96.43% を上回りました。認識のために複雑な追加後処理も必要ありません。
IAM の性能比較
上の表は、TrOCR モデルと IAM 手書きデータベース上の既存方法との比較結果を示しています。
Diaz らの CTC モデルでは、外部言語モデル(LM)を加えると文字誤り率(CER)が 3.53% から 2.75% に下がりました。外部 LM なしの TrOCR は 2.89% で、表中の Bluche と Messina の CTC モデル(3.20%)より低い一方、追加の内部データと LM を使った Diaz らの値には及びません。学習データも手法ごとに異なります。
STR の性能比較
TrOCR モデルは、合成データのみで微調整した場合、または合成データと基準データセット(IC13、IC15、IIIT5K、SVT 訓練セット)を使って微調整した場合のパフォーマンスを、既存の主流および最新の SOTA 手法と比較した結果です。
合成データとベンチマークの訓練セットで微調整した TrOCR は、表中の八つの評価列のうち SVT、IC13 の二列、SVTP、CUTE の五列で最高値でした。IIIT5K と IC15 の二列では首位ではありません。
結論
TrOCR は過去の多くの研究と異なり、事前訓練されたモデルの使用が特徴です。
視覚と言語の事前学習済みモデルを組み合わせた単純なエンコーダー・デコーダー構成で、複数の OCR タスクに強い結果を示しました。事前学習した Transformer の有効性がよく分かります。ただし、62M〜558M パラメータと自己回帰デコードのコストは用途に応じて測る必要があります。