CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model
- arXiv への初回投稿
- arXiv:2305.14014
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{textrecognitionclip4str2023,
title = {{CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model}},
author = {Shuai Zhao and Ruijie Quan and Linchao Zhu and Yi Yang},
year = {2023},
eprint = {2305.14014},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2305.14014}
}
対比学習の風が、あちこちで吹いています。
対比学習の後の多モーダル学習は、近年のホットなトピックであり、そこから新しい用語が生まれました:
- VLM、Vision-Language Models(視覚と言語のモデル)。
業界では、誰でも「VLM!」と声を上げることができるほどの流行です。
それなら、文字認識の研究者たちも、このお祭りに加わりたくなるでしょう?
問題の定義
シーン文字認識(Scene Text Recognition, STR)は、回転、歪み、ぼやけ、または遮蔽された文字に直面すると、その性能が不十分であることが多いです。
同じ問題が、何十年も繰り返されてきました。今回は、新しいアプローチを試してみましょう。
CLIP は 2021 年に発表され、その強力なクロスモーダル学習能力により、話題となりました。CLIP は、自然な画像内のさまざまな文字のバリエーションを認識し、理解することができます。この能力は、STR にとって潜在的な解決策となる可能性があります。
ちょっと待って!CLIP とは何ですか?
こんなに話題が急展開しているとは…。
CLIP
あなたが面倒だと思うので、ここで簡単に CLIP について紹介します。
下の図が CLIP のアーキテクチャです:
仮に、画像とテキストのペアがあるとしましょう。例えば、1 枚の犬の画像と「かわいい小さな犬」というテキストがペアで与えられた場合です。
1 つの訓練バッチで、CLIP はそのようなペアを複数受け取ります。画像エンコーダーは、ResNet や ViT を使って画像を処理し、画像特徴を取得します。一方、テキストエンコーダーは Transformer を使ってテキストを処理し、テキスト特徴を取得します。
次に、モデルはこれらの特徴を比較して、正しくペアリングされた画像とテキスト(例えば、犬の画像と「かわいい小さな犬」というテキスト)のコサイン類似度を最大化し、間違ってペアリングされた画像とテキスト(例えば、犬の画像と「1 つのリンゴ」というテキスト)のコサイン類似度を最小化します。
非常にシンプルなアーキテクチャです!
最後に、4 億組の画像とテキストのペアを使って訓練を開始します!
それで?
これは何を意味するのでしょうか?
CLIP はテキストから画像を検索したり、画像に対して与えられた説明候補を順位付けしたりできます。単体で説明文を生成するモデルではありません。画像と文字の見た目をテキスト表現へ結び付ける事前学習が、STR にも役立つ可能性があります。
- 文字画像と文字自体が関連している?これはまさに STR が解決すべき問題ではありませんか!
さらに、CLIP の訓練データは、実際の世界に存在するさまざまなスタイルから来ており、その結果得られる特徴は、STR タスクの訓練データに限定されることなく、より高次元で世界を理解することができます。これにより、STR のパフォーマンスが向上する可能性があります。
最も顕著なのは、歪んだりぼやけたり、または厳しく遮蔽された文字です。CLIP の訓練データには私たちが「想像しにくい」ようなスタイルが存在するため、CLIP はこれらの文字の特徴を特定できる可能性があります。
ゼロショットテスト
このアイデアを検証するために、著者はまず CLIP でゼロショットテストを行いました。
CLIP が「文字」をどれだけ理解できるかを見てみましょう。最も左には入力された文字があり、その中央にはアテンション可視化結果、右には文字出力があります:
この例では、CLIP は正しい文字候補を高く評価できます。ただし、候補の比較によるゼロショット評価であり、任意の文字列を自由に転写した結果ではありません。
遮蔽した例では「cat」と「horse」の両方に重みが付き、文字と画像の文脈への反応が見られます。表示された softmax スコアは候補集合に依存し、考えられる全単語に対する校正済み確率ではありません。
解決方法
では、CLIP はすでに一部の文字理解能力を持っているので、私たちが今やるべきことは、「誘導」して、CLIP を STR というタスクに集中させることです。
モデルアーキテクチャ
ここでは、あなたが CLIP に非常に精通していると仮定して、このアーキテクチャの説明に進みます。
CLIP には、文字分岐と画像分岐の 2 つの分岐があります。
CLIP4STR のアーキテクチャでは、まず画像を「CLIP 画像分岐」に入力し、画像特徴を取得します。次に、その特徴をカスタムの「画像デコーダー」に入力し、特徴を解析して予測される文字を出力します。
上図のように、画像を入力すると、モデルはまず「briiad」という出力を生成します。この出力は正しくない可能性があるため、次にこの出力された文字を「CLIP 文字分岐」に入力し、文字特徴を取得します。
最後に、文字特徴と画像特徴を結合し、カスタムの「クロスモーダルデコーダー」に入力して予測を修正します。推論時には両分岐で順に自己回帰予測を行い、その後 cloze mask で繰り返し修正して、クロスモーダル分岐の出力を最終結果とします。
標準設定ではテキストエンコーダーの前半を凍結します。画像エンコーダーは視覚分岐の損失で微調整します。クロスモーダル分岐へ渡す画像特徴には勾配遮断を適用します。
テキストエンコーダーは暫定的な認識文字列を表現し、クロスモーダルデコーダーが画像特徴と合わせて結果を修正します。
文字デコーダー
前述の「クロスモーダルデコーダー」モジュールを覚えていますか?
このモジュールは PARSeq の順列系列モデリングと Transformer デコーダーの設計を取り入れています。視覚デコーダーとクロスモーダルデコーダーは同じ構造ですが、第二層の注意が参照する特徴が異なります。前者は画像特徴、後者は「CLIP 文字エンコーダー」と「CLIP 画像エンコーダー」の特徴を結合したものを読み取ります。どちらも token ごとの特徴を使用します。
討論
他の方法との比較
上の表は、合成データと実データの訓練条件を分けて、九つの STR 評価列で各手法を比較しています。CLIP4STR は複数の列で高い精度を示しますが、比較する際には訓練データとモデル規模も合わせて確認する必要があります。
基本的な消融実験
実験は、視覚分岐のみを含む ViT-S エンコーダーをベースラインとして開始しました。このエンコーダーは事前学習されていません。
- PSM 技術を導入し、PARSeq の訓練手法を採用したところ、精度が 0.7 パーセントポイント向上しました。
- エンコーダーを CLIP の画像エンコーダー ViT-B/16 に置き換えると、平均精度は 89.9% から 90.0% になりました。向上は小さく、さらなる適応が必要です。
- 訓練パラメータを変更し、パッチサイズを 16×16 に調整し、エンコーダーには小さな学習率を設定し、デコーダーには大きな学習率を使用し、学習を 16 エポックに減らしました。
これらの調整後、モデルは以前の SOTA パフォーマンスを超えました。
- クロスモーダル分岐を追加して CLIP の各 token の特徴を使うと、九つの評価列の平均精度は 90.8% から 91.2% に上がりました。[CLASS] と [EOS] だけを使う場合は 90.6% です。この行は原論文 v4 の Table V に追加されており、上の画像には載っていません。
- より大きなモデル ViT-L/14 を導入した後、精度はさらに 0.7 パーセントポイント向上しました。
CLIP-ViT-L/14 は STR において CLIP-ViT-B/16 よりも早く収束し、10 エポックで収束しました。
CLIP の凍結方法
#Paramsは訓練可能なパラメータを示し、tokenは事前学習されたトークン埋め込みのみを使用することを示します。
上半分は文字分岐を凍結、下半分は画像分岐を凍結しています。
一般的な凍結戦略は 2 種類です:
- CLIP 文字分岐を凍結:凍結する層数を比較し、標準設定では前半の層を固定します。
- CLIP 画像分岐を凍結:これにより画像分岐が訓練できなくなり、最終的なパフォーマンスに影響を与える可能性があります。
著者が凍結層数を変えると、テキスト側は五つの評価列で増減が混在しました。一方、画像エンコーダーを多く凍結すると、精度が大きく下がりました。
事前学習済みの固定 token embedding だけを使う設定でも、標準設定に近い結果が得られました。著者はそこから、STR に必要な文字の意味情報は主に単語や短い句に関わり、一般の言語理解とは性質が異なると考えています。
画像モデルの凍結はパフォーマンスに大きな影響を与える可能性があり、これは STR データと CLIP 画像エンコーダーの事前学習データ間のドメインギャップによるものかもしれません。
CLIP の事前学習は主に自然画像を使い、STR データは切り出した単語画像です。表の結果は、この差に適応できるよう CLIP4STR の画像エンコーダーを訓練可能にしておく判断を支持します。
多モーダルは本当に有効か?
多モーダル事前学習が本当に有効かどうかを検証するために、著者は「画像分岐」を再訓練しました。
実験では 3 種類の異なる画像エンコーダーを試しました:
- ランダム初期化された ViT:事前学習なし。
- ImageNet-1K で事前学習された ViT:ImageNet-1K で事前学習。
- ImageNet-21K で事前学習された ViT:ImageNet-21K で事前学習。
この表は CLIP4STR-B の視覚分岐だけを比較しています。画像とテキストのペアで事前学習したモデルは、五つの評価列のうち四つでゼロからの学習を上回り、Uber はともに 86.6% でした。ImageNet-1K と ImageNet-21K による事前学習は、この五列のいずれでもゼロからの学習を下回りました。
PEFT は使えるか?
完全な微調整の方法のほかに、大規模な事前学習モデルのためのパラメータ効率の良い微調整方法(Parameter-Efficient Fine-Tuning、PEFT)が徐々に注目されています。例えば、CoOp は学習可能なプレフィックスプロンプト(prefix prompts)のみを訓練し、CLIP-Adapter は凍結された VLM モデルの上に調整可能な線形層を追加します。
これらの PEFT 手法がいくつかのタスクで良いパフォーマンスを示していることを考慮し、著者は本研究でそれらを STR に適用し、2 つの PEFT 手法を設計しました:
- CLIP-Adapter:凍結された CLIP の最上層に 2 つの線形層を追加し、残差の加算比率を設定。
- LST:凍結された CLIP 上に階層的なサイドネットワークを使用し、特徴をまずダウンサンプリングし、再アップサンプリングして元の特徴次元に合わせます。
この表も CLIP4STR-B の視覚分岐だけの比較です。CLIP-Adapter は凍結したモデルより良好ですが、全面的に微調整したモデルには届きません。LST はさらに大きく精度を上げるものの、同じく全面的な微調整には及びません。
訓練リソースが限られている場合、LST はより良い選択肢となるでしょう。
結論
マルチモーダルのモデルは近年さまざまな分野で成果を上げてきました。この研究も、CLIP を STR に応用して強い結果を示しています。もちろん、CLIP の知識を文字認識に合わせて微調整する必要はあります。
道が行き止まりになったのではありません。曲がる時が来たのです。