論文ノートライブラリに戻る
arXiv 2023IEEE TIP 2024文字認識論文ノート

CLIP4STR

多モーダルな祝福

原論文

CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model

論文の著者

Shuai Zhao · Ruijie Quan · Linchao Zhu · Yi Yang

arXiv への初回投稿
arXiv:2305.14014
この論文を引用 · BibTeX

引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。

@misc{textrecognitionclip4str2023,
  title = {{CLIP4STR: A Simple Baseline for Scene Text Recognition with Pre-trained Vision-Language Model}},
  author = {Shuai Zhao and Ruijie Quan and Linchao Zhu and Yi Yang},
  year = {2023},
  eprint = {2305.14014},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2305.14014}
}
このページの内容

対比学習の風が、あちこちで吹いています。

対比学習の後の多モーダル学習は、近年のホットなトピックであり、そこから新しい用語が生まれました:

  • VLM、Vision-Language Models(視覚と言語のモデル)。

業界では、誰でも「VLM!」と声を上げることができるほどの流行です。

それなら、文字認識の研究者たちも、このお祭りに加わりたくなるでしょう?

問題の定義

シーン文字認識(Scene Text Recognition, STR)は、回転、歪み、ぼやけ、または遮蔽された文字に直面すると、その性能が不十分であることが多いです。

同じ問題が、何十年も繰り返されてきました。今回は、新しいアプローチを試してみましょう。

CLIP は 2021 年に発表され、その強力なクロスモーダル学習能力により、話題となりました。CLIP は、自然な画像内のさまざまな文字のバリエーションを認識し、理解することができます。この能力は、STR にとって潜在的な解決策となる可能性があります。

ちょっと待って!CLIP とは何ですか?

こんなに話題が急展開しているとは…。

CLIP

あなたが面倒だと思うので、ここで簡単に CLIP について紹介します。

下の図が CLIP のアーキテクチャです:

仮に、画像とテキストのペアがあるとしましょう。例えば、1 枚の犬の画像と「かわいい小さな犬」というテキストがペアで与えられた場合です。

1 つの訓練バッチで、CLIP はそのようなペアを複数受け取ります。画像エンコーダーは、ResNet や ViT を使って画像を処理し、画像特徴を取得します。一方、テキストエンコーダーは Transformer を使ってテキストを処理し、テキスト特徴を取得します。

次に、モデルはこれらの特徴を比較して、正しくペアリングされた画像とテキスト(例えば、犬の画像と「かわいい小さな犬」というテキスト)のコサイン類似度を最大化し、間違ってペアリングされた画像とテキスト(例えば、犬の画像と「1 つのリンゴ」というテキスト)のコサイン類似度を最小化します。

非常にシンプルなアーキテクチャです!

最後に、4 億組の画像とテキストのペアを使って訓練を開始します!

それで?

これは何を意味するのでしょうか?

CLIP はテキストから画像を検索したり、画像に対して与えられた説明候補を順位付けしたりできます。単体で説明文を生成するモデルではありません。画像と文字の見た目をテキスト表現へ結び付ける事前学習が、STR にも役立つ可能性があります。

  • 文字画像と文字自体が関連している?これはまさに STR が解決すべき問題ではありませんか!

さらに、CLIP の訓練データは、実際の世界に存在するさまざまなスタイルから来ており、その結果得られる特徴は、STR タスクの訓練データに限定されることなく、より高次元で世界を理解することができます。これにより、STR のパフォーマンスが向上する可能性があります。

最も顕著なのは、歪んだりぼやけたり、または厳しく遮蔽された文字です。CLIP の訓練データには私たちが「想像しにくい」ようなスタイルが存在するため、CLIP はこれらの文字の特徴を特定できる可能性があります。

ゼロショットテスト

このアイデアを検証するために、著者はまず CLIP でゼロショットテストを行いました。

CLIP が「文字」をどれだけ理解できるかを見てみましょう。最も左には入力された文字があり、その中央にはアテンション可視化結果、右には文字出力があります:

この例では、CLIP は正しい文字候補を高く評価できます。ただし、候補の比較によるゼロショット評価であり、任意の文字列を自由に転写した結果ではありません。

遮蔽した例では「cat」と「horse」の両方に重みが付き、文字と画像の文脈への反応が見られます。表示された softmax スコアは候補集合に依存し、考えられる全単語に対する校正済み確率ではありません。

解決方法

では、CLIP はすでに一部の文字理解能力を持っているので、私たちが今やるべきことは、「誘導」して、CLIP を STR というタスクに集中させることです。

モデルアーキテクチャ

ここでは、あなたが CLIP に非常に精通していると仮定して、このアーキテクチャの説明に進みます。


CLIP には、文字分岐と画像分岐の 2 つの分岐があります。

CLIP4STR のアーキテクチャでは、まず画像を「CLIP 画像分岐」に入力し、画像特徴を取得します。次に、その特徴をカスタムの「画像デコーダー」に入力し、特徴を解析して予測される文字を出力します。

上図のように、画像を入力すると、モデルはまず「briiad」という出力を生成します。この出力は正しくない可能性があるため、次にこの出力された文字を「CLIP 文字分岐」に入力し、文字特徴を取得します。

最後に、文字特徴と画像特徴を結合し、カスタムの「クロスモーダルデコーダー」に入力して予測を修正します。推論時には両分岐で順に自己回帰予測を行い、その後 cloze mask で繰り返し修正して、クロスモーダル分岐の出力を最終結果とします。

標準設定ではテキストエンコーダーの前半を凍結します。画像エンコーダーは視覚分岐の損失で微調整します。クロスモーダル分岐へ渡す画像特徴には勾配遮断を適用します。

テキストエンコーダーは暫定的な認識文字列を表現し、クロスモーダルデコーダーが画像特徴と合わせて結果を修正します。

文字デコーダー

前述の「クロスモーダルデコーダー」モジュールを覚えていますか?

このモジュールは PARSeq の順列系列モデリングと Transformer デコーダーの設計を取り入れています。視覚デコーダーとクロスモーダルデコーダーは同じ構造ですが、第二層の注意が参照する特徴が異なります。前者は画像特徴、後者は「CLIP 文字エンコーダー」と「CLIP 画像エンコーダー」の特徴を結合したものを読み取ります。どちらも token ごとの特徴を使用します。

討論

他の方法との比較

上の表は、合成データと実データの訓練条件を分けて、九つの STR 評価列で各手法を比較しています。CLIP4STR は複数の列で高い精度を示しますが、比較する際には訓練データとモデル規模も合わせて確認する必要があります。

基本的な消融実験

実験は、視覚分岐のみを含む ViT-S エンコーダーをベースラインとして開始しました。このエンコーダーは事前学習されていません。

  1. PSM 技術を導入し、PARSeq の訓練手法を採用したところ、精度が 0.7 パーセントポイント向上しました。
  2. エンコーダーを CLIP の画像エンコーダー ViT-B/16 に置き換えると、平均精度は 89.9% から 90.0% になりました。向上は小さく、さらなる適応が必要です。
  3. 訓練パラメータを変更し、パッチサイズを 16×16 に調整し、エンコーダーには小さな学習率を設定し、デコーダーには大きな学習率を使用し、学習を 16 エポックに減らしました。

これらの調整後、モデルは以前の SOTA パフォーマンスを超えました。

  1. クロスモーダル分岐を追加して CLIP の各 token の特徴を使うと、九つの評価列の平均精度は 90.8% から 91.2% に上がりました。[CLASS] と [EOS] だけを使う場合は 90.6% です。この行は原論文 v4 の Table V に追加されており、上の画像には載っていません。
  2. より大きなモデル ViT-L/14 を導入した後、精度はさらに 0.7 パーセントポイント向上しました。

CLIP-ViT-L/14 は STR において CLIP-ViT-B/16 よりも早く収束し、10 エポックで収束しました。

CLIP の凍結方法

#Paramsは訓練可能なパラメータを示し、tokenは事前学習されたトークン埋め込みのみを使用することを示します。
上半分は文字分岐を凍結、下半分は画像分岐を凍結しています。


一般的な凍結戦略は 2 種類です:

  1. CLIP 文字分岐を凍結:凍結する層数を比較し、標準設定では前半の層を固定します。
  2. CLIP 画像分岐を凍結:これにより画像分岐が訓練できなくなり、最終的なパフォーマンスに影響を与える可能性があります。

著者が凍結層数を変えると、テキスト側は五つの評価列で増減が混在しました。一方、画像エンコーダーを多く凍結すると、精度が大きく下がりました。

事前学習済みの固定 token embedding だけを使う設定でも、標準設定に近い結果が得られました。著者はそこから、STR に必要な文字の意味情報は主に単語や短い句に関わり、一般の言語理解とは性質が異なると考えています。

画像モデルの凍結はパフォーマンスに大きな影響を与える可能性があり、これは STR データと CLIP 画像エンコーダーの事前学習データ間のドメインギャップによるものかもしれません。

CLIP の事前学習は主に自然画像を使い、STR データは切り出した単語画像です。表の結果は、この差に適応できるよう CLIP4STR の画像エンコーダーを訓練可能にしておく判断を支持します。

多モーダルは本当に有効か?

多モーダル事前学習が本当に有効かどうかを検証するために、著者は「画像分岐」を再訓練しました。

実験では 3 種類の異なる画像エンコーダーを試しました:

  • ランダム初期化された ViT:事前学習なし。
  • ImageNet-1K で事前学習された ViT:ImageNet-1K で事前学習。
  • ImageNet-21K で事前学習された ViT:ImageNet-21K で事前学習。

この表は CLIP4STR-B の視覚分岐だけを比較しています。画像とテキストのペアで事前学習したモデルは、五つの評価列のうち四つでゼロからの学習を上回り、Uber はともに 86.6% でした。ImageNet-1K と ImageNet-21K による事前学習は、この五列のいずれでもゼロからの学習を下回りました。

PEFT は使えるか?

完全な微調整の方法のほかに、大規模な事前学習モデルのためのパラメータ効率の良い微調整方法(Parameter-Efficient Fine-Tuning、PEFT)が徐々に注目されています。例えば、CoOp は学習可能なプレフィックスプロンプト(prefix prompts)のみを訓練し、CLIP-Adapter は凍結された VLM モデルの上に調整可能な線形層を追加します。

これらの PEFT 手法がいくつかのタスクで良いパフォーマンスを示していることを考慮し、著者は本研究でそれらを STR に適用し、2 つの PEFT 手法を設計しました:

  1. CLIP-Adapter:凍結された CLIP の最上層に 2 つの線形層を追加し、残差の加算比率λ=0.2\lambda = 0.2を設定。
  2. LST:凍結された CLIP 上に階層的なサイドネットワークを使用し、特徴をまずダウンサンプリングし、再アップサンプリングして元の特徴次元に合わせます。

この表も CLIP4STR-B の視覚分岐だけの比較です。CLIP-Adapter は凍結したモデルより良好ですが、全面的に微調整したモデルには届きません。LST はさらに大きく精度を上げるものの、同じく全面的な微調整には及びません。

訓練リソースが限られている場合、LST はより良い選択肢となるでしょう。

結論

マルチモーダルのモデルは近年さまざまな分野で成果を上げてきました。この研究も、CLIP を STR に応用して強い結果を示しています。もちろん、CLIP の知識を文字認識に合わせて微調整する必要はあります。

道が行き止まりになったのではありません。曲がる時が来たのです。