Scaling Language-Image Pre-training via Masking
- 発表先
- CVPR 2023国際会議
- arXiv への初回投稿
- arXiv:2212.00794
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{multimodalityflip2022,
title = {{Scaling Language-Image Pre-training via Masking}},
author = {Yanghao Li and Haoqi Fan and Ronghang Hu and Christoph Feichtenhofer and Kaiming He},
year = {2022},
eprint = {2212.00794},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2212.00794v2}
}
これは Meta AI が提案した論文で、主に CLIP の訓練方法を改良し、訓練プロセスをより効率的にしようという目的があります。
問題の定義
OpenAI は 2021 年初め頃に CLIP アーキテクチャを提案し、その後、業界で対比学習の応用熱潮を引き起こしました。
CLIP は簡単で使いやすいですが、訓練が難しいです。
ここで言う「訓練が難しい」とは、モデルのアーキテクチャが複雑ということではなく、訓練のスケールが非常に大きいということです。
CLIP の原論文では、独自の WIT-400M データセットを使いました。最大の RN50x64 モデルには 592 台の V100 で 18 日間を要しました。基本モデルの所要時間ではありませんが、それでも大きな計算規模です!
このような計算資源は、私たちのような個人のエンジニアにとっては、手の届かないほど膨大なもので、到底到達できません。
Meta AI もこれが問題だと考え、FLIP(Fast-CLIP)を提案しました。
解決問題
モデルアーキテクチャ
FLIP は CLIP の画像・テキストの双方向エンコーダと対比学習の骨格を残し、学習時に画像パッチをランダムに除去します。エンコーダの具体的な実装には、元の CLIP との差もあります。
設計のアイデアは非常にシンプルで、訓練中に使用する画像エンコーダが ViT の構造であるならば、MAE の訓練方法を参考にして、一部の画像だけで良いモデルを訓練できるというものです。
そして著者はそのように進めました。同じデータでの比較では、50%/75%のマスク時の訓練時間は非マスク時の約 0.50/0.33 倍です。精度は設定によって変わり、近い精度に達するまでの時間では約 3.7 倍の高速化も報告しています。
そして私たちは嬉しくてこの論文を読み終えました!(またまた!実際は違う!)
マスキング方法
画像マスキングの部分で、著者は MAE と同じ方法を採用し、画像を重ならない小さなブロックに分け、その後大部分のブロックをランダムにマスキングします。比率は 50%または 75%に設定できます。
マスクした領域は画像エンコーダに入力されません。画像の符号化部分では、近いメモリ使用量のまま約 2 倍または 4 倍のバッチを扱えます。ただしシステム全体のメモリ使用量には他の部分も関わります。バッチの拡大は精度向上にも寄与します。
CLIP には画像とテキストの入力がありますが、FLIP の主な実験は画像だけをマスクします。テキストのマスキングも消融では試しますが、テキストエンコーダは小さく系列も短いため、全体の高速化は限られます。
推論時には、完全な画像を直接使用でき、エンコーダを調整する必要はありません。
損失関数
ここでは MAE のマスキング方法を使用していますが、MAE の再構築損失は使用していません。著者は消融実験を通じて、再構築損失がゼロショット転送のパフォーマンスに必要ではないことを判断し、デコーダと再構築損失を削除することでスピードを向上させることができました。
そのため、このモデルでは対比損失を使います。正例は対応する画像とテキストの組、負例は同じバッチの別の組です。両エンコーダの出力を線形層で同じ次元へ射影し、余弦類似度を学習可能な温度でスケーリングして InfoNCE 損失に入力します。
次の式は画像からテキストへの InfoNCE を示したものです。実際の CLIP 学習では、逆のテキストから画像への方向も計算します:
ここで、はバッチサイズ、とはそれぞれ番目の画像とその対応するテキストの埋め込みベクトル、はとの間の余弦類似度、は学習可能な温度パラメータです。
余弦類似度の計算方法は次の通りです:
この損失関数は、正のサンプルペア間の類似度を最大化し、負のサンプルペアとの類似度を最小化することを目的としています。バッチ全体のサンプルを計算することで、モデルは関連する画像とテキストを近いベクトル空間に埋め込む方法を学習します。
考察
一体、何が改良されたので、CLIP の訓練速度が向上したのでしょうか?
この章では、著者が行った作業について見ていきます。
消融実験
-
画像マスキング比率(Masking Ratio)
- モデルは LAION-400M で訓練され、ImageNet-1K の検証セットでゼロショット精度を評価しました。
- 表 (a) では、画像マスキング比率がモデルのパフォーマンスに与える影響を調べており、バッチサイズも対応してメモリ使用量を維持しています。
- 50%のマスキングで表中の精度は 69.6%、非マスク基準の 68.6%より 1.0 ポイント高い値です。本文の +1.2 ではなく、表の差を採ります。
- 75%のマスキングでは 68.2%で、基準の 68.6%を少し下回ります。
- 訓練時間:50%および 75%のマスキングでは、訓練時間がそれぞれ元の 0.50 倍および 0.33 倍に短縮されました。
-
バッチサイズ(Batch Size)
- 表 (b) では、バッチサイズが精度に与える影響を探求しています。
- バッチサイズを増加させると、精度が安定して向上します。バッチサイズが 16k の場合、50%マスキングモデル(68.5%)はマスキングなしモデル(68.6%)とほぼ同じ精度になります。
- 著者はマスキングが正則化のように働き、情報損失を一部補う可能性を考えています。表は過学習の差を直接測ったものではありません。
- マスキング比率が 75%に達し、バッチサイズが固定されている場合、情報損失が原因でパフォーマンスが低下します。
- マスク比率に応じたバッチ拡大なら画像符号化のメモリは近い水準に抑えられます。ただし 50%マスクでさらに 64k にすると、論文は約 2 倍のメモリが必要と記しています。制約は消えません。
- 表 (b) では、バッチサイズが精度に与える影響を探求しています。
-
テキストマスキング(Text Masking)
- 表 (c) では、テキストの 50%をランダムにマスクした場合の精度の低下(2.2 ポイント)を示しています。
- 言語データは情報密度が高いため、大きな比率でマスクするのには向いていません。
- パディングトークンのマスキングを優先することで、精度の低下を減少させることができます(低下幅は 0.4 ポイント)。
- テキストマスキングの高速化は限られます。画像をマスクしない設定では、テキストエンコーダの計算量は画像エンコーダの約 4.4%です。このため後続の実験には採用しません。
- 表 (c) では、テキストの 50%をランダムにマスクした場合の精度の低下(2.2 ポイント)を示しています。
-
推論段階のマスキング(Inference Unmasking)
- 表 (d) では、ゼロショット設定でもマスクと非マスク間の分布差異を無視しても効果は良好であることが示されています。
- 75%マスクで学習したモデルを推論時にもマスクすると、68.2%から 60.9%へ 7.3 ポイント下がります。50%マスクのモデルでは 3.2 ポイントの差です。
- 複数のマスク視点を用いたアンサンブル手法を使用すると、精度低下を減少させることができますが、完全な画像を使用した推論には及びません。
- 表 (d) では、ゼロショット設定でもマスクと非マスク間の分布差異を無視しても効果は良好であることが示されています。
-
マスク解除微調整(Unmasked Tuning)
- 表 (e) では、事前学習データのままマスク率を 0%にして 0.32 エポック継続学習すると、75%マスクのモデルは 68.2%から 69.5%、50%マスクのモデルは 69.6%から 70.1%になります。
- 事前学習と推論の入力分布の差を縮める説明とは整合します。
- 表 (e) では、事前学習データのままマスク率を 0%にして 0.32 エポック継続学習すると、75%マスクのモデルは 68.2%から 69.5%、50%マスクのモデルは 69.6%から 70.1%になります。
-
再構築損失(Reconstruction Loss)
- 表 (f) では、再構築損失を追加した影響を探求しています。
- 再構築ヘッド(reconstruction head)は MAE を参考に設計され、小型のデコーダを使用して画像の正規化されたピクセルを再構築し、再構築損失と対比損失を組み合わせました。
- 再構築損失を加えると、50%/75%マスクのゼロショット精度はそれぞれ 69.6/68.2%から 69.4/67.9%に下がります。著者は後の微調整後にも小幅な低下を報告したため、再構築を採用しません。
- 表 (f) では、再構築損失を追加した影響を探求しています。
CLIP との比較
FLIP の有効性を証明するために、著者は FLIP を複数の CLIP ベースラインと比較し、FLIP が CLIP の有力な代替案であることを示しています。比較対象は以下の通りです:
- 原始 CLIP:非公開データセット WIT-400M で訓練。
- OpenCLIP:公開データセット LAION-400M で訓練され、原始 CLIP の忠実な再現。
- 著者による CLIP 再現版:同じく LAION-400M で訓練され、方法論の違いを分析するための助けとなります。
ImageNet ゼロショット転送
上記の表は、ImageNet-1K でのゼロショット精度を比較したものです。
- 著者による CLIP 再現版:OpenCLIP と同じ LAION-400M で訓練した場合、精度はわずかに高いです。
- FLIP のパフォーマンス:バッチサイズ 64k、50%マスク、マスク解除の継続学習を使った ViT-L/14 は 74.6%。同じ LAION-400M の OpenCLIP 72.8%より 1.8 ポイント、著者の CLIP 再現版 73.1%より 1.5 ポイント高い値です。
- 元の CLIP は別の WIT-400M で学習し、ViT-L/14 は 75.3%で FLIP より 0.7 ポイント上です。データの異なる比較から、差の原因を方法だけに特定することはできません。
他のデータセットでのゼロショット分類
上記の表は、複数のデータセットでのゼロショット分類結果を比較したものです。
WIT データセットのモデルは Aircraft、Country211、SST2 などで高く、LAION のモデルは Birdsnap、SUN397、Cars などで強みを見せます。FLIP は同じ LAION-400M の OpenCLIP と著者の CLIP 再現版より多くの列で高い一方、例外もあります。例えば GTSRB の 41.4%は著者の再現版の 50.2%より低く、PCam の 50.3%も LAION の 2 対照の 51.1/53.1%に及びません。緑色は LAION 行の中での最高値です。
ゼロショット検索
上記の表は、Flickr30k と COCO での画像/テキスト検索のパフォーマンスを比較したものです。
同じ入力サイズ 224 の比較では、FLIP は元の CLIP の著者による再測定値を多くの検索指標で上回ります。ただし Flickr30k のテキスト検索 R@5/R@10 は 98.5/99.6 で、元の CLIP 再測定値の 99.1/99.8 よりわずかに低いです。同じ LAION-400M の 2 つの CLIP 対照に対しては、表の 12 指標がすべて高い値です。元の CLIP には 336 入力の別条件もあり、同じサイズの直接比較には使えません。
モデルのスケーリング
FLIP の訓練速度向上機能を活かし、著者は CLIP を超える最大の設定を探索し、3 つの次元での拡張を研究しました:
-
モデルスケーリング(Model Scaling)
- 画像エンコーダを ViT-L からViT-Hに置き換え、パラメータ量は元の約 2 倍に増加し、テキストエンコーダも対応して拡張されます。
-
データスケーリング(Data Scaling)
- 事前訓練データをLAION-400MからLAION-2Bに拡張しました。
- 訓練時間とデータ量の影響を分けるため、サンプリングデータ量は12.8B(400M データで 32 エポック、または 2B データで 6.4 エポックに相当)に固定されました。
-
訓練スケジュールの拡張(Schedule Scaling)
- サンプリングデータ量を12.8Bから25.6Bに増加(400M データで 64 エポック)。
- 一つの軸を調べる際は残る 2 軸の設定を固定します。表の最後の 2 行では、モデルとデータ、さらに 3 軸の同時拡張も試しています。
実験結果は以下の通りです:
- モデルスケーリング(Fig. a):初期から安定した精度向上が見られ、訓練後半では差が縮まります。
- データスケーリング(Fig. b):初期はベースラインと同等のパフォーマンスですが、訓練が進むにつれて精度が向上します。この設定は追加の計算コストを必要としません。
- 訓練スケジュール拡張(Fig. c):抽出したサンプルは 25.6B に倍増しますが、曲線の最後の精度は 12.8B の基準を超えません。破線は 64 エポック曲線の横軸を半分に縮めた仮想の比較で、実際に学習時間を短縮した実験ではありません。
転送能力
上記の表は、異なる拡張戦略が下流タスクに与える影響を詳述しています:
- モデル拡張とデータ拡張は表の各指標で基準を上回り、例えば ImageNet-1K のゼロショット精度は 74.3%から 75.5%/75.8%になりました。
- データ拡張でも総抽出サンプル数は 12.8B に固定しています。この設定での改善は、データの多様性の利点を示唆します。
表の最後から 2 行目では、モデルとデータの同時拡張が単独の拡張を全指標で上回ります。ImageNet-1K ではモデル拡張が 1.2 ポイント(74.3%→75.5%)、データ拡張が 1.5 ポイント(→75.8%)、同時拡張が 3.3 ポイント(→77.6%)です。著者は大きなモデルには多くのデータが役立つと考えています。
最後の行では 3 軸の拡張でゼロショット IN-1K が 78.8%となり、論文に記された LAION-2B の OpenCLIP 78.0%を上回ります。ただし前行に比べると、COCO/nocaps のキャプション指標は 130.4/92.6 から 130.2/91.2 に下がります。
OpenCLIP は 32B、FLIP は 25.6B のサンプルを使いました。著者は 50%マスクと同じハードウェアを仮定して約 2.5 倍の速度を見積もり、「3,360 GPU 日」の節約と推算しています。これは両方の実測コストを直接比べた値ではありません。
結論
一連の消融実験と比較分析を通じて、著者は FLIP の有効性を証明しました。FLIP は、大規模データセット上で CLIP モデルを訓練する際に訓練速度を大幅に向上させ、複数のゼロショットタスクで優れたパフォーマンスを達成しました。
時間はお金です。お金を無駄にしたい人はいないでしょう?
CLIP を作りたいですか?ここでの FLIP は、明らかにコストパフォーマンスの高い選択肢です。