DeepSeek-VL: Towards Real-World Vision-Language Understanding
- 発表先
- 正式な発表先は未確認
- arXiv への初回投稿
- arXiv:2403.05525
この論文を引用 · BibTeX
引用情報はリンク先の論文の版に対応し、原論文の著者を記載しています。
@misc{deepseekdeepseekvl2024,
title = {{DeepSeek-VL: Towards Real-World Vision-Language Understanding}},
author = {Haoyu Lu and Wen Liu and Bo Zhang and Bingxuan Wang and Kai Dong and Bo Liu and Jingxiang Sun and Tongzheng Ren and Zhuoshu Li and Hao Yang and Yaofeng Sun and Chengqi Deng and Hanwei Xu and Zhenda Xie and Chong Ruan},
year = {2024},
eprint = {2403.05525},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2403.05525v2}
}
この論文はマルチモーダルに関するものです。
DeepSeek LLM が発表されてから2ヶ月後、DeepSeek チームはマルチモーダル領域における研究成果を発表しました。
問題の定義
現在のマルチモーダルモデルは、低解像度の入力(例えば336×336または448×448)を使用することが多く、OCRタスクや小さな物体の認識など、複雑なシナリオではパフォーマンスが低下します。さらに、オープンソースモデルとクローズドソースモデルの間には依然として顕著な性能差があります。
過去にうまくいかなかったことは、未来にとって最大の動機です。
著者は論文の中で、画像問答を例に挙げ、マルチモーダルモデルの典型的な適用シナリオを簡潔に示しました。
解決策
著者は、この論文でマルチモーダルモデルのトレーニングの問題を3つの次元で分解しています。
トレーニングデータ
本研究では、データセットを2つの主要なカテゴリに分けています:
- 事前学習データ:モデルのクロスモーダルな基礎的理解力を向上させるために使用され、異なるソースとタイプに分かれ、トレーニングの初期段階でウォームアップと共同事前学習が行われます。
- 教師あり微調整データ:規模が小さく、モデルに特定の下流タスクを完了させることを教えるために使用され、トレーニング後期の教師あり微調整にあたります。
まずは 事前学習データ です。その構成内容は以下の表に示されています:
- 画像とテキストの交互配置データ:MMC4、Wiki、Wikihow、Epub教科書などのデータを使い、文脈内で画像とテキストを合わせて扱えるようにします。
- 画像キャプションデータ:高品質な Capsfusion、TaiSu、Detailed Caption データセットから取得し、モデルの画像内容に対する意味的な記述能力を高めます。
- テーブルおよびグラフデータ:Chart2text、Geo170K、Unichart、Ureader、M-paper、ScienceQA、ScreenQA、SciGraphQA-295K、Paper2figure100k、Widget Captioning、Screen2words、Refexp などの複数のソースを含み、モデルが一般的なテーブルおよびグラフ画像を理解できるようにします。
- Webコードデータ:HuggingFaceM4 の Websight と MATCHA に近い逆レンダリング手法を使い、約146万件の Jupyter notebook を処理します。まず約200万組の画像とコードのペアを集め、その後、画像1枚と5行以上のコードを含む110万件を主な学習データとして選別します。
- 文書OCRデータ:文書レベルの光学式文字認識に対応するため、2つの主要なソースを統合:
- arXiv論文:140万篇のarXiv論文からソースコードとPDFを抽出し、Nougatツールを使用して画像-テキストペアに変換します。
- 電子書籍および教材:86万冊の英語および18万冊の中国語電子書籍を処理し、数百万の小中学校の試験問題とともにHTMLレンダリングツールを使ってペア形式に変換します。
- シーン文字OCRデータ:複雑な環境で画像に組み込まれた文字を認識する能力を強化するために使用します。
- 純粋なテキストコーパス:DeepSeek-LLMと同じコーパスを使用し、言語タスクにおける専門的な能力を維持します。
次に 教師あり微調整データ です。ここでは、モデルの特定のタスクにおけるパフォーマンスに焦点を当て、マルチモーダルおよび言語データが含まれます:
- 公開マルチモーダルデータセット:ShareGPT4V、LAION-GPTV、LVIS-Instruct4V、textOCR-GPT4V、LLaVA1.6-GPT4V、IconQAが含まれます。Table 2 では一般的なマルチモーダルデータに分類されています。
- 一部のテーブルおよびグラフデータ:事前学習データからUreader、ScreenQA、Geo170K、ScienceQAなどのソースを抽出しています。
- UIコードデータ:Screen-to-codeタスクから取得し、グラフィカルインターフェースや視覚的なグラフからコードを再構築する支援を行います。
- 内部高品質マルチモーダルSFTデータ:一部のデータは中国語で表現され、実際のアプリケーションシナリオに基づいて慎重に設計されています。これには認知、変換、分析、推論、評価、セキュリティなどのカテゴリが含まれ、各テスト画像に対する代表的なヒントの選択とバランスの取れた評価データセットの構築に使用されます。
- 純粋なテキストSFTデータ:DeepSeek-LLMで使用されているテキストデータと一致し、視覚と言語のSFTデータの一部として使用されます。
モデルアーキテクチャ
全体のモデルアーキテクチャは比較的シンプルで、3つのモジュールで構成されています:
-
ハイブリッド視覚エンコーダ (Hybrid Vision Encoder)
上の図を参照し、主なコンポーネントは2つあります:
- SigLIP-L 視覚エンコーダ:低解像度の入力(384×384)を受け取り、高レベルの意味情報を抽出することに集中します。
- SAM-B 視覚エンコーダ:視覚専用の自己教師ありエンコーダで、ViTDetに基づき、高解像度の入力(1024×1024)を受け取り、低レベルの詳細情報を捉えるのが得意です。
この設計は、画像内の詳細情報と意味情報を異なる解像度で抽出する必要があることを考慮しています。
両モデルの接続フローは以下の通りです:
- 高解像度画像がSAM-Bエンコードを経て
64×64×256の特徴マップを生成します。 - この特徴マップはまずVLアダプタによって
96×96×256に補間され、その後、ストライド2の畳み込み層を2層通して、24×24×1024の特徴マップを生成し、576×1024にリシェイプされます。 - SigLIP-Lの出力である
576×1024の特徴マップと接続され、最終的に576個の視覚トークンが生成され、各トークンの次元は2048になります。 - GeLUで活性化された後、埋め込み層を通じて言語モデルと接続されます。
-
視覚-言語アダプタ (Vision-Language Adaptor)
ここでは2層のハイブリッド型MLPを使用します。まず高解像度と低解像度の特徴をそれぞれ別の単層MLPで処理し、次元方向に連結します。その後、もう一層のMLPで言語モデルの入力空間へ変換します。
-
言語モデル (Language Model)
この部分は以前見たDeepSeek LLMに戻ります。設計はLLaMAアーキテクチャを参考にしており、Pre-Norm構造とRMSNormを採用しています。
Feed-Forward Network(FFN)部分では、活性化関数にSwiGLUを使用し、言語モデルにはRotary Embeddingを位置エンコーディングとして採用しています。また、DeepSeek-LLMと同じトークナイザーを使用しています。
小型の言語基盤は約5000億テキストトークンで事前学習したDeepSeek-LLM-1Bで、公開モデルはDeepSeek-VL-1.3Bと呼ばれます。7Bの言語基盤は約2兆トークンで事前学習しています。上で説明したSigLIP-LとSAM-Bのハイブリッドエンコーダは7Bモデルに使い、1.3Bモデルの視覚エンコーダはSigLIPのみです。
トレーニングプロセス
全体のトレーニングプロセスは3つのステージに分かれています。上の図の通りです:
-
Stage 1: 視覚-言語アダプタの訓練
LLMが画像に描かれたものを理解できるよう、視覚特徴と言語特徴を埋め込み空間で結び付けます。この段階ではアダプタだけを学習し、視覚エンコーダと言語モデルは凍結します。
使用されるデータは、ShareGPT4Vからの125万枚の画像-テキストキャプション、および250万枚のDocument OCRレンダリングペアです。
実験により、データ規模を拡大するだけでは顕著な効果がなく、むしろ性能が低下する可能性があることが分かり、次のステージに進む際にLLMを解凍することにしました。
-
Stage 2: 視覚-言語の共同事前学習
Stage 2 では言語モデルと VL アダプタを一緒に学習し、二つの視覚エンコーダは凍結したままです(Figure 3)。
課題は、マルチモーダルデータで学習しながら言語モデルの能力を保つことです。マルチモーダルデータだけで学習すると視覚を使う課題の成績は上がる一方、言語の指標は大きく落ちました。
最終的に、言語データとマルチモーダルデータの比率を約7:3に設定しました。また、1.3Bモデルでは容量不足とSFTデータの欠如から生成型評価の指標が不安定になり、学習状況を追いにくいという問題がありました。そこでMulti-choice PPL法を使い、各回答選択肢のperplexityを計算して、最も低い選択肢を予測結果として監視しました。事前学習に少量のSFTデータも加え、指示に従う能力を補いました。
-
Stage 3: 教師あり微調整
Stage 3 では SigLIP-L、VL アダプタ、言語モデルを指示データで学習します。SAM-B は GPU メモリの制約で凍結を維持します。
この段階では、著者は事前学習モデルに指示調整を行い、モデルの対話能力とインタラクション能力をさらに強化し、最終的にDeepSeek-VL-Chatモデルを完成させます。
学習にはマルチモーダルデータとテキストだけの対話データを混ぜて使います。
討論
論文には多くの図表が含まれていますが、ここではHuman Evaluationの評価結果を見ていきます。その他の部分に興味があれば、原文を参照してください。
上の図で緑色の部分はDeepSeek-VL-7Bの性能を示し、灰色の部分はGPT4Vです。
評価データセットは100問で、内部の教師あり微調整(SFT)データと同じ七つのカテゴリに分けています。著者が選んだマルチモーダルの用途を対象とした分類です。
研究チームは自由に使える画像コミュニティと研究者が撮影した写真から素材を集め、既存の報告にあるタスク分類と要件に沿ってプロンプトを作りました。著者自身が構築した100問なので、結果はこの画像と設問の範囲で読む必要があります。
評価では、DeepSeek-VL-7BをInternLM-XComposer2-VL、CogVLM、GPT-4Vと比較しました。図の論理推論はGPT-4Vが5.36、DeepSeek-VL-7Bが4.29です。この差だけで、LLMの規模を大きくすれば埋まるとまでは言えません。
総合点はDeepSeek-VL-7Bが5.65、GPT-4Vが6.30です。「認識」は7.01対7.14、「常識推論」は6.52対6.74と比較的近く、「変換」は6.82対7.73です。複数画像の設問では3.13対8.13と、さらに差が開きました。
また、著者は追加の比較評価を行い、GPT-4Vを審査員としてDeepSeek-VLと他のモデルの回答品質を比較しました。
具体的には、99の人工評価されたテストサンプルについて、質問と2つのモデルの回答をGPT-4Vに示し、どちらの回答が良いか、または両者が同等であるかを判定してもらいました。
結果は以下の通りです:
GPT-4Vを判定者とした99問の比較では、DeepSeek-VLはFuyu-8B、CogVLM-17B、InternLM-XComposer2-VLに対して、それぞれ91、61、57勝でした。InternLM-XComposer2-VLに対する勝数は99問の60%を超えません。GPT-4V自身との比較は21勝、34引き分け、44敗です。この最後の比較では、判定者が比較対象でもある点にも注意が必要です。
消融実験
-
モジュール容量とデータ規模
著者はトレーニングの第一段階(プロジェクターワームアップ段階)で、トレーニングデータセットの規模を拡大し、その後教師あり微調整を行ってプロジェクターの性能が向上するかを検証しました。
この設定では、Stage 1を2Kから8K、20K、80K stepsへ延ばしてからSFTした場合、五指標の平均は57.5からそれぞれ55.1、55.5、55.6になりました。MMCだけは80Kで2Kを上回ります。著者はプロジェクターの容量を理由に挙げていますが、表だけではそれが原因かどうかまでは分かりません。
-
段階的なトレーニングの重要性
著者は異なるトレーニング段階の組み合わせが最終的なモデルの性能に与える影響を比較しました。上の表に示されています:
- 組み合わせ「Stage 1 + Stage 2 + Stage 3」
- 組み合わせ「Stage 1 + Stage 3」
- 組み合わせ「Stage 2 + Stage 3」
三段階をすべて使った場合の平均は62.4で、Stage 1と3だけの57.4を上回ります。この実験では、Stage 2のマルチモーダル事前学習が効いています。
Stage 2と3だけの場合の平均61.7も、三段階の62.4をわずかに下回ります。五つの指標すべてで同じ傾向なので、この設定ではStage 1のアダプタ予熱にも意味がありそうです。
このほか、著者はモダリティ別のバッチ編成と予熱も検討しています。一つの学習ステップでは同じモダリティのデータを使う方法で、論文の設定では学習効率が約20%上がりました。最初は言語データだけを使い、徐々にマルチモーダルデータを増やす予熱も、図の実験では学習初期の言語能力低下を和らげています。いずれも論文で試した条件での結果です。
この部分の表は細かいため、ここでは詳細に記載しませんが、興味のある読者は原文を参照してください。
結論
著者はこの論文で、マルチモーダルモデルのトレーニング方法を提案しました。最後に、その要点を振り返りましょう:
- 2つの視覚エンコーダを使用し、異なる解像度の情報を処理します。
- Adapter-based方法を使用し、視覚特徴を言語特徴に変換します。
- 3段階の「事前学習-微調整」戦略を使用して、モデルのマルチモーダルタスクのパフォーマンスを確保します。
以前にも触れたように、事前学習方法にはさまざまなものがありますが、計算量を節約する別の技術としてMoE(Mixture of Experts)もあり、著者は今後DeepSeek-VLを大規模に拡張し、MoE技術を導入して、モデルの効率と効果をさらに高めることを計画しています。
私たちはその進展を見守ることにしましょう。