{"notes":[{"id":"multimodality/xgen-mm","category":"multimodality","legacyPath":"multimodality/2408-xgen-mm","legacySlug":"2408-xgen-mm","legacyPaths":[],"title":"xGen-MM","subtitle":"またの名を BLIP-3","author":"Z. Yuan","paperDate":"2024-08-16","publishedOn":"2024-11-19","paperTitle":"xGen-MM (BLIP-3): A Family of Open Large Multimodal Models","paperUrl":"https://arxiv.org/abs/2408.08872v1","bibliography":{"title":"xGen-MM (BLIP-3): A Family of Open Large Multimodal Models","authors":["Le Xue","Manli Shu","Anas Awadalla","Jun Wang","An Yan","Senthil Purushwalkam","Honglu Zhou","Viraj Prabhu","Yutong Dai","Michael S Ryoo","Shrikant Kendre","Jieyu Zhang","Can Qin","Shu Zhang","Chia-Chih Chen","Ning Yu","Juntao Tan","Tulika Manoj Awalgaonkar","Shelby Heinecke","Huan Wang","Yejin Choi","Ludwig Schmidt","Zeyuan Chen","Silvio Savarese","Juan Carlos Niebles","Caiming Xiong","Ran Xu"],"url":"https://arxiv.org/abs/2408.08872v1","pdfUrl":"https://arxiv.org/pdf/2408.08872v1","codeUrl":"https://github.com/salesforce/LAVIS/tree/xgen-mm","preprint":{"id":"2408.08872","submittedOn":"2024-08-16","url":"https://arxiv.org/abs/2408.08872v1"},"publication":{"venue":"ICCV Workshops","year":2025,"kind":"workshop","url":"https://doi.org/10.1109/ICCVW69036.2025.00644"},"citation":"@misc{multimodalityxgenmm2024,\n  title = {{xGen-MM (BLIP-3): A Family of Open Large Multimodal Models}},\n  author = {Le Xue and Manli Shu and Anas Awadalla and Jun Wang and An Yan and Senthil Purushwalkam and Honglu Zhou and Viraj Prabhu and Yutong Dai and Michael S Ryoo and Shrikant Kendre and Jieyu Zhang and Can Qin and Shu Zhang and Chia-Chih Chen and Ning Yu and Juntao Tan and Tulika Manoj Awalgaonkar and Shelby Heinecke and Huan Wang and Yejin Choi and Ludwig Schmidt and Zeyuan Chen and Silvio Savarese and Juan Carlos Niebles and Caiming Xiong and Ran Xu},\n  year = {2024},\n  eprint = {2408.08872},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2408.08872v1}\n}\n","citationPath":"/content/papers/citations/multimodality/xgen-mm.add46f5fa4f8.bib"},"thumbnail":{"src":"/content/papers/assets/137dfccb64dad60e27d7ec5e72feaf4d8dfca3e06fce13e74b096523d8c6a8ba.jpg","width":1224,"height":876},"locale":"ja","path":"/content/papers/ja/multimodality/xgen-mm.3129a32870d6.md","headings":[{"id":"問題定義","text":"問題定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"訓練フロー","text":"訓練フロー","depth":3},{"id":"事前訓練データセット","text":"事前訓練データセット","depth":3},{"id":"教師あり微調データセット","text":"教師あり微調データセット","depth":3},{"id":"後訓練データセット","text":"後訓練データセット","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"事前訓練モデル表現","text":"事前訓練モデル表現","depth":3},{"id":"微調整モデルのパフォーマンス","text":"微調整モデルのパフォーマンス","depth":3},{"id":"事前訓練データ規模","text":"事前訓練データ規模","depth":3},{"id":"任意解像度訓練戦略","text":"任意解像度訓練戦略","depth":3},{"id":"指示感知設計","text":"指示感知設計","depth":3},{"id":"純粋なテキストデータの多様性","text":"純粋なテキストデータの多様性","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"model-tuning/blip2","relation":"background","topic":"視覚エンコーダと言語モデルの接続"},{"id":"multimodality/flamingo","relation":"comparison","topic":"視覚入力と言語モデルの接続"},{"id":"deepseek/deepseek-vl","relation":"comparison","topic":"視覚入力と言語モデルの接続"}]},{"id":"model-tuning/blip2","category":"model-tuning","legacyPath":"model-tuning/2301-blip2","legacySlug":"2301-blip2","legacyPaths":[],"title":"BLIP-2","subtitle":"Q-Former 初登場","author":"Z. Yuan","paperDate":"2023-01-30","publishedOn":"2024-11-18","paperTitle":"BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models","paperUrl":"https://arxiv.org/abs/2301.12597","bibliography":{"title":"BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models","authors":["Junnan Li","Dongxu Li","Silvio Savarese","Steven Hoi"],"url":"https://arxiv.org/abs/2301.12597","pdfUrl":"https://arxiv.org/pdf/2301.12597","codeUrl":null,"preprint":{"id":"2301.12597","submittedOn":"2023-01-30","url":"https://arxiv.org/abs/2301.12597"},"publication":{"venue":"ICML","year":2023,"kind":"conference","url":"https://proceedings.mlr.press/v202/li23q.html"},"citation":"@misc{modeltuningblip22023,\n  title = {{BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models}},\n  author = {Junnan Li and Dongxu Li and Silvio Savarese and Steven Hoi},\n  year = {2023},\n  eprint = {2301.12597},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2301.12597}\n}\n","citationPath":"/content/papers/citations/model-tuning/blip2.ce71ab38cdb4.bib"},"thumbnail":{"src":"/content/papers/assets/f31adfa067aff2dd886466748e3c8b979e7d6bf591136c6bd8116ae711f1d686.jpg","width":1358,"height":502},"locale":"ja","path":"/content/papers/ja/model-tuning/blip2.5fc8bde24f3d.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"第一段階の事前訓練","text":"第一段階の事前訓練","depth":3},{"id":"第二段階の事前訓練","text":"第二段階の事前訓練","depth":3},{"id":"事前訓練データセット","text":"事前訓練データセット","depth":3},{"id":"事前訓練設定","text":"事前訓練設定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"zero-shot-vqa","text":"Zero-shot VQA","depth":3},{"id":"finetune-vqa","text":"Finetune VQA","depth":3},{"id":"画像記述生成","text":"画像記述生成","depth":3},{"id":"画像-テキスト検索","text":"画像-テキスト検索","depth":3},{"id":"画像からテキストを生成するデモ","text":"画像からテキストを生成するデモ","depth":3},{"id":"失敗事例","text":"失敗事例","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"文字画像生成のデモ":"画像からテキストを生成するデモ"},"guide":null,"relatedReading":[{"id":"multimodality/blip","relation":"background","topic":"視覚エンコーダと言語モデルの接続"},{"id":"multimodality/xgen-mm","relation":"next","topic":"視覚エンコーダと言語モデルの接続"}]},{"id":"multimodality/flamingo","category":"multimodality","legacyPath":"multimodality/2204-flamingo","legacySlug":"2204-flamingo","legacyPaths":[],"title":"Flamingo","subtitle":"図文並び","author":"Z. Yuan","paperDate":"2022-04-29","publishedOn":"2024-11-19","paperTitle":"Flamingo: a Visual Language Model for Few-Shot Learning","paperUrl":"https://arxiv.org/abs/2204.14198","bibliography":{"title":"Flamingo: a Visual Language Model for Few-Shot Learning","authors":["Jean-Baptiste Alayrac","Jeff Donahue","Pauline Luc","Antoine Miech","Iain Barr","Yana Hasson","Karel Lenc","Arthur Mensch","Katie Millican","Malcolm Reynolds","Roman Ring","Eliza Rutherford","Serkan Cabi","Tengda Han","Zhitao Gong","Sina Samangooei","Marianne Monteiro","Jacob Menick","Sebastian Borgeaud","Andrew Brock","Aida Nematzadeh","Sahand Sharifzadeh","Mikolaj Binkowski","Ricardo Barreira","Oriol Vinyals","Andrew Zisserman","Karen Simonyan"],"url":"https://arxiv.org/abs/2204.14198","pdfUrl":"https://arxiv.org/pdf/2204.14198","codeUrl":null,"preprint":{"id":"2204.14198","submittedOn":"2022-04-29","url":"https://arxiv.org/abs/2204.14198"},"publication":{"venue":"NeurIPS","year":2022,"kind":"conference","url":"https://arxiv.org/abs/2204.14198"},"citation":"@misc{multimodalityflamingo2022,\n  title = {{Flamingo: a Visual Language Model for Few-Shot Learning}},\n  author = {Jean-Baptiste Alayrac and Jeff Donahue and Pauline Luc and Antoine Miech and Iain Barr and Yana Hasson and Karel Lenc and Arthur Mensch and Katie Millican and Malcolm Reynolds and Roman Ring and Eliza Rutherford and Serkan Cabi and Tengda Han and Zhitao Gong and Sina Samangooei and Marianne Monteiro and Jacob Menick and Sebastian Borgeaud and Andrew Brock and Aida Nematzadeh and Sahand Sharifzadeh and Mikolaj Binkowski and Ricardo Barreira and Oriol Vinyals and Andrew Zisserman and Karen Simonyan},\n  year = {2022},\n  eprint = {2204.14198},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2204.14198}\n}\n","citationPath":"/content/papers/citations/multimodality/flamingo.1eec4b4d1b8c.bib"},"thumbnail":{"src":"/content/papers/assets/7b152e4d7a27be0ba360c48b545d1d581d90347a173c4812acf21f351fb62759.jpg","width":1226,"height":562},"locale":"ja","path":"/content/papers/ja/multimodality/flamingo.ab539fa9da04.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"クロスアテンション層","text":"クロスアテンション層","depth":3},{"id":"訓練データセットと戦略","text":"訓練データセットと戦略","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"結果展示","text":"結果展示","depth":3},{"id":"他のモデルとの比較","text":"他のモデルとの比較","depth":3},{"id":"微調整モデル","text":"微調整モデル","depth":3},{"id":"消融実験","text":"消融実験","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/xgen-mm","relation":"comparison","topic":"視覚入力と言語モデルの接続"},{"id":"deepseek/deepseek-vl","relation":"comparison","topic":"視覚入力と言語モデルの接続"}]},{"id":"deepseek/deepseek-vl","category":"deepseek","legacyPath":"deepseek/2403-deepseek-vl","legacySlug":"2403-deepseek-vl","legacyPaths":[],"title":"DeepSeek-VL","subtitle":"マルチモーダル学習のレシピ","author":"Z. Yuan","paperDate":"2024-03-08","publishedOn":"2025-03-26","paperTitle":"DeepSeek-VL: Towards Real-World Vision-Language Understanding","paperUrl":"https://arxiv.org/abs/2403.05525v2","bibliography":{"title":"DeepSeek-VL: Towards Real-World Vision-Language Understanding","authors":["Haoyu Lu","Wen Liu","Bo Zhang","Bingxuan Wang","Kai Dong","Bo Liu","Jingxiang Sun","Tongzheng Ren","Zhuoshu Li","Hao Yang","Yaofeng Sun","Chengqi Deng","Hanwei Xu","Zhenda Xie","Chong Ruan"],"url":"https://arxiv.org/abs/2403.05525v2","pdfUrl":"https://arxiv.org/pdf/2403.05525v2","codeUrl":"https://github.com/deepseek-ai/DeepSeek-VL","preprint":{"id":"2403.05525","submittedOn":"2024-03-08","url":"https://arxiv.org/abs/2403.05525v2"},"publication":null,"citation":"@misc{deepseekdeepseekvl2024,\n  title = {{DeepSeek-VL: Towards Real-World Vision-Language Understanding}},\n  author = {Haoyu Lu and Wen Liu and Bo Zhang and Bingxuan Wang and Kai Dong and Bo Liu and Jingxiang Sun and Tongzheng Ren and Zhuoshu Li and Hao Yang and Yaofeng Sun and Chengqi Deng and Hanwei Xu and Zhenda Xie and Chong Ruan},\n  year = {2024},\n  eprint = {2403.05525},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2403.05525v2}\n}\n","citationPath":"/content/papers/citations/deepseek/deepseek-vl.fdc7faab3920.bib"},"thumbnail":{"src":"/content/papers/assets/78f904e09b9ea01141f73c74d4fbe43ecfb9f48f77b4b281fed91838721149e0.jpg","width":1224,"height":488},"locale":"ja","path":"/content/papers/ja/deepseek/deepseek-vl.ca8dc495e7b1.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決策","text":"解決策","depth":2},{"id":"トレーニングデータ","text":"トレーニングデータ","depth":3},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"トレーニングプロセス","text":"トレーニングプロセス","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"消融実験","text":"消融実験","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/flamingo","relation":"comparison","topic":"視覚入力と言語モデルの接続"},{"id":"multimodality/xgen-mm","relation":"comparison","topic":"視覚入力と言語モデルの接続"}]}],"text":"論文のタイトルを決めることは簡単なことではない。\n\nもし過去に非常に成功したモデルがあるのであれば、続編を出すことでさらなる注目を集めることができるかもしれない。しかし、もしさらに大きな成功を収めたいのであれば、全く新しい名前にするべきかもしれない。\n\nだからこそ、今回は著者が「新旧全てを詰め込んで、論文タイトルにしてしまおう！」と考えたのだ。\n\n## 問題定義\n\nBLIP-2 の議論を続ける。\n\n\n> [!TIP]\n> \n> もしまだ BLIP-2 を見ていない場合は、こちらを参照してください：\n> \n> - [**[23.01] BLIP-2: Q-Former 初登場**](/blog/papers/model-tuning/blip2)\n\n\n著者は Q-Former アーキテクチャと多様な訓練目標（ITM、ITC、ITG 損失）が大規模訓練の難易度を上げ、BLIP-2 は基本的に単一画像入力を扱い、**画像とテキスト**が交互に現れるデータ形式をそのまま処理しにくいと指摘しています。\n\nでは、「交差データ形式」は過去にどのように処理されていたのでしょうか？\n\nこれには、もう一つ有名な論文を振り返る必要があります。それが Flamingo です。\n\n\n> [!TIP]\n> \n> 読者には Flamingo の内容を先に確認することをお勧めします：\n> \n> - [**[22.04] Flamingo: 図文並記**](/blog/papers/multimodality/flamingo)\n\n\nFlamingo は画像を Perceiver Resampler で視覚トークンに圧縮し、凍結した言語モデルの層間に学習可能な gated cross-attention を入れて、画像とテキストの交互入力を扱います。その流れは以下のようになります：\n\n\n\n![flamingo](/content/papers/assets/7b152e4d7a27be0ba360c48b545d1d581d90347a173c4812acf21f351fb62759.jpg)\n\n\nFlamingo モデルアーキテクチャ\n\n\n\n\n\n---\n\nしかし、この記事の著者は Flamingo の設計が複雑すぎると感じ、また Flamingo が採用している「Perceiver Resampler」が Q-Former と概念的に似ているものの、より簡単であると考えています。\n\nそのため、この論文の目標は以下の通りです：\n\n1. Perceiver Resampler を Q-Former の代替案として使用\n2. Flamingo の層間クロスアテンションを追加せず、視覚トークンと文字トークンを元の順番で一つの decoder に入力し、次の文字トークンの予測で学習する。\n\n最後に、モデルのパフォーマンスを向上させるために、大規模かつ高品質なデータセットを導入し、モデルの訓練基盤を強化しています。\n\n著者は、データ、アーキテクチャ、訓練手法を改善することで、オープンソースとプライベート LMM とのギャップを縮小し、オープンソースリソースを通じて研究と応用の発展を促進し、オープンソースコミュニティがマルチモーダルモデルの潜在能力をより良く探求し活用できるようにしたいと考えています。\n\n## 問題解決\n\n### モデルアーキテクチャ\n\n\n\n![model](/content/papers/assets/137dfccb64dad60e27d7ec5e72feaf4d8dfca3e06fce13e74b096523d8c6a8ba.jpg)\n\n\n\n先ほど述べたように、著者は画像と文字のトークンを元の交互の順番で一つのデコーダーに入力します。上図の雪の結晶は ViT が凍結されることを示し、炎は視覚トークンのサンプラーと phi3-mini が学習対象であることを示します。損失は文字トークンにだけ計算します。\n\nモデルの主要なモジュールは以下の通りです：\n\n- **Vision Transformer (ViT)**：画像特徴を処理する役割を担います。\n- **Vision Token Sampler (Perceiver Resampler)**：画像埋め込み（embeddings）を圧縮するために使用されます。\n- **事前訓練された大型言語モデル（phi3-mini）**：マルチモーダル入力の言語処理の中心となります。\n\nデータの流れは、画像を ViT で符号化し、Perceiver Resampler で視覚トークンを圧縮した後、文字トークンと入力順に並べて phi3-mini に渡すというものです。\n\n### 訓練フロー\n\nモデルアーキテクチャはシンプルですが、訓練プロセスは複雑で、4 つの段階に分かれています：\n\n- **第一段階：事前訓練**\n\n  この段階の目的は、次のテキストトークンを予測することです。マルチモーダルデータセットの混合を基に訓練します。基盤となるモデルは約 1000 億のマルチモーダルトークンで訓練され、画像解像度は$384 \\times 384$ピクセルです。\n\n- **第二段階：教師あり微調整（SFT）**\n\n  この段階の目的は、事前訓練されたモデルがユーザーのクエリをよりよく理解し、従うようにすることです。公開されている指示に基づく微調整データセットを使います。任意解像度の方式では、高解像度画像を複数の crop と縮小した全体像に分け、それぞれを符号化・サンプリングして視覚トークンを連結します。\n\n\n> [!TIP]\n> \n> この部分については、以下の論文を参考にできます：\n> \n> - [**[23.10] Improved baselines with visual instruction tuning**](https://arxiv.org/abs/2310.03744)\n> - [**[24.05] What matters when building vision-language models?**](https://arxiv.org/abs/2405.02246)\n> - [**[24.06] Cambrian-1: A Fully Open, Vision-Centric Exploration of Multimodal LLMs**](https://arxiv.org/abs/2406.16860)\n\n\n- **交差マルチ画像教師あり微調整（Interleaved Multi-Image Supervised Fine-tuning）**\n\n  指示に基づいて微調整された基盤モデルに対して、第二段階の微調整を行い、モデルが複数の画像と単一画像の交差指示を処理できるように訓練します。これもまた、任意解像度の画像トークンサンプリング戦略を採用し、先の SFT 段階と一致します。\n\n- **後訓練（Post-training）**\n\n  モデルの有用性を向上させると同時に、幻覚（hallucination）や有害性（toxicity）を減少させることを目的としています。\n\n  この段階はさらに 2 つのサブ段階に分かれます：\n\n  - **第一サブ段階：直接的な好ましさ最適化（Direct Preference Optimization, DPO）**\n    - 選好データで有用性と視覚的忠実度（visual faithfulness）を改善しようとします。改善幅は後の評価で確認します。\n  - **第二サブ段階：安全性微調整（Safety Fine-tuning）**\n    - モデルの安全性を向上させ、有害な行動のリスクを減らします。\n\n### 事前訓練データセット\n\n\n\n![data](/content/papers/assets/c65c622aa82c83dba0ca0e6fd7f5d9205e7a5436ec24cf4eb700093574bf14fd.jpg)\n\n\n\n事前訓練のデータセットは、上図のように、マルチモーダルデータセットの混合を使用し、特定の割合でサンプリングされています。内容には以下が含まれます：\n\n- **マルチモーダル交差データセット（Interleaved Dataset Mixture）**\n\n  - MINT-1T：元のコーパスは約 1 兆トークンで、HTML・PDF・arXiv 由来の文書を含みます。\n  - OBELICS： HTML ファイルで構成されており、MINT-1T とはドメインカバレッジと前処理方法が少し異なります。\n\n- **キャプションデータセット（Caption Dataset Mixture）**\n\n  - BLIP3-KALE： 大規模高品質キャプションデータセット。\n  - BLIP3-OCR-200M：2 億枚の高解像度画像から OCR で文字を抽出し、説明文を作ったデータセット。座標付きの版もありますが、本モデルでは文字情報だけを使います。\n\n\n\n      ![blip3-ocr](/content/papers/assets/398117640e13dce9533df6a8289292eb0ab369de729d0d3488b75c9f22f89f66.jpg)\n\n\n\n  - BLIP3-GROUNDING-50M：5000 万枚の画像に物体の位置を含む説明文を追加します。物体と位置は既存モデルが生成したもので、すべて人手で検証された正解ラベルではありません。\n\n\n\n      ![blip3-grounding](/content/papers/assets/00782b3394d2ade5575556e894540791a1f1c851adc82ecef45faa649f40caf2.jpg)\n\n\n\n  - その他の公開データセットには、Datacomp-1B、CC12M、CC3M、VG、SBU などがあります。\n\n### 教師あり微調データセット\n\nこの段階のデータセットは主に以下を含みます：\n\n- **指示に基づく微調整データセット（Instruction-Following Dataset）**\n  - 異なる分野からの公開データセットで、マルチモーダル対話、画像キャプション、視覚的質問応答、グラフ/文書理解、そして科学や数学のデータが含まれます。\n  - 言語能力を保つため、文字だけの指示データも混ぜます。約 100 万件は公開指示データ**全体の混合量**であり、文字だけの部分集合の件数ではありません。微調整は 1 エポックです。\n- **マルチ画像指示微調整データセット（Interleaved Multi-Image Instruction Dataset）**\n  - 単一画像モデルで微調整を開始し、マルチ画像/交差画像-テキスト指示データを加えて訓練します。\n  - モデルが単一画像能力で劣化しないように、単一画像データを一部混ぜてマルチ画像訓練データに追加します。\n\n### 後訓練データセット\n\n後訓練は 2 つの部分に分かれます：\n\n1. **直接的な好ましさ最適化（Direct Preference Optimization, DPO）**\n\n   VLFeedback の約 8 万件のマルチモーダル指示に対する回答を評価し、62,600 組の選好データを作ります。DPO を 1 エポック行い、低ランク適応（LoRA）で LLM の骨幹重みの約 2.5% を更新します。ノイズを加えた画像へのモデルの回答も、追加の好ましくない回答として使います。\n\n\n> [!TIP]\n> \n> LoRA に興味がある場合は、以前読んだ以下の記事を参照できます：\n> \n> - [**[21.06] LoRA: 万分の一の LLM**](/blog/papers/model-tuning/lora)\n\n\n2. **安全性微調整（Safety Fine-tuning）**\n\n   VLGuard の約 2,000 件の不安全な画像と指示を使用します。これにはプライバシー漏洩、敏感な話題、詐欺や差別などが含まれます。安全性と有用性のバランスを取るため、さらに 5,000 件の指示データを混ぜ、3 エポック微調整します。\n\n## 討論\n\n### 事前訓練モデル表現\n\n\n\n![pretrain](/content/papers/assets/b6c6b138d9011144b401adac4949a088f59526dfb4f12da70bb60419ce25c314.jpg)\n\n\n\nまず、著者は BLIP-3 と他のマルチモーダルモデルをいくつかのベンチマークで比較し、画像キャプション（Captioning）や視覚的質問応答（VQA）のタスクで、事前訓練されたモデルの少数サンプル学習能力を評価しました。\n\nここでは主にゼロショット（zero-shot）と少数サンプル（4-shots および 8-shots）の性能を比較しています。\n\n**4-shot／8-shot** の条件では、xGen-MM-base の TextCaps、TextVQA、VQAv2 の表中スコアは MM1-3B、Idefics-9B、MM1-7B を上回ります。ただし **8-shot** の Idefics2-8B は VQAv2 と TextVQA で上回り、MM1-7B は COCO Captioning で高い値です。ゼロショットと少数例の成績は分けて読む必要があります。\n\n実験テストでは、サンプル数（shots）の増加が性能をさらに向上させることが示され、モデルがコンテキスト分布に適応する能力を示しています。\n\n### 微調整モデルのパフォーマンス\n\n\n\n![fine-tune](/content/papers/assets/626d5430068576362f60169d5fd391ee5409e546592416f935cac9a2951212a2.jpg)\n\n\n\n著者はマルチモーダル（画像-テキスト）のベンチマークテストにおける包括的な評価を行い、以下の能力をカバーしています：\n\n- **一般的な視覚的質問応答（VQA）**：モデルが画像に関連する質問に答える能力を評価。\n- **視覚的認識能力**：画像の理解と解析能力をテスト。\n- **ドメイン知識テスト**：数学および科学に関連するデータセットでのパフォーマンス。\n- **OCR 能力**：テキストが豊富な画像（例えば、ドキュメントやグラフ）を処理する能力。\n- **幻覚抑制**：不正確なコンテンツを生成する能力を減少させる能力。\n\n表では主に約 **3B～4B** のクローズドソースとオープンソースモデルを比較します。**GPT-4V** は参考として載りますが、5B 未満の同規模モデルには含まれません。\n\n\n> [!TIP]\n> \n> 5B 未満のクローズドソースモデルは以下です：\n> \n> - [**[24.03] MM1: Methods, Analysis & Insights from Multimodal LLM Pre-training**](https://arxiv.org/abs/2403.09611)\n> \n> 最新のオープンソースモデルは以下です：\n> \n> - [**[23.12] Vila: On pre-training for visual language models**](https://arxiv.org/abs/2312.07533)\n> - [**[24.04] Phi-3 Technical Report: A Highly Capable Language Model Locally on Your Phone**](https://arxiv.org/abs/2404.14219)\n\n\n同じ評価手順で比べた Table 2 では、xGen-MM-instruct の単一画像指標の Avg.(all)／Avg.(perc.) は **64.8／66.9**、interleave 版は **65.1／67.3** です。総平均は少し上がりますが、MMMU は **42.8→41.1**、CVBench-3D は **75.4→72.3** と下がります。欠測のある GPT-4V などとの総平均をそのまま比較することもできません。複数画像の Table 3 では、同じ系列の BLINK／QBench-2／Mantis-eval が **46.6／52.4／42.4** から **49.7／75.1／56.7** に上がります。\n\n\n> [!TIP]\n> \n> `interleave`は、微調整データの入力形式が交互に並べられた画像とテキストであり、単独の画像やテキストではないことを意味します。\n\n\n### 事前訓練データ規模\n\n\n\n![pretrain data](/content/papers/assets/8687475d52ba12292ca5bbc7d86b2aad7d08aa1678efb9d65c4d4bd229d5d1cc.jpg)\n\n\n\n著者は、マルチモーダル訓練トークンの数（2B から 100B）が事前訓練の評価指標に与える影響を調査しました。結果は上図の通りです。\n\n- **60B トークン**：図の COCO-Caps、TextCaps、OK-VQA の少数例スコアは、それより小さい学習量から大きく伸びます。三つ目のパネルは **OK-VQA** であり、TextVQA ではありません。\n- **100B トークン**：少数サンプル評価指標（few-shot metrics）において若干の追加的な効果を示すが、効果は減少。\n\nこの図では 60B から 100B にかけて伸び幅が小さくなる傾向が見えます。ただし計算コストを示していないため、60B が最適な投入対効果の点だとは判断できません。\n\n### 任意解像度訓練戦略\n\n\n\n![resolution](/content/papers/assets/04ab271e52b38848fba7523a79a0cf978c7199ec3defcbd528edee30968c951d.jpg)\n\n\n\n画像のダウンサンプリング戦略について、著者は 3 つの異なる戦略を設計しました：\n\n- **任意解像度（any-resolution）**：画像を複数の crop と縮小した全体像に分け、各組の埋め込みを Perceiver Resampler で別々に圧縮してから連結し、細部を残します。\n- **固定解像度（fixed-resolution）**：すべての画像を視覚エンコーダのデフォルトサイズに調整し、元の縦横比を保持。\n- **固定サンプリング（anyres-fixed-sampling）**：すべての画像埋め込み（embeddings）を連結して 1 つのシーケンスとして扱い、統一的にダウンサンプリング。\n\n上図の DocVQA、ChartQA、OCRBench では crop ごとのサンプリングが最高です。ただし簡略化した SFT データ配合での消融なので、上の完全な微調整結果とは数値を直接混ぜられません。\n\n### 指示感知設計\n\n\n\n![instruction](/content/papers/assets/215a8d4f744b79b56a04b13da714b4eb4291cbff59c53df91d834f591544e390.jpg)\n\n\n\n著者は、画像のダウンサンプリングプロセスにテキスト指示マークを追加することで、モデルのパフォーマンスが向上するかをテストするため、指示感知視覚トークンサンプリング実験を行いました。\n\n上図では指示感知版が上がる指標と下がる指標があり、一貫した利得はありません。交差注意層だけの Perceiver Resampler では Q-Former の指示感知効果を再現しにくいのでは、というのは著者の推測です。\n\n性能差が小さいことを考慮し、モデル設計を簡素化するため、著者は最終的に元の感知器ダウンサンプリング器を保持し、今後の研究で指示感知 VL コネクタの改善の可能性をさらに探求することを提案しています。\n\n### 純粋なテキストデータの多様性\n\n\n\n![text](/content/papers/assets/1cdd78a706e155e14bedb454d99bf549d12954fc4b2f746df60346be6828403b.jpg)\n\n\n\n著者は、純粋なテキストデータの多様性がマルチモーダルモデルのパフォーマンスにどのように影響するか、特にマルチモーダルな数学およびコード関連のベンチマークでのパフォーマンスに焦点を当てて調査しました。\n\n実験設計では、以下の 2 つの純粋なテキストデータセットを比較しました：\n\n- **多様化データ**：対話、数学、コードなどの多領域データを含む。\n- **単一タイプデータ**：一般的な対話データのみを含む。\n\n数学とコードの文字データを加えると MathVista は **37.1→38.9**、MMMU は **39.1→40.9** に上がります。一方で ScienceQA は **84.8→81.4**、MMStar は **46.1→45.3** に下がります。\n\n文字だけのデータを混ぜるのは言語能力を保つためですが、この表が測るのは異なる文字データの配合による一部のマルチモーダル指標です。言語能力がどの程度保たれたかを直接測った表ではありません。\n\n## 結論\n\n著者は、xGen-MM（BLIP-3）という包括的なフレームワークを提案し、これは一連のオープンな大型マルチモーダルモデルを訓練するためのものです。訓練モジュールは精密に設計された大規模データセットの混合に基づき、マルチモーダルコンテキスト学習などの新たな能力を発揮し、マルチモーダルベンチマークテストで印象的な結果を達成しました。\n\nオープンソースとクローズドソースの間の競争は依然として激しく、著者はオープンソースモデル、整理されたデータセット、微調整コードを通じて、研究コミュニティにアクセス可能なマルチモーダル基盤モデルとデータセットを提供し、研究者が LMM の潜在能力と新たな能力をさらに探求し推進することを奨励しています。\n\n\n> [!NOTE]\n> \n> オープンソースプロジェクト：[**salesforce/LAVIS**](https://github.com/salesforce/LAVIS/tree/xgen-mm)\n","imageSizes":{"/content/papers/assets/7b152e4d7a27be0ba360c48b545d1d581d90347a173c4812acf21f351fb62759.jpg":{"width":1226,"height":562},"/content/papers/assets/137dfccb64dad60e27d7ec5e72feaf4d8dfca3e06fce13e74b096523d8c6a8ba.jpg":{"width":1224,"height":876},"/content/papers/assets/c65c622aa82c83dba0ca0e6fd7f5d9205e7a5436ec24cf4eb700093574bf14fd.jpg":{"width":1224,"height":880},"/content/papers/assets/398117640e13dce9533df6a8289292eb0ab369de729d0d3488b75c9f22f89f66.jpg":{"width":1156,"height":1080},"/content/papers/assets/00782b3394d2ade5575556e894540791a1f1c851adc82ecef45faa649f40caf2.jpg":{"width":1224,"height":528},"/content/papers/assets/b6c6b138d9011144b401adac4949a088f59526dfb4f12da70bb60419ce25c314.jpg":{"width":1224,"height":700},"/content/papers/assets/626d5430068576362f60169d5fd391ee5409e546592416f935cac9a2951212a2.jpg":{"width":1224,"height":392},"/content/papers/assets/8687475d52ba12292ca5bbc7d86b2aad7d08aa1678efb9d65c4d4bd229d5d1cc.jpg":{"width":1224,"height":300},"/content/papers/assets/04ab271e52b38848fba7523a79a0cf978c7199ec3defcbd528edee30968c951d.jpg":{"width":586,"height":428},"/content/papers/assets/215a8d4f744b79b56a04b13da714b4eb4291cbff59c53df91d834f591544e390.jpg":{"width":578,"height":422},"/content/papers/assets/1cdd78a706e155e14bedb454d99bf549d12954fc4b2f746df60346be6828403b.jpg":{"width":1224,"height":228}}}
