{"notes":[{"id":"multimodality/blip","category":"multimodality","legacyPath":"multimodality/2201-blip","legacySlug":"2201-blip","legacyPaths":[],"title":"BLIP","subtitle":"合成テキスト技術","author":"Z. Yuan","paperDate":"2022-01-28","publishedOn":"2024-09-28","paperTitle":"BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation","paperUrl":"https://arxiv.org/abs/2201.12086","bibliography":{"title":"BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation","authors":["Junnan Li","Dongxu Li","Caiming Xiong","Steven Hoi"],"url":"https://arxiv.org/abs/2201.12086","pdfUrl":"https://proceedings.mlr.press/v162/li22n/li22n.pdf","codeUrl":"https://github.com/salesforce/BLIP","preprint":{"id":"2201.12086","submittedOn":"2022-01-28","url":"https://arxiv.org/abs/2201.12086"},"publication":{"venue":"ICML","year":2022,"kind":"conference","url":"https://proceedings.mlr.press/v162/li22n.html"},"citation":"@misc{multimodalityblip2022,\n  title = {{BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation}},\n  author = {Junnan Li and Dongxu Li and Caiming Xiong and Steven Hoi},\n  year = {2022},\n  eprint = {2201.12086},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2201.12086}\n}\n","citationPath":"/content/papers/citations/multimodality/blip.5ffabae89440.bib"},"thumbnail":{"src":"/content/papers/assets/322ffdc07e192675b67e86d11d738be51834cd39a07d0979d66e8c27f0e8bd42.jpg","width":1760,"height":706},"locale":"ja","path":"/content/papers/ja/multimodality/blip.284843e91ef1.md","headings":[{"id":"問題定義","text":"問題定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"事前学習目標","text":"事前学習目標","depth":3},{"id":"capfilt","text":"CapFilt","depth":3},{"id":"モデル訓練設定","text":"モデル訓練設定","depth":3},{"id":"考察","text":"考察","depth":2},{"id":"capfilt-の効果","text":"CapFilt の効果","depth":3},{"id":"capfilt-における合成テキストの多様性","text":"CapFilt における合成テキストの多様性","depth":3},{"id":"sota-モデルとの比較","text":"SOTA モデルとの比較","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"討論":"考察"},"guide":null,"relatedReading":[{"id":"multimodality/albef","relation":"comparison","topic":"画像・テキスト表現の整合と融合"},{"id":"multimodality/meter","relation":"comparison","topic":"画像・テキスト表現の整合と融合"},{"id":"model-tuning/blip2","relation":"next","topic":"視覚エンコーダと言語モデルの接続"}]},{"id":"multimodality/albef","category":"multimodality","legacyPath":"multimodality/2107-albef","legacySlug":"2107-albef","legacyPaths":[],"title":"ALBEF","subtitle":"純粋な道を追い求める","author":"Z. Yuan","paperDate":"2021-07-16","publishedOn":"2024-04-06","paperTitle":"Align before Fuse: Vision and Language Representation Learning with Momentum Distillation","paperUrl":"https://arxiv.org/abs/2107.07651","bibliography":{"title":"Align before Fuse: Vision and Language Representation Learning with Momentum Distillation","authors":["Junnan Li","Ramprasaath R. Selvaraju","Akhilesh Deepak Gotmare","Shafiq Joty","Caiming Xiong","Steven Hoi"],"url":"https://arxiv.org/abs/2107.07651","pdfUrl":"https://proceedings.neurips.cc/paper/2021/file/505259756244493872b7709a8a01b536-Paper.pdf","codeUrl":"https://github.com/salesforce/ALBEF","preprint":{"id":"2107.07651","submittedOn":"2021-07-16","url":"https://arxiv.org/abs/2107.07651"},"publication":{"venue":"NeurIPS","year":2021,"kind":"conference","url":"https://proceedings.neurips.cc/paper/2021/hash/505259756244493872b7709a8a01b536-Abstract.html"},"citation":"@misc{multimodalityalbef2021,\n  title = {{Align before Fuse: Vision and Language Representation Learning with Momentum Distillation}},\n  author = {Junnan Li and Ramprasaath R. Selvaraju and Akhilesh Deepak Gotmare and Shafiq Joty and Caiming Xiong and Steven Hoi},\n  year = {2021},\n  eprint = {2107.07651},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2107.07651}\n}\n","citationPath":"/content/papers/citations/multimodality/albef.d03db9353ba8.bib"},"thumbnail":{"src":"/content/papers/assets/2b56a1038c6469d43865692f4ee828fca5bfa45119b1cffbbb305512c58a7e59.jpg","width":1224,"height":600},"locale":"ja","path":"/content/papers/ja/multimodality/albef.c984a743d541.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"知識蒸留","text":"知識蒸留","depth":2},{"id":"基本原理","text":"基本原理","depth":3},{"id":"実施手順","text":"実施手順","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"albef-モデル設計","text":"ALBEF モデル設計","depth":3},{"id":"事前学習目標","text":"事前学習目標","depth":3},{"id":"モメンタム蒸留mod-momentum-distillation","text":"モメンタム蒸留（MoD, Momentum Distillation）","depth":3},{"id":"データセット","text":"データセット","depth":3},{"id":"技術的詳細","text":"技術的詳細","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"知識蒸留の貢献はどれくらいか","text":"知識蒸留の貢献はどれくらいか","depth":3},{"id":"clip-との比較","text":"CLIP との比較","depth":3},{"id":"各種-vl-の結果","text":"各種 V+L の結果","depth":3},{"id":"可視化結果","text":"可視化結果","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/blip","relation":"comparison","topic":"画像・テキスト表現の整合と融合"},{"id":"multimodality/meter","relation":"comparison","topic":"画像・テキスト表現の整合と融合"}]},{"id":"multimodality/meter","category":"multimodality","legacyPath":"multimodality/2111-meter","legacySlug":"2111-meter","legacyPaths":[],"title":"METER","subtitle":"鮮やかなダッシュボード","author":"Z. Yuan","paperDate":"2021-11-03","publishedOn":"2024-04-06","paperTitle":"An Empirical Study of Training End-to-End Vision-and-Language Transformers","paperUrl":"https://arxiv.org/abs/2111.02387","bibliography":{"title":"An Empirical Study of Training End-to-End Vision-and-Language Transformers","authors":["Zi-Yi Dou","Yichong Xu","Zhe Gan","Jianfeng Wang","Shuohang Wang","Lijuan Wang","Chenguang Zhu","Pengchuan Zhang","Lu Yuan","Nanyun Peng","Zicheng Liu","Michael Zeng"],"url":"https://arxiv.org/abs/2111.02387","pdfUrl":"https://openaccess.thecvf.com/content/CVPR2022/papers/Dou_An_Empirical_Study_of_Training_End-to-End_Vision-and-Language_Transformers_CVPR_2022_paper.pdf","codeUrl":"https://github.com/zdou0830/METER","preprint":{"id":"2111.02387","submittedOn":"2021-11-03","url":"https://arxiv.org/abs/2111.02387"},"publication":{"venue":"CVPR","year":2022,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2022/html/Dou_An_Empirical_Study_of_Training_End-to-End_Vision-and-Language_Transformers_CVPR_2022_paper.html"},"citation":"@misc{multimodalitymeter2021,\n  title = {{An Empirical Study of Training End-to-End Vision-and-Language Transformers}},\n  author = {Zi-Yi Dou and Yichong Xu and Zhe Gan and Jianfeng Wang and Shuohang Wang and Lijuan Wang and Chenguang Zhu and Pengchuan Zhang and Lu Yuan and Nanyun Peng and Zicheng Liu and Michael Zeng},\n  year = {2021},\n  eprint = {2111.02387},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2111.02387}\n}\n","citationPath":"/content/papers/citations/multimodality/meter.94184d6f116d.bib"},"thumbnail":{"src":"/content/papers/assets/8f9d601a33c85ce330b5e148482a9e3377108e1581f48c0719f4ffb6b052831f.png","width":1468,"height":606},"locale":"ja","path":"/content/papers/ja/multimodality/meter.67640c1d194e.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"meter-モデルの設計","text":"METER モデルの設計","depth":3},{"id":"encoder-only-vs-encoder-decoder","text":"Encoder-Only vs. Encoder-Decoder","depth":3},{"id":"事前学習戦略","text":"事前学習戦略","depth":3},{"id":"データセット","text":"データセット","depth":3},{"id":"技術的詳細","text":"技術的詳細","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"モジュールの分割評価","text":"モジュールの分割評価","depth":3},{"id":"vl-統合評価","text":"V+L 統合評価","depth":3},{"id":"特徴融合の検討","text":"特徴融合の検討","depth":3},{"id":"データセットの拡張","text":"データセットの拡張","depth":3},{"id":"結論","text":"結論","depth":1}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"multimodality/albef","relation":"comparison","topic":"画像・テキスト表現の整合と融合"},{"id":"multimodality/blip","relation":"comparison","topic":"画像・テキスト表現の整合と融合"}]},{"id":"model-tuning/blip2","category":"model-tuning","legacyPath":"model-tuning/2301-blip2","legacySlug":"2301-blip2","legacyPaths":[],"title":"BLIP-2","subtitle":"Q-Former 初登場","author":"Z. Yuan","paperDate":"2023-01-30","publishedOn":"2024-11-18","paperTitle":"BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models","paperUrl":"https://arxiv.org/abs/2301.12597","bibliography":{"title":"BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models","authors":["Junnan Li","Dongxu Li","Silvio Savarese","Steven Hoi"],"url":"https://arxiv.org/abs/2301.12597","pdfUrl":"https://arxiv.org/pdf/2301.12597","codeUrl":null,"preprint":{"id":"2301.12597","submittedOn":"2023-01-30","url":"https://arxiv.org/abs/2301.12597"},"publication":{"venue":"ICML","year":2023,"kind":"conference","url":"https://proceedings.mlr.press/v202/li23q.html"},"citation":"@misc{modeltuningblip22023,\n  title = {{BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models}},\n  author = {Junnan Li and Dongxu Li and Silvio Savarese and Steven Hoi},\n  year = {2023},\n  eprint = {2301.12597},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2301.12597}\n}\n","citationPath":"/content/papers/citations/model-tuning/blip2.ce71ab38cdb4.bib"},"thumbnail":{"src":"/content/papers/assets/f31adfa067aff2dd886466748e3c8b979e7d6bf591136c6bd8116ae711f1d686.jpg","width":1358,"height":502},"locale":"ja","path":"/content/papers/ja/model-tuning/blip2.5fc8bde24f3d.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"第一段階の事前訓練","text":"第一段階の事前訓練","depth":3},{"id":"第二段階の事前訓練","text":"第二段階の事前訓練","depth":3},{"id":"事前訓練データセット","text":"事前訓練データセット","depth":3},{"id":"事前訓練設定","text":"事前訓練設定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"zero-shot-vqa","text":"Zero-shot VQA","depth":3},{"id":"finetune-vqa","text":"Finetune VQA","depth":3},{"id":"画像記述生成","text":"画像記述生成","depth":3},{"id":"画像-テキスト検索","text":"画像-テキスト検索","depth":3},{"id":"画像からテキストを生成するデモ","text":"画像からテキストを生成するデモ","depth":3},{"id":"失敗事例","text":"失敗事例","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"文字画像生成のデモ":"画像からテキストを生成するデモ"},"guide":null,"relatedReading":[{"id":"multimodality/blip","relation":"background","topic":"視覚エンコーダと言語モデルの接続"},{"id":"multimodality/xgen-mm","relation":"next","topic":"視覚エンコーダと言語モデルの接続"}]}],"text":"マルチモーダルモデルは現在、すでに人々の視野にしっかりと根を下ろしています。\n\n画像認識の世界でもマルチモーダルな方法が存在感を増してきました。\n\n## 問題定義\n\n著者はここ数年の研究文献を振り返り、最近のマルチモーダルモデルにいくつかの欠点があることを発見しました：\n\n1. **訓練データの品質が悪い：**\n\n   CLIP を除いて、比較的有名な論文は ALIGN であり、これは非常に大規模で騒がしいデータセットを基に訓練されたマルチモーダルモデルです。多くの研究が、この訓練方法でも良い結果が得られると指摘していますが、著者はこれは適切な処理方法がないために得られた妥協的な結果に過ぎないと考えています。\n\n2. **アーキテクチャが運命を決定する：**\n\n   マルチモーダルアーキテクチャの選択には通常、2 種類があります。1 つはエンコーダベースのモデル、もう 1 つはエンコーダ-デコーダベースのモデルです。\n\n   エンコーダベースのモデルは、画像キャプションのようなテキスト生成タスクに転送するのが難しいです。一方、エンコーダ-デコーダベースのモデルは、テキスト検索タスクではパフォーマンスが悪いです。\n\n一石二鳥の方法はないのでしょうか？\n\n## 問題の解決\n\n### モデルアーキテクチャ\n\n![blip arch](/content/papers/assets/322ffdc07e192675b67e86d11d738be51834cd39a07d0979d66e8c27f0e8bd42.jpg)\n\n上の図に基づいて、左から右へと見ていきます：\n\nまず、著者は ViT アーキテクチャを視覚入力のエンコーダとして採用し、出力のシーケンスに特別なトークン`[CLS]`を追加して、画像全体の特徴を表現します。\n\n次に、「理解」と「生成」の能力を持つ統一モデルを訓練するために、著者はマルチモーダルエンコーダ-デコーダーハイブリッドモデル（Multimodal Mixture of Encoder-Decoder, MED）を提案しました。\n\nこのモデルには 3 つの機能があります：\n\n1. **テキストエンコーダ**：上図で、左から 2 番目の部分。\n\n   テキストエンコーダは BERT と同様で、テキスト入力の最初に`[CLS]`タグを追加して、文全体を要約します。\n\n   - [**[18.10] BERT: 12 層エンコーダ**](/blog/papers/transformers/bert)\n\n2. **画像ベースのテキストエンコーダ**：上図で、左から 3 番目の部分。\n\n   各 Transformer ブロックの自己注意（SA）層と前向きネットワーク（FFN）の間に追加のクロスアテンション（CA）層を挿入して、視覚的な情報を注入します。\n\n   テキストの末尾には`[Encode]`タグを追加し、その出力埋め込みを画像とテキストのマルチモーダル表現として使用します。\n\n\n> [!TIP]\n> \n> 異なる特別なトークンを使用して異なるシーケンスをマークし、モデルが訓練中に現在のタスクが何であるかを認識できるようにします。\n\n\n\n> [!TIP]\n> \n> 画像特徴へ Cross-Attention を行っても、テキスト側は双方向 Self-Attention のままで、ITM に使うエンコーダです。生成時の Decoder だけが因果 Self-Attention を使います。\n\n\n3. **画像ベースのテキストデコーダ**：\n\n   画像ベースのテキストエンコーダ内の双方向自己注意層を因果自己注意層（Causal Self-Attention）に置き換えます。\n\n   デコードプロセスでは、`[Decode]`タグを使ってシーケンスの開始を示し、終了タグを使ってシーケンスの終了を示します。\n\n\n> [!TIP]\n> \n> ここも Transformer デコーダのアーキテクチャですが、生成タスクを行うために、自己注意（Self-Attention）を因果自己注意（Causal Self-Attention）に置き換えています。\n\n\n### 事前学習目標\n\nアーキテクチャが完成したので、次に事前学習の目標を定義します。\n\n事前学習の過程で、BLIP は 3 つの目標を共同で最適化します。これには、2 つの理解タスクの目標と、1 つの生成タスクの目標が含まれます。\n\n1. **画像-テキスト対比損失 (ITC)**：\n\n   この目標は、正しいペアの画像とテキストが特徴空間で似た表現を持つようにし、誤ったペアの画像とテキスト間の特徴は大きく異なるべきだというものです。この方法により、モデルは関連する画像とテキストを一致させ、不関連なペアを区別できるようになります。\n\n   ITC は、単一モーダルエンコーダを使用して画像とテキストを個別に処理し、モーメンタムエンコーダを導入して特徴を生成します。効果を高めるために、ITC では負のサンプルに含まれる可能性のある正のサンプルを考慮し、ソフトラベルを用いて訓練し、画像とテキスト間の対応関係をより正確に学習させます。\n\n2. **画像-テキスト一致損失 (ITM)**：\n\n   識別能力を強めるため、ITM では対応する組と対応しない組を二値分類します。負例は 50％の確率で画像をランダムに置き換えて作るのではなく、バッチ内の対比類似度をもとに難しい負例を選びます。モデルは `[Encode]` のマルチモーダル表現に線形分類ヘッドを適用し、分類損失を最小化します。\n\n3. **言語モデル損失 (LM)**：\n\n   画像ベースのテキストデコーダを有効にし、画像のテキスト記述を生成することを目的とします。この損失はクロスエントロピー損失を最適化することによりモデルを訓練し、自己回帰的にテキスト生成の確率を最大化します。広く使用されているマスク付き言語モデル（MLM）損失と比較して、LM 損失はモデルに生成能力を持たせ、視覚情報を一貫したテキスト記述に変換できるようにします。著者は損失計算において、0.1 のラベルスムージング技術を適用しています。\n\n---\n\nマルチタスク学習での訓練効率を向上させるために：\n\n- **著者は、テキストエンコーダとデコーダのすべてのパラメータを自己注意（SA）層を除いて共有しています。**\n\nこれは、エンコーディングとデコーディングタスクの主要な違いが自己注意層に集中しているためです。エンコーダは双方向の自己注意を使用して現在の入力の全体的な表現を構築し、デコーダは因果的自己注意を使用してコンテキストに基づいて次のトークンを予測します。\n\n一方、埋め込み層、クロスアテンション層、前向きネットワークはエンコーディングとデコーディングの過程で類似した機能を持っているため、これらの層を共有することで訓練効率が向上し、マルチタスク学習においてパラメータを十分に活用できます。\n\n### CapFilt\n\n![capfilt](/content/papers/assets/6ee36eb2a440795edc923f119658ef9561764fe15f6aa453e680b33b6be541c1.jpg)\n\n先ほど述べたように、著者は最初からノイズの多いデータセットを使用してモデルを訓練することがモデルのパフォーマンスに悪影響を及ぼすと考えていました。\n\nテキストデータの品質を向上させるために、著者は「Captioning and Filtering (CapFilt)」という方法を提案しました。\n\n上のフロー図に示されているように、CapFilt には 2 つのモジュールがあります：\n\n1. **画像記述を生成する「キャプショナー」**：事前学習済み MED から初期化し、人手で注釈した COCO と言語モデル目標で微調整します。画像ベースのテキストデコーダで、各ウェブ画像から合成キャプション（Ts）を一つ作ります。\n\n2. **ノイズ画像-テキストペアをフィルタリングする「フィルター」**：同じ事前学習済み MED から別に初期化し、COCO と ITC／ITM 目標で独立に微調整します。画像ベースのテキストエンコーダを用い、文章と画像の一致を判定します。\n\nフィルターは、元のネットワークテキスト（Tw）と合成テキスト（Ts）からノイズテキストを削除します。これらのテキストが ITM で一致しないと予測されると、それはノイズと見なされます。\n\n最後に、残った元のウェブテキスト、合成テキストと人手注釈の組を合わせ、新しいデータセットで**新たな BLIP モデル**を事前学習します。\n\n### モデル訓練設定\n\n著者は PyTorch を使ってモデルを実装し、2 台の 16-GPU ノードで事前学習を行いました。\n\n- 画像 Transformer は、ImageNet で事前学習された ViT で初期化\n- テキスト Transformer は、BERTbase で初期化。\n\n著者は 2 種類の ViT のバリエーションを探求しました：ViT-B/16 と ViT-L/16。特に記載がない限り、本文中の「BLIP」の結果は ViT-B を使用しています。モデルは 20 エポックの事前学習を行い、バッチサイズは 2880（ViT-B）と 2400（ViT-L）です。\n\nオプティマイザは AdamW を使用し、ウェイト減衰を 0.05 に設定し、学習率はウォームアップ段階でそれぞれ 3e-4（ViT-B）と 2e-4（ViT-L）に引き上げ、0.85 のレートで線形に減衰します。事前学習中は、画像をランダムに切り抜いて 224×224 の解像度にし、微調整時には画像解像度を 384×384 に上げます。\n\n著者は 2 つの人工注釈付きデータセット（COCO と Visual Genome）と 3 つのネットワークデータセット（Conceptual Captions、Conceptual 12M、SBU captions）を使用し、合計 1400 万枚の画像でモデルを訓練しました。\n\n## 考察\n\n### CapFilt の効果\n\n![capfilt result](/content/papers/assets/c2829d8c28a9841e2996531a614aa8abcba7c3e390d945cef6c92499f65eea08.jpg)\n\nこのモジュールは本論文の主要な貢献の 1 つであり、その効果をすぐに確認する必要があります。\n\n著者は、異なるデータセットで事前学習されたモデルを比較し、CapFilt が下流タスク、特に画像-テキスト検索と画像キャプションのタスクでどのように効果を発揮するかを示しました。評価は微調整とゼロショット設定で行われました。\n\n同じ 1400 万枚の画像と ViT-B の設定では、キャプショナーかフィルターの一方だけでも表中の各指標が改善し、両方を使うとさらに上がります。例えば COCO の微調整後のテキスト／画像検索 R@1 は 78.4／60.7 から 80.6／63.1 になりました。\n\n1.29 億枚の画像と ViT-L の設定でも、同じデータと骨格の CapFilt なしのモデルより高い値です。これはデータとモデル規模を広げた実験です。\n\nただし主モデルを ViT-B、データを 1.29 億枚に固定し、キャプショナーとフィルターだけを ViT-L にすると、COCO 検索 R@1 は 81.9／64.3 から 81.2／64.1 に下がる一方、字幕指標は上がります。\n\n下の図では、著者がいくつかの画像とその対応する生成テキストの例を示しており、質的にキャプショナーが新しいテキスト記述を生成する能力と、フィルターが元のネットワークテキストと合成テキストからノイズを除去する能力を展示しています：\n\n![capfilt example](/content/papers/assets/8d8965cc654be9f81db1e68f224a86e7710c72e3dad52fa91893cf0da0b6c591.jpg)\n\n緑色のテキストはフィルターに受け入れられたテキストを示し、赤色のテキストはフィルターに拒否されたテキストを示しています。\n\n### CapFilt における合成テキストの多様性\n\n![capfilt diversity](/content/papers/assets/ec88223ed93741023aaf25025f36ff34ed40277dcb1e7208f0b9766bc4912e53.jpg)\n\nCapFilt では、著者は**nucleus sampling**を使用して合成された記述テキストを生成しています。\n\n- [**[19.04] The curious case of neural text degeneration**](https://arxiv.org/abs/1904.09751)\n\nNucleus sampling はランダムなデコード方法で、各トークンは累積確率質量が閾値$p$を超えるトークンセットから抽出されます（実験では$p=0.9$と設定）。\n\n著者はこれを**beam search**と比較しました。beam search は決定的なデコードで、確率の高い記述を選びます。nucleus sampling の出力はフィルターから不一致と判定される割合が 25％で、beam の 19％より高い一方、表中の検索と字幕の指標では高い値です。著者は文章の多様性が役立ったと推測しますが、表は「意外性」や情報量を直接測ったものではありません。\n\n### SOTA モデルとの比較\n\n著者は異なるデータセットと他の SOTA モデルとの比較を行いました。ここでは、いくつかのデータセットに絞って比較を行います。\n\n- **画像-テキスト検索**\n\n  ![retrieval](/content/papers/assets/c262a3b16a3d578474bf056cc9c5c1b6aff2bc8411d4201a24950fa1f7f2cf82.jpg)\n\n  著者は COCO および Flickr30K データセットで BLIP の画像からテキストへの検索（TR）およびテキストから画像への検索（IR）能力を評価しました。\n\n  事前学習モデルは ITC と ITM 損失で微調整します。推論時はまず画像とテキストの特徴類似度で k 組の候補を選び、ITM スコアで再順位付けします。k は 256（COCO）と 128（Flickr30K）。Flickr30K の「ゼロショット」は COCO で検索用に微調整したモデルを直接移して試す条件です。\n\n  同じ 1400 万枚の事前学習画像なら、COCO で BLIP のテキスト／画像検索 R@1 は 80.6／63.1、ALBEF は 77.6／60.7 で、平均 2.7 ポイント高い値です。Flickr30K の R@5／R@10 には飽和に近い列もあります。\n\n- **画像キャプション**\n\n  ![captioning](/content/papers/assets/46e4e38ab889c58055481b10b9173dbaf247b611ddd9a9ee50d1d77bca9f5039.jpg)\n\n  著者は NoCaps および COCO の 2 つのデータセットで画像キャプションタスクを評価し、COCO で微調整したモデルをテストに使用しました。LM 損失を採用しています。過去の文献に基づき、各記述の最初に「a picture of」というプロンプトを追加すると、わずかなパフォーマンス向上が見られます。\n\n  1400 万枚の事前学習画像では、BLIP の COCO CIDEr は 129.7 で VinVL の 129.3 をわずかに上回り、NoCaps overall CIDEr は 105.1 で LEMON-base の 100.4 より高い値です。1.29 億枚の BLIP は、LEMON-base の 2 億枚の設定に複数の指標で近づきます。\n\n\n> [!TIP]\n> \n> 上表に示されている LEMON は、大規模な事前学習物体検出器に依存し、より高解像度の入力画像（800×1333）を使用しているため、BLIP のように低解像度（384×384）画像を使用し、検出器に依存しないモデルに比べて推論速度が著しく遅くなります。\n\n\n- **視覚質問応答（VQA）**\n\n  ![vqa](/content/papers/assets/8dbde265fa7abc514293a91397643043d306cacde550b688eb38623a3ae1d194.jpg)\n\n  視覚質問応答タスクでは、モデルが画像と質問に基づいて答えを生成することが求められます。著者は VQA を複数選択の分類タスクとしてではなく、答え生成タスクとして定義しました（過去の研究では VQA は通常、複数選択の分類タスクとして定義されています）。\n\n  そのため、開放型 VQA を実現するために、事前学習モデルを再配置し、最初に画像と質問をマルチモーダル埋め込みにエンコードし、次に答えデコーダに入力します。\n\n  VQA モデルは LM 損失で微調整し、正解の文章を生成するように学びます。表中の 1400 万枚の BLIP は VQA test-std が 77.62、ALBEF は 76.04 で、差は **1.58 ポイント**です。論文本文の +1.64 は表の引き算と異なります。1.29 億枚の BLIP は 78.17 で SimVLM-Base の 78.14 より 0.03 ポイント高いですが、データと構造の異なるモデル間比較です。\n\n  ![vqa result](/content/papers/assets/d6474e9675f96f16242386a4785b3988c8b6ddfce06be29696cbd7e9f9c37082.jpg)\n\n\n> [!TIP]\n> \n> SimVLM は 13 倍の事前学習データとより大きな視覚バックボーンを使用しました。\n\n\n## 結論\n\n著者が提案した CapFilt 方法は、ネットワーク画像-テキストデータにおけるノイズ問題を効果的に解決し、実験によって自動生成された記述とノイズテキストの除去がモデルの性能を大幅に向上させることが証明されました。\n\nさらに、BLIP は複数の下流タスクで優れたパフォーマンスを示し、画像-テキスト検索、画像キャプション、視覚質問応答などの分野でその強力なマルチタスク適応能力を実証しました。多様なデータ生成とノイズ処理の可能性を示すとともに、マルチモーダルモデルの性能向上に向けた新たなアプローチを提供し、今後のマルチモーダルモデルの発展方向を示唆しています。\n","imageSizes":{"/content/papers/assets/322ffdc07e192675b67e86d11d738be51834cd39a07d0979d66e8c27f0e8bd42.jpg":{"width":1760,"height":706},"/content/papers/assets/6ee36eb2a440795edc923f119658ef9561764fe15f6aa453e680b33b6be541c1.jpg":{"width":1758,"height":590},"/content/papers/assets/c2829d8c28a9841e2996531a614aa8abcba7c3e390d945cef6c92499f65eea08.jpg":{"width":2048,"height":580},"/content/papers/assets/8d8965cc654be9f81db1e68f224a86e7710c72e3dad52fa91893cf0da0b6c591.jpg":{"width":3074,"height":422},"/content/papers/assets/ec88223ed93741023aaf25025f36ff34ed40277dcb1e7208f0b9766bc4912e53.jpg":{"width":2792,"height":444},"/content/papers/assets/c262a3b16a3d578474bf056cc9c5c1b6aff2bc8411d4201a24950fa1f7f2cf82.jpg":{"width":1576,"height":500},"/content/papers/assets/46e4e38ab889c58055481b10b9173dbaf247b611ddd9a9ee50d1d77bca9f5039.jpg":{"width":1940,"height":706},"/content/papers/assets/8dbde265fa7abc514293a91397643043d306cacde550b688eb38623a3ae1d194.jpg":{"width":1224,"height":420},"/content/papers/assets/d6474e9675f96f16242386a4785b3988c8b6ddfce06be29696cbd7e9f9c37082.jpg":{"width":1044,"height":764}}}
