{"notes":[{"id":"vision-transformers/beit-v2","category":"vision-transformers","legacyPath":"vision-transformers/2208-beit-v2","legacySlug":"2208-beit-v2","legacyPaths":[],"title":"BEiT v2","subtitle":"高次元に隠された暗号","author":"Z. Yuan","paperDate":"2022-08-12","publishedOn":"2024-12-15","paperTitle":"BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers","paperUrl":"https://arxiv.org/abs/2208.06366","bibliography":{"title":"BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers","authors":["Zhiliang Peng","Li Dong","Hangbo Bao","Qixiang Ye","Furu Wei"],"url":"https://arxiv.org/abs/2208.06366","pdfUrl":"https://arxiv.org/pdf/2208.06366v2","codeUrl":"https://github.com/microsoft/unilm/tree/master/beit2","preprint":{"id":"2208.06366","submittedOn":"2022-08-12","url":"https://arxiv.org/abs/2208.06366"},"publication":null,"citation":"@misc{visiontransformersbeitv22022,\n  title = {{BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers}},\n  author = {Zhiliang Peng and Li Dong and Hangbo Bao and Qixiang Ye and Furu Wei},\n  year = {2022},\n  eprint = {2208.06366},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2208.06366}\n}\n","citationPath":"/content/papers/citations/vision-transformers/beit-v2.a1d8a42e31b0.bib"},"thumbnail":{"src":"/content/papers/assets/4d70ebb67c819b57a03a242c6d6f16af25de8682a068c003ce50035fc7184df0.jpg","width":1576,"height":570},"locale":"ja","path":"/content/papers/ja/vision-transformers/beit-v2.a27025c84378.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"事前学習方法","text":"事前学習方法","depth":3},{"id":"グローバル表現の事前学習","text":"グローバル表現の事前学習","depth":3},{"id":"モデル設定","text":"モデル設定","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"他の方法との比較","text":"他の方法との比較","depth":3},{"id":"アブレーション実験コードブックのサイズ","text":"アブレーション実験－コードブックのサイズ","depth":3},{"id":"アブレーション実験パッチ集約戦略","text":"アブレーション実験－パッチ集約戦略","depth":3},{"id":"アブレーション実験教師モデルの分析","text":"アブレーション実験－教師モデルの分析","depth":3},{"id":"コードブックの視覚化","text":"コードブックの視覚化","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit","relation":"background","topic":"マスクによる視覚事前学習"},{"id":"multimodality/beit-v3","relation":"next","topic":"マスクによる視覚事前学習"}]},{"id":"vision-transformers/beit","category":"vision-transformers","legacyPath":"vision-transformers/2106-beit","legacySlug":"2106-beit","legacyPaths":[],"title":"BEiT","subtitle":"離散エンコーディングによる事前学習","author":"Z. Yuan","paperDate":"2021-06-15","publishedOn":"2024-07-24","paperTitle":"BEiT: BERT Pre-Training of Image Transformers","paperUrl":"https://arxiv.org/abs/2106.08254","bibliography":{"title":"BEiT: BERT Pre-Training of Image Transformers","authors":["Hangbo Bao","Li Dong","Songhao Piao","Furu Wei"],"url":"https://arxiv.org/abs/2106.08254","pdfUrl":"https://arxiv.org/pdf/2106.08254","codeUrl":null,"preprint":{"id":"2106.08254","submittedOn":"2021-06-15","url":"https://arxiv.org/abs/2106.08254"},"publication":{"venue":"ICLR","year":2022,"kind":"conference","url":"https://openreview.net/pdf?id=p-BhZSz59o4"},"citation":"@misc{visiontransformersbeit2021,\n  title = {{BEiT: BERT Pre-Training of Image Transformers}},\n  author = {Hangbo Bao and Li Dong and Songhao Piao and Furu Wei},\n  year = {2021},\n  eprint = {2106.08254},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2106.08254}\n}\n","citationPath":"/content/papers/citations/vision-transformers/beit.57788bd3bad1.bib"},"thumbnail":{"src":"/content/papers/assets/b63230200cc9c8058f03ba8afc2fac203e6f48519ad44e4a300fa7cbbc9093b1.jpg","width":1578,"height":862},"locale":"ja","path":"/content/papers/ja/vision-transformers/beit.4f8336389664.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"解決方法","text":"解決方法","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"訓練方法","text":"訓練方法","depth":3},{"id":"下流タスクの微調整","text":"下流タスクの微調整","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"imagenet-上での性能","text":"ImageNet 上での性能","depth":3},{"id":"消融実験","text":"消融実験","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit-v2","relation":"next","topic":"マスクによる視覚事前学習"},{"id":"vision-transformers/mae","relation":"comparison","topic":"画素と視覚トークンの再構成"},{"id":"image-generation/mar","relation":"comparison","topic":"画素と視覚トークンの再構成"}]},{"id":"multimodality/beit-v3","category":"multimodality","legacyPath":"multimodality/2208-beit-v3","legacySlug":"2208-beit-v3","legacyPaths":[],"title":"BEiT-3","subtitle":"英雄见るところ略同じ","author":"Z. Yuan","paperDate":"2022-08-22","publishedOn":"2024-12-31","paperTitle":"Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks","paperUrl":"https://arxiv.org/abs/2208.10442","bibliography":{"title":"Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks","authors":["Wenhui Wang","Hangbo Bao","Li Dong","Johan Bjorck","Zhiliang Peng","Qiang Liu","Kriti Aggarwal","Owais Khan Mohammed","Saksham Singhal","Subhojit Som","Furu Wei"],"url":"https://arxiv.org/abs/2208.10442","pdfUrl":"https://arxiv.org/pdf/2208.10442v2","codeUrl":"https://github.com/microsoft/unilm/tree/master/beit3","preprint":{"id":"2208.10442","submittedOn":"2022-08-22","url":"https://arxiv.org/abs/2208.10442"},"publication":{"venue":"CVPR","year":2023,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Image_as_a_Foreign_Language_BEiT_Pretraining_for_Vision_and_CVPR_2023_paper.html"},"citation":"@misc{multimodalitybeitv32022,\n  title = {{Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks}},\n  author = {Wenhui Wang and Hangbo Bao and Li Dong and Johan Bjorck and Zhiliang Peng and Qiang Liu and Kriti Aggarwal and Owais Khan Mohammed and Saksham Singhal and Subhojit Som and Furu Wei},\n  year = {2022},\n  eprint = {2208.10442},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2208.10442}\n}\n","citationPath":"/content/papers/citations/multimodality/beit-v3.da59712d53e1.bib"},"thumbnail":{"src":"/content/papers/assets/29b3716ceccbc3340eda2ad7c1b5cc075b7411d9f23a7bf7e7465190ab7e6ef7.jpg","width":1224,"height":570},"locale":"ja","path":"/content/papers/ja/multimodality/beit-v3.1fe134e118de.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデルアーキテクチャ","text":"モデルアーキテクチャ","depth":3},{"id":"多モダリティ適応","text":"多モダリティ適応","depth":3},{"id":"事前学習タスク","text":"事前学習タスク","depth":3},{"id":"モデルと訓練データ","text":"モデルと訓練データ","depth":3},{"id":"訓練戦略","text":"訓練戦略","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"他のモデルとの比較","text":"他のモデルとの比較","depth":3},{"id":"モジュール寄与分析","text":"モジュール寄与分析","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit-v2","relation":"background","topic":"マスクによる視覚事前学習"}]}],"text":"BEiT を覚えていますか？\n\nもし忘れてしまったなら、早速復習しましょう。そうしないと、この論文を読むことができません：\n\n\n\n![beit v1](/content/papers/assets/b63230200cc9c8058f03ba8afc2fac203e6f48519ad44e4a300fa7cbbc9093b1.jpg)\n\n\n\nBEiT の核心となる概念は、画像を離散的な視覚 token に変換することです。使える code は全部で 8192 種類あります。ここには 2 つのアーキテクチャが同時に存在しており、上の図のように示されています。\n\n最初のアーキテクチャは、VAE に似た構造で、図の上半部に位置します。この部分は別途学習済みで、BEiT の MIM 事前学習中は更新せず、画像を離散的な視覚 token に変換するために使います。全体的な概念は「画像辞書」を訓練するようなものです。\n\n次のアーキテクチャは下半部で、実際に勾配更新に関与するモデルです。ここでは、BERT の MLM（Masked Language Modeling）機構を導入し、画像のブロックに対してマスキング再構成を行います。画像ブロックを隠すので、Masked Image Modeling（MIM）とも呼ばれます。\n\n\n> [!TIP]\n> \n> BEiT の詳細に興味がある方は、以前のノートをご参照ください：\n> \n> - [**[21.06] BEiT: 離散エンコーディングによる事前学習**](/blog/papers/vision-transformers/beit)\n\n\n## 問題の定義\n\nMIM と言えば、最近では MAE が最も有名かもしれません。\n\nMAE は、画像情報には多くの冗長性が存在すると考え、少しの領域をマスキングするだけではモデルが有用な情報を学習できないとしています。MAE では画像の **patch** を高い比率で隠して画素を再構成し、モデルが学習する難易度を高めています。\n\n実験結果は確かに素晴らしく、流行を巻き起こしました。\n\n\n> [!TIP]\n> \n> MAE についてもっと詳しく知りたい方は、こちらの論文をご覧ください：\n> \n> - [**[21.11] MAE: 4 分の 1 の手がかり**](/blog/papers/vision-transformers/mae)\n\n\nしかし、MAE の訓練目標は「低レベル」の画素再構成に注力しています。「高レベル」の意味情報に直接合わせる目標ではありません。\n\nでは、「高レベル」の意味情報とは何でしょうか？\n\n著者は、BEiT が提案する視覚トークン（visual token）を画素から離れた「より高レベル」の抽象的な概念と考えています。そのため、BEiT の成果を基に、教師モデルの意味特徴を反映する token を作り、モデルがより豊かな意味情報を学習できる方法を考えたのです。\n\n## 問題解決\n\n### モデルアーキテクチャ\n\n![model](/content/papers/assets/4d70ebb67c819b57a03a242c6d6f16af25de8682a068c003ce50035fc7184df0.jpg)\n\nこのアーキテクチャは著者が「ベクトル量子化知識蒸留（Vector-Quantized Knowledge Distillation）」、略して VQ-KD と呼んでいます。\n\n突然多くの専門用語が出てきて驚くかもしれませんが、図を見ながら一歩一歩説明していきます。\n\n- **ステップ 1: 画像特徴量の計算**\n\n  まず、入力画像 $x \\in \\mathbb{R}^{H \\times W \\times C}$ を $N = \\frac{HW}{P^2}$ 個の画像ブロック（patch）に分割します。\n\n  画像が $224 \\times 224$ で、各 patch のサイズが $16 \\times 16$ の場合、$14 \\times 14 = 196$ 個の patch があり、つまり $N=196$ となります。各 patch を平坦化した後、ViT エンコーダで patch 列全体を処理し、各位置のベクトル表現 $h_i$ を得ます（ここで $i=1,2,\\dots,N$ ）。\n\n  よって、私たちは一組のベクトル $\\{h_i\\}_{i=1}^N$ を得ます。各 $h_i$ は対応する画像ブロックに対応します。\n\n  ここまでは、BEiT の初代とあまり変わりはありません。\n\n---\n\n- **ステップ 2: 特徴量を使ってコードブックを検索**\n\n  ここから違いが出てきます。BEiT の初代では、著者は直接 DALL-E が出力する視覚トークンを使用していました。\n\n  第 2 代のアーキテクチャでは、直接コードブック（codebook） $V \\in \\mathbb{R}^{K \\times D}$ を設定します。ここには $K$ 個のコードベクトル $\\{v_j\\}_{j=1}^K$ が含まれ、各 $v_j$ は $D$ 次元ベクトルです。\n\n  ベクトル $h_i$ を対応するコード $v_{z_i}$ にマッピングするために、著者は以下の式を使って最も類似したコードインデックス $z_i$ を検索します：\n\n  $$\n  z_i = \\arg\\min_j \\| \\ell_2(h_i) - \\ell_2(v_j) \\|^2,\n  $$\n\n  L2 正規化とは、ベクトル $h_i$ と $v_j$ を単位球面に投影して最も近いコードを見つけることです。この方法では、ベクトルの長さではなく、方向を比較することができます。codebook は 32 次元で、エンコーダ出力との間には射影があります。\n\n  このステップが「ベクトル量子化」の過程であり、連続的な特徴ベクトルを離散的なコードに変換するものです。\n\n---\n\n- **ステップ 3: 教師モデルを整列させ、知識蒸留を行う**\n\n  コード $v_{z_i}$ を選んだ後、その L2 正規化されたベクトル $\\ell_2(v_{z_i})$ をデコーダー（これも Transformer アーキテクチャ）に入力します。\n\n  デコーダーの出力は $o_i$ となり、「教師モデル」（例えば CLIP）によって与えられた意味的特徴 $t_i$ と整列させて高次の意味を学習します。\n\n  訓練時には、$o_i$ と $t_i$ のコサイン類似度を最大化することを目指し、デコーダーが意味的に質の高い表現を生成できるようにします。\n\n  このステップが「知識蒸留」の過程であり、モデルに豊かな意味情報を学ばせるものです。\n\n---\n\n簡単に言うと、デコーダーはコードベクトルを受け取った後、$o_i$ を出力し、$\\cos(o_i, t_i)$ をできるだけ大きく（つまり $o_i$ と $t_i$ が似ているほど良い）しようとします。\n\n量子化の過程（arg min でコードを選択する）では、直接 $z_i$ に対して微分できません。著者は以下の方法でこの問題を解決しています：\n\n- 特定のパスで勾配が伝播しないように、stop-gradient（記号 $sg[\\cdot]$）操作を使用します。\n- デコーダー入力側の勾配を「直通」（straight-through）でエンコーダーに伝えます。codebook は距離項に加え、EMA でも更新します。\n\nVQ-KD の全体的な訓練目標は次のようになります：\n\n$$\n\\max \\sum_{x \\in D} \\sum_{i=1}^{N} \\cos(o_i, t_i) - \\| sg[\\ell_2(h_i)] - \\ell_2(v_{z_i}) \\|_2^2 - \\|\\ell_2(h_i) - sg[\\ell_2(v_{z_i})]\\|_2^2,\n$$\n\nこの目的関数には 3 つの部分があります：\n\n- $\\cos(o_i, t_i)$：デコーダーの出力と教師特徴の類似度を最大化し、コードに高い意味情報を持たせます。\n- $\\| sg[\\ell_2(h_i)] - \\ell_2(v_{z_i}) \\|_2^2$：コードブックで選ばれたコード $v_{z_i}$ をエンコーダーの出力 $h_i$ に近づけます。この項では $h_i$ 側を止め、選ばれた code 側に勾配が流れます。\n- $\\|\\ell_2(h_i) - sg[\\ell_2(v_{z_i})]\\|_2^2$：エンコーダーの出力 $h_i$ を選ばれたコード $v_{z_i}$ に近づける（コードはその項から勾配を受け取らない）。\n\nstop-gradient を使って、エンコーダーとコードブックをお互いに近づけるよう調整し、最終的に意味的にバランスの取れたコードブックが得られます。\n\n訓練中の一般的な問題は、コードブック内でごく少数のコードしか頻繁に使用されず、他のコードは「アイドル状態」になることです。\n\nこの問題を解決するために、著者は以下の戦略を採用しています：\n\n- L2 正規化を使って距離を計算し、一部の code への利用集中を抑えます。\n- コードブックのベクトル次元を 32 次元に抑え、デコーダーへ渡す前に高次元空間へ写像します。これも codebook の利用率改善に役立ちます。\n- 指数移動平均（Exponential Moving Average, EMA）を使用してコードを更新し、更新をより安定させ、多様化させます。\n\nこれらの手順とテクニックを通じて、VQ-KD は視覚トークナイザーに離散的なコードを使って画像を表現させ、画像の意味情報を保持しながら、連続的な特徴から高次元の意味的離散表現への変換を実現します。\n\n### 事前学習方法\n\n![pretrain](/content/papers/assets/57746ae9506cf25a77101175eb5a2036cb794d749fe44ff5007671cae4af2408.jpg)\n\nVQ-KD が完了すると、視覚トークナイザーは離散的なコードを使って画像を表現できるようになります。次はこれらのコードを使って MIM 事前学習を行います。\n\n入力画像 $x$ の約 40％の patch をブロック単位でマスク（masked）します。マスク後、マスクされた位置 $M$ には同じ学習可能な埋め込みベクトル $e[M]$ を使って元の patch 埋め込み $e_{p_i}$ を置き換えます。\n\n上の図では、青い部分が実際に BEiT 初代の MIM 事前学習プロセスであり、マスクの割合も同じです。予測時には、単純な全結合層（MIM ヘッド）を使用して視覚コードを予測します。この視覚コード $z_i$ は、前の訓練で学習された視覚トークナイザーによって提供されます。つまり、$z_i$ は元画像の対応する patch の離散コードです。\n\nMIM の訓練損失は次のようになります：\n\n$$\nL_{\\text{MIM}} = -\\sum_{x \\in D} \\sum_{i \\in M} \\log p(z_i | x_i^M)\n$$\n\nここで、$D$ は事前学習に使用される画像データセットです。\n\n### グローバル表現の事前学習\n\n上図の `Patch Aggregation` 部分は、今回の BEiT v2 の新しい設計です。\n\n事前学習 backbone の [CLS] トークンが画像全体の情報を集めるように、著者は「グローバル表現の事前学習」と呼ばれる新しい設計を提案しました。この支路は視覚トークナイザーではなく、MIM 事前学習側にあります。\n\nこの方法では、BEiT v2 backbone の最終層の [CLS] トークンと、途中の層で得られた patch 特徴量を結合し、浅い Transformer デコーダーに入力します。このデコーダーも、マスクされた patch の code を予測します。\n\nここでのデコーダーは、元の MIM ヘッドのパラメータを共有しており、損失計算の方法は前述の MIM 損失と同様で、$L_{c}^{\\text{MIM}}$ として記録されます。そのため、最終的な事前学習損失は、元の MIM 損失とこの浅いデコーダー MIM 損失の合計です：\n\n$$\nL_{\\text{total}} = L_{\\text{MIM}} + L^{c}_{\\text{MIM}}\n$$\n\n訓練が終了した後、この浅いデコーダーは破棄され、[CLS]トークンを含む事前学習済みの backbone を下流タスクに使います。\n\n### モデル設定\n\n- **視覚トークナイザー (Visual Tokenizer)**\n\n  BEiT V2 の base-（B）および large-（L）規模事前学習を行うために、視覚トークナイザーのアーキテクチャには ViT-B/16 を採用しています。デコーダーは三層の Transformer を使用し、トークナイザーエンコーダーと同じ次元と注意ヘッド数を持っています。\n\n  教師モデルは OpenAI CLIP-B/16 で、ImageNet-1K（解像度 224×224）で VQ-KD を訓練します。後続の base-size または large-size モデルの事前学習には、同じ base-size の教師を使用してトークナイザーを訓練します。CLIP 教師自身は大量の画像・テキスト対で事前学習されています。\n\n  Codebook のサイズは$K=8192$、コードの次元は$D=32$です。\n\n\n> [!TIP]\n> \n> 他の詳細については、論文の付録 D を参照してください。\n\n\n- **Masked Image Modeling 設定**\n\n  BEiT と同様に、著者はラベルのない ImageNet-1K で自己教師あり事前学習を行い、入力画像の解像度は$224 \\times 224$です。\n\n  モデルには ViT-B/16 および ViT-L/16 をバックボーンアーキテクチャとして採用しています（$16 \\times 16$ patch）。パッチ集約の戦略では、ViT-B/16 には$l=9$を設定し、ViT-L/16 には$l=21$を設定、深さはデフォルトで 2 層です。マスク率は 40％（約 75 個の patch）で、マスク戦略は block-wise masking です。\n\n\n> [!TIP]\n> \n> 他の詳細については、論文の付録 E を参照してください。\n\n\n## 討論\n\n### 他の方法との比較\n\n\n\n![comparison](/content/papers/assets/2c450a0b705466c3500ee2115060ccd542d8ad06d429821796c50d047833de1a.jpg)\n\n\n\nまずはファインチューニングの結果を見てみましょう。著者は BEiT v2 を BEiT、CAE、SplitMask、PeCo、MVP と比較しています。ViT-B/16 を 300 epochs 事前学習した群では、BEiT v2 は ImageNet-1K top-1 が 85.0%、ADE20K mIoU が 52.7 で、表中の MVP（84.4%／52.4）を上回ります。\n\n事前学習を 1600 epochs に増やすと、ViT-B/16 は top-1 85.5%、ADE20K mIoU 53.1 に達しました。ViT-L/16 は 300 epochs で 86.6%／55.0、1600 epochs で 87.3%／56.7 です。ImageNet-21K で中間 fine-tuning を行った行は条件が異なるため、ここには混ぜません。\n\n上表の最後の列は、著者が ADE20K（Zhou et al., 2019）データセットで実験を行った結果です。このデータセットは 25K 枚の画像と 150 の意味的カテゴリーを含んでいます。UperNet（Xiao et al., 2018）をタスク層として使用し、$512 \\times 512$の入力解像度で 160K イテレーションでファインチューニングを行いました。\n\n結果として、BEiT v2 は ADE20K で比較対象の自己教師あり学習方法を上回り、ViT-L/16 を 1600 epochs 事前学習した場合は mIoU 56.7 に達しました。\n\n### アブレーション実験－コードブックのサイズ\n\n![codebook](/content/papers/assets/7caaaa97eb7d87e4c39ef9ae1ad1b81bc47dba59a9c5024435617cbc8b5bc5df.jpg)\n\n上表は、異なる VQ-KD アーキテクチャと codebook の次元が結果に与える影響を示しています。code の種類は 8192 に固定し、ベクトル次元を 16、32、64 と変えた行があります。\n\n実験は、patch 集約を含まない ViT-B/16（300 エポックの事前学習）を基準にしています。\n\n結果は以下の通りです：\n\n- 3 層から 6 層へ深くすると、再構成損失は 0.145 から 0.136 に下がりますが、codebook 利用率は 95% から 77%、linear probing は 77.9% から 63.0% に下がります。fine-tuning は 84.7% から 84.6% です。\n- コードブック検索時の次元を減らすことで、コードブックの利用率が向上することがわかります。\n\n### アブレーション実験－パッチ集約戦略\n\n\n\n![patch aggregation](/content/papers/assets/3c2ad98dfc856790d2f71ee396bb81e42dea15dc2d39d1d8817d53a9b5d2e0e6.jpg)\n\n\n\n次に著者が行ったパッチ集約戦略のアブレーション実験の結果を見てみましょう：\n\n- $l=9$ の場合、2 層 head の fine-tuning／linear probing（85.0%／80.1%）は 1 層（84.8%／78.9%）や 3 層（84.7%／78.1%）より高くなりました。\n- patch aggregation のない基準（84.7%／77.9%／51.9 mIoU）より標準設定（85.0%／80.1%／52.7 mIoU）が良く、特に linear probing は 2.2 ポイント上がります。画像レベルの表現が改善したことを示唆します。\n- この戦略を使用することで、MIM ヘッドの共有が下流タスクの性能を向上させることが分かります。\n\n### アブレーション実験－教師モデルの分析\n\n\n\n![teacher](/content/papers/assets/774c796f7c3e7f587bada14299020fa06d5d6feddc6f398c1379a4f95a4ccf65.jpg)\n\n\n\n著者は DINO と CLIP を教師として使用した場合の VQ-KD の効果を比較しました：\n\n- DINO を教師として使用した場合、BEiT v2 は ImageNet で 84.4%、ADE20K で 49.2 に達し、教師を直接 fine-tuning した 83.6%／46.8 を上回ります。\n- CLIP を教師として 300 epochs 事前学習すると 85.0%／52.7 です。CLIP 教師を直接 fine-tuning した ImageNet 84.9% より少し高い値ですが、表には CLIP 教師の ADE20K 対照結果はありません。\n\n上表の灰色の文字には、教師モデルの直接 fine-tuning と VQ-KD エンコーダーの直接 fine-tuning が含まれます。CLIP を教師にした VQ-KD エンコーダーは ImageNet 83.6% で、CLIP の 84.9% より低い値です。MIM 事前学習を加えた結果は 85.0% ですが、CLIP 教師自身は大量の画像・テキスト対で事前学習されています。\n\n### コードブックの視覚化\n\n![codebook](/content/papers/assets/41ac4166810d8e1e48246e8d7f2d9b871717cb4be3c4bdb2d5cfd6857aaa6c37.jpg)\n\n最後に、コードブックの視覚化結果を見てみましょう。\n\n著者は VQ-KD を使用して ImageNet-1k 検証セットの離散コードを計算し、同じコードを持つ画像パッチをグループ化しました。選んで示した例には、意味が近い patch が見られます。例えば、コード 7856 に対応する例は「目」に関連し、人間、猫、犬、魚、蛇の目が含まれています。\n\n## 結論\n\nコードブックは非常に魅力的な概念です。\n\n現在の研究トレンドを見ると、コードブックは画像トークナイゼーションだけでなく、より高品質な視覚トークナイザーの訓練や MIM 事前学習にも活用されており、さらに多モーダル領域を橋渡しする方法の一つと見なされています。また、離散コードを仲介として使用すれば、ラベルのない画像から表現を学び、大規模な人工ラベルへの依存を減らせるかもしれません。ただし、本論文の主な設定では外部の大量の画像・テキスト対で事前学習された CLIP 教師を使っています。\n\n全体的に見て、本文は VQ-KD を通じて BEiT の事前学習プロセスを改善し、MIM をより高レベルの意味表現へ進展させました。同時に、著者が提案したパッチ集約機構は、モデルがグローバル情報をよりよく統合し、事前学習目標と下流アプリケーション間のギャップを縮めることに貢献しました。\n\n次のステップは、「離散エンコーディング」のコンセプトを携えて、多モーダル分野に進出することです。それが BEiT-3 です。\n\n- [**[22.08] BEiT-3: 英雄は同じことを考える**](/blog/papers/multimodality/beit-v3)\n","imageSizes":{"/content/papers/assets/b63230200cc9c8058f03ba8afc2fac203e6f48519ad44e4a300fa7cbbc9093b1.jpg":{"width":1578,"height":862},"/content/papers/assets/4d70ebb67c819b57a03a242c6d6f16af25de8682a068c003ce50035fc7184df0.jpg":{"width":1576,"height":570},"/content/papers/assets/57746ae9506cf25a77101175eb5a2036cb794d749fe44ff5007671cae4af2408.jpg":{"width":1738,"height":694},"/content/papers/assets/2c450a0b705466c3500ee2115060ccd542d8ad06d429821796c50d047833de1a.jpg":{"width":1224,"height":1056},"/content/papers/assets/7caaaa97eb7d87e4c39ef9ae1ad1b81bc47dba59a9c5024435617cbc8b5bc5df.jpg":{"width":1224,"height":310},"/content/papers/assets/3c2ad98dfc856790d2f71ee396bb81e42dea15dc2d39d1d8817d53a9b5d2e0e6.jpg":{"width":1224,"height":568},"/content/papers/assets/774c796f7c3e7f587bada14299020fa06d5d6feddc6f398c1379a4f95a4ccf65.jpg":{"width":972,"height":572},"/content/papers/assets/41ac4166810d8e1e48246e8d7f2d9b871717cb4be3c4bdb2d5cfd6857aaa6c37.jpg":{"width":1224,"height":704}}}
