{"notes":[{"id":"contrastive-learning/moco-v1","category":"contrastive-learning","legacyPath":"contrastive-learning/1911-moco-v1","legacySlug":"1911-moco-v1","legacyPaths":[],"title":"MoCo v1","subtitle":"モメンタム対比学習","author":"Z. Yuan","paperDate":"2019-11-13","publishedOn":"2025-02-02","paperTitle":"Momentum Contrast for Unsupervised Visual Representation Learning","paperUrl":"https://arxiv.org/abs/1911.05722","bibliography":{"title":"Momentum Contrast for Unsupervised Visual Representation Learning","authors":["Kaiming He","Haoqi Fan","Yuxin Wu","Saining Xie","Ross Girshick"],"url":"https://arxiv.org/abs/1911.05722","pdfUrl":"https://arxiv.org/pdf/1911.05722","codeUrl":"https://github.com/facebookresearch/moco","preprint":{"id":"1911.05722","submittedOn":"2019-11-13","url":"https://arxiv.org/abs/1911.05722"},"publication":{"venue":"CVPR","year":2020,"kind":"conference","url":"https://arxiv.org/abs/1911.05722"},"citation":"@misc{contrastivelearningmocov12019,\n  title = {{Momentum Contrast for Unsupervised Visual Representation Learning}},\n  author = {Kaiming He and Haoqi Fan and Yuxin Wu and Saining Xie and Ross Girshick},\n  year = {2019},\n  eprint = {1911.05722},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1911.05722}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/moco-v1.071856b9c037.bib"},"thumbnail":{"src":"/content/papers/assets/3a4882b957f17e3a6602961426e26fff6695a72aaeb56af2cebae22324f4018b.jpg","width":668,"height":540},"locale":"ja","path":"/content/papers/ja/contrastive-learning/moco-v1.1c699c219c0e.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"アルゴリズム設計","text":"アルゴリズム設計","depth":3},{"id":"事前学習タスク","text":"事前学習タスク","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"特徴の頑健性","text":"特徴の頑健性","depth":3},{"id":"モメンタム係数の影響","text":"モメンタム係数の影響","depth":3},{"id":"他の方法との比較","text":"他の方法との比較","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{"前置タスク":"事前学習タスク"},"guide":null,"relatedReading":[{"id":"contrastive-learning/instdisc","relation":"background","topic":"インスタンス識別とモメンタムエンコーダ"},{"id":"contrastive-learning/moco-v2","relation":"next","topic":"インスタンス識別とモメンタムエンコーダ"}]},{"id":"contrastive-learning/instdisc","category":"contrastive-learning","legacyPath":"contrastive-learning/1805-instdisc","legacySlug":"1805-instdisc","legacyPaths":[],"title":"InstDisc","subtitle":"多々益善","author":"Z. Yuan","paperDate":"2018-05-05","publishedOn":"2025-01-14","paperTitle":"Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination","paperUrl":"https://arxiv.org/abs/1805.01978","bibliography":{"title":"Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination","authors":["Zhirong Wu","Yuanjun Xiong","Stella Yu","Dahua Lin"],"url":"https://arxiv.org/abs/1805.01978","pdfUrl":"https://arxiv.org/pdf/1805.01978","codeUrl":"https://github.com/zhirongw/lemniscate.pytorch","preprint":{"id":"1805.01978","submittedOn":"2018-05-05","url":"https://arxiv.org/abs/1805.01978"},"publication":{"venue":"CVPR","year":2018,"kind":"conference","url":"https://arxiv.org/abs/1805.01978"},"citation":"@misc{contrastivelearninginstdisc2018,\n  title = {{Unsupervised Feature Learning via Non-Parametric Instance-level Discrimination}},\n  author = {Zhirong Wu and Yuanjun Xiong and Stella Yu and Dahua Lin},\n  year = {2018},\n  eprint = {1805.01978},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/1805.01978}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/instdisc.ad3adbeab210.bib"},"thumbnail":{"src":"/content/papers/assets/f817cb2e85295d34a64e206290f1d155b3da61b3b7ac7a607b6f471721849498.jpg","width":1224,"height":286},"locale":"ja","path":"/content/papers/ja/contrastive-learning/instdisc.beec60df7588.md","headings":[{"id":"問題の定義","text":"問題の定義","depth":2},{"id":"生成モデル","text":"生成モデル","depth":3},{"id":"自己教師あり構造学習","text":"自己教師あり構造学習","depth":3},{"id":"問題の解決","text":"問題の解決","depth":2},{"id":"モデル構造","text":"モデル構造","depth":3},{"id":"従来の分類器の問題","text":"従来の分類器の問題","depth":3},{"id":"非パラメトリック分類器","text":"非パラメトリック分類器","depth":3},{"id":"メモリバンク","text":"メモリバンク","depth":3},{"id":"noise-contrastive-estimation","text":"Noise-Contrastive Estimation","depth":3},{"id":"z_i-の近似","text":"Z_i の近似","depth":3},{"id":"近接正則化proximal-regularization","text":"近接正則化（Proximal Regularization）","depth":3},{"id":"討論","text":"討論","depth":2},{"id":"パラメトリック-vs-ノンパラメトリック-softmax","text":"パラメトリック vs ノンパラメトリック Softmax","depth":3},{"id":"画像分類タスクでの性能","text":"画像分類タスクでの性能","depth":3},{"id":"データセット間の汎化能力","text":"データセット間の汎化能力","depth":3},{"id":"アブレーション実験---特徴次元","text":"アブレーション実験 - 特徴次元","depth":3},{"id":"アブレーション実験---訓練データセットサイズ","text":"アブレーション実験 - 訓練データセットサイズ","depth":3},{"id":"可視化分析","text":"可視化分析","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/moco-v1","relation":"next","topic":"インスタンス識別とモメンタムエンコーダ"}]},{"id":"contrastive-learning/moco-v2","category":"contrastive-learning","legacyPath":"contrastive-learning/2003-moco-v2","legacySlug":"2003-moco-v2","legacyPaths":[],"title":"MoCo v2","subtitle":"一矢を報いる","author":"Z. Yuan","paperDate":"2020-03-09","publishedOn":"2025-02-10","paperTitle":"Improved Baselines with Momentum Contrastive Learning","paperUrl":"https://arxiv.org/abs/2003.04297","bibliography":{"title":"Improved Baselines with Momentum Contrastive Learning","authors":["Xinlei Chen","Haoqi Fan","Ross Girshick","Kaiming He"],"url":"https://arxiv.org/abs/2003.04297","pdfUrl":"https://arxiv.org/pdf/2003.04297","codeUrl":null,"preprint":{"id":"2003.04297","submittedOn":"2020-03-09","url":"https://arxiv.org/abs/2003.04297"},"publication":null,"citation":"@misc{contrastivelearningmocov22020,\n  title = {{Improved Baselines with Momentum Contrastive Learning}},\n  author = {Xinlei Chen and Haoqi Fan and Ross Girshick and Kaiming He},\n  year = {2020},\n  eprint = {2003.04297},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2003.04297}\n}\n","citationPath":"/content/papers/citations/contrastive-learning/moco-v2.3bd1c733148f.bib"},"thumbnail":{"src":"/content/papers/assets/0f817bf1235f2d95a4b7dbd5953fe29dfb2a5e0dd2f4890364d922d50c45d371.jpg","width":1200,"height":952},"locale":"ja","path":"/content/papers/ja/contrastive-learning/moco-v2.78f8635e9226.md","headings":[{"id":"問題定義","text":"問題定義","depth":2},{"id":"問題解決","text":"問題解決","depth":2},{"id":"mlp-ヘッドの強化","text":"MLP ヘッドの強化","depth":3},{"id":"データ増強の強化","text":"データ増強の強化","depth":3},{"id":"議論","text":"議論","depth":2},{"id":"simclr-との比較","text":"SimCLR との比較","depth":3},{"id":"計算量とリソース消費","text":"計算量とリソース消費","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"contrastive-learning/moco-v1","relation":"background","topic":"インスタンス識別とモメンタムエンコーダ"},{"id":"contrastive-learning/moco-v3","relation":"next","topic":"インスタンス識別とモメンタムエンコーダ"}]}],"text":"多くの組織が対比学習の分野で自分たちの見解を提案しており、Facebook AI Research（FAIR）もその例外ではありません。\n\n彼らもこの議論に参加し、対比学習の鍵は「モメンタム」にあるかもしれないと考えています。\n\n\n> [!TIP]\n> \n> 本論文は Facebook AI Research（FAIR）の研究です。その後、Facebook の親会社は Meta に社名を変更しましたが、会社の改称と研究組織の名称を同一視しないようにします。\n\n\n## 問題の定義\n\nNLP 分野では、テキスト空間の本質は離散的であり、単語やサブワードトークンを「辞書」として簡単に扱うことができます。これに対して、画像空間は連続的で高次元であり、テキストのような自然な分割はありません。画像に対してトークン化のようなプロセスを適用するには、どのように動的に「辞書」を構築し、その中から負のサンプル（negative）と正のサンプル（positive）を抽出するかを考慮する必要があります。\n\n以前のいくつかの論文を読んだところ、効果は良好でしたが、依然としていくつかの問題が存在します：\n\n1. **辞書のサイズは通常、バッチサイズや GPU メモリに制限される。**\n2. **ネットワークパラメータが更新されるたびに、辞書内の「古い」特徴ベクトルと「新しい」特徴ベクトルが一致しない可能性がある。**\n\n一つの解決策は、以前の論文で提案されたように非常に大きな辞書を使用することですが、ネットワークパラメータが継続的に更新されるため、メモリバンクに保存された特徴ベクトルは新しいパラメータと一致せず、対比の際に「一貫性」が欠如します。\n\n「一貫性」がないので、辞書を現在のミニバッチに制限する方法はどうでしょうか？\n\nそれも有効な方法ですが、トレードオフがあります。\n\nこの方法は、取得した特徴が一貫性を保つことを保証しますが、実際にはバッチサイズが制約されるため、利用可能な負のサンプルが非常に少なくなります。負のサンプルが不足しているため、対比学習の効果が低下します。\n\n著者は、辞書の規模を拡大しつつ、辞書内の特徴ベクトルの一貫性を保つ方法を見つけたいと考え、Momentum Contrast（MoCo）を提案しました。\n\n簡単に言うと、大量の負のサンプルを保存するためにキュー（queue）を使用し、モメンタム更新（momentum update）でキーエンコーダーがゆっくり進化し、過去の負のサンプルとの一貫性を保つというものです。\n\n本当にそれだけで簡単に解決できるのでしょうか？\n\nでは、この方法の詳細を見てみましょう。\n\n## 問題解決\n\nMoCo の核心的な仮定は、辞書の負のサンプルの数が多ければ多いほど（多様性をカバーできることを意味します）、訓練過程でエンコーディングの「一貫性」（consistency）が高ければ高いほど、より良い特徴表現を学習できるというものです。\n\n設計コンセプトは以下の図の通りです：\n\n\n\n![model_arch](/content/papers/assets/3a4882b957f17e3a6602961426e26fff6695a72aaeb56af2cebae22324f4018b.jpg)\n\n\n\nクエリエンコーダーは現在のクエリ側のビューを処理し、キーエンコーダーは対応する正例側のビューを処理します。新しいキーはキューに入り、以後のバッチでは負例として使われます。キュー内では保存済みのベクトルをそのまま使います。異なる時点のキーの不整合を抑えるため、キーエンコーダーをゆっくりとモメンタム更新します：\n\n$$\n\\theta_k \\leftarrow m \\theta_k + (1 - m)\\theta_q\n$$\n\nここで、$\\theta_q$ と $\\theta_k$ はそれぞれクエリエンコーダーとキーエンコーダーのパラメータを示し、$m$ はモメンタム係数（例えば 0.999）です。キーエンコーダーをゆっくり変化させることで、過去のバッチからキューに保存されたキーと、新しく計算されたキーとのエンコード方法の差を抑えます。\n\nまた、著者はここで「キュー」を設計して、大量の負のサンプルを保存します。\n\nこのキューのサイズはバッチサイズよりも大きくすることができ、より多くの負のサンプルを保存できます。訓練中に新しいバッチが入力されると、それがエンコードされてキューの末尾に追加され、最も古いキーはキューから取り出されます。これにより、大量で多様な負のサンプルを維持しながら、毎回更新するのは新しいバッチのみで済み、計算量も相対的に管理可能です。\n\n\n> [!TIP]\n> \n> この論文では、著者は「クエリ（query）」と「キー（key）」という言葉を多用しています。\n> \n> これは、自己注意メカニズムのクエリ-キー-バリュー（query-key-value）とは関係ありません。ここでのクエリとキーは、対比学習における「正のサンプル」と「負のサンプル」の関係を表現するための比喩に過ぎません。\n> \n> 概念的には、著者は**対比学習**において「辞書クエリ」の比喩を使って**「クエリ（query）」** と **「キー（key）」** を使って「正のサンプル（positive）」と「負のサンプル（negative）」の関係を説明しています：\n> \n> 1. **Query（クエリ）**：このベクトルは「分類」または「識別」される対象で、一般的な対比学習における「アンカー（anchor）」に似ています。InfoNCE や他の対比損失では、クエリとその正のサンプルを近づけ、無関係な負のサンプルを遠ざけることが望まれます。\n> 2. **Key（キー）**：辞書内の各要素はキーと呼ばれます；それは**正のサンプル**（クエリに一致するキー）または**負のサンプル**（クエリに一致しない他のキー）です。言い換えれば、特定のクエリに対して、1 つのキーが「正のサンプル（positive）」で、他のキーはすべて「負のサンプル（negative）」です。\n> \n> 著者は「辞書—クエリ」関係を強調するため、正のサンプルと負のサンプルをすべてキーと呼び、それに対応するサンプルをクエリと呼んでいます。\n\n\n### アルゴリズム設計\n\n著者は、読者が論文をすべて読む時間がないことを理解しているかもしれませんので、完全なアルゴリズムのフローを提供しています。これを見れば、論文を読んだことと同じ効果があります。\n\n\n\n![algo](/content/papers/assets/01b105bd350bdd5cbe9a714d5de63f491e75c557b7b88963f502ad70f2df5631.jpg)\n\n\n\n一行ずつ見ていきましょう。以下は説明用の疑似コードで、エンコーダー出力は L2 正規化されているものとします。実装ではパラメータのコピー、デバイス、テンソル形状も明示的に扱います。\n\n---\n\n```python\n# f_q, f_k: queryとkeyのためのエンコーダーネットワーク\n# queue: K個のkeyを持つ辞書（CxK）\n# m: モメンタム\n# t: 温度\n\nf_k.params = f_q.params # 初期化\n```\n\n1. この行は **key encoder (f_k)** のパラメータを **query encoder (f_q)** のパラメータで初期化します。\n   - 初めは 2 つのエンコーダーは一致しており、訓練中にモメンタム更新を使用して key encoder がゆっくりと進化します。\n\n```python\nfor x in loader: # N個のサンプルを含むミニバッチxを読み込む\n```\n\n2. **データローダー (loader)** を使用して、**N 個のサンプル**を含むミニバッチを読み込みます。\n   - 通常、`loader` は PyTorch の `DataLoader` であり、データセットからバッチを継続的に取り出します。\n\n```python\nx_q = aug(x) # ランダムに拡張されたバージョン\nx_k = aug(x) # もう一つのランダムに拡張されたバージョン\n```\n\n3. 同じ画像 `x` に対してランダム拡張（augmentation）を行います。\n   - `x_q` と `x_k` は同じ元画像から来ていますが、ランダムな切り取り、反転、色の揺れなどの操作によって 2 つの異なる「ビュー（views）」を形成します。\n   - `x_q` は query encoder に、`x_k` は key encoder に渡され、「正例」ペアを形成します。\n\n```python\nq = f_q.forward(x_q) # クエリ: NxC\nk = f_k.forward(x_k) # キー: NxC\n```\n\n4. **query encoder (f_q)** と **key encoder (f_k)** を使用して、拡張された画像をそれぞれ前向き伝播します。\n   - `q` の形状は `N x C` で、N 個のサンプル、それぞれの特徴ベクトルの次元が C です。\n   - `k` も同様に `N x C` です。\n\n```python\nk = k.detach() # キーに対しては勾配を追跡しない\n```\n\n5. `k.detach()` は `k` に対して勾配追跡を行わないことを示します。\n   - なぜなら、key encoder の更新は逆伝播ではなく「モメンタム更新」によって行われるからです。\n   - これにより損失からキー側への勾配を遮断します。実装では `no_grad` 内で順伝播すれば、最初からこの枝の計算グラフを構築せずに済みます。\n\n```python\n# 正例のロジット: Nx1\nl_pos = bmm(q.view(N,1,C), k.view(N,C,1)).squeeze(-1)\n```\n\n6. **正例 (positive)** のロジットを計算します。\n   - `q.view(N,1,C)` は `q` を (N, 1, C) にリシェイプし、`k.view(N,C,1)` は (N, C, 1) になります。これにより、バッチ行列積（batch matrix multiplication）を行います。\n   - `bmm` はバッチ次元ごとに内積を計算し、結果は `(N,1,1)` で、`squeeze(-1)` で末尾の次元を除くと `(N,1)` となり、各サンプルの正例類似度（内積）になります。\n\n```python\n# 負例のロジット: NxK\nl_neg = mm(q.view(N,C), queue.view(C,K))\n```\n\n7. **負例 (negative)** のロジットを計算します。\n   - ここで `queue` のサイズは `(C x K)` で、K 個の鍵ベクトルが含まれ、それぞれの次元が C です。\n   - `q.view(N,C)` と `queue.view(C,K)` を行列乗算し、結果は `(N, K)` となり、各クエリがキュー内の K 個の鍵と内積を取ります。\n   - これらのキーはインスタンス識別の目的関数上では負例ですが、クエリと同じ意味クラスの画像を含む可能性もあります。\n\n```python\n# ロジット: Nx(1+K)\nlogits = cat([l_pos, l_neg], dim=1)\n```\n\n8. 正例のロジット (`l_pos`) と負例のロジット (`l_neg`) を結合します。\n   - 最終的に `(N, 1+K)` のテンソルが得られ、各サンプルには 1 つの正例（位置 0）と K 個の負例（位置 1〜K）があります。\n\n```python\n# 対比損失, Eqn.(1)\nlabels = zeros(N) # 正例は0番目\nloss = CrossEntropyLoss(logits/t, labels)\n```\n\n9. **対比損失 (contrastive loss)** を計算します。これは InfoNCE に似ています。\n   - `labels = zeros(N)` は N 個のサンプルに対して、正例のラベルをすべて `0` に設定します。`logits` の結合結果では、正例のロジットは最初の列にあります。\n   - `logits/t` はロジット全体を温度パラメータ `t` で割って、softmax の滑らかさを調整します。\n   - `CrossEntropyLoss` はロジットに対して softmax を行い、各サンプルを正例の位置（0 番目）に分類する交差エントロピー損失を計算します。\n\n```python\n# SGD更新: クエリネットワーク\nloss.backward()\nupdate(f_q.params)\n```\n\n10. **逆伝播 (back-propagation)** を使用して **query encoder** のパラメータを更新します。\n    - `loss.backward()` は勾配を計算し、`update(f_q.params)` は最適化器（例えば SGD）を使って重みを更新します。\n\n```python\n# モメンタム更新: キーネットワーク\nf_k.params = m*f_k.params + (1-m)*f_q.params\n```\n\n11. **モメンタム更新（momentum update）** を使用して **key encoder** のパラメータを更新します：\n    $$\n    \\theta_k \\leftarrow m\\,\\theta_k \\;+\\;(1 - m)\\,\\theta_q\n    $$\n    - ここで `m` はモメンタム係数（通常は 1 に近い値、例えば 0.999）です。\n    - key encoder のパラメータは query encoder にゆっくりと追従し、キュー内の古い key と新しい key のエンコード方法の差を抑えます。\n\n```python\n# 辞書の更新\nenqueue(queue, k) # 現在のミニバッチをキューに追加\ndequeue(queue) # 最も古いミニバッチをキューから削除\n```\n\n12. **辞書（キュー）の更新**：\n    - `enqueue(queue, k)`：現在のバッチ `k`（形状は `N x C`）をキューの末尾に追加します。\n    - `dequeue(queue)`：最も古いバッチの key をキューの先頭から削除し、キューのサイズを設定された K に保ちます。\n    - これにより、キューは常に最近エンコードされた key を保持し、次の訓練ループで大量で多様な負例を提供します。\n\n---\n\nプログラムコードを読み終えた後、いくつかの重要なポイントをまとめましょう：\n\n1. **二重エンコーダーアーキテクチャ (f_q, f_k)**：Query encoder は現在のクエリを、Key encoder は対応する正例キーを計算します。キーは以後のバッチの負例としてキューに保存され、キー側のパラメータは勾配では更新しません。\n2. **モメンタム更新 (Momentum Update)**：Key encoder はゆっくりと Query encoder のパラメータに追従し、ネットワークの急激な変動による「不一致性」を減らします。\n3. **大規模辞書 (Queue) メカニズム**：毎回現在のバッチの key のみをエンコードし、それらをキューに追加します。最も古い key を削除することで、大量の負例（keys）を保持し、対比学習の効果を高め、memory bank のように全データセットを保持して巨量なメモリを消費することを避けます。\n4. **対比損失 (Contrastive Loss)**：クエリと正例・負例キーの内積からロジット $\\ell_{\\text{pos}}$ と $\\ell_{\\text{neg}}$ を得て、softmax + cross entropy を使って InfoNCE 損失を実現します。\n\nこのアルゴリズムは大規模なキューを使って対比学習を行い、モメンタム更新で異なるバッチのキー間のエンコード差を抑え、下流タスクに使える画像表現を学ぶことを目指します。\n\n### 事前学習タスク\n\nこの論文の主な焦点は「新しい事前学習タスク」の設計ではなく、さまざまな対比学習に対応する「大きくて一貫した」辞書を構築するための汎用メカニズム MoCo の提案です。\n\n著者は実験で、よく使われる単純な手法である **インスタンス識別 (instance discrimination)** を使用し、同一画像の異なるデータ拡張したビューを正例として扱い、他の画像のデータ拡張したビューを負例として扱いました。\n\n特に注目すべきは、著者が実験中に「BN チート (Batch Normalization Cheating)」の問題に直面した点です。\n\nBN チートとは、Batch Normalization が同じバッチ内で統計量を共有するため、クエリと対応する正例キーの間で情報が伝わり、損失は低いものの表現の質が悪い解に至り得る問題です。\n\nShuffling BN では、複数 GPU で訓練する際、キー側のミニバッチのサンプル順をシャッフルしてから各 GPU に分配してエンコードし、その後で元の順序に戻して正例ペアを対応づけます。クエリ側はシャッフルしません。対応するクエリと正例キーが異なるローカルミニバッチの BN 統計量を使うことで、情報漏れを抑えます。\n\n\n> [!TIP]\n> \n> **なぜ以前の memory bank にはこの問題がなかったのか？**\n> \n> memory bank の状況では、正例の key は実際には過去のバッチのサンプルであり、つまりそれらはもともと現在のバッチと同じ BN 統計量を共有しないため、特別にシャッフルを行う必要はありませんでした。しかし、MoCo では現在のバッチ内で即時にクエリと key の表現を計算するため、この問題が発生したのです。\n\n\n## 討論\n\nいくつかの主要なグラフを取り上げて、MoCo の効果を見てみましょう。完全な実験結果については、読者が元の論文を参照してください。\n\n### 特徴の頑健性\n\n著者は **線形分類 (linear classification)** を使用して、MoCo が学習した特徴の良し悪しを評価しました。\n\n- **自己教師あり事前訓練**：ImageNet-1M (IN-1M) 上で MoCo の自己教師あり訓練を実施し、特徴抽出ネットワークを得ました。\n- **特徴の固定 (freeze)**：次に、そのネットワークの畳み込み層の重みを固定し、最後に全結合層（fully-connected layer + softmax）を追加して教師ありの線形分類を行い、100 エポックで訓練しました。\n- **評価**：ImageNet の検証セットで Top-1 分類精度（1-crop）を測定しました。\n\nこのプロセスは、コンピュータビジョンでよく使われる「自己教師あり特徴表現の検証方法」であり、微調整の影響を排除することができます。\n\n比較対象は、以下の 3 つの一般的な対比損失機構です：\n\n1. **End-to-end**：クエリエンコーダーとキーエンコーダーを同時に逆伝播で更新します。\n2. **Memory bank**：特徴ベクトルは事前にメモリーバンクに保存されますが、訓練中に更新されるため、新旧の特徴が一致しなくなりやすいです。\n3. **MoCo**：モメンタム更新を使用した key encoder と、大規模なキューで負のサンプルを管理します。\n\n実験結果は以下の通りです：\n\n\n\n![result1](/content/papers/assets/d3e0b30bf97cdbc3d444fe62f43719668b7bf06fe85a545a6aa5ffd488604dc7.jpg)\n\n\n\n- すべての方法で、辞書のサイズ $K$ が大きくなるにつれて精度が向上し、大きな辞書がより多くのサンプルの多様性をキャプチャできることが示されています。\n- **End-to-end** 機構は、ミニバッチのサイズに制限されます（著者は 8 枚の Volta 32GB カードで、バッチサイズは約 1024 をサポート）。しかし、バッチサイズをさらに拡大しようとすると、大規模な訓練での課題が発生します。\n- **Memory bank** はより大きな辞書を使えますが、$K=65536$ では 58.0% で、MoCo の 60.6% より 2.6 ポイント低い値です。著者は、古い特徴と現在のエンコード方法との差が一因と考えています。\n- **MoCo** は図中の大きな辞書の設定で最良の結果を示し、「大きな辞書」とキーの一貫性を両立させる設計の根拠になっています。\n\n### モメンタム係数の影響\n\n著者はさらにモメンタム係数 $m$ が MoCo のパフォーマンスに与える影響を調査しました。\n\n以下の表は、異なる $m$ の値が事前訓練 (K = 4096) のもとで ResNet-50 に与える影響を示しています：\n\n| momentum $m$ | 0    | 0.9  | 0.99 | 0.999 | 0.9999 |\n| ------------ | ---- | ---- | ---- | ----- | ------ |\n| accuracy (%) | fail | 55.2 | 57.8 | 59.0  | 58.9   |\n\n実験結果から、モメンタム係数 $m$ が MoCo のパフォーマンスに明確な影響を与えることが示されています：\n\n- $m$ が小さすぎる（例えば 0.9）と、表現学習が不安定になり、精度が大幅に低下します。\n- $m=0$ では収束すらしません。\n\n逆に、**0.99〜0.9999 の範囲**では、良好な表現を学習することができ、その中でも 0.999 付近が最も効果的です。これは「遅い進化をする key encoder」が辞書の一貫性を保ち、訓練が安定して収束するのに役立つことを示しています。\n\n### 他の方法との比較\n\n\n\n![result2](/content/papers/assets/391da71297fe42c1ba793758153f939c1875d3c4db2d93c6606a2a52e4c688e9.jpg)\n\n\n\nより包括的な比較のため、著者は ResNet-50（R50）とその拡張バージョン（2×, 4×）を使用して MoCo の事前訓練を行い、モデルサイズ（#params）と線形分類精度との関係を報告しました。\n\n- **MoCo + R50**：**60.6%**の Top-1 精度を達成\n- **MoCo + R50w4×**：さらに大きなモデルで**68.6%**の精度\n\n詳細な比較データは以下の表に示されています。**標準的な ResNet-50**（パラメータ数約 24M）に絞ると、MoCo の 60.6% は表中の同規模の手法より高い値です：\n\n\n\n![table](/content/papers/assets/7d75e4ca30fea363afb92d73061d0ecd615b8b71e9ece8beff58f8706d275c77.jpg)\n\n\n\n\n> [!TIP]\n> \n> ここで著者は、パッチ化やカスタム受容野（receptive field）などの特別なネットワーク構造を使用していません。代わりに、ResNet の後に投影層を追加しただけで、モデルがさまざまな視覚タスクに移行できるようにしています。\n> \n> これにより同じ特徴を比較的直接、下流の視覚タスクで利用できます。図表の精度はモデルの規模と各手法の訓練条件も併せて読む必要があります。\n\n\n## 結論\n\nMoCo は、モメンタム更新とキュー管理を通じて、自己教師あり学習の設定で「大きな辞書」と「一貫性」を同時に実現するシンプルで効果的な対比学習メカニズムです。\n\n全体的に、MoCo のコアメカニズムは非常に高い汎用性と拡張性を示し、効率とパフォーマンスの両方を兼ね備えた視覚的な表現学習の解決策を提供しています。\n\n\n> [!TIP]\n> \n> このアーキテクチャは、その後いくつかのバージョンがリリースされ、改良が加えられています。後でその進化を見ていきましょう。\n","imageSizes":{"/content/papers/assets/3a4882b957f17e3a6602961426e26fff6695a72aaeb56af2cebae22324f4018b.jpg":{"width":668,"height":540},"/content/papers/assets/01b105bd350bdd5cbe9a714d5de63f491e75c557b7b88963f502ad70f2df5631.jpg":{"width":772,"height":984},"/content/papers/assets/d3e0b30bf97cdbc3d444fe62f43719668b7bf06fe85a545a6aa5ffd488604dc7.jpg":{"width":1224,"height":660},"/content/papers/assets/391da71297fe42c1ba793758153f939c1875d3c4db2d93c6606a2a52e4c688e9.jpg":{"width":1102,"height":694},"/content/papers/assets/7d75e4ca30fea363afb92d73061d0ecd615b8b71e9ece8beff58f8706d275c77.jpg":{"width":880,"height":840}}}
