
2016 年、Google が二つの手書き数字モデルの重みを平均すると、起点が異なる場合は壊れ、同じ場合は両方よりよくなった。10 年後、Cohere は同じ平均で六つの専門モデルを 1,110 億パラメータの Command A にまとめ、DeepSeek-V4 は蒸留を選んだ。ノート PC で動く小実験から、マージが成り立つ条件、ランキングでの流行、現在の用途をたどる。
研究成果、製品の進展、そして私たちの取り組みを支えるアイデアを紹介します。
395 本の論文ノートを、テーマ・モデル・タイトルから探せます。

2016 年、Google が二つの手書き数字モデルの重みを平均すると、起点が異なる場合は壊れ、同じ場合は両方よりよくなった。10 年後、Cohere は同じ平均で六つの専門モデルを 1,110 億パラメータの Command A にまとめ、DeepSeek-V4 は蒸留を選んだ。ノート PC で動く小実験から、マージが成り立つ条件、ランキングでの流行、現在の用途をたどる。

2016 年、GCN は一行の式で畳み込みをグラフへ移しました。四日後、画像格子に戻すと 3×3 の平均カーネルだけになると指摘されます。六ノードの小さなグラフを携え、スペクトル、空間、識別力、深さ、距離から Graph Transformer まで巡り、各所で何を取り戻し、どこで壁にぶつかったかを見ます。

2020年、DETR は NMS が要らないと言いました。2026年9月、YOLO26 のデフォルトには再び NMS がつながれました。犬1匹がボックスで3回囲まれる話から始めて、一対一マッチングが何を省き、学習に何を払わせたのかを見たうえで、DETR と YOLO の二つの路線が中間でどう出会ったのかをたどります。

2023年末、Mamba は Transformer の継承者と目されていました。2年あまり後、Qwen、Kimi、NVIDIA のモデルでは層の大半がこの系譜の線形層になりましたが、どれもアテンション層を何層か残しています。「電話番号を覚えられない」という話から始めて、代替候補だった Mamba がハイブリッドアーキテクチャの多数派になるまでをたどります。

英語の1ページをランダムな文字に置き換えると、DeepSeek-OCRのTinyモードは88%から20%に落ちます。CTCから注意デコーダー、TrOCR、ページ全体を読むVLMまでをたどり、言語的事前知識がどう強まり、どれだけ役立ってきたのか、そしてどの項目をモデルの推測に任せてはいけないのかを見ていきます。

待って、もう一度見よう

2025年11月には意味検索を「現時点では必要」としていたCursorが、2026年7月には意味検索の索引をgrepへ切り替えました。長いコンテキスト、KV cache、自分で資料を探すagentをたどり、初期RAGのどの前提が変わり、正しい資料を見つけることがなぜ今も難しいのかを考えます。