{"notes":[{"id":"graph-learning/where-did-the-gap-go","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Where Did the Gap Go?","subtitle":"差はどこへ消えた？","author":"Z. Yuan","paperDate":"2023-09-01","publishedOn":"2025-11-12","paperTitle":"Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark","paperUrl":"https://arxiv.org/abs/2309.00367","bibliography":{"title":"Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark","authors":["Jan Tönshoff","Martin Ritzert","Eran Rosenbluth","Martin Grohe"],"url":"https://arxiv.org/abs/2309.00367","pdfUrl":"https://arxiv.org/pdf/2309.00367v2","codeUrl":"https://github.com/toenshoff/LRGB","preprint":{"id":"2309.00367","submittedOn":"2023-09-01","url":"https://arxiv.org/abs/2309.00367"},"publication":{"venue":"Transactions on Machine Learning Research","shortVenue":"TMLR","year":2024,"kind":"journal","url":"https://openreview.net/forum?id=Nm0WX86sKv"},"citation":"@misc{graphlearningwheredidthegapgo2023,\n  title = {{Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark}},\n  author = {Jan Tönshoff and Martin Ritzert and Eran Rosenbluth and Martin Grohe},\n  year = {2023},\n  eprint = {2309.00367},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2309.00367}\n}\n","citationPath":"/content/papers/citations/graph-learning/where-did-the-gap-go.288771073197.bib"},"thumbnail":{"src":"/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png","width":1118,"height":416},"locale":"ja","path":"/content/papers/ja/graph-learning/where-did-the-gap-go.b479b0d84134.md","headings":[{"id":"問題設定","text":"問題設定","depth":2},{"id":"解決方法","text":"解決方法","depth":2},{"id":"基本的な探索","text":"基本的な探索","depth":3},{"id":"チャネル別正規化","text":"チャネル別正規化","depth":3},{"id":"filtered-mrr","text":"filtered MRR","depth":3},{"id":"議論","text":"議論","depth":2},{"id":"ペプチド","text":"ペプチド","depth":3},{"id":"予測ヘッド一つ","text":"予測ヘッド一つ","depth":3},{"id":"スーパーピクセル","text":"スーパーピクセル","depth":3},{"id":"pcqm-contact","text":"PCQM-Contact","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/lrgb","relation":"referenced","topic":""},{"id":"graph-learning/gnn-plus","relation":"referenced","topic":""}]},{"id":"graph-learning/lrgb","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"LRGB","subtitle":"遠くからの出題","author":"Z. Yuan","paperDate":"2022-06-16","publishedOn":"2025-10-16","world":"external/lrgb","paperTitle":"Long Range Graph Benchmark","paperUrl":"https://arxiv.org/abs/2206.08164","bibliography":{"title":"Long Range Graph Benchmark","authors":["Vijay Prakash Dwivedi","Ladislav Rampášek","Mikhail Galkin","Ali Parviz","Guy Wolf","Anh Tuan Luu","Dominique Beaini"],"url":"https://arxiv.org/abs/2206.08164","pdfUrl":"https://arxiv.org/pdf/2206.08164v4","codeUrl":"https://github.com/vijaydwivedi75/lrgb","preprint":{"id":"2206.08164","submittedOn":"2022-06-16","url":"https://arxiv.org/abs/2206.08164"},"publication":{"venue":"NeurIPS Datasets and Benchmarks","shortVenue":"NeurIPS D&B","year":2022,"kind":"conference","url":"https://proceedings.neurips.cc/paper_files/paper/2022/hash/8c3c666820ea055a77726d66fc7d447f-Abstract-Datasets_and_Benchmarks.html"},"citation":"@misc{graphlearninglrgb2022,\n  title = {{Long Range Graph Benchmark}},\n  author = {Vijay Prakash Dwivedi and Ladislav Rampášek and Mikhail Galkin and Ali Parviz and Guy Wolf and Anh Tuan Luu and Dominique Beaini},\n  year = {2022},\n  eprint = {2206.08164},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2206.08164}\n}\n","citationPath":"/content/papers/citations/graph-learning/lrgb.4f1c69bdfc3e.bib"},"thumbnail":{"src":"/content/papers/assets/1c4286bdcce2817b9755835b80dd77ae2c30adc996a6665ccf8f7be2ba7c964f.png","width":1098,"height":214},"locale":"ja","path":"/content/papers/ja/graph-learning/lrgb.bbb008c8e288.md","headings":[{"id":"問題設定","text":"問題設定","depth":2},{"id":"解決方法","text":"解決方法","depth":2},{"id":"五つのデータセット","text":"五つのデータセット","depth":3},{"id":"ベースライン","text":"ベースライン","depth":3},{"id":"議論","text":"議論","depth":2},{"id":"ペプチド","text":"ペプチド","depth":3},{"id":"スーパーピクセル","text":"スーパーピクセル","depth":3},{"id":"著者の観察","text":"著者の観察","depth":3},{"id":"ベンチマーク自体を再検査","text":"ベンチマーク自体を再検査","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/san","relation":"referenced","topic":""},{"id":"graph-learning/over-squashing","relation":"referenced","topic":""},{"id":"graph-learning/graphgps","relation":"referenced","topic":""}]},{"id":"graph-learning/gnn-plus","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"GNN+","subtitle":"老いた駿馬、志はいまだ遠く","author":"Z. Yuan","paperDate":"2025-02-13","publishedOn":"2025-12-06","paperTitle":"Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence","paperUrl":"https://arxiv.org/abs/2502.09263","bibliography":{"title":"Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence","authors":["Yuankai Luo","Lei Shi","Xiao-Ming Wu"],"url":"https://arxiv.org/abs/2502.09263","pdfUrl":"https://arxiv.org/pdf/2502.09263v3","codeUrl":"https://github.com/LUOyk1999/GNNPlus","preprint":{"id":"2502.09263","submittedOn":"2025-02-13","url":"https://arxiv.org/abs/2502.09263"},"publication":{"venue":"ICML","year":2025,"kind":"conference","url":"https://proceedings.mlr.press/v267/luo25h.html"},"citation":"@misc{graphlearninggnnplus2025,\n  title = {{Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence}},\n  author = {Yuankai Luo and Lei Shi and Xiao-Ming Wu},\n  year = {2025},\n  eprint = {2502.09263},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2502.09263}\n}\n","citationPath":"/content/papers/citations/graph-learning/gnn-plus.7d14d260e648.bib"},"thumbnail":{"src":"/content/papers/assets/0be1b8a606332519d042698f1c6afd3ef8857eb95682b95df1cdeb9e3bfe7648.png","width":604,"height":510},"locale":"ja","path":"/content/papers/ja/graph-learning/gnn-plus.b29a25afa6e6.md","headings":[{"id":"問題設定","text":"問題設定","depth":2},{"id":"二つのタスク","text":"二つのタスク","depth":3},{"id":"公平な比較か","text":"公平な比較か","depth":3},{"id":"解決方法","text":"解決方法","depth":2},{"id":"三つの古典モデル","text":"三つの古典モデル","depth":3},{"id":"六つの工夫","text":"六つの工夫","depth":3},{"id":"比較方法","text":"比較方法","depth":3},{"id":"議論","text":"議論","depth":2},{"id":"全体結果","text":"全体結果","depth":3},{"id":"速度もよい","text":"速度もよい","depth":3},{"id":"各工夫の役割","text":"各工夫の役割","depth":3},{"id":"著者が挙げる制約","text":"著者が挙げる制約","depth":3},{"id":"結論","text":"結論","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/classic-gnns","relation":"referenced","topic":""},{"id":"graph-learning/graphgps","relation":"referenced","topic":""},{"id":"graph-learning/where-did-the-gap-go","relation":"referenced","topic":""}]}],"text":"2022 年 LRGB の説得力ある表では、長距離が必要なペプチドで GCN、GINE、GatedGCN が Transformer に明確に負けました。後続の多くはコードと GNN の数値をそのまま使って比較します。\n\nRWTH Aachen の Jan Tönshoff、Eran Rosenbluth、Martin Grohe と Göttingen の Martin Ritzert は、これらを調整し直しました。新モデルはなく、ベースラインを丁寧に調整しただけです。\n\nすると、いくつかのデータセットで、題名の差が消えました。\n\n\n> [!TIP]\n> \n> LRGB の五セットと元実験は、こちらのノートをどうぞ。\n> \n> - **[[22.06] LRGB：遠くからの出題](/blog/papers/graph-learning/lrgb)**\n\n\n## 問題設定\n\n三つの懸念を挙げます。\n\n**ハイパーパラメーター**。LRGB の GNN は調整が十分でなく、本来の能力を出せていません。\n\n**特徴量正規化**。PascalVOC-SP、COCO-SP のノード・エッジ特徴量はチャネル間で数桁のスケール差があり、そのままでは活性値の条件が悪くなります。ビジョンの標準のチャネル別正規化を、CRaWl 以外ほぼ使っていません。\n\n**リンク予測指標**。PCQM-Contact の MRR（mean reciprocal rank）は論文定義が filtered なのに、コードは raw を計算します。\n\n最初の二点は GNN を過小評価し、三点目は論文間比較を難しくします。\n\n## 解決方法\n\n### 基本的な探索\n\n50 万パラメーターの予算を守り、GCN、GINE、GatedGCN の層数、dropout などを定義済みの範囲で探索します。符号化なし・LapPE・RWSE も探索対象です。\n\nGraphGPS も同条件で再評価し、三データセットで明確に改善しました。両者を同じ条件で調整しています。\n\n### チャネル別正規化\n\n画像二セットでは訓練の各チャネルの平均 $\\mu_i$、標準偏差 $\\sigma_i$ を求め、$\\tilde x_i=(x_i-\\mu_i)/\\sigma_i$ にします。\n\n### filtered MRR\n\n真の $(h, t)$ に対し、候補 $(h, x)$ をスコア順に並べ、$t$ の順位の逆数を平均します。\n\n一 head に真の tail が複数あると、ほかの正解が高得点のため $t$ が下がることがあり、モデルの誤りにはなりません。**filtered** はほかの正解を候補から先に除きます。\n\n対称内積では自分との内積が高く、$(h, h)$ が首位になりやすい点もあります。このタスクでは自己ループは正解にならないので、それも除く **extended filtering** を提案します。\n\n真の t1、t2 と、自分、誤候補二つを持つ head で計算します。\n\n```python\nscores = {\"h 自身\": 0.95, \"t1\": 0.90, \"t2\": 0.80, \"x1\": 0.60, \"x2\": 0.40}\ntrue_tails = [\"t1\", \"t2\"]                     # この head には二つの真のエッジ\n\ndef mrr(drop):\n    total = 0\n    for t in true_tails:\n        candidates = [c for c in scores if c == t or c not in drop(t)]\n        rank = 1 + sum(scores[c] > scores[t] for c in candidates)\n        total += 1 / rank\n    return total / len(true_tails)\n\nprint(\"raw            :\", round(mrr(lambda t: set()), 3))\nprint(\"filtered       :\", round(mrr(lambda t: set(true_tails)), 3))         # ほかの真の tail を除く\nprint(\"extended filter:\", round(mrr(lambda t: set(true_tails) | {\"h 自身\"}), 3))   # 自己ループも除く\n```\n\n```text\nraw            : 0.417\nfiltered       : 0.5\nextended filter: 1.0\n```\n\n同じスコアでも三つの MRR です。raw の t2 は t1 と自分の下の三位、filtered では t1 を除いて二位、さらに自分を除けば両正解が一位です。モデルを変えず 0.417 から 1.0 になります。\n\n## 議論\n\n### ペプチド\n\n[![原論文 Figure 1：左は Peptides-func AP と struct MAE の表で、LRGB の元値、緑で改善を示す再調整、新しいモデルの三段。右は GatedGCN、GINE、GCN の線形ヘッド、二層 MLP、完全調整を比べる二つの棒図で、赤線が GPS。](/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png)](/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png)\n\n*原論文 Figure 1（Tönshoff ら）、[**PDF 2 ページ**](https://arxiv.org/pdf/2309.00367v2#page=2)より、CC BY 4.0。子図と全体の原キャプションは省略。*\n\n左の上段は LRGB、中段は再調整、下段は当時の新モデルです。\n\n| モデル | Peptides-func AP ↑ | Peptides-struct MAE ↓ |\n| --- | ---: | ---: |\n| GCN（LRGB 元値） | 0.5930 | 0.3496 |\n| GPS（GraphGPS 論文） | 0.6535 | 0.2500 |\n| GCN（調整後） | **0.6860**（+16%） | **0.2460**（+30%） |\n| GINE（調整後） | 0.6621（+20%） | 0.2473（+30%） |\n| GatedGCN（調整後） | 0.6765（+11%） | 0.2477（+26%） |\n| GPS（再評価） | 0.6534 | 0.2509 |\n\n三 GNN とも両セットで GPS を上回ります。GCN の func 0.6860 は GRIT、Graph ViT と同等、struct 0.2460 は当時最良に並びます。単純な GCN で十分と書いています。GPS は元とほぼ同じで、これが実力だと見ます。\n\n### 予測ヘッド一つ\n\n鍵は**予測ヘッドの深さ**でした。\n\n右のアブレーションは、一線形層を二層 MLP にし、ほかを固定します。青は線形、橙は MLP、緑は完全調整、赤線は GPS。func で明確に改善し、struct は差のほぼ全てが埋まります。GPS はほぼ同じです。\n\n目標がグラフ大域情報の非線形関数らしいため、と説明します。伝播後の線形ヘッドでは表せません。Transformer は各層の深い FFN で大域情報を処理し、影響が小さい。深いヘッドはより単純で安い解決です。\n\n### スーパーピクセル\n\n| モデル | PascalVOC-SP F1 ↑ | COCO-SP F1 ↑ |\n| --- | ---: | ---: |\n| GCN（LRGB 元値） | 0.1268 | 0.0841 |\n| GatedGCN（LRGB 元値） | 0.2873 | 0.2641 |\n| GPS（GraphGPS 論文） | 0.3748 | 0.3412 |\n| GCN（正規化 + 調整） | 0.2078（+64%） | 0.1338（+59%） |\n| GINE（正規化 + 調整） | 0.2718（+115%） | 0.2125（+59%） |\n| GatedGCN（正規化 + 調整） | 0.3880（+35%） | 0.2922（+11%） |\n| GPS（正規化 + 調整） | **0.4440**（+18%） | **0.3884**（+13%） |\n\n全て改善します。PascalVOC-SP の GatedGCN 0.3880 は元 GPS 0.3748 を超え、GPS も 0.4440 へ上がり、唯一正規化済みの CRaWl と約 1 ポイント差になります。元の大差は主に未正規化の入力によると述べます。\n\nGatedGCN 以外は、改善の半分超が正規化だけによります。GatedGCN は精度の変化は小さくても、シード間分散が大幅に減ります。\n\n再調整後、Graph Transformer が明確に先行するのはこの二セットだけです。\n\n### PCQM-Contact\n\n再調整後の raw MRR は絶対値で約 3% 上がり、GPS の小幅優位も消えます。\n\n同じ予測を filtered で測るとさらに約 3% 上がり、raw の文献と比べればモデル改善と誤認しかねません。自己ループも除くとさらに約 10 ポイント上がり、GPS が小幅首位へ戻ります。GPS は自己ループに特に影響されると推測します。\n\n指標の選び方が、順位を直接変えます。\n\n## 結論\n\n基本的な探索でペプチドの差を消し、二層ヘッドが鍵と示しました。画像を正規化して全モデルを改善し、PCQM-Contact の定義・実装の不一致を指摘して filtered、extended を補いました。\n\n結論には問いが残ります。優位が二画像セットだけなら、ほかは長距離なしでも解けるのか、Graph Transformer が長距離を使う力で本質的に優れるとは限らないのか、という問いです。\n\n二年後、北京航空航天大学と香港理工大学の Luo らは、14 のグラフレベルのデータセットに広げ、古典 GNN に六技巧を加え、同等以上にしました。\n\n\n> [!TIP]\n> \n> 系統的に強化して比較する方法は、こちらのノートをどうぞ。\n> \n> - **[[25.02] GNN+：老いた駿馬、志はいまだ遠く](/blog/papers/graph-learning/gnn-plus)**\n\n\n多くの論文が使う表を、二層ヘッドが書き換えました。比較表のベースライン設定は、新アーキテクチャと同じくらい細かく読む価値があります。\n","imageSizes":{"/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png":{"width":1118,"height":416}}}