{"notes":[{"id":"graph-learning/where-did-the-gap-go","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Where Did the Gap Go?","subtitle":"Où est passé l'écart ?","author":"Z. Yuan","paperDate":"2023-09-01","publishedOn":"2025-11-12","paperTitle":"Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark","paperUrl":"https://arxiv.org/abs/2309.00367","bibliography":{"title":"Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark","authors":["Jan Tönshoff","Martin Ritzert","Eran Rosenbluth","Martin Grohe"],"url":"https://arxiv.org/abs/2309.00367","pdfUrl":"https://arxiv.org/pdf/2309.00367v2","codeUrl":"https://github.com/toenshoff/LRGB","preprint":{"id":"2309.00367","submittedOn":"2023-09-01","url":"https://arxiv.org/abs/2309.00367"},"publication":{"venue":"Transactions on Machine Learning Research","shortVenue":"TMLR","year":2024,"kind":"journal","url":"https://openreview.net/forum?id=Nm0WX86sKv"},"citation":"@misc{graphlearningwheredidthegapgo2023,\n  title = {{Where Did the Gap Go? Reassessing the Long-Range Graph Benchmark}},\n  author = {Jan Tönshoff and Martin Ritzert and Eran Rosenbluth and Martin Grohe},\n  year = {2023},\n  eprint = {2309.00367},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2309.00367}\n}\n","citationPath":"/content/papers/citations/graph-learning/where-did-the-gap-go.288771073197.bib"},"thumbnail":{"src":"/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png","width":1118,"height":416},"locale":"fr","path":"/content/papers/fr/graph-learning/where-did-the-gap-go.983ee3bbdf75.md","headings":[{"id":"poser-le-problème","text":"Poser le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"une-recherche-élémentaire-dhyperparamètres","text":"Une recherche élémentaire d'hyperparamètres","depth":3},{"id":"normaliser-canal-par-canal","text":"Normaliser canal par canal","depth":3},{"id":"filtered-mrr","text":"filtered MRR","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"les-peptides","text":"Les peptides","depth":3},{"id":"une-tête-de-prédiction","text":"Une tête de prédiction","depth":3},{"id":"les-superpixels","text":"Les superpixels","depth":3},{"id":"pcqm-contact","text":"PCQM-Contact","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/lrgb","relation":"referenced","topic":""},{"id":"graph-learning/gnn-plus","relation":"referenced","topic":""}]},{"id":"graph-learning/lrgb","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"LRGB","subtitle":"Des épreuves venues de loin","author":"Z. Yuan","paperDate":"2022-06-16","publishedOn":"2025-10-16","world":"external/lrgb","paperTitle":"Long Range Graph Benchmark","paperUrl":"https://arxiv.org/abs/2206.08164","bibliography":{"title":"Long Range Graph Benchmark","authors":["Vijay Prakash Dwivedi","Ladislav Rampášek","Mikhail Galkin","Ali Parviz","Guy Wolf","Anh Tuan Luu","Dominique Beaini"],"url":"https://arxiv.org/abs/2206.08164","pdfUrl":"https://arxiv.org/pdf/2206.08164v4","codeUrl":"https://github.com/vijaydwivedi75/lrgb","preprint":{"id":"2206.08164","submittedOn":"2022-06-16","url":"https://arxiv.org/abs/2206.08164"},"publication":{"venue":"NeurIPS Datasets and Benchmarks","shortVenue":"NeurIPS D&B","year":2022,"kind":"conference","url":"https://proceedings.neurips.cc/paper_files/paper/2022/hash/8c3c666820ea055a77726d66fc7d447f-Abstract-Datasets_and_Benchmarks.html"},"citation":"@misc{graphlearninglrgb2022,\n  title = {{Long Range Graph Benchmark}},\n  author = {Vijay Prakash Dwivedi and Ladislav Rampášek and Mikhail Galkin and Ali Parviz and Guy Wolf and Anh Tuan Luu and Dominique Beaini},\n  year = {2022},\n  eprint = {2206.08164},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2206.08164}\n}\n","citationPath":"/content/papers/citations/graph-learning/lrgb.4f1c69bdfc3e.bib"},"thumbnail":{"src":"/content/papers/assets/1c4286bdcce2817b9755835b80dd77ae2c30adc996a6665ccf8f7be2ba7c964f.png","width":1098,"height":214},"locale":"fr","path":"/content/papers/fr/graph-learning/lrgb.0037c737cc36.md","headings":[{"id":"poser-le-problème","text":"Poser le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"cinq-jeux-de-données","text":"Cinq jeux de données","depth":3},{"id":"modèles-de-référence","text":"Modèles de référence","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"les-peptides","text":"Les peptides","depth":3},{"id":"les-superpixels","text":"Les superpixels","depth":3},{"id":"les-observations-des-auteurs","text":"Les observations des auteurs","depth":3},{"id":"le-benchmark-lui-même-réexaminé","text":"Le benchmark lui-même réexaminé","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/san","relation":"referenced","topic":""},{"id":"graph-learning/over-squashing","relation":"referenced","topic":""},{"id":"graph-learning/graphgps","relation":"referenced","topic":""}]},{"id":"graph-learning/gnn-plus","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"GNN+","subtitle":"Le vieux coursier en a encore sous le pied","author":"Z. Yuan","paperDate":"2025-02-13","publishedOn":"2025-12-06","paperTitle":"Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence","paperUrl":"https://arxiv.org/abs/2502.09263","bibliography":{"title":"Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence","authors":["Yuankai Luo","Lei Shi","Xiao-Ming Wu"],"url":"https://arxiv.org/abs/2502.09263","pdfUrl":"https://arxiv.org/pdf/2502.09263v3","codeUrl":"https://github.com/LUOyk1999/GNNPlus","preprint":{"id":"2502.09263","submittedOn":"2025-02-13","url":"https://arxiv.org/abs/2502.09263"},"publication":{"venue":"ICML","year":2025,"kind":"conference","url":"https://proceedings.mlr.press/v267/luo25h.html"},"citation":"@misc{graphlearninggnnplus2025,\n  title = {{Can Classic GNNs Be Strong Baselines for Graph-level Tasks? Simple Architectures Meet Excellence}},\n  author = {Yuankai Luo and Lei Shi and Xiao-Ming Wu},\n  year = {2025},\n  eprint = {2502.09263},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2502.09263}\n}\n","citationPath":"/content/papers/citations/graph-learning/gnn-plus.7d14d260e648.bib"},"thumbnail":{"src":"/content/papers/assets/0be1b8a606332519d042698f1c6afd3ef8857eb95682b95df1cdeb9e3bfe7648.png","width":604,"height":510},"locale":"fr","path":"/content/papers/fr/graph-learning/gnn-plus.3c2c63013097.md","headings":[{"id":"poser-le-problème","text":"Poser le problème","depth":2},{"id":"deux-types-de-tâches","text":"Deux types de tâches","depth":3},{"id":"une-comparaison-équitable-","text":"Une comparaison équitable ?","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"trois-modèles-classiques","text":"Trois modèles classiques","depth":3},{"id":"six-techniques","text":"Six techniques","depth":3},{"id":"comment-comparer-","text":"Comment comparer ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-densemble","text":"Résultats d'ensemble","depth":3},{"id":"plus-rapides-aussi","text":"Plus rapides aussi","depth":3},{"id":"le-rôle-de-chaque-technique","text":"Le rôle de chaque technique","depth":3},{"id":"les-limites-reconnues-par-les-auteurs","text":"Les limites reconnues par les auteurs","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/classic-gnns","relation":"referenced","topic":""},{"id":"graph-learning/graphgps","relation":"referenced","topic":""},{"id":"graph-learning/where-did-the-gap-go","relation":"referenced","topic":""}]}],"text":"Le Long Range Graph Benchmark (LRGB) de 2022 présentait un tableau convaincant : sur les peptides exigeant du lointain, GCN, GINE et GatedGCN perdaient tous nettement contre les Transformers. De nombreux articles de Graph Transformers reprendront ensuite ce benchmark, souvent avec son code et ses scores GNN tels quels.\n\nJan Tönshoff, Eran Rosenbluth et Martin Grohe, de RWTH Aachen, avec Martin Ritzert de Göttingen, règlent à nouveau ces références. Aucun nouveau modèle : seulement des paramètres soigneusement choisis.\n\nEt sur plusieurs jeux, l'écart du titre disparaît.\n\n\n> [!TIP]\n> \n> Pour les cinq jeux et les expériences originales de LRGB, voir notre note :\n> \n> - **[[22.06] LRGB : Des épreuves venues de loin](/blog/papers/graph-learning/lrgb)**\n\n\n## Poser le problème\n\nLes auteurs formulent trois réserves sur LRGB.\n\n**Hyperparamètres.** Les résultats GNN publiés utilisent des réglages peu explorés, qui sous-estiment leurs capacités.\n\n**Normalisation des caractéristiques.** Les canaux des nœuds et arêtes de PascalVOC-SP et COCO-SP ont des échelles séparées de plusieurs ordres de grandeur, donnant facilement des activations mal conditionnées. Normaliser par canal est standard en vision, mais presque absent de LRGB et de ses suites, CRaWl excepté.\n\n**Métrique des liens.** PCQM-Contact utilise le MRR, moyenne des rangs réciproques. L'article définit un MRR filtré, mais le code calcule en réalité le MRR brut.\n\nLes deux premiers points font sous-estimer les GNN ; le troisième empêche une comparaison directe entre articles.\n\n## Résoudre le problème\n\n### Une recherche élémentaire d'hyperparamètres\n\nDans les 500,000 paramètres imposés par LRGB, les auteurs explorent les profondeurs, dropouts et autres réglages principaux de GCN, GINE et GatedGCN sur des plages prédéfinies. Positions et structure — aucune, LapPE ou RWSE — deviennent aussi un hyperparamètre.\n\nGraphGPS est réévalué de la même façon et progresse nettement sur trois jeux. Le traitement profite donc aux deux familles.\n\n### Normaliser canal par canal\n\nSur PascalVOC-SP et COCO-SP, chaque canal est centré et réduit avec sa moyenne $\\mu_i$ et son écart-type $\\sigma_i$ calculés sur l'entraînement : $\\tilde x_i=(x_i-\\mu_i)/\\sigma_i$.\n\n### filtered MRR\n\nPour évaluer un lien réel $(h,t)$, on classe $t$ parmi tous les candidats $(h,x)$ selon leurs scores, puis moyenne l'inverse de son rang.\n\nMais un même head peut avoir plusieurs vraies arêtes. Si d'autres vrais tails obtiennent des scores plus élevés, ils repoussent $t$ sans erreur du modèle. Le mode **filtré** retire ces autres vrais tails avant le classement.\n\nLes auteurs remarquent aussi que le produit scalaire symétrique utilisé par LRGB favorise souvent le nœud lui-même : $(h,h)$ arrive facilement premier. Or cette boucle propre n'a ici aucun sens et n'est jamais une bonne réponse. Leur **filtrage étendu** la retire donc aussi.\n\nEssayons avec un head, ses deux vraies arêtes t1 et t2, lui-même et deux faux candidats :\n\n```python\nscores = {\"h lui-même\": 0.95, \"t1\": 0.90, \"t2\": 0.80, \"x1\": 0.60, \"x2\": 0.40}\ntrue_tails = [\"t1\", \"t2\"]                     # Deux vraies arêtes pour ce head\n\ndef mrr(drop):\n    total = 0\n    for t in true_tails:\n        candidates = [c for c in scores if c == t or c not in drop(t)]\n        rank = 1 + sum(scores[c] > scores[t] for c in candidates)\n        total += 1 / rank\n    return total / len(true_tails)\n\nprint(\"raw            :\", round(mrr(lambda t: set()), 3))\nprint(\"filtered       :\", round(mrr(lambda t: set(true_tails)), 3))         # Retirer les autres vrais tails\nprint(\"extended filter:\", round(mrr(lambda t: set(true_tails) | {\"h lui-même\"}), 3))   # Retirer aussi la boucle propre\n```\n\n```text\nraw            : 0.417\nfiltered       : 0.5\nextended filter: 1.0\n```\n\nLes mêmes scores donnent trois MRR. En brut, t1 et la boucle propre repoussent t2 au troisième rang ; filtrer t1 le fait remonter au deuxième ; retirer la boucle place les deux vrais liens premiers. Sans changer de modèle, on passe de 0.417 à 1.0.\n\n## Discussion\n\n### Les peptides\n\n[![Figure 1 de l'article : à gauche, tableau de précision moyenne Peptides-func et de MAE Peptides-struct, en trois groupes : résultats LRGB initiaux, modèles réglés avec gains sur fond vert, puis modèles plus récents. À droite, deux diagrammes en barres comparent GatedGCN, GINE et GCN avec tête linéaire, MLP à deux couches ou réglage complet ; la ligne rouge est GPS.](/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png)](/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png)\n\n*Figure 1 de l'article (Tönshoff et al.), extraite de la [**page 2 du PDF**](https://arxiv.org/pdf/2309.00367v2#page=2), CC BY 4.0. Sous-légendes et légende originale omises.*\n\nLe tableau de gauche se lit en trois parties : chiffres LRGB en haut, réglages des auteurs au milieu, modèles plus récents de l'époque en bas.\n\n| Modèle | Peptides-func AP ↑ | Peptides-struct MAE ↓ |\n| --- | ---: | ---: |\n| GCN (LRGB initial) | 0.5930 | 0.3496 |\n| GPS (article GraphGPS) | 0.6535 | 0.2500 |\n| GCN (réglé) | **0.6860** (+16%) | **0.2460** (+30%) |\n| GINE (réglé) | 0.6621 (+20%) | 0.2473 (+30%) |\n| GatedGCN (réglé) | 0.6765 (+11%) | 0.2477 (+26%) |\n| GPS (réévalué) | 0.6534 | 0.2509 |\n\nAprès réglage, les trois GNN dépassent GPS sur les deux jeux. GCN à 0.6860 rejoint GRIT et Graph ViT sur Peptides-func ; sa MAE de 0.2460 égale le meilleur résultat de Peptides-struct. Les auteurs écrivent qu'un simple GCN suffit sur Peptides-Struct. GPS change à peine par rapport à son article, ce qu'ils considèrent comme son niveau réel.\n\n### Une tête de prédiction\n\nQuel hyperparamètre compte le plus ? La **profondeur de la tête**.\n\nLes diagrammes en barres à droite isolent ce choix : remplacer la tête linéaire unique de LRGB par un MLP à deux couches, sans toucher au reste. Bleu : linéaire ; orange : MLP ; vert : réglage complet ; rouge : GPS. Le seul remplacement aide déjà nettement Peptides-func et comble presque tout l'écart GNN-Transformer sur Peptides-struct. GPS reste à peu près identique.\n\nSelon les auteurs, les cibles ont une relation non linéaire avec l'information globale. Une simple tête linéaire finale ne peut la représenter après les messages ; les Graph Transformers traitent déjà le global par de profonds réseaux feed-forward à chaque couche. Une tête plus profonde est alors une solution plus simple et moins chère.\n\n### Les superpixels\n\n| Modèle | PascalVOC-SP F1 ↑ | COCO-SP F1 ↑ |\n| --- | ---: | ---: |\n| GCN (LRGB initial) | 0.1268 | 0.0841 |\n| GatedGCN (LRGB initial) | 0.2873 | 0.2641 |\n| GPS (article GraphGPS) | 0.3748 | 0.3412 |\n| GCN (normalisé et réglé) | 0.2078 (+64%) | 0.1338 (+59%) |\n| GINE (normalisé et réglé) | 0.2718 (+115%) | 0.2125 (+59%) |\n| GatedGCN (normalisé et réglé) | 0.3880 (+35%) | 0.2922 (+11%) |\n| GPS (normalisé et réglé) | **0.4440** (+18%) | **0.3884** (+13%) |\n\nTous progressent nettement. Sur PascalVOC-SP, GatedGCN atteint 0.3880, au-delà du GPS initial à 0.3748 ; GPS monte lui-même à 0.4440, à environ un point de CRaWl, alors seul à normaliser. Les auteurs attribuent le grand écart initial GPS-CRaWl surtout aux signaux bruts non normalisés de GPS.\n\nL'ablation attribue à la normalisation seule plus de la moitié des gains de chaque modèle, sauf GatedGCN. Chez celui-ci, l'exactitude monte peu, mais la variance entre graines chute fortement.\n\nCes deux jeux de superpixels sont les seuls où les Graph Transformers gardent une avance nette après réglage.\n\n### PCQM-Contact\n\nAprès réglage, le MRR brut de PCQM-Contact gagne environ 3% en valeur absolue ; la petite avance initiale de GPS disparaît.\n\nFiltrer les mêmes prédictions ajoute encore environ 3% : comparer ce score à des MRR bruts de la littérature pourrait faire croire à un grand progrès du modèle. Retirer aussi les boucles propres par filtrage étendu ajoute environ 10 points et change le classement : GPS reprend un léger avantage. Ses prédictions seraient particulièrement pénalisées par ces boucles.\n\nLe choix de l'évaluation change donc directement l'ordre des modèles.\n\n## Conclusion\n\nCe court article réalise trois vérifications. Régler simplement les GNN de LRGB fait disparaître l'écart sur les peptides, surtout grâce à une tête à deux couches ; normaliser les jeux visuels aide tous les modèles ; relever le désaccord entre définition et code de PCQM-Contact conduit aux MRR filtré et étendu.\n\nLa conclusion garde une question ouverte : seuls deux jeux de superpixels donnent encore un avantage net aux Graph Transformers. Les autres tâches peuvent peut-être se résoudre sans longue portée, ou les Graph Transformers n'exploitent peut-être pas intrinsèquement mieux les dépendances longues.\n\nDeux ans plus tard, Luo et ses collègues de Beihang et de l'université polytechnique de Hong Kong étendent la même idée à 14 jeux au niveau des graphes. Six techniques courantes permettent aux GNN classiques d'égaler ou dépasser les Graph Transformers.\n\n\n> [!TIP]\n> \n> Pour cette remise à niveau systématique des GNN et la comparaison avec les Graph Transformers, voir notre note :\n> \n> - **[[25.02] GNN+ : Le vieux coursier en a encore sous le pied](/blog/papers/graph-learning/gnn-plus)**\n\n\nUn tableau repris par tant d'articles a changé avec une tête de deux couches. Dans une comparaison, le réglage de la référence mérite autant d'attention que l'architecture nouvelle.\n","imageSizes":{"/content/papers/assets/2381a94a5409a041eaab5b06f8dd33ebdd448087d689d89d780486cf3b900353.png":{"width":1118,"height":416}}}