{"notes":[{"id":"graph-learning/lrgb","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"LRGB","subtitle":"Des épreuves venues de loin","author":"Z. Yuan","paperDate":"2022-06-16","publishedOn":"2025-10-16","world":"external/lrgb","paperTitle":"Long Range Graph Benchmark","paperUrl":"https://arxiv.org/abs/2206.08164","bibliography":{"title":"Long Range Graph Benchmark","authors":["Vijay Prakash Dwivedi","Ladislav Rampášek","Mikhail Galkin","Ali Parviz","Guy Wolf","Anh Tuan Luu","Dominique Beaini"],"url":"https://arxiv.org/abs/2206.08164","pdfUrl":"https://arxiv.org/pdf/2206.08164v4","codeUrl":"https://github.com/vijaydwivedi75/lrgb","preprint":{"id":"2206.08164","submittedOn":"2022-06-16","url":"https://arxiv.org/abs/2206.08164"},"publication":{"venue":"NeurIPS Datasets and Benchmarks","shortVenue":"NeurIPS D&B","year":2022,"kind":"conference","url":"https://proceedings.neurips.cc/paper_files/paper/2022/hash/8c3c666820ea055a77726d66fc7d447f-Abstract-Datasets_and_Benchmarks.html"},"citation":"@misc{graphlearninglrgb2022,\n  title = {{Long Range Graph Benchmark}},\n  author = {Vijay Prakash Dwivedi and Ladislav Rampášek and Mikhail Galkin and Ali Parviz and Guy Wolf and Anh Tuan Luu and Dominique Beaini},\n  year = {2022},\n  eprint = {2206.08164},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2206.08164}\n}\n","citationPath":"/content/papers/citations/graph-learning/lrgb.4f1c69bdfc3e.bib"},"thumbnail":{"src":"/content/papers/assets/1c4286bdcce2817b9755835b80dd77ae2c30adc996a6665ccf8f7be2ba7c964f.png","width":1098,"height":214},"locale":"fr","path":"/content/papers/fr/graph-learning/lrgb.0037c737cc36.md","headings":[{"id":"poser-le-problème","text":"Poser le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"cinq-jeux-de-données","text":"Cinq jeux de données","depth":3},{"id":"modèles-de-référence","text":"Modèles de référence","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"les-peptides","text":"Les peptides","depth":3},{"id":"les-superpixels","text":"Les superpixels","depth":3},{"id":"les-observations-des-auteurs","text":"Les observations des auteurs","depth":3},{"id":"le-benchmark-lui-même-réexaminé","text":"Le benchmark lui-même réexaminé","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/san","relation":"referenced","topic":""},{"id":"graph-learning/over-squashing","relation":"referenced","topic":""},{"id":"graph-learning/graphgps","relation":"referenced","topic":""}]},{"id":"graph-learning/san","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"SAN","subtitle":"Entendre la forme du graphe","author":"Z. Yuan","paperDate":"2021-06-07","publishedOn":"2024-03-22","world":"external/san","paperTitle":"Rethinking Graph Transformers with Spectral Attention","paperUrl":"https://arxiv.org/abs/2106.03893","bibliography":{"title":"Rethinking Graph Transformers with Spectral Attention","authors":["Devin Kreuzer","Dominique Beaini","William L. Hamilton","Vincent Létourneau","Prudencio Tossou"],"url":"https://arxiv.org/abs/2106.03893","pdfUrl":"https://arxiv.org/pdf/2106.03893v3","codeUrl":"https://github.com/DevinKreuzer/SAN","preprint":{"id":"2106.03893","submittedOn":"2021-06-07","url":"https://arxiv.org/abs/2106.03893"},"publication":{"venue":"NeurIPS","year":2021,"kind":"conference","url":"https://proceedings.neurips.cc/paper/2021/hash/b4fd1d2cb085390fbbadae65e07876a7-Abstract.html"},"citation":"@misc{graphlearningsan2021,\n  title = {{Rethinking Graph Transformers with Spectral Attention}},\n  author = {Devin Kreuzer and Dominique Beaini and William L. Hamilton and Vincent Létourneau and Prudencio Tossou},\n  year = {2021},\n  eprint = {2106.03893},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2106.03893}\n}\n","citationPath":"/content/papers/citations/graph-learning/san.e69e469c3b91.bib"},"thumbnail":{"src":"/content/papers/assets/239f3ac016f803fed4fedec5cad345c48bc6b97791249f0e5cfdf2efd433b5c2.png","width":1280,"height":840},"locale":"fr","path":"/content/papers/fr/graph-learning/san.efc40fb3a1b7.md","headings":[{"id":"poser-le-problème","text":"Poser le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"apprendre-les-positions","text":"Apprendre les positions","depth":3},{"id":"tout-connecter-avec-deux-attentions-distinctes","text":"Tout connecter, avec deux attentions distinctes","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"quelle-valeur-pour-gamma-","text":"Quelle valeur pour \\gamma ?","depth":3},{"id":"lapport-séparé-de-la-connexion-complète-et-du-lpe","text":"L'apport séparé de la connexion complète et du LPE","depth":3},{"id":"face-aux-meilleurs-modèles-de-lépoque","text":"Face aux meilleurs modèles de l'époque","depth":3},{"id":"le-prix","text":"Le prix","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/graph-transformer","relation":"referenced","topic":""}]},{"id":"graph-learning/over-squashing","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"Over-squashing","subtitle":"Ça ne rentre plus","author":"Z. Yuan","paperDate":"2020-06-09","publishedOn":"2024-03-03","paperTitle":"On the Bottleneck of Graph Neural Networks and its Practical Implications","paperUrl":"https://arxiv.org/abs/2006.05205","bibliography":{"title":"On the Bottleneck of Graph Neural Networks and its Practical Implications","authors":["Uri Alon","Eran Yahav"],"url":"https://arxiv.org/abs/2006.05205","pdfUrl":"https://arxiv.org/pdf/2006.05205v4","codeUrl":"https://github.com/tech-srl/bottleneck","preprint":{"id":"2006.05205","submittedOn":"2020-06-09","url":"https://arxiv.org/abs/2006.05205"},"publication":{"venue":"ICLR","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2006.05205"},"citation":"@misc{graphlearningoversquashing2020,\n  title = {{On the Bottleneck of Graph Neural Networks and its Practical Implications}},\n  author = {Uri Alon and Eran Yahav},\n  year = {2020},\n  eprint = {2006.05205},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2006.05205}\n}\n","citationPath":"/content/papers/citations/graph-learning/over-squashing.af346c012204.bib"},"thumbnail":{"src":"/content/papers/assets/c3454ca38b6e53b6467ff66db7867788efed8d8a71eec3c6e7f754e586a99d4d.png","width":1078,"height":356},"locale":"fr","path":"/content/papers/fr/graph-learning/over-squashing.53fa3625a72f.md","headings":[{"id":"poser-le-problème","text":"Poser le problème","depth":2},{"id":"le-rayon-du-problème","text":"Le rayon du problème","depth":3},{"id":"comparaison-au-goulet-des-rnn","text":"Comparaison au goulet des RNN","depth":3},{"id":"ne-regarder-que-la-part-propagée","text":"Ne regarder que la part propagée","depth":3},{"id":"une-tâche-volontairement-construite","text":"Une tâche volontairement construite","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"une-dernière-couche-entièrement-connectée","text":"Une dernière couche entièrement connectée","depth":3},{"id":"quelle-taille-de-vecteur-faut-il-","text":"Quelle taille de vecteur faut-il ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"tree-neighborsmatch","text":"Tree-NeighborsMatch","depth":3},{"id":"qm9","text":"QM9","depth":3},{"id":"jeux-biologiques","text":"Jeux biologiques","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/deeper-insights","relation":"referenced","topic":""},{"id":"graph-learning/graphgps","relation":"referenced","topic":""}]},{"id":"graph-learning/graphgps","category":"graph-learning","legacyPath":"","legacySlug":"","legacyPaths":[],"title":"GraphGPS","subtitle":"Un GPS sur le graphe","author":"Z. Yuan","paperDate":"2022-05-25","publishedOn":"2025-09-09","world":"external/graphgps","paperTitle":"Recipe for a General, Powerful, Scalable Graph Transformer","paperUrl":"https://arxiv.org/abs/2205.12454","bibliography":{"title":"Recipe for a General, Powerful, Scalable Graph Transformer","authors":["Ladislav Rampášek","Mikhail Galkin","Vijay Prakash Dwivedi","Anh Tuan Luu","Guy Wolf","Dominique Beaini"],"url":"https://arxiv.org/abs/2205.12454","pdfUrl":"https://arxiv.org/pdf/2205.12454v4","codeUrl":"https://github.com/rampasek/GraphGPS","preprint":{"id":"2205.12454","submittedOn":"2022-05-25","url":"https://arxiv.org/abs/2205.12454"},"publication":{"venue":"NeurIPS","year":2022,"kind":"conference","url":"https://proceedings.neurips.cc/paper_files/paper/2022/hash/5d4834a159f1547b267a05a4e2b7cf5e-Abstract-Conference.html"},"citation":"@misc{graphlearninggraphgps2022,\n  title = {{Recipe for a General, Powerful, Scalable Graph Transformer}},\n  author = {Ladislav Rampášek and Mikhail Galkin and Vijay Prakash Dwivedi and Anh Tuan Luu and Guy Wolf and Dominique Beaini},\n  year = {2022},\n  eprint = {2205.12454},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2205.12454}\n}\n","citationPath":"/content/papers/citations/graph-learning/graphgps.053e58fd5309.bib"},"thumbnail":{"src":"/content/papers/assets/e4177a894582643d7811bced6f6c6cf8bb51ff7738da4af5d98115883e1a4bb8.png","width":1116,"height":798},"locale":"fr","path":"/content/papers/fr/graph-learning/graphgps.e64f8dec7145.md","headings":[{"id":"poser-le-problème","text":"Poser le problème","depth":2},{"id":"position-et-structure","text":"Position et structure","depth":3},{"id":"pourquoi-les-messages-en-ont-besoin","text":"Pourquoi les messages en ont besoin","depth":3},{"id":"propager-avant-lattention-peut-déjà-perdre-linformation","text":"Propager avant l'attention peut déjà perdre l'information","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"trois-ingrédients","text":"Trois ingrédients","depth":3},{"id":"une-couche-gps","text":"Une couche GPS","depth":3},{"id":"une-complexité-linéaire","text":"Une complexité linéaire","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"ablation--le-poids-de-chaque-voie","text":"Ablation : le poids de chaque voie","depth":3},{"id":"comparaison-aux-autres-modèles","text":"Comparaison aux autres modèles","depth":3},{"id":"une-réévaluation-un-an-plus-tard","text":"Une réévaluation, un an plus tard","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"graph-learning/graph-transformer","relation":"referenced","topic":""},{"id":"graph-learning/san","relation":"referenced","topic":""},{"id":"graph-learning/graphormer","relation":"referenced","topic":""}]}],"text":"En 2022, les articles sur les Graph Transformers se succèdent avec un argument commun : les GNN à messages ne voient qu'un saut par couche et transmettent mal le lointain ; le Transformer laisse chaque nœud regarder tous les autres et crée les relations longues d'un coup.\n\nMais les benchmarks courants peinent à le prouver. Les molécules de ZINC et ogbg-mol* ne comptent en moyenne qu'une vingtaine de nœuds. Avec des positions encodées, les GNN locaux y égalent souvent les Transformers, voire les dépassent ; les premiers du classement restent surtout locaux.\n\nVijay Prakash Dwivedi, Ladislav Rampášek, Mikhail Galkin et leurs collègues de Mila, Nanyang et Valence Discovery pensent que l'épreuve est mal choisie. Pour mesurer les interactions longues, il faut des questions qui exigent réellement l'information lointaine.\n\nCette épreuve s'appelle LRGB, Long Range Graph Benchmark.\n\n## Poser le problème\n\nQu'est-ce qu'un jeu qui exige de la longue portée ? Les auteurs proposent trois critères.\n\n**La taille du graphe.** Un GNN a besoin d'au moins $r$ couches pour une interaction à distance $r$ ; le champ réceptif croît exponentiellement et entraîne l'over-squashing. Mais sur vingt et quelques nœuds, $r$ reste petit et le goulet discret : le GNN local apprend déjà bien. Il faut donc des graphes assez grands pour départager les familles.\n\n**La nature de la tâche.** La taille ne suffit pas ; la réponse doit dépendre du lointain. ZINC dépend du nombre de sous-structures locales : des études indiquent qu'une longueur 7 suffit, sans gain au-delà. MalNet-Tiny peut avoir plusieurs milliers de nœuds, mais les modules entièrement connectés y apportent peu.\n\n**L'apport de la structure globale.** Si la tâche bénéficie de positions globales, ou si sa cible dépend elle-même des distances, comme les propriétés structurelles 2D et 3D moléculaires, elle demande de l'information globale.\n\n## Résoudre le problème\n\n### Cinq jeux de données\n\nÀ partir de ces critères, les auteurs construisent cinq jeux issus de la vision et de la chimie.\n\n**PascalVOC-SP** et **COCO-SP** viennent de la segmentation sémantique. SLIC découpe l'image en superpixels ; chacun devient un nœud, les superpixels adjacents sont reliés en graphe rag-boundary, et l'on prédit la classe sémantique de chaque nœud.\n\n[![Figure 2 de l'article : quatre images de gauche à droite. L'original montre des animaux jouets ; la deuxième les découpe en superpixels SLIC à frontières vertes ; la troisième superpose le graphe rag-boundary ; la dernière ne garde que le graphe, aux nœuds colorés par classe.](/content/papers/assets/1c4286bdcce2817b9755835b80dd77ae2c30adc996a6665ccf8f7be2ba7c964f.png)](/content/papers/assets/1c4286bdcce2817b9755835b80dd77ae2c30adc996a6665ccf8f7be2ba7c964f.png)\n\n*Figure 2 de l'article (Dwivedi et al.), extraite de la [**page 5 du PDF**](https://arxiv.org/pdf/2206.08164v4#page=5), CC BY 4.0. Moins de 50 superpixels sont montrés pour la lisibilité ; légende originale omise.*\n\nLes anciens jeux de superpixels MNIST et CIFAR10 avaient au plus 75 et 150 nœuds. Ici, on va jusqu'à 500 superpixels : distance moyenne de plus court chemin 10.74, diamètre 27.62, contre 3.03 et 6.03 pour MNIST, 3.97 et 8.46 pour CIFAR10.\n\n**PCQM-Contact** prédit des liens moléculaires : quels atomes sont éloignés de plus de 5 sauts sur le graphe mais proches dans l'espace 3D, à moins de 3.5 Å ? Le seuil de 5 sauts élimine les paires déjà proches topologiquement et oblige à apprendre des propriétés liées à la 3D.\n\n**Peptides-func** et **Peptides-struct** partagent 15,535 peptides, chaînes d'acides aminés plus courtes que les protéines, mais bien plus grandes que les petites molécules pharmaceutiques. Les atomes lourds sont les nœuds et les liaisons les arêtes. Peptides-func prédit 10 fonctions en multiétiquette, comme les activités antibactérienne et antivirale ; Peptides-struct régresse plusieurs propriétés calculées sur la 3D, telles inertie, longueur et sphéricité. Aucune coordonnée 2D ou 3D n'est donnée en entrée.\n\n| Jeu | Graphes | Nœuds moyens | Plus court chemin moyen | Diamètre moyen | Tâche |\n| --- | ---: | ---: | ---: | ---: | --- |\n| PascalVOC-SP | 11,355 | 479.40 | 10.74 | 27.62 | Classification de nœuds |\n| COCO-SP | 123,286 | 476.88 | 10.66 | 27.39 | Classification de nœuds |\n| PCQM-Contact | 529,434 | 30.14 | 4.63 | 9.86 | Prédiction de liens |\n| Peptides-func | 15,535 | 150.94 | 20.89 | 56.99 | Classification de graphes |\n| Peptides-struct | 15,535 | 150.94 | 20.89 | 56.99 | Régression de graphes |\n\nLe diamètre moyen des peptides approche 57, environ six fois PCQM-Contact, avec un degré moyen de 2 seulement : l'information doit parcourir cette longue chaîne pas à pas.\n\n### Modèles de référence\n\nDeux familles sont retenues : GCN, GCNII, GINE et GatedGCN pour les messages ; Transformer à positions laplaciennes et SAN amélioré pour la connexion complète. Tous restent vers 500,000 paramètres, avec 4 graines par expérience. Sur les peptides, les GNN ont 5 couches, les Transformers 4.\n\n\n> [!TIP]\n> \n> Pour le LPE et les deux attentions de SAN, voir notre note :\n> \n> - **[[21.06] SAN : Entendre la forme du graphe](/blog/papers/graph-learning/san)**\n\n\n## Discussion\n\n### Les peptides\n\n| Modèle | Peptides-func AP ↑ | Peptides-struct MAE ↓ |\n| --- | ---: | ---: |\n| GCN | 0.5930 | 0.3496 |\n| GCNII | 0.5543 | 0.3471 |\n| GINE | 0.5498 | 0.3547 |\n| GatedGCN | 0.5864 | 0.3420 |\n| GatedGCN + RWSE | 0.6069 | 0.3357 |\n| Transformer + LapPE | 0.6326 | **0.2529** |\n| SAN + LapPE | 0.6384 | 0.2683 |\n| SAN + RWSE | **0.6439** | 0.2545 |\n\nLes Transformers gagnent nettement sur les deux jeux, surtout Peptides-struct, dont la MAE passe d'environ 0.34 à 0.25.\n\n### Les superpixels\n\nSur PascalVOC-SP, les GNN utilisent 8 couches : F1 de 0.1268 pour GCN, 0.1265 pour GINE, 0.2873 pour GatedGCN ; Transformer + LapPE atteint 0.2694 et SAN + LapPE 0.3230. Sur COCO-SP, Transformer et GatedGCN sont proches ; SAN ne converge pas dans les 60 heures allouées sur A100.\n\n### Les observations des auteurs\n\nIls retiennent plusieurs points :\n\n1. **Les GNN locaux simples fonctionnent mal.** GCN et GINE sont faibles hors Peptides-func, conformément à l'article sur l'over-squashing : GCN et GIN sont plus sensibles au goulet que les GNN à attention.\n2. **Les GNN trop peu profonds sous-ajustent.** Deux couches de messages ne suffisent nettement pas. C'est l'inverse de Cora et Citeseer, où les GCN peu profonds dépassent les profonds.\n3. **Les Transformers entièrement connectés gagnent**, surtout sur les peptides. Les auteurs l'attribuent à la longue portée, à l'information non locale et à la taille des graphes.\n4. **L'échelle reste leur faiblesse.** SAN ne finit pas COCO-SP, signe des difficultés de ces modèles sur les grands graphes.\n\nGraphGPS, des mêmes auteurs, utilise justement ce benchmark pour la longue portée et gagne sur quatre des cinq jeux.\n\n\n> [!TIP]\n> \n> Pour l'architecture GraphGPS et l'over-squashing qu'elle vise, voir nos notes :\n> \n> - **[[20.06] Over-squashing : Ça ne rentre plus](/blog/papers/graph-learning/over-squashing)**\n> - **[[22.05] GraphGPS : Un GPS sur le graphe](/blog/papers/graph-learning/graphgps)**\n\n\n### Le benchmark lui-même réexaminé\n\nUn an plus tard, Tönshoff et ses collègues de RWTH Aachen réexécutent le benchmark. Une recherche élémentaire d'hyperparamètres sur les GNN, plus la normalisation des caractéristiques visuelles, suffit à réduire fortement les écarts, jusqu'à les faire disparaître sur les peptides. Ils relèvent aussi un désaccord entre le code d'évaluation de PCQM-Contact et sa définition dans l'article.\n\nLes auteurs de LRGB ajoutent dans leur version de novembre 2023 un passage invitant à lire cette réévaluation.\n\n\n> [!TIP]\n> \n> Pour ses détails, voir notre note :\n> \n> - **[[23.09] Where Did the Gap Go? : Où est passé l'écart ?](/blog/papers/graph-learning/where-did-the-gap-go)**\n\n\n## Conclusion\n\nLRGB commence par définir une tâche à longue portée selon taille, nature de la tâche et apport global, puis construit cinq jeux de superpixels et de peptides. Dans ses expériences initiales, les GNN locaux perdent nettement contre les Transformers complets, surtout sur les peptides.\n\nL'épreuve deviendra un passage standard des articles de Graph Transformers. Gardez pourtant la réévaluation de Tönshoff à côté du tableau : le même GCN y change de près de 0.09 sur Peptides-func.\n","imageSizes":{"/content/papers/assets/1c4286bdcce2817b9755835b80dd77ae2c30adc996a6665ccf8f7be2ba7c964f.png":{"width":1098,"height":214}}}