{"notes":[{"id":"object-detection/h-detr","category":"object-detection","legacyPath":"object-detection/2207-h-detr","legacySlug":"2207-h-detr","legacyPaths":[],"title":"H-DETR","subtitle":"La révolte des requêtes silencieuses","author":"Z. Yuan","paperDate":"2022-07-26","publishedOn":"2025-07-06","paperTitle":"DETRs with Hybrid Matching","paperUrl":"https://arxiv.org/abs/2207.13080","bibliography":{"title":"DETRs with Hybrid Matching","authors":["Ding Jia","Yuhui Yuan","Haodi He","Xiaopei Wu","Haojun Yu","Weihong Lin","Lei Sun","Chao Zhang","Han Hu"],"url":"https://arxiv.org/abs/2207.13080","pdfUrl":"https://openaccess.thecvf.com/content/CVPR2023/papers/Jia_DETRs_With_Hybrid_Matching_CVPR_2023_paper.pdf","codeUrl":"https://github.com/HDETR/H-Deformable-DETR","preprint":{"id":"2207.13080","submittedOn":"2022-07-26","url":"https://arxiv.org/abs/2207.13080"},"publication":{"venue":"CVPR","year":2023,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2023/html/Jia_DETRs_With_Hybrid_Matching_CVPR_2023_paper.html"},"citation":"@misc{objectdetectionhdetr2022,\n  title = {{DETRs with Hybrid Matching}},\n  author = {Ding Jia and Yuhui Yuan and Haodi He and Xiaopei Wu and Haojun Yu and Weihong Lin and Lei Sun and Chao Zhang and Han Hu},\n  year = {2022},\n  eprint = {2207.13080},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2207.13080}\n}\n","citationPath":"/content/papers/citations/object-detection/h-detr.822184101757.bib"},"thumbnail":{"src":"/content/papers/assets/63f1bc60b92f58d360457c0e3bbef0a3d4b3bd2a07377983b2dc5f5591ce28c2.jpg","width":1784,"height":350},"locale":"fr","path":"/content/papers/fr/object-detection/h-detr.b1c95b0378ee.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"branche-principale--supervision-un-à-un","text":"Branche principale : supervision un à un","depth":3},{"id":"branche-auxiliaire--supervision-un-à-plusieurs","text":"Branche auxiliaire : supervision un à plusieurs","depth":3},{"id":"perte-totale-et-détails-de-mise-en-œuvre","text":"Perte totale et détails de mise en œuvre","depth":3},{"id":"autres-formes-de-supervision-hybride","text":"Autres formes de supervision hybride","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"benchmark-coco","text":"Benchmark COCO","depth":3},{"id":"benchmark-lvis","text":"Benchmark LVIS","depth":3},{"id":"comparaison-avec-les-systèmes-de-référence","text":"Comparaison avec les systèmes de référence","depth":3},{"id":"ablations","text":"Ablations","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/deformable-detr","relation":"background","topic":"Prédiction d’ensembles et détection par attention"}]},{"id":"object-detection/deformable-detr","category":"object-detection","legacyPath":"object-detection/2010-deformable-detr","legacySlug":"2010-deformable-detr","legacyPaths":[],"title":"Deformable DETR","subtitle":"Une attention déformable","author":"Z. Yuan","paperDate":"2020-10-08","publishedOn":"2024-09-20","paperTitle":"Deformable DETR: Deformable Transformers for End-to-End Object Detection","paperUrl":"https://arxiv.org/abs/2010.04159","bibliography":{"title":"Deformable DETR: Deformable Transformers for End-to-End Object Detection","authors":["Xizhou Zhu","Weijie Su","Lewei Lu","Bin Li","Xiaogang Wang","Jifeng Dai"],"url":"https://arxiv.org/abs/2010.04159","pdfUrl":"https://arxiv.org/pdf/2010.04159","codeUrl":null,"preprint":{"id":"2010.04159","submittedOn":"2020-10-08","url":"https://arxiv.org/abs/2010.04159"},"publication":{"venue":"ICLR","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2010.04159"},"citation":"@misc{objectdetectiondeformabledetr2020,\n  title = {{Deformable DETR: Deformable Transformers for End-to-End Object Detection}},\n  author = {Xizhou Zhu and Weijie Su and Lewei Lu and Bin Li and Xiaogang Wang and Jifeng Dai},\n  year = {2020},\n  eprint = {2010.04159},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2010.04159}\n}\n","citationPath":"/content/papers/citations/object-detection/deformable-detr.df721a30472e.bib"},"thumbnail":{"src":"/content/papers/assets/36edfc5595a85c73fcdc9a4bbb9e1ca512e1f100676eb7c37203d71c84905c05.jpg","width":1224,"height":752},"locale":"fr","path":"/content/papers/fr/object-detection/deformable-detr.b9cc2a2d8b0f.md","headings":[{"id":"définition-du-problème","text":"Définition du problème","depth":2},{"id":"résolution-du-problème","text":"Résolution du problème","depth":2},{"id":"attention-déformable","text":"Attention déformable","depth":3},{"id":"calcul-multi-échelle","text":"Calcul multi-échelle","depth":3},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"lecture-du-code","text":"Lecture du code","depth":3},{"id":"stratégie-dentraînement","text":"Stratégie d'entraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-detr","text":"Comparaison avec DETR","depth":3},{"id":"étude-dablation","text":"Étude d'ablation","depth":3},{"id":"comparaison-avec-les-meilleures-méthodes","text":"Comparaison avec les meilleures méthodes","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"object-detection/detr","relation":"background","topic":"Prédiction d’ensembles et détection par attention"},{"id":"object-detection/h-detr","relation":"next","topic":"Prédiction d’ensembles et détection par attention"},{"id":"object-detection/smca-detr","relation":"comparison","topic":"Accélérer la convergence des détecteurs Transformer"}]}],"text":"Dans le monde de DETR, la plupart des requêtes sont affectées à la classification et sommées de se taire.\n\nMême si elles aussi s’approchent de la vérité... désolé, il n’y a qu’une seule place. Les autres ne comptent pas.\n\n## Définir le problème\n\nDepuis que DETR a introduit les Transformers dans la détection d’objets, son architecture est devenue une référence en vision, comme le montre la figure suivante :\n\n\n\n![detr](/content/papers/assets/e0f92541faf91c4657adebb2a728c65b14fefcd1bbabad3c18a45899751b5219.jpg)\n\n\n\nSa contribution centrale consiste à écarter les composants conçus à la main, comme les ancres, les propositions de régions et NMS, pour reformuler la détection comme une association entre requêtes et objets.\n\nCette approche simplifie la chaîne de traitement et se transpose à d’autres tâches : détection 2D, perception 3D, estimation de pose, suivi visuel et segmentation.\n\nLes travaux suivants ont amélioré plusieurs de ses modules. Deformable-DETR modifie l’attention pour mieux traiter les petits objets et converger plus vite ; DAB-DETR retravaille la représentation des requêtes, tandis que DN-DETR et DINO emploient des requêtes bruitées pour stabiliser l’association.\n\nMais la plupart de ces architectures conservent l’association **un à un** de DETR : chaque objet annoté est attribué à une seule requête. C’est aussi l’une des conditions qui permettent de se passer de NMS.\n\nPendant l’entraînement, cette règle crée pourtant un goulot d’étranglement.\n\nSur COCO, près de 99 % des images comportent moins de 30 boîtes annotées, tandis que le modèle produit souvent 100 à 300 requêtes. La grande majorité sont alors associées au « fond » : elles reçoivent une perte de classification, mais ne participent pas à la régression d’une boîte positive.\n\nLa plupart des requêtes ne disposent donc que d’un signal d’apprentissage limité. Elles peuvent encore produire des prédictions à l’inférence, mais leur apprentissage de la localisation a été restreint.\n\nCette règle réduit aussi la possibilité d’explorer d’autres requêtes potentiellement positives.\n\nMême si une requête est bien alignée avec un objet, elle peut être exclue de la régression parce qu’une autre occupe déjà l’unique place positive. Cela réduit l’utilisation des exemples d’entraînement et l’apprentissage spatial des requêtes, et peut ralentir la convergence.\n\nDN-DETR et DINO-DETR ajoutent des requêtes bruitées pour renforcer la supervision positive, mais visent surtout à stabiliser l’association. Ils nécessitent aussi un schéma de bruit et des formats de requêtes spécifiques, moins faciles à transposer tels quels à d’autres tâches.\n\nD’où la question :\n\n> **Peut-on libérer le potentiel des requêtes laissées de côté et étendre la supervision positive, tout en gardant les avantages de l’association DETR ?**\n\n---\n\n## Résoudre le problème\n\n![model arch](/content/papers/assets/63f1bc60b92f58d360457c0e3bbef0a3d4b3bd2a07377983b2dc5f5591ce28c2.jpg)\n\nDans DETR, chaque image donne lieu à un ensemble de vecteurs « requête » (*query*). Après passage dans le décodeur, chacun prédit une boîte et des probabilités de classe. Ces prédictions sont associées une à une aux objets annotés, puis cette association détermine la perte.\n\nH-DETR ne supprime pas ce mécanisme un à un : il lui ajoute une branche auxiliaire pour faire participer davantage de requêtes à l’apprentissage.\n\nLe modèle entraîne ainsi deux ensembles de requêtes. Le premier conserve la supervision un à un ; le second utilise une association **un à plusieurs**, dans laquelle un objet annoté peut superviser plusieurs requêtes. Certaines requêtes auparavant « perdues » peuvent donc apprendre à ajuster une boîte positive.\n\n### Branche principale : supervision un à un\n\nPour le premier ensemble de requêtes $Q = {q_1, q_2, ..., q_n}$, on reprend l’entraînement standard de DETR :\n\n1. Après $L$ couches de décodeur, les requêtes produisent $L$ ensembles de prédictions ${P^1, P^2, ..., P^L}$.\n2. À chaque couche, l’algorithme hongrois associe les prédictions aux objets annotés.\n3. La perte s’écrit :\n\n$$\n\\mathcal{L}_{\\text{one2one}} = \\sum_{l=1}^{L} \\mathcal{L}_{\\text{Hungarian}}(P^l, G)\n$$\n\nLa perte standard DETR $\\mathcal{L}_{\\text{Hungarian}}$ comprend trois composantes :\n\n- Une perte de classification\n- Une perte $L_1$ de régression des boîtes (*Localization $L_1$ Loss*)\n- Une perte GIoU (*Generalized IoU Loss*)\n\nCette branche préserve le mécanisme qui rend l’inférence DETR simple.\n\n---\n\n### Branche auxiliaire : supervision un à plusieurs\n\nLa seconde branche offre davantage de possibilités aux requêtes de se rapprocher d’un véritable objet :\n\n1. On crée un autre ensemble $Q_b = {q_b^1, q_b^2, ..., q_b^T}$ pour l’apprentissage un à plusieurs.\n2. On répète $K$ fois les annotations $G = {g_1, ..., g_m}$ pour obtenir un ensemble cible augmenté :\n\n$$\nG_b = \\{G, G, ..., G\\} \\quad (K \\text{ times})\n$$\n\n3. À chaque couche, les prédictions ${P_b^1, ..., P_b^L}$ sont associées à $G_b$, ce qui donne la perte :\n\n$$\n\\mathcal{L}_{\\text{one2many}} = \\sum_{l=1}^{L} \\mathcal{L}_{\\text{Hungarian}}(P_b^l, G_b)\n$$\n\nCette branche ne sert qu’à l’entraînement. Dans la configuration COCO de l’article, la branche principale comporte 300 requêtes, la branche auxiliaire 1 500 et les annotations sont répétées $K=6$ fois.\n\n---\n\n### Perte totale et détails de mise en œuvre\n\nLa perte totale à l’entraînement est :\n\n$$\n\\mathcal{L} = \\mathcal{L}_{\\text{one2one}} + \\lambda \\cdot \\mathcal{L}_{\\text{one2many}}\n$$\n\nLe coefficient $\\lambda$ équilibre l’importance des deux branches.\n\nH-DETR traite les deux ensembles en parallèle avec une auto-attention multi-tête masquée, qui empêche leurs requêtes d’interférer. La branche auxiliaire augmente malgré tout le coût de l’entraînement : dans l’implémentation optimisée du Tableau 6, le temps moyen est de 80 minutes contre 75 minutes pour la référence un à un à 1 800 requêtes.\n\nÀ l’inférence, H-DETR ignore entièrement la branche un à plusieurs et ne conserve que les prédictions de la branche principale. Il garde ainsi la simplicité de DETR : les sorties des requêtes suffisent, sans NMS.\n\n### Autres formes de supervision hybride\n\nOutre l’entraînement à deux branches, H-DETR propose deux variantes qui changent de règle de supervision au fil des **époques** ou des **couches** du décodeur.\n\n- **Hybrid Epoch Scheme : changer de phase pendant l’entraînement**\n\n  Cette variante n’emploie qu’un ensemble $Q_e = {q_1, ..., q_M}$ et choisit l’association selon la phase d’entraînement.\n\n  - **Première phase (fraction $\\rho$ des époques)** : une association un à plusieurs répète chaque objet annoté $\\widetilde K$ fois dans l’ensemble $G_e$, puis l’associe aux prédictions ${P_e^1, ..., P_e^L}$. La perte est :\n\n  $$\n  \\mathcal{L}_{\\text{one2many}} = \\sum_{l=1}^{L} \\mathcal{L}_{\\text{Hungarian}}(P_e^l, G_e)\n  $$\n\n  - **Dernière phase (fraction restante 1−ρ des époques)** : retour à l’association un à un avec l’ensemble original $G$ et la perte :\n\n  $$\n  \\mathcal{L}_{\\text{one2one}} = \\sum_{l=1}^{L} \\mathcal{L}_{\\text{Hungarian}}(P_e^l, G)\n  $$\n\n  L’idée est d’abord de donner aux requêtes de nombreux signaux pour apprendre à localiser les objets, puis de les habituer à l’exclusivité qu’exige la prédiction un à un.\n\n  À l’inférence, seules les sorties entraînées selon la règle un à un sont conservées, ce qui préserve la simplicité de DETR.\n\n---\n\n- **Hybrid Layer Scheme : changer de règle selon la couche**\n\n  Cette variante utilise elle aussi un seul ensemble $Q = {q_1, ..., q_N}$, mais change de règle selon la profondeur du décodeur, et non selon les époques.\n\n  - **Premières $L_1$ couches** : supervision un à plusieurs ; leurs prédictions ${P^1, ..., P^{L_1}}$ sont associées à l’ensemble répété $\\overline G$ :\n\n  $$\n  \\mathcal{L}_{\\text{one2many}} = \\sum_{l=1}^{L_1} \\mathcal{L}_{\\text{Hungarian}}(P^l, \\overline G)\n  $$\n\n  - **Dernières $L_2$ couches** : retour à la supervision un à un, avec la perte :\n\n  $$\n  \\mathcal{L}_{\\text{one2one}} = \\sum_{l=L_1+1}^{L_1+L_2} \\mathcal{L}_{\\text{Hungarian}}(P^l, G)\n  $$\n\n  Les premières couches servent ainsi d’« échauffement » avec plus de supervision positive ; les suivantes renforcent la capacité de chaque requête à prédire seule, comme elle devra le faire à l’inférence.\n\n  La perte totale additionne les deux termes :\n\n  $$\n  \\mathcal{L} = \\mathcal{L}_{\\text{one2many}} + \\mathcal{L}_{\\text{one2one}}\n  $$\n\n  La profondeur du décodeur porte donc le compromis entre densité de la supervision et cohérence de l’inférence.\n\n---\n\nCes deux variantes n’ajoutent pas de branche auxiliaire, mais leur configuration expérimentale porte l’ensemble unique à 1 800 requêtes. Hybrid Epoch emploie $\\widetilde K=10$ et $\\rho=2/3$ ; Hybrid Layer emploie $\\overline K=10$, $L_1=4$ et $L_2=2$. Elles ajoutent une supervision positive ; les ablations ci-dessous en comparent la précision et les coûts à l’entraînement et à l’inférence.\n\n## Discussion\n\nLes auteurs vérifient d’abord si H-DETR améliore la détection des architectures DETR existantes.\n\nIls évaluent H-Deformable-DETR sur COCO et LVIS avec plusieurs *backbones* et durées d’entraînement.\n\n### Benchmark COCO\n\n\n\n![COCO](/content/papers/assets/4f375e4dbd9aa8e1f787b578db5716c791eafa1fe530153d78040f48f1698f5a.jpg)\n\n\n\nSur la validation COCO, H-Deformable-DETR améliore les résultats des *backbones* et durées étudiés : ResNet-50, Swin-T et Swin-L, après 12 ou 36 époques selon les lignes du tableau.\n\nPrenons Swin-T :\n\n- Après 12 époques, l’AP passe de 49,3 % à 50,6 %.\n- Après 36 époques, elle passe de 51,8 % à 53,2 %.\n\nDans les configurations des trois *backbones* et des entraînements de 12 ou 36 époques présentées, l’association hybride améliore l’AP COCO par rapport à chaque référence, tandis que l’inférence conserve la branche un à un.\n\n### Benchmark LVIS\n\n\n\n![LVIS](/content/papers/assets/ea16e43803f017bb816c3e44721d1bc95fe3077ad00ea93d86f0eedbc13aaa6c.jpg)\n\n\n\nLVIS comporte des milliers de classes avec une répartition très déséquilibrée. Les auteurs l’emploient pour étudier H-DETR sur un jeu plus vaste et à longue traîne.\n\nSur LVIS v1.0, avec R50 et 24 époques, l’AP passe de **32,2 à 33,5 (+1,3 point de pourcentage)** ; avec Swin-L et 48 époques, elle passe de **47,0 à 47,9 (+0,9 point)**. Le tableau présente l’AP par taille d’objet, mais pas par fréquence des classes.\n\n### Comparaison avec les systèmes de référence\n\n![sota benchmark](/content/papers/assets/9c558c6e561c19be9ddb16abf229e9b991ed6957b85b1ff4629ff3f7e79ec83e.jpg)\n\nLes auteurs comparent aussi H-Deformable-DETR à plusieurs méthodes représentatives dans le tableau ci-dessus.\n\nLe tableau donne des résultats système à inférence mono-échelle, avec des *backbones*, résolutions et durées parfois différents. DINO-DETR et H-Deformable-DETR partagent ici Swin-L, une entrée 1333×800 et 36 époques.\n\nDans cette comparaison sur la validation COCO, H-Deformable-DETR atteint 59,4 % AP et dépasse plusieurs références fortes, dont DINO-DETR.\n\nCe système à **59,4 % AP** utilise aussi d’autres améliorations de DINO : on ne peut pas attribuer tout l’écart avec DINO-DETR à la seule association hybride. Pour mesurer l’effet de celle-ci, il faut regarder les lignes Deformable-DETR à configuration identique plus haut. La branche un à un reste sans NMS à l’inférence.\n\n### Ablations\n\n\n\n![ablation](/content/papers/assets/47290ab6ad3dc4cea188daa6a395d4c6256c575b9e74c75f71cae0cf67e33e82.jpg)\n\n\n\nExaminons les différentes architectures hybrides ; pour les autres essais, je vous laisse consulter l’article original.\n\nLes auteurs fixent deux conditions pour comparer les trois variantes :\n\n1. Chacune offre **six fois plus d’occasions positives supplémentaires** que la référence ; cumulées selon les couches et les époques, les occasions atteignent sept fois le total initial.\n2. Elles emploient **1 800 requêtes à l’entraînement** ; Hybrid Branch n’en garde que 300 à l’inférence.\n\nLe tableau ajoute aussi deux signes à lire correctement :\n\n- **†** : la méthode utilise **1 800 requêtes tant à l’entraînement qu’à l’inférence**.\n- **♮** : les 80 minutes d’entraînement sont mesurées après fusion des calculs de coût d’association et de perte des deux branches. L’article exécute encore l’algorithme hongrois sur CPU ; sa version GPU n’y est pas réalisée.\n\nVoici les observations principales :\n\n- **Hybrid Branch** présente un compromis équilibré entre précision et coût dans les lignes affichées :\n\n  - Après 36 époques, il atteint **48,0 AP**, à égalité avec Hybrid Layer ; à 24 époques, Layer atteint 47,9 contre 47,6 pour Branch.\n  - Avec l’implémentation optimisée, le temps moyen d’entraînement est de **80 minutes**, environ 7 % de plus que la référence à 1 800 requêtes (75 minutes), ou 23 % de plus que celle à 300 requêtes (65 minutes).\n  - À l’inférence, il conserve **268 GFLOPs et 6,7 FPS** ; les deux variantes à ensemble unique de 1 800 requêtes demandent **282 GFLOPs et 6,3 FPS**. Le tableau ne donne pas la consommation mémoire.\n\n- **Hybrid Epoch** prend en moyenne **95 minutes** à l’entraînement dans cette configuration et atteint **47,9 AP** après 36 époques. Le tableau n’isole pas le coût temporel du changement de règle.\n\n- **Hybrid Layer** atteint lui aussi **48,0 AP** après 36 époques, mais prend en moyenne **100 minutes** à l’entraînement et tourne à **6,3 FPS** à l’inférence. Il serait donc faux de dire que sa précision est globalement inférieure à celle de Branch.\n\n## Conclusion\n\nL’apport de DETR est de formuler la détection comme une association de requêtes. Son inférence est simplifiée, mais l’apprentissage de nombreuses requêtes reste limité.\n\nH-DETR répond à ce problème par une supervision un à plusieurs à l’entraînement, tout en conservant l’association un à un et une inférence simple. Le projet a trois atouts pratiques : aucune modification de la branche d’inférence, un coût supplémentaire quantifiable et une intégration modulaire. Son transfert à d’autres tâches utilisant des requêtes reste une possibilité à évaluer selon la tâche.\n\n---\n\n\n> [!NOTE]\n> \n> Pour en savoir plus, vous pouvez consulter la page GitHub de H-DETR et essayer le code :\n> \n> - [**DETRs with Hybrid Matching, CVPR 2023**](https://github.com/HDETR)\n","imageSizes":{"/content/papers/assets/e0f92541faf91c4657adebb2a728c65b14fefcd1bbabad3c18a45899751b5219.jpg":{"width":1224,"height":448},"/content/papers/assets/63f1bc60b92f58d360457c0e3bbef0a3d4b3bd2a07377983b2dc5f5591ce28c2.jpg":{"width":1784,"height":350},"/content/papers/assets/4f375e4dbd9aa8e1f787b578db5716c791eafa1fe530153d78040f48f1698f5a.jpg":{"width":912,"height":772},"/content/papers/assets/ea16e43803f017bb816c3e44721d1bc95fe3077ad00ea93d86f0eedbc13aaa6c.jpg":{"width":908,"height":300},"/content/papers/assets/9c558c6e561c19be9ddb16abf229e9b991ed6957b85b1ff4629ff3f7e79ec83e.jpg":{"width":1512,"height":394},"/content/papers/assets/47290ab6ad3dc4cea188daa6a395d4c6256c575b9e74c75f71cae0cf67e33e82.jpg":{"width":1132,"height":552}}}
