{"notes":[{"id":"vision-transformers/pvt","category":"vision-transformers","legacyPath":"vision-transformers/2102-pvt","legacySlug":"2102-pvt","legacyPaths":[],"title":"PVT","subtitle":"L'attention à réduction spatiale","author":"Z. Yuan","paperDate":"2021-02-24","publishedOn":"2024-07-03","paperTitle":"Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions","paperUrl":"https://arxiv.org/abs/2102.12122","bibliography":{"title":"Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions","authors":["Wenhai Wang","Enze Xie","Xiang Li","Deng-Ping Fan","Kaitao Song","Ding Liang","Tong Lu","Ping Luo","Ling Shao"],"url":"https://arxiv.org/abs/2102.12122","pdfUrl":"https://arxiv.org/pdf/2102.12122","codeUrl":null,"preprint":{"id":"2102.12122","submittedOn":"2021-02-24","url":"https://arxiv.org/abs/2102.12122"},"publication":{"venue":"ICCV","year":2021,"kind":"conference","url":"https://arxiv.org/abs/2102.12122"},"citation":"@misc{visiontransformerspvt2021,\n  title = {{Pyramid Vision Transformer: A Versatile Backbone for Dense Prediction without Convolutions}},\n  author = {Wenhai Wang and Enze Xie and Xiang Li and Deng-Ping Fan and Kaitao Song and Ding Liang and Tong Lu and Ping Luo and Ling Shao},\n  year = {2021},\n  eprint = {2102.12122},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2102.12122}\n}\n","citationPath":"/content/papers/citations/vision-transformers/pvt.c8c991637878.bib"},"thumbnail":{"src":"/content/papers/assets/0784052802290bf5595ec58a783a2cd29da20872dafa1be2fdf9d3ebd6813fbb.jpg","width":1368,"height":676},"locale":"fr","path":"/content/papers/fr/vision-transformers/pvt.ba391db2d0bb.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"structure-hiérarchique","text":"Structure hiérarchique","depth":3},{"id":"attention-à-réduction-spatiale-sra","text":"Attention à réduction spatiale (SRA)","depth":3},{"id":"configurations-du-modèle","text":"Configurations du modèle","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-sur-imagenet","text":"Résultats sur ImageNet","depth":3},{"id":"résultats-en-détection-dobjets","text":"Résultats en détection d'objets","depth":3},{"id":"apport-de-la-structure-pyramidale","text":"Apport de la structure pyramidale","depth":3},{"id":"compromis-entre-profondeur-et-largeur","text":"Compromis entre profondeur et largeur","depth":3},{"id":"un-remède-partiel","text":"Un remède partiel","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/swin-transformer","relation":"comparison","topic":"Transformers visuels multi-échelles"},{"id":"vision-transformers/vit","relation":"comparison","topic":"Transformers visuels multi-échelles"}]},{"id":"vision-transformers/swin-transformer","category":"vision-transformers","legacyPath":"vision-transformers/2103-swin-transformer","legacySlug":"2103-swin-transformer","legacyPaths":[],"title":"Swin Transformer","subtitle":"Le bal commence","author":"Z. Yuan","paperDate":"2021-03-25","publishedOn":"2024-08-04","paperTitle":"Swin Transformer: Hierarchical Vision Transformer using Shifted Windows","paperUrl":"https://arxiv.org/abs/2103.14030","bibliography":{"title":"Swin Transformer: Hierarchical Vision Transformer using Shifted Windows","authors":["Ze Liu","Yutong Lin","Yue Cao","Han Hu","Yixuan Wei","Zheng Zhang","Stephen Lin","Baining Guo"],"url":"https://arxiv.org/abs/2103.14030","pdfUrl":"https://arxiv.org/pdf/2103.14030","codeUrl":null,"preprint":{"id":"2103.14030","submittedOn":"2021-03-25","url":"https://arxiv.org/abs/2103.14030"},"publication":{"venue":"ICCV","year":2021,"kind":"conference","url":"https://openaccess.thecvf.com/content/ICCV2021/html/Liu_Swin_Transformer_Hierarchical_Vision_Transformer_Using_Shifted_Windows_ICCV_2021_paper.html"},"citation":"@misc{visiontransformersswintransformer2021,\n  title = {{Swin Transformer: Hierarchical Vision Transformer using Shifted Windows}},\n  author = {Ze Liu and Yutong Lin and Yue Cao and Han Hu and Yixuan Wei and Zheng Zhang and Stephen Lin and Baining Guo},\n  year = {2021},\n  eprint = {2103.14030},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2103.14030}\n}\n","citationPath":"/content/papers/citations/vision-transformers/swin-transformer.f6a161083008.bib"},"thumbnail":{"src":"/content/papers/assets/8b4ce387b40cac8be3a6a99545bbe6a5e87126f19c80c24a7de318e32d5f626b.jpg","width":1596,"height":468},"locale":"fr","path":"/content/papers/fr/vision-transformers/swin-transformer.9cb3be017cf3.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"détection-à-plusieurs-échelles","text":"Détection à plusieurs échelles","depth":3},{"id":"complexité-quadratique","text":"Complexité quadratique","depth":3},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"fenêtres-locales","text":"Fenêtres locales","depth":3},{"id":"un-nouveau-problème","text":"Un nouveau problème","depth":3},{"id":"décalage-cyclique","text":"Décalage cyclique","depth":3},{"id":"masque-dattention","text":"Masque d'attention","depth":3},{"id":"décalage-inverse","text":"Décalage inverse","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-sur-imagenet-1k","text":"Résultats sur ImageNet-1K","depth":3},{"id":"détection-dobjets--réglages","text":"Détection d'objets : réglages","depth":3},{"id":"swin-face-à-resnext","text":"Swin face à ResNe(X)t","depth":3},{"id":"swin-face-à-deit","text":"Swin face à DeiT","depth":3},{"id":"swin-face-aux-meilleures-méthodes-antérieures","text":"Swin face aux meilleures méthodes antérieures","depth":3},{"id":"expériences-dablation","text":"Expériences d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/pvt","relation":"comparison","topic":"Transformers visuels multi-échelles"},{"id":"vision-transformers/vit","relation":"comparison","topic":"Transformers visuels multi-échelles"}]},{"id":"vision-transformers/vit","category":"vision-transformers","legacyPath":"vision-transformers/2010-vit","legacySlug":"2010-vit","legacyPaths":[],"title":"ViT","subtitle":"À la conquête d'un nouveau monde","author":"Z. Yuan","paperDate":"2020-10-22","publishedOn":"2024-07-01","paperTitle":"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale","paperUrl":"https://arxiv.org/abs/2010.11929","bibliography":{"title":"An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale","authors":["Alexey Dosovitskiy","Lucas Beyer","Alexander Kolesnikov","Dirk Weissenborn","Xiaohua Zhai","Thomas Unterthiner","Mostafa Dehghani","Matthias Minderer","Georg Heigold","Sylvain Gelly","Jakob Uszkoreit","Neil Houlsby"],"url":"https://arxiv.org/abs/2010.11929","pdfUrl":"https://arxiv.org/pdf/2010.11929","codeUrl":null,"preprint":{"id":"2010.11929","submittedOn":"2020-10-22","url":"https://arxiv.org/abs/2010.11929"},"publication":{"venue":"ICLR","year":2021,"kind":"conference","url":"https://openreview.net/pdf?id=YicbFdNTTy"},"citation":"@misc{visiontransformersvit2020,\n  title = {{An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale}},\n  author = {Alexey Dosovitskiy and Lucas Beyer and Alexander Kolesnikov and Dirk Weissenborn and Xiaohua Zhai and Thomas Unterthiner and Mostafa Dehghani and Matthias Minderer and Georg Heigold and Sylvain Gelly and Jakob Uszkoreit and Neil Houlsby},\n  year = {2020},\n  eprint = {2010.11929},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2010.11929}\n}\n","citationPath":"/content/papers/citations/vision-transformers/vit.8a478b78ec38.bib"},"thumbnail":{"src":"/content/papers/assets/82fb5d2f7ce623daf8d9ce146f096d22f2fb17d2532c5c4d613206f0424904aa.jpg","width":1472,"height":772},"locale":"fr","path":"/content/papers/fr/vision-transformers/vit.e2bd5e3839b7.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"patchify","text":"Patchify","depth":3},{"id":"et-après-","text":"Et après ?","depth":3},{"id":"moins-de-biais-inductifs-propres-aux-images","text":"Moins de biais inductifs propres aux images","depth":3},{"id":"effet-de-la-taille-des-données-de-préentraînement","text":"Effet de la taille des données de préentraînement","depth":3},{"id":"peut-on-aller-encore-plus-loin-","text":"Peut-on aller encore plus loin ?","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"que-voit-vit-","text":"Que voit ViT ?","depth":3},{"id":"prédire-avec-cls-ou-avec-gap-","text":"Prédire avec [CLS] ou avec GAP ?","depth":3},{"id":"entraînement-auto-supervisé","text":"Entraînement auto-supervisé","depth":3},{"id":"autres-points-à-retenir","text":"Autres points à retenir","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/deit","relation":"next","topic":"Apprendre des représentations visuelles avec les Transformers"},{"id":"vision-transformers/pvt","relation":"comparison","topic":"Transformers visuels multi-échelles"},{"id":"vision-transformers/swin-transformer","relation":"comparison","topic":"Transformers visuels multi-échelles"}]}],"text":"ViT a obtenu des résultats impressionnants en classification d'images.\n\nLe Transformer annonçait officiellement son arrivée conquérante en vision par ordinateur.\n\n## Définir le problème\n\nDès l'entrée, ViT utilise un découpage en patches de 16 x 16 pour l'image, équivalent à une convolution à grand noyau.\n\nAvec une image de 224 x 224, ce découpage produit une grille de 14 x 14 patches.\n\nCette résolution peut suffire à la classification, qui s'appuie sur des caractéristiques globales très abstraites.\n\nPour des tâches de prédiction dense, comme la segmentation ou la détection d'objets, ce découpage rend toutefois les détails locaux difficiles à saisir.\n\n- **Car la compression des caractéristiques par blocs de 16 x 16 fait disparaître une partie des détails.**\n\nIl nous faut manifestement des caractéristiques plus fines. Alors, pourquoi ne pas remplacer le découpage de 16 x 16 par du 2 x 2 ?\n\n- **Bien sûr que non !**\n\nPrenons une image de 224 x 224 :\n\n- Avec des patches de 16 x 16, on obtient 14 x 14, soit 196 tokens d'entrée.\n- Avec des patches de 2 x 2, on obtient 112 x 112, soit 12 544 tokens d'entrée.\n\n**Imaginez la matrice d'auto-attention de 12 544 x 12 544...**\n\nPersonne ne trouverait cela raisonnable.\n\n## Résoudre le problème\n\n### Architecture du modèle\n\n![model architecture](/content/papers/assets/0784052802290bf5595ec58a783a2cd29da20872dafa1be2fdf9d3ebd6813fbb.jpg)\n\nL'image ci-dessus présente l'architecture de PVT.\n\nElle paraît compliquée, mais si vous repensez à la structure des réseaux convolutifs, vous y reconnaîtrez la même idée.\n\n### Structure hiérarchique\n\nOn remarque d'abord la hiérarchie des caractéristiques, semblable à la réduction progressive de résolution par étapes d'un ConvNet. PVT comprend quatre étapes.\n\nLes cartes de caractéristiques produites par ces étapes ont successivement 1/4, 1/8, 1/16 et 1/32 de la taille de l'entrée.\n\nPVT commence donc à 1/4 de la résolution et descend jusqu'à 1/32.\n\nDans l'article, l'entrée de chaque étape est découpée en patches, aplatie puis projetée linéairement. Le code ci-dessous réalise l'équivalent avec une convolution dont le noyau et le pas ont la même taille.\n\nPar exemple, pour une image d'entrée de 3 x 224 x 224, une convolution de pas 4 et 64 canaux de sortie produit une carte de 64 x 56 x 56.\n\nÀ la première étape, l'entrée de l'Encoder Transformer contient donc :\n\n- **Longueur de la séquence** : 3136 tokens, un par patch de la grille 56 x 56.\n- **Dimension des caractéristiques** : 64, soit le nombre de canaux de chaque patch.\n\n### Attention à réduction spatiale (SRA)\n\n![spatial reduction attention](/content/papers/assets/c223e5a72263d2009c8a19bff7b7580deef8977ce533fef6ea34342d9819695e.jpg)\n\nAvec une carte de 56 x 56, la matrice d'auto-attention de taille (56 x 56) x (56 x 56) reste énorme. Il faut s'en occuper sérieusement.\n\nLes auteurs introduisent alors l'attention à réduction spatiale, ou Spatial Reduction Attention (SRA).\n\nLe nombre de tokens de Query est conservé, tandis que Key et Value sont réduits dans les dimensions spatiales, puis reprojetés dans la dimension de canaux de l'étape.\n\nPar exemple, l'auto-attention initiale **$QK^T$** produit une carte de (56 x 56) x (56 x 56). Si l'on réduit Key et Value de (56 x 56) à (7 x 7), cette carte devient 3136 x 49.\n\nDans cet exemple, le nombre d'éléments de la matrice d'attention est divisé par 64, soit $1/64$ de l'original. Le calcul et la mémoire de l'attention diminuent, sans que le coût du modèle entier baisse dans la même proportion.\n\n＊\n\nComme d'habitude, regardons directement le code pour comprendre l'idée centrale de l'article.\n\nLes parties essentielles sont mises en évidence. Ici, `sr_ratio` vaut **[8, 4, 2, 1]**, soit le rapport de réduction spatiale des quatre étapes. À la dernière étape, il vaut 1 : aucune réduction n'est appliquée.\n\nDans notre exemple, la grille de 56 x 56 de la première étape devient 7 x 7.\n\n```python {31-34,40-44}\n# Reference:\n#   - https://github.com/whai362/PVT/blob/v2/classification/pvt.py\n\nimport torch\nimport torch.nn as nn\n\nclass SpatialReductionAttention(nn.Module):\n\n    def __init__(\n        self,\n        dim,\n        num_heads=8,\n        qkv_bias=False,\n        qk_scale=None,\n        attn_drop=0.,\n        proj_drop=0.,\n        sr_ratio=1\n    ):\n        super().__init__()\n        self.dim = dim\n        self.num_heads = num_heads\n        head_dim = dim // num_heads\n        self.scale = qk_scale or head_dim ** -0.5\n\n        self.q = nn.Linear(dim, dim, bias=qkv_bias)\n        self.kv = nn.Linear(dim, dim * 2, bias=qkv_bias)\n        self.attn_drop = nn.Dropout(attn_drop)\n        self.proj = nn.Linear(dim, dim)\n        self.proj_drop = nn.Dropout(proj_drop)\n\n        self.sr_ratio = sr_ratio\n        if sr_ratio > 1:\n            self.sr = nn.Conv2d(dim, dim, kernel_size=sr_ratio, stride=sr_ratio)\n            self.norm = nn.LayerNorm(dim)\n\n    def forward(self, x, H, W):\n        B, N, C = x.shape\n        q = self.q(x).reshape(B, N, self.num_heads, C // self.num_heads).permute(0, 2, 1, 3)\n\n        if self.sr_ratio > 1:\n            x_ = x.permute(0, 2, 1).reshape(B, C, H, W)\n            x_ = self.sr(x_).reshape(B, C, -1).permute(0, 2, 1)\n            x_ = self.norm(x_)\n            kv = self.kv(x_).reshape(B, -1, 2, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4)\n        else:\n            kv = self.kv(x).reshape(B, -1, 2, self.num_heads, C // self.num_heads).permute(2, 0, 3, 1, 4)\n        k, v = kv[0], kv[1]\n\n        attn = (q @ k.transpose(-2, -1)) * self.scale\n        attn = attn.softmax(dim=-1)\n        attn = self.attn_drop(attn)\n\n        x = (attn @ v).transpose(1, 2).reshape(B, N, C)\n        x = self.proj(x)\n        x = self.proj_drop(x)\n\n        return x\n```\n\n### Configurations du modèle\n\nVoyons enfin les configurations proposées pour PVT.\n\n1. $P_i$ : taille des patches à l'étape $i$.\n2. $C_i$ : nombre de canaux de sortie à l'étape $i$.\n3. $L_i$ : nombre de couches Encoder à l'étape $i$.\n4. $R_i$ : facteur de réduction spatiale de SRA à l'étape $i$.\n5. $N_i$ : nombre de têtes de SRA à l'étape $i$.\n6. $E_i$ : facteur d'expansion de la couche feed-forward à l'étape $i$.\n\nLa conception suit deux principes employés par ResNet :\n\n1. Utiliser moins de canaux de sortie dans les premières étapes.\n2. Concentrer l'essentiel du calcul dans les étapes intermédiaires.\n\nPour donner des exemples concrets, le tableau présente quatre tailles de PVT : Tiny, Small, Medium et Large. Leur nombre de paramètres est respectivement comparable à celui de ResNet18, ResNet50, ResNet101 et ResNet152.\n\n![model configuration](/content/papers/assets/21e302d123e03414376e1f41045b370f947cc69561bdd2b40f30aca3fe99d0f5.jpg)\n\n## Discussion\n\n### Résultats sur ImageNet\n\n![imagenet performance](/content/papers/assets/1ea571ee05865772e38c9e2c45d269ca4eff3943e45d2f5493e73c18ab0bdc65.jpg)\n\nLes auteurs comparent PVT aux deux familles de backbones CNN représentatives, ResNet et ResNeXt, largement utilisées dans les évaluations de tâches aval.\n\nDans le tableau, les modèles PVT font mieux que les backbones CNN classiques à nombre de paramètres et budget de calcul comparables.\n\nPar exemple, à GFLOPs proches, l'erreur top-1 de PVT-Small est de $20.2\\%$, contre $21.5\\%$ pour ResNet50, soit $1.3$ point de pourcentage **de moins** ($20.2\\%$ contre $21.5\\%$).\n\nÀ complexité comparable ou moindre, PVT obtient des résultats proches de ceux des modèles Transformer récents, comme ViT et DeiT.\n\nL'erreur top-1 de PVT-Large est de $18.3\\%$, proche des $18.2\\%$ de ViT-Base/16 et DeiT-Base/16 dans le tableau, sans toutefois les surpasser.\n\n### Résultats en détection d'objets\n\n![dense prediction performance-retinanet](/content/papers/assets/7edf448ea40ff1ab951f81717dd25d8bbfe171b94439ee27c7b3554e16650239.jpg)\n\n![dense prediction performance-maskrcnn](/content/papers/assets/500f38dcfc2a08becc4129abc5d5e8b5a92bb931aacb77b0596427d31033561a.jpg)\n\nCette architecture vise dès le départ la prédiction dense. Regardons donc ses résultats sur ces tâches.\n\n1. **Jeu de données** :\n\n   - Évaluation COCO.\n   - Entraînement : COCO train2017 (118 000 images).\n   - Validation : COCO val2017 (5 000 images).\n\n2. **Modèles et initialisation** :\n\n   - Détecteurs standard : RetinaNet et Mask R-CNN.\n   - Backbones initialisés avec des poids préentraînés sur ImageNet.\n   - Nouvelles couches initialisées avec Xavier.\n\n3. **Réglages de l'entraînement** :\n\n   - Taille du batch : 16.\n   - Matériel : huit GPU V100.\n   - Optimiseur : AdamW.\n   - Taux d'apprentissage initial : $1 \\times 10^{-4}$.\n\nÀ nombre de paramètres comparable, PVT surpasse nettement les modèles classiques : avec RetinaNet, PVT-Tiny obtient 4,9 points d'AP de plus que ResNet18 (36,7 contre 31,8).\n\nAvec Mask R-CNN, l'AP de masque (APm) de PVT-Tiny atteint 35,1, soit 3,9 points de plus que ResNet18 (35,1 contre 31,2), et même 0,7 point de plus que ResNet50 (35,1 contre 34,4).\n\nCes résultats montrent que PVT peut remplacer avantageusement un backbone CNN dans les configurations étudiées de détection d'objets et de segmentation d'instances.\n\nLa figure ci-dessous montre les résultats de PVT sur le jeu de validation COCO.\n\n![coco validation results](/content/papers/assets/88b27d29bee0d1c1ecfd77cf50f3a96db03fbc3434d0001aeb063405e164de60.jpg)\n\n### Apport de la structure pyramidale\n\nLes auteurs mènent ensuite plusieurs expériences d'ablation pour examiner l'effet des composants de PVT.\n\nCommençons par l'analyse de la structure pyramidale, dans le tableau suivant :\n\n![pyramid structure contribution](/content/papers/assets/74187fc48b77ff4713d6e2a73d152ee6ffbc188ec17496163b625d2324504424.jpg)\n\nAvec la même configuration RetinaNet 1×, PVT-Small atteint 40,4 AP, soit 8,7 points de plus que ViT-Small/32 (31,7), adapté par extraction de caractéristiques à plusieurs couches et interpolation. ViT-Small/4 n'a pas pu être évalué dans cette comparaison, faute de mémoire sur un GPU de 32 Go.\n\nCette comparaison étaye l'utilité de la conception globale de PVT pour la prédiction dense. On ne peut toutefois pas attribuer les 8,7 points à la seule pyramide : SRA et les échelles des caractéristiques diffèrent aussi.\n\n### Compromis entre profondeur et largeur\n\n![depth vs width](/content/papers/assets/281f21e2ce49a8c433cc4662859afe06addbe34a03e8ab9b2d46bb2e72eaa123.jpg)\n\nLes auteurs étudient ensuite s'il vaut mieux approfondir ou élargir PVT, ainsi que l'effet de la taille des cartes de caractéristiques aux différentes étapes.\n\nIls multiplient par 1,4 la dimension cachée de PVT-Small pour obtenir une version plus large, puis la comparent à une version plus profonde de taille voisine, comme l'indique le tableau.\n\nDans cette ablation, la version profonde compte 44,2 millions de paramètres et atteint 41,9 AP, contre 46,8 millions et 40,8 AP pour la version large. À nombres de paramètres proches, la version profonde fait mieux.\n\n### Un remède partiel\n\n![limitations](/content/papers/assets/37b5b5be3ab11177640820d02530ce0ec37fd049dc1370046cf5e4efa92b4fdf.jpg)\n\nLes auteurs abordent enfin la question des performances en calcul et en temps.\n\nLorsque la taille de l'entrée augmente, les GFLOPs de PVT croissent plus vite que ceux de ResNet, mais moins vite que ceux de ViT.\n\nPour les dimensions d'entrée jusqu'à environ $640 \\times 640$ pixels sur la figure, PVT-Small et ResNet50 ont des GFLOPs proches.\n\nAvec des images dont le côté court est de 800 pixels, RetinaNet basé sur PVT-Small prend 76,9 ms par image sur V100, contre 55,9 ms avec ResNet50. En ramenant le côté court de PVT-Small à 640 pixels, on obtient 51,7 ms et 38,7 AP, mais la taille d'entrée n'est alors plus la même.\n\nLes essais montrent donc un coût en vitesse de PVT-Small avec les grandes entrées testées.\n\n\n> [!TIP]\n> \n> La raison : SRA réduit le nombre de tokens spatiaux de Key et Value, mais si celui des Query augmente aussi avec la résolution d'entrée, le coût de l'attention reste en forte hausse.\n\n\n## Conclusion\n\nEn 2021, les auteurs s'attaquent encore surtout à ResNet et ResNeXt. Cela peut sembler un peu prudent.\n\nMais ce travail introduit une structure pyramidale dans un backbone Transformer destiné à la prédiction dense, plutôt qu'une tête propre à une tâche ou un modèle limité à la classification d'images. Il donne ainsi une direction importante aux recherches suivantes.\n\nÀ cette époque, l'application des Transformers à la vision par ordinateur en est encore à ses débuts ; bien des techniques et usages restent à explorer.\n","imageSizes":{"/content/papers/assets/0784052802290bf5595ec58a783a2cd29da20872dafa1be2fdf9d3ebd6813fbb.jpg":{"width":1368,"height":676},"/content/papers/assets/c223e5a72263d2009c8a19bff7b7580deef8977ce533fef6ea34342d9819695e.jpg":{"width":882,"height":432},"/content/papers/assets/21e302d123e03414376e1f41045b370f947cc69561bdd2b40f30aca3fe99d0f5.jpg":{"width":1626,"height":728},"/content/papers/assets/1ea571ee05865772e38c9e2c45d269ca4eff3943e45d2f5493e73c18ab0bdc65.jpg":{"width":1098,"height":1196},"/content/papers/assets/7edf448ea40ff1ab951f81717dd25d8bbfe171b94439ee27c7b3554e16650239.jpg":{"width":1428,"height":516},"/content/papers/assets/500f38dcfc2a08becc4129abc5d5e8b5a92bb931aacb77b0596427d31033561a.jpg":{"width":1416,"height":476},"/content/papers/assets/88b27d29bee0d1c1ecfd77cf50f3a96db03fbc3434d0001aeb063405e164de60.jpg":{"width":1024,"height":784},"/content/papers/assets/74187fc48b77ff4713d6e2a73d152ee6ffbc188ec17496163b625d2324504424.jpg":{"width":1080,"height":260},"/content/papers/assets/281f21e2ce49a8c433cc4662859afe06addbe34a03e8ab9b2d46bb2e72eaa123.jpg":{"width":994,"height":196},"/content/papers/assets/37b5b5be3ab11177640820d02530ce0ec37fd049dc1370046cf5e4efa92b4fdf.jpg":{"width":1218,"height":840}}}
