{"notes":[{"id":"vision-transformers/beit-v2","category":"vision-transformers","legacyPath":"vision-transformers/2208-beit-v2","legacySlug":"2208-beit-v2","legacyPaths":[],"title":"BEiT v2","subtitle":"Le secret caché dans les hautes dimensions","author":"Z. Yuan","paperDate":"2022-08-12","publishedOn":"2024-12-15","paperTitle":"BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers","paperUrl":"https://arxiv.org/abs/2208.06366","bibliography":{"title":"BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers","authors":["Zhiliang Peng","Li Dong","Hangbo Bao","Qixiang Ye","Furu Wei"],"url":"https://arxiv.org/abs/2208.06366","pdfUrl":"https://arxiv.org/pdf/2208.06366v2","codeUrl":"https://github.com/microsoft/unilm/tree/master/beit2","preprint":{"id":"2208.06366","submittedOn":"2022-08-12","url":"https://arxiv.org/abs/2208.06366"},"publication":null,"citation":"@misc{visiontransformersbeitv22022,\n  title = {{BEiT v2: Masked Image Modeling with Vector-Quantized Visual Tokenizers}},\n  author = {Zhiliang Peng and Li Dong and Hangbo Bao and Qixiang Ye and Furu Wei},\n  year = {2022},\n  eprint = {2208.06366},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2208.06366}\n}\n","citationPath":"/content/papers/citations/vision-transformers/beit-v2.a1d8a42e31b0.bib"},"thumbnail":{"src":"/content/papers/assets/4d70ebb67c819b57a03a242c6d6f16af25de8682a068c003ce50035fc7184df0.jpg","width":1576,"height":570},"locale":"fr","path":"/content/papers/fr/vision-transformers/beit-v2.e49d11bbf34a.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"méthode-de-préentraînement","text":"Méthode de préentraînement","depth":3},{"id":"préentraînement-de-la-représentation-globale","text":"Préentraînement de la représentation globale","depth":3},{"id":"configuration-du-modèle","text":"Configuration du modèle","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-dautres-méthodes","text":"Comparaison avec d'autres méthodes","depth":3},{"id":"ablation--taille-du-codebook","text":"Ablation : taille du codebook","depth":3},{"id":"ablation--stratégie-de-patch-aggregation","text":"Ablation : stratégie de patch aggregation","depth":3},{"id":"ablation--analyse-des-cibles-de-lenseignant","text":"Ablation : analyse des cibles de l'enseignant","depth":3},{"id":"visualisation-du-codebook","text":"Visualisation du codebook","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit","relation":"background","topic":"Préentraînement visuel masqué"},{"id":"multimodality/beit-v3","relation":"next","topic":"Préentraînement visuel masqué"}]},{"id":"vision-transformers/beit","category":"vision-transformers","legacyPath":"vision-transformers/2106-beit","legacySlug":"2106-beit","legacyPaths":[],"title":"BEiT","subtitle":"Préentraînement avec un codage discret","author":"Z. Yuan","paperDate":"2021-06-15","publishedOn":"2024-07-24","paperTitle":"BEiT: BERT Pre-Training of Image Transformers","paperUrl":"https://arxiv.org/abs/2106.08254","bibliography":{"title":"BEiT: BERT Pre-Training of Image Transformers","authors":["Hangbo Bao","Li Dong","Songhao Piao","Furu Wei"],"url":"https://arxiv.org/abs/2106.08254","pdfUrl":"https://arxiv.org/pdf/2106.08254","codeUrl":null,"preprint":{"id":"2106.08254","submittedOn":"2021-06-15","url":"https://arxiv.org/abs/2106.08254"},"publication":{"venue":"ICLR","year":2022,"kind":"conference","url":"https://openreview.net/pdf?id=p-BhZSz59o4"},"citation":"@misc{visiontransformersbeit2021,\n  title = {{BEiT: BERT Pre-Training of Image Transformers}},\n  author = {Hangbo Bao and Li Dong and Songhao Piao and Furu Wei},\n  year = {2021},\n  eprint = {2106.08254},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2106.08254}\n}\n","citationPath":"/content/papers/citations/vision-transformers/beit.57788bd3bad1.bib"},"thumbnail":{"src":"/content/papers/assets/b63230200cc9c8058f03ba8afc2fac203e6f48519ad44e4a300fa7cbbc9093b1.jpg","width":1578,"height":862},"locale":"fr","path":"/content/papers/fr/vision-transformers/beit.120b9ed46088.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"méthode-dentraînement","text":"Méthode d'entraînement","depth":3},{"id":"ajustement-sur-les-tâches-en-aval","text":"Ajustement sur les tâches en aval","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-sur-imagenet","text":"Résultats sur ImageNet","depth":3},{"id":"études-dablation","text":"Études d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit-v2","relation":"next","topic":"Préentraînement visuel masqué"},{"id":"vision-transformers/mae","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"},{"id":"image-generation/mar","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"}]},{"id":"multimodality/beit-v3","category":"multimodality","legacyPath":"multimodality/2208-beit-v3","legacySlug":"2208-beit-v3","legacyPaths":[],"title":"BEiT-3","subtitle":"Les grands esprits se rencontrent","author":"Z. Yuan","paperDate":"2022-08-22","publishedOn":"2024-12-31","paperTitle":"Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks","paperUrl":"https://arxiv.org/abs/2208.10442","bibliography":{"title":"Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks","authors":["Wenhui Wang","Hangbo Bao","Li Dong","Johan Bjorck","Zhiliang Peng","Qiang Liu","Kriti Aggarwal","Owais Khan Mohammed","Saksham Singhal","Subhojit Som","Furu Wei"],"url":"https://arxiv.org/abs/2208.10442","pdfUrl":"https://arxiv.org/pdf/2208.10442v2","codeUrl":"https://github.com/microsoft/unilm/tree/master/beit3","preprint":{"id":"2208.10442","submittedOn":"2022-08-22","url":"https://arxiv.org/abs/2208.10442"},"publication":{"venue":"CVPR","year":2023,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2023/html/Wang_Image_as_a_Foreign_Language_BEiT_Pretraining_for_Vision_and_CVPR_2023_paper.html"},"citation":"@misc{multimodalitybeitv32022,\n  title = {{Image as a Foreign Language: BEiT Pretraining for All Vision and Vision-Language Tasks}},\n  author = {Wenhui Wang and Hangbo Bao and Li Dong and Johan Bjorck and Zhiliang Peng and Qiang Liu and Kriti Aggarwal and Owais Khan Mohammed and Saksham Singhal and Subhojit Som and Furu Wei},\n  year = {2022},\n  eprint = {2208.10442},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2208.10442}\n}\n","citationPath":"/content/papers/citations/multimodality/beit-v3.da59712d53e1.bib"},"thumbnail":{"src":"/content/papers/assets/29b3716ceccbc3340eda2ad7c1b5cc075b7411d9f23a7bf7e7465190ab7e6ef7.jpg","width":1224,"height":570},"locale":"fr","path":"/content/papers/fr/multimodality/beit-v3.9a6f1d5994bd.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"adaptation-multimodale","text":"Adaptation multimodale","depth":3},{"id":"tâche-de-préentraînement","text":"Tâche de préentraînement","depth":3},{"id":"modèle-et-données-dentraînement","text":"Modèle et données d'entraînement","depth":3},{"id":"stratégie-dentraînement","text":"Stratégie d'entraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"comparaison-avec-les-autres-modèles","text":"Comparaison avec les autres modèles","depth":3},{"id":"analyse-des-contributions","text":"Analyse des contributions","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit-v2","relation":"background","topic":"Préentraînement visuel masqué"}]}],"text":"Vous vous souvenez de BEiT ?\n\nSi vous l'avez oublié, reprenons vite les bases, sinon cet article sera difficile à suivre :\n\n\n\n![BEiT v1](/content/papers/assets/b63230200cc9c8058f03ba8afc2fac203e6f48519ad44e4a300fa7cbbc9093b1.jpg)\n\n\n\nL'idée centrale de BEiT consiste à transformer une image en codes visuels discrets. Le vocabulaire compte 8 192 codes possibles. Comme le montre la figure, deux architectures interviennent.\n\nLa première, dans la partie supérieure, ressemble à un VAE. C'est le tokenizer visuel entraîné auparavant : pendant le préentraînement MIM de BEiT, ses paramètres restent fixes et il ne sert qu'à convertir l'image en codes discrets. On peut voir cela comme un « dictionnaire d'images » appris au préalable, dont les entrées correspondent à différents concepts visuels.\n\nLa seconde architecture occupe la partie inférieure et reçoit, elle, des mises à jour par gradient. Elle reprend l'idée du MLM de BERT : masquer certains patches de l'image puis prédire leurs codes visuels. D'où le nom *Masked Image Modeling* (MIM).\n\n\n> [!TIP]\n> \n> Si vous voulez revoir les détails de BEiT, notre note précédente est ici :\n> \n> - [**[21.06] BEiT : préentraînement par codage discret**](/blog/papers/vision-transformers/beit)\n\n\n## Définir le problème\n\nQuand on parle de MIM, le nom qui vient probablement le plus vite à l'esprit ces dernières années est MAE.\n\nMAE part de l'idée qu'une image contient beaucoup d'informations redondantes : masquer une toute petite région ne rend pas la tâche assez difficile. Sa méthode masque environ 50 à 75 % des patches, puis reconstruit leurs pixels pour pousser le modèle à apprendre.\n\nLes résultats ont effectivement été bons, et cette approche a fait école.\n\n\n> [!TIP]\n> \n> Si vous voulez en savoir un peu plus sur MAE, voyez cette note :\n> \n> - [**[21.11] MAE : un quart des indices**](/blog/papers/vision-transformers/mae)\n\n\nCela dit, l'objectif de MAE reste la reconstruction de pixels, donc d'une information visuelle plutôt « bas niveau ». Il n'impose pas directement un alignement sur des caractéristiques sémantiques de « haut niveau » ; c'est cet aspect que les auteurs veulent améliorer.\n\nMais qu'entend-on par « information sémantique de haut niveau » ?\n\nSelon les auteurs, les unités visuelles (*visual tokens*) introduites par BEiT peuvent représenter un niveau d'abstraction plus éloigné des pixels. Ils repartent donc de BEiT et cherchent cette fois à faire apprendre au modèle une information sémantique plus riche.\n\n## Résoudre le problème\n\n### Architecture du modèle\n\n![Architecture VQ-KD](/content/papers/assets/4d70ebb67c819b57a03a242c6d6f16af25de8682a068c003ce50035fc7184df0.jpg)\n\nLes auteurs nomment cette architecture **distillation de connaissances à quantification vectorielle** (*Vector-Quantized Knowledge Distillation*), ou VQ-KD.\n\nVoilà soudain beaucoup de termes nouveaux ! Suivons la figure pas à pas.\n\n- **Étape 1 : calculer les caractéristiques de l'image**\n\n  L'image d'entrée $x \\in \\mathbb{R}^{H \\times W \\times C}$ est d'abord divisée en $N = \\frac{HW}{P^2}$ patches.\n\n  Pour une image de $224 \\times 224$ et des patches de $16 \\times 16$, nous obtenons une grille de $14 \\times 14 = 196$ patches, soit $N=196$. Les patches aplatis forment une séquence que l'encodeur ViT transforme en vecteurs $h_i$, pour $i=1,2,\\dots,N$.\n\n  Nous avons ainsi un ensemble $\\{h_i\\}_{i=1}^N$, avec un vecteur associé à chaque patch.\n\n  Jusqu'ici, la démarche ne s'écarte pas beaucoup du premier BEiT.\n\n---\n\n- **Étape 2 : consulter le codebook avec ces caractéristiques**\n\n  C'est maintenant que les choses changent. Dans le premier BEiT, les auteurs utilisaient directement les unités visuelles produites par le tokenizer de DALL-E.\n\n  Dans la seconde version, ils définissent un *codebook* $V \\in \\mathbb{R}^{K \\times D}$ contenant $K$ vecteurs de code $\\{v_j\\}_{j=1}^K$, chacun de dimension $D$.\n\n  Pour associer $h_i$ à un code $v_{z_i}$, ils cherchent l'indice $z_i$ du vecteur le plus proche :\n\n  $$\n  z_i = \\arg\\min_j \\| \\ell_2(h_i) - \\ell_2(v_j) \\|^2,\n  $$\n\n  La normalisation $L_2$ projette $h_i$ et les vecteurs $v_j$ sur la sphère unité. La comparaison porte ainsi sur leur direction plutôt que sur leur longueur.\n\n  C'est l'étape de « quantification vectorielle » : une caractéristique continue devient un code discret.\n\n---\n\n- **Étape 3 : s'aligner sur le modèle enseignant par distillation**\n\n  Une fois le code $v_{z_i}$ choisi, son vecteur normalisé $\\ell_2(v_{z_i})$ entre dans un décodeur, lui aussi fondé sur Transformer.\n\n  Le décodeur produit $o_i$. Il doit se rapprocher de la caractéristique sémantique $t_i$ fournie par un « enseignant » tel que CLIP.\n\n  Pendant l'entraînement, les auteurs maximisent la similarité cosinus entre $o_i$ et $t_i$ pour guider le décodeur vers une représentation porteuse de sens.\n\n  Voilà la « distillation de connaissances » : le modèle apprend à conserver davantage d'information sémantique dans ses codes.\n\n---\n\nAutrement dit, le décodeur reçoit le vecteur de code, produit $o_i$ et cherche à rendre $\\cos(o_i, t_i)$ aussi grand que possible : plus cette valeur est grande, plus $o_i$ et $t_i$ sont proches.\n\nPendant la quantification, l'opération $\\arg\\min$ qui choisit $z_i$ n'est pas directement différentiable. Les auteurs contournent ce problème de deux façons :\n\n- Le *stop-gradient*, noté $sg[\\cdot]$, coupe la propagation du gradient sur certains chemins.\n- L'estimateur *straight-through* transmet directement le gradient de l'entrée du décodeur à l'encodeur ; le codebook est aussi mis à jour par EMA, comme nous le verrons plus bas.\n\nL'objectif global de VQ-KD est :\n\n$$\n\\max \\sum_{x \\in D} \\sum_{i=1}^{N} \\cos(o_i, t_i) - \\| sg[\\ell_2(h_i)] - \\ell_2(v_{z_i}) \\|_2^2 - \\|\\ell_2(h_i) - sg[\\ell_2(v_{z_i})]\\|_2^2,\n$$\n\nIl comporte trois parties :\n\n- $\\cos(o_i, t_i)$ : maximiser la similarité entre la sortie du décodeur et la caractéristique de l'enseignant pour donner une valeur sémantique aux codes.\n- $\\| sg[\\ell_2(h_i)] - \\ell_2(v_{z_i}) \\|_2^2$ : rapprocher le code $v_{z_i}$ de la sortie $h_i$ de l'encodeur. Dans ce terme, le gradient ne passe pas vers $h_i$.\n- $\\|\\ell_2(h_i) - sg[\\ell_2(v_{z_i})]\\|_2^2$ : rapprocher $h_i$ du code choisi. Cette fois, le code ne reçoit pas le gradient de ce terme.\n\nLe *stop-gradient* contraint donc séparément la sortie de l'encodeur et les vecteurs du codebook à se rapprocher. L'entraînement utilise également une mise à jour EMA du codebook pour apprendre des codes discrets plus riches en sémantique.\n\nLa quantification rencontre souvent un problème : quelques codes sont utilisés sans cesse, pendant que les autres restent « inactifs ».\n\nPour y remédier, les auteurs emploient les stratégies suivantes :\n\n- Calculer la distance après normalisation $L_2$, afin de mieux répartir l'usage des codes.\n- Réduire à 32 la dimension des vecteurs du codebook, puis les projeter à nouveau dans un espace de plus grande dimension, pour éviter que quelques codes concentrent tous les usages.\n- Mettre à jour les codes par moyenne mobile exponentielle (*Exponential Moving Average*, EMA), afin de stabiliser et diversifier leur apprentissage.\n\nGrâce à ces étapes, VQ-KD apprend au tokenizer visuel à représenter une image par des codes discrets. L'objectif est de conserver l'information sémantique tout en passant de caractéristiques continues à une représentation discrète plus abstraite.\n\n### Méthode de préentraînement\n\n![Préentraînement MIM](/content/papers/assets/57746ae9506cf25a77101175eb5a2036cb794d749fe44ff5007671cae4af2408.jpg)\n\nAprès VQ-KD, le tokenizer visuel sait attribuer des codes discrets à une image. Il faut maintenant les utiliser comme cibles du préentraînement MIM.\n\nEnviron 40 % des patches de l'image $x$ sont masqués au hasard. Aux positions masquées $M$, un même vecteur appris $e[M]$ remplace les embeddings d'origine $e_{p_i}$.\n\nLa partie bleue de la figure correspond au préentraînement MIM du premier BEiT ; même la proportion masquée est identique. Une simple couche entièrement connectée, la tête MIM, prédit les codes visuels. Chaque cible $z_i$ est fournie par le tokenizer entraîné auparavant : c'est le code du patch correspondant dans l'image non masquée.\n\nLa perte d'entraînement MIM s'écrit :\n\n$$\nL_{\\text{MIM}} = -\\sum_{x \\in D} \\sum_{i \\in M} \\log p(z_i | x_i^M)\n$$\n\nIci, $D$ est l'ensemble des images utilisées pour le préentraînement.\n\n### Préentraînement de la représentation globale\n\nDans l'article, cette partie s'appelle *Global Representation Pretraining*.\n\nSur la figure, la partie `Patch Aggregation` est une nouveauté de BEiT v2.\n\nPour que le token [CLS] du backbone préentraîné capte l'information de l'image entière, les auteurs ajoutent un entraînement de la représentation globale.\n\nIls concatènent le [CLS] de la dernière couche du backbone BEiT v2 aux caractéristiques des patches d'une couche intermédiaire, puis donnent le tout à un décodeur Transformer peu profond qui prédit les patches masqués.\n\nCe décodeur partage les paramètres de la tête MIM avec la branche initiale. Sa perte, notée $L_{c}^{\\text{MIM}}$, se calcule comme la perte MIM précédente. L'objectif final de préentraînement additionne donc les deux pertes :\n\n$$\nL_{\\text{total}} = L_{\\text{MIM}} + L^{c}_{\\text{MIM}}\n$$\n\nUne fois l'entraînement terminé, le décodeur peu profond est écarté. Le backbone préentraîné, qui contient le token [CLS], sert aux tâches aval.\n\n### Configuration du modèle\n\n- **Tokenizer visuel (*Visual Tokenizer*)**\n\n  Pour préentraîner les modèles BEiT v2 de tailles base (B) et large (L), le tokenizer visuel utilise un ViT-B/16. Son décodeur est un Transformer à trois couches, avec la même dimension et le même nombre de têtes d'attention que l'encodeur du tokenizer.\n\n  L'enseignant est OpenAI CLIP-B/16. VQ-KD est entraîné sur ImageNet-1K, avec des images de $224\\times224$. Le même enseignant de taille base sert ensuite au tokenizer, que le backbone préentraîné soit de taille base ou large.\n\n  Le codebook comprend $K=8192$ codes de dimension $D=32$.\n\n\n> [!TIP]\n> \n> Pour les autres détails, voir l'annexe D de l'article.\n\n\n- **Paramètres du *Masked Image Modeling***\n\n  Comme BEiT, les auteurs effectuent un préentraînement autosupervisé sur ImageNet-1K sans étiquettes de classe, avec des images de résolution $224 \\times 224$.\n\n  Le backbone est un ViT-B/16 ou un ViT-L/16, avec des patches de $16 \\times 16$. La stratégie de *patch aggregation* prend $l=9$ pour B et $l=21$ pour L ; la profondeur par défaut de sa tête est de deux couches. Le masquage par blocs cache 40 % des patches, soit environ 75 positions.\n\n\n> [!TIP]\n> \n> D'autres détails figurent dans l'annexe E de l'article.\n\n\n## Discussion\n\n### Comparaison avec d'autres méthodes\n\n\n\n![Comparaison des méthodes](/content/papers/assets/2c450a0b705466c3500ee2115060ccd542d8ad06d429821796c50d047833de1a.jpg)\n\n\n\nCommençons par les résultats après *fine-tuning*. Les auteurs comparent BEiT v2 à BEiT, CAE, SplitMask, PeCo et MVP. Avec un ViT-B/16 préentraîné pendant 300 epochs, BEiT v2 atteint 85,0 % de top-1 sur ImageNet-1K : c'est plus que les autres méthodes du même groupe, dont MVP à 84,4 %, soit 0,6 point d'écart.\n\nEn allongeant le préentraînement, le top-1 de BEiT v2 monte à 85,5 %, un nouveau record parmi les méthodes autosupervisées au moment de l'article. Avec ViT-L/16, il atteint 86,6 % après 300 epochs et 87,3 % après un entraînement plus long.\n\nLa dernière colonne du tableau concerne ADE20K (Zhou et al., 2019), un jeu de 25 000 images et 150 classes sémantiques. Les auteurs utilisent UperNet (Xiao et al., 2018) comme tête de tâche et procèdent à 160 000 itérations de *fine-tuning* avec des entrées de $512 \\times 512$.\n\nSur ADE20K, BEiT v2 dépasse les méthodes autosupervisées précédentes : le ViT-L/16 atteint par exemple 56,7 de mIoU, une nouvelle référence pour les méthodes MIM dans les conditions de l'article.\n\n### Ablation : taille du codebook\n\n![Ablation du codebook](/content/papers/assets/7caaaa97eb7d87e4c39ef9ae1ad1b81bc47dba59a9c5024435617cbc8b5bc5df.jpg)\n\nLe tableau montre l'effet de différentes architectures VQ-KD et dimensions du codebook.\n\nLa référence est un ViT-B/16 préentraîné pendant 300 epochs, sans *patch aggregation*.\n\nOn constate que :\n\n- Un décodeur plus profond réduit la perte de reconstruction, mais aussi l'utilisation du codebook. En passant de trois à six couches, le *linear probing* tombe de 77,9 % à 63,0 %, tandis que le *fine-tuning* passe de 84,7 % à 84,6 %.\n- Réduire la dimension utilisée pour chercher les codes améliore l'utilisation du codebook.\n\n### Ablation : stratégie de patch aggregation\n\n\n\n![Ablation de la patch aggregation](/content/papers/assets/3c2ad98dfc856790d2f71ee396bb81e42dea15dc2d39d1d8817d53a9b5d2e0e6.jpg)\n\n\n\nLes auteurs étudient ensuite la *patch aggregation*. Les résultats montrent que :\n\n- À $l=9$, la tête à deux couches donne un meilleur *fine-tuning* et *linear probing* (85,0 % et 80,1 %) que celles à une ou trois couches. Cela suggère qu'une tête relativement peu profonde exploite mieux le [CLS] d'entrée ; les résultats ADE20K ne suivent toutefois pas complètement l'ordre des profondeurs.\n- La configuration par défaut surpasse la référence sans cette stratégie, notamment en *linear probing*, qui passe de 77,9 % à 80,1 %. Cela indique une meilleure représentation au niveau de l'image.\n- Partager la tête MIM dans cette stratégie contribue aux résultats des tâches aval.\n\n### Ablation : analyse des cibles de l'enseignant\n\n\n\n![Comparaison des enseignants](/content/papers/assets/774c796f7c3e7f587bada14299020fa06d5d6feddc6f398c1379a4f95a4ccf65.jpg)\n\n\n\nLes auteurs comparent VQ-KD entraîné avec DINO ou CLIP comme enseignant :\n\n- Avec DINO, BEiT v2 atteint 84,4 % sur ImageNet et 49,2 sur ADE20K, contre 83,6 % et 46,8 pour un *fine-tuning* direct de DINO.\n- Avec CLIP et 300 epochs de préentraînement, BEiT v2 atteint 85,0 % sur ImageNet, légèrement au-dessus des 84,9 % du *fine-tuning* direct de CLIP. Il obtient 52,7 sur ADE20K, sans résultat CLIP correspondant dans le tableau.\n\nLes nombres grisés représentent le *fine-tuning* direct des enseignants DINO et CLIP, ainsi que celui de l'encodeur VQ-KD entraîné avec CLIP pour cible. Ce dernier atteint 83,6 % sur ImageNet, sous les 84,9 % de CLIP ; l'ajout du préentraînement MIM porte ensuite le résultat à 85,0 %.\n\n### Visualisation du codebook\n\n![Visualisation du codebook](/content/papers/assets/41ac4166810d8e1e48246e8d7f2d9b871717cb4be3c4bdb2d5cfd6857aaa6c37.jpg)\n\nPour finir, regardons comment se présentent les codes.\n\nLes auteurs calculent les codes discrets des patches de l'ensemble de validation ImageNet-1K avec VQ-KD, puis regroupent les patches partageant un code. Les patches associés à un même code ont des caractéristiques sémantiques voisines : le code 7856, par exemple, regroupe des yeux d'humains, de chats, de chiens, de poissons et de serpents.\n\n## Conclusion\n\nLe codebook est une idée très séduisante.\n\nDans les travaux actuels, il peut aider à tokeniser les images, à entraîner de meilleurs tokenizers visuels et à préentraîner le MIM. Il pourrait aussi servir de pont vers le multimodal. Avec ces codes discrets comme intermédiaires, un modèle peut exploiter de grandes quantités de données sans annotations propres à sa tâche ; des domaines où les données étiquetées manquent pourraient ainsi tirer parti de l'apprentissage autosupervisé.\n\nEn somme, VQ-KD améliore la procédure de préentraînement de BEiT et pousse le MIM vers des représentations sémantiques plus riches. La *patch aggregation* aide aussi le modèle à réunir l'information globale et à rapprocher son objectif de préentraînement des usages en aval.\n\nProchaine étape : emportons cette idée de « codage discret » vers le multimodal. Voyons BEiT-3 :\n\n- [**[22.08] BEiT-3 : les grands esprits se rencontrent**](/blog/papers/multimodality/beit-v3)\n","imageSizes":{"/content/papers/assets/b63230200cc9c8058f03ba8afc2fac203e6f48519ad44e4a300fa7cbbc9093b1.jpg":{"width":1578,"height":862},"/content/papers/assets/4d70ebb67c819b57a03a242c6d6f16af25de8682a068c003ce50035fc7184df0.jpg":{"width":1576,"height":570},"/content/papers/assets/57746ae9506cf25a77101175eb5a2036cb794d749fe44ff5007671cae4af2408.jpg":{"width":1738,"height":694},"/content/papers/assets/2c450a0b705466c3500ee2115060ccd542d8ad06d429821796c50d047833de1a.jpg":{"width":1224,"height":1056},"/content/papers/assets/7caaaa97eb7d87e4c39ef9ae1ad1b81bc47dba59a9c5024435617cbc8b5bc5df.jpg":{"width":1224,"height":310},"/content/papers/assets/3c2ad98dfc856790d2f71ee396bb81e42dea15dc2d39d1d8817d53a9b5d2e0e6.jpg":{"width":1224,"height":568},"/content/papers/assets/774c796f7c3e7f587bada14299020fa06d5d6feddc6f398c1379a4f95a4ccf65.jpg":{"width":972,"height":572},"/content/papers/assets/41ac4166810d8e1e48246e8d7f2d9b871717cb4be3c4bdb2d5cfd6857aaa6c37.jpg":{"width":1224,"height":704}}}
