{"notes":[{"id":"image-generation/mar","category":"image-generation","legacyPath":"image-generation/2406-mar","legacySlug":"2406-mar","legacyPaths":[],"title":"MAR","subtitle":"Repenser l'ordre de la génération","author":"nbswords","paperDate":"2024-06-17","publishedOn":"2025-05-17","paperTitle":"Autoregressive Image Generation without Vector Quantization","paperUrl":"https://arxiv.org/abs/2406.11838","bibliography":{"title":"Autoregressive Image Generation without Vector Quantization","authors":["Tianhong Li","Yonglong Tian","He Li","Mingyang Deng","Kaiming He"],"url":"https://arxiv.org/abs/2406.11838","pdfUrl":"https://arxiv.org/pdf/2406.11838","codeUrl":"https://github.com/LTH14/mar","preprint":{"id":"2406.11838","submittedOn":"2024-06-17","url":"https://arxiv.org/abs/2406.11838"},"publication":{"venue":"NeurIPS","year":2024,"kind":"conference","url":"https://arxiv.org/abs/2406.11838"},"citation":"@misc{imagegenerationmar2024,\n  title = {{Autoregressive Image Generation without Vector Quantization}},\n  author = {Tianhong Li and Yonglong Tian and He Li and Mingyang Deng and Kaiming He},\n  year = {2024},\n  eprint = {2406.11838},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2406.11838}\n}\n","citationPath":"/content/papers/citations/image-generation/mar.a10059725836.bib"},"thumbnail":{"src":"/content/papers/assets/7d9e2036ebab3a5f2196e771c1ff55ca92c6910f1bd5b54f43735e8ca433f3cb.jpg","width":816,"height":570},"locale":"fr","path":"/content/papers/fr/image-generation/mar.83e6bb767501.md","headings":[{"id":"contexte","text":"Contexte","depth":2},{"id":"quantification-vectorielle-vq","text":"Quantification vectorielle (VQ)","depth":3},{"id":"génération-autorégressive-dimages","text":"Génération autorégressive d'images","depth":3},{"id":"méthode","text":"Méthode","depth":2},{"id":"abandonner-la-vq-adopter-la-diffusion","text":"Abandonner la VQ, adopter la diffusion","depth":3},{"id":"intégrer-les-idées-des-modèles-autorégressifs-et-des-modèles-génératifs-masqués","text":"Intégrer les idées des modèles autorégressifs et des modèles génératifs masqués","depth":3},{"id":"implémentation","text":"Implémentation","depth":2},{"id":"expériences","text":"Expériences","depth":2},{"id":"diffusion-loss-contre-entropie-croisée","text":"Diffusion Loss contre entropie croisée","depth":3},{"id":"tokenizers","text":"Tokenizers","depth":3},{"id":"mlp-de-débruitage","text":"MLP de débruitage","depth":3},{"id":"nombre-de-pas-déchantillonnage-de-la-diffusion-loss","text":"Nombre de pas d'échantillonnage de la Diffusion Loss","depth":3},{"id":"température-de-la-diffusion-loss","text":"Température de la Diffusion Loss","depth":3},{"id":"compromis-vitesse-et-qualité","text":"Compromis vitesse et qualité","depth":3},{"id":"comparaison-entre-systèmes","text":"Comparaison entre systèmes","depth":3},{"id":"conclusion","text":"Conclusion","depth":2},{"id":"référence","text":"Référence","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/mae","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"},{"id":"vision-transformers/beit","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"}]},{"id":"vision-transformers/mae","category":"vision-transformers","legacyPath":"vision-transformers/2111-mae","legacySlug":"2111-mae","legacyPaths":[],"title":"MAE","subtitle":"Un quart des indices","author":"Z. Yuan","paperDate":"2021-11-11","publishedOn":"2024-08-27","paperTitle":"Masked Autoencoders Are Scalable Vision Learners","paperUrl":"https://arxiv.org/abs/2111.06377","bibliography":{"title":"Masked Autoencoders Are Scalable Vision Learners","authors":["Kaiming He","Xinlei Chen","Saining Xie","Yanghao Li","Piotr Dollár","Ross Girshick"],"url":"https://arxiv.org/abs/2111.06377","pdfUrl":"https://arxiv.org/pdf/2111.06377","codeUrl":"https://github.com/facebookresearch/mae","preprint":{"id":"2111.06377","submittedOn":"2021-11-11","url":"https://arxiv.org/abs/2111.06377"},"publication":{"venue":"CVPR","year":2022,"kind":"conference","url":"https://openaccess.thecvf.com/content/CVPR2022/html/He_Masked_Autoencoders_Are_Scalable_Vision_Learners_CVPR_2022_paper.html"},"citation":"@misc{visiontransformersmae2021,\n  title = {{Masked Autoencoders Are Scalable Vision Learners}},\n  author = {Kaiming He and Xinlei Chen and Saining Xie and Yanghao Li and Piotr Dollár and Ross Girshick},\n  year = {2021},\n  eprint = {2111.06377},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2111.06377}\n}\n","citationPath":"/content/papers/citations/vision-transformers/mae.762f979b1c32.bib"},"thumbnail":{"src":"/content/papers/assets/f6a24c00fab9f102a2680899072c0e9de2ff2ae0cd7197666455a34c566f6542.jpg","width":1224,"height":716},"locale":"fr","path":"/content/papers/fr/vision-transformers/mae.900172a95fb8.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"méthode-dentraînement","text":"Méthode d'entraînement","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"quelle-proportion-masquer-","text":"Quelle proportion masquer ?","depth":3},{"id":"taille-du-decoder","text":"Taille du Decoder","depth":3},{"id":"cible-dapprentissage","text":"Cible d'apprentissage","depth":3},{"id":"augmentation-des-images","text":"Augmentation des images","depth":3},{"id":"façons-de-masquer","text":"Façons de masquer","depth":3},{"id":"résultats-sur-imagenet","text":"Résultats sur ImageNet","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"},{"id":"image-generation/mar","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"}]},{"id":"vision-transformers/beit","category":"vision-transformers","legacyPath":"vision-transformers/2106-beit","legacySlug":"2106-beit","legacyPaths":[],"title":"BEiT","subtitle":"Préentraînement avec un codage discret","author":"Z. Yuan","paperDate":"2021-06-15","publishedOn":"2024-07-24","paperTitle":"BEiT: BERT Pre-Training of Image Transformers","paperUrl":"https://arxiv.org/abs/2106.08254","bibliography":{"title":"BEiT: BERT Pre-Training of Image Transformers","authors":["Hangbo Bao","Li Dong","Songhao Piao","Furu Wei"],"url":"https://arxiv.org/abs/2106.08254","pdfUrl":"https://arxiv.org/pdf/2106.08254","codeUrl":null,"preprint":{"id":"2106.08254","submittedOn":"2021-06-15","url":"https://arxiv.org/abs/2106.08254"},"publication":{"venue":"ICLR","year":2022,"kind":"conference","url":"https://openreview.net/pdf?id=p-BhZSz59o4"},"citation":"@misc{visiontransformersbeit2021,\n  title = {{BEiT: BERT Pre-Training of Image Transformers}},\n  author = {Hangbo Bao and Li Dong and Songhao Piao and Furu Wei},\n  year = {2021},\n  eprint = {2106.08254},\n  archivePrefix = {arXiv},\n  url = {https://arxiv.org/abs/2106.08254}\n}\n","citationPath":"/content/papers/citations/vision-transformers/beit.57788bd3bad1.bib"},"thumbnail":{"src":"/content/papers/assets/b63230200cc9c8058f03ba8afc2fac203e6f48519ad44e4a300fa7cbbc9093b1.jpg","width":1578,"height":862},"locale":"fr","path":"/content/papers/fr/vision-transformers/beit.120b9ed46088.md","headings":[{"id":"définir-le-problème","text":"Définir le problème","depth":2},{"id":"résoudre-le-problème","text":"Résoudre le problème","depth":2},{"id":"architecture-du-modèle","text":"Architecture du modèle","depth":3},{"id":"méthode-dentraînement","text":"Méthode d'entraînement","depth":3},{"id":"ajustement-sur-les-tâches-en-aval","text":"Ajustement sur les tâches en aval","depth":3},{"id":"discussion","text":"Discussion","depth":2},{"id":"résultats-sur-imagenet","text":"Résultats sur ImageNet","depth":3},{"id":"études-dablation","text":"Études d'ablation","depth":3},{"id":"conclusion","text":"Conclusion","depth":2}],"anchorAliases":{},"guide":null,"relatedReading":[{"id":"vision-transformers/beit-v2","relation":"next","topic":"Préentraînement visuel masqué"},{"id":"vision-transformers/mae","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"},{"id":"image-generation/mar","relation":"comparison","topic":"Reconstruire des pixels ou des tokens visuels"}]}],"text":"> [!NOTE]\n>\n> Cet article a également été publié sur [**le Medium de nbswords**](https://medium.com/@nbswords/autoregressive-image-generation-without-vector-quantization-516b68b5acfa).\n\nLes modèles autorégressifs de génération d'images actuels utilisent souvent la quantification vectorielle (VQ) pour discrétiser l'image en tokens et reproduire le succès des modèles autorégressifs en traitement du langage naturel. Les auteurs estiment pourtant qu'un espace discret n'est pas indispensable à la génération autorégressive d'images. Ils proposent donc un modèle opérant dans un espace continu, qui obtient une meilleure qualité de génération tout en conservant une inférence rapide.\n\n## Contexte\n\n### Quantification vectorielle (VQ)\n\nLa quantification vectorielle est une technique ancienne, également employée pour accélérer la recherche de vecteurs. Elle associe chaque vecteur d'entrée au représentant le plus proche dans un dictionnaire fini, ou *codebook*, puis utilise l'indice de ce représentant. Découper les vecteurs en plusieurs groupes de sous-vecteurs est une variante particulière, et non une propriété nécessaire de toute VQ.\n\n\n\n![VQ](/content/papers/assets/21442c2be2d5d8d706f0a4c44cfb83170df27e4540edd3a32cdc18d9de37c810.jpg)\n\n\n\nPour le détail, voir [Survey Of Vector Space Search](https://medium.com/@nbswords/survey-of-vector-space-search-26555890ca5e) ou [l'article Wikipédia sur la quantification vectorielle](https://en.wikipedia.org/wiki/Vector_quantization).\n\n### Génération autorégressive d'images\n\nLes premiers modèles autorégressifs d'images traitaient la génération comme celle d'un texte par un modèle de type GPT : chaque valeur de pixel, ou de canal, est une catégorie à prédire par entropie croisée catégorielle. Le modèle [Image Transformer de Google, 2018](https://arxiv.org/abs/1802.05751) et [ImageGPT d'OpenAI, 2020](https://cdn.openai.com/papers/Generative_Pretraining_from_Pixels_V2.pdf) illustrent cette approche. Il ne faut pas confondre ici les modèles autorégressifs d'images en général avec la méthode particulière nommée VAR.\n\nPour accélérer la génération, les modèles autorégressifs d'images plus récents introduisent souvent la VQ dans un entraînement en deux étapes. Ils apprennent d'abord, dans l'espace latent, un codebook permettant de reconstruire les images ; ils génèrent ensuite des images de manière autorégressive à partir de ce codebook appris.\n\n- Prenons [VQ-VAE, 2017](https://arxiv.org/abs/1711.00937) comme exemple :\n  - À l'encodage, un CNN extrait les caractéristiques de l'image. On quantifie ensuite la carte $z_e$ en comparant chacun de ses vecteurs aux représentants du codebook (vecteurs violets, $e_1$ à $e_K$). L'indice du représentant le plus proche fournit la représentation discrète $q(z|x)$.\n  - Au décodage, on reconstruit l'image à partir des vecteurs quantifiés $Z_q$ correspondant aux indices de $q$.\n\n\n\n![VQ-VAE](/content/papers/assets/3e22b1928b90e95f75ca2fe24627b172386adfbc29e0edc8ca6cfa5b74afa45e.jpg)\n\n\n\nEmployer la VQ avec un modèle autorégressif pour accélérer la génération semble prometteur. Mais cette méthode n'a-t-elle aucun défaut ?\n\nSi : 1. l'apprentissage du codebook peut être difficile ; 2. la quantification peut dégrader la qualité de reconstruction de l'image.\n\n## Méthode\n\n### Abandonner la VQ, adopter la diffusion\n\nPuisqu'un modèle de diffusion peut représenter la distribution jointe de tous les pixels ou tokens d'une image, pourquoi ne pourrait-il pas représenter la distribution de chaque token ?\n\n- La diffusion peut générer une image à partir du bruit en étant conditionnée par un prompt ou une image.\n\n\n![diffusion+text_prompt](/content/papers/assets/8783b3ab43ad3bf68900fe9951c07d160bb83fa36f03b53b67fbfea9c4077a0f.jpg)\n\n\n- Ici, elle génère un token à partir du bruit en étant conditionnée par la sortie d'un Transformer. Nous reviendrons sur l'entrée de ce Transformer.\n\n\n![diffusion+transformer](/content/papers/assets/28c65b91fc2869186863a4615973a702c02d241f494231674cdc61bc0c27c68f.jpg)\n\n\n\nLa méthode prédit de manière autorégressive un vecteur de conditionnement $z$ pour chaque token. Un modèle de diffusion, ici un petit MLP de débruitage, représente alors la distribution $p(x|z)$ du token de sortie $x$.\n\n\n\n![autoregressive_diffusion](/content/papers/assets/a50b1b2d877b7926c4d1b35488b5b9966a1415b0de14be9cc650d1a705b95b85.jpg)\n\n\n\nLes auteurs proposent ainsi la *Diffusion Loss* à la place de l'entropie croisée catégorielle habituelle.\n\n\n\n![diffusion_cal](/content/papers/assets/afc6bdaa2b20ae6a4d70a0b23ebd2d9a047034b0672c088b1fab4d765cd6eb57.jpg)\n\n\n\n\n![diffusion_cal_2](/content/papers/assets/358275d89a9df704e627eea834efa8af5c777dad27a60dfe4977def47f1b67f9.jpg)\n\n\n- $\\varepsilon$ est un échantillon de bruit tiré d'une loi normale standard $\\mathcal{N}(0,I)$ : zéro et un indiquent sa moyenne et la variance de chaque composante, pas un intervalle de valeurs.\n- $\\varepsilon_{\\theta}$ désigne le petit MLP. L'expression $\\varepsilon_{\\theta}(x_t|t,z)$ signifie qu'il prédit le vecteur de bruit à partir de $x_t$, du pas $t$ et de la condition $z$.\n    - $t$ correspond au pas du calendrier de bruit ; $z$ est le vecteur de conditionnement produit par le Transformer à partir du contexte.\n\nEnfin, comme dans DDPM, l'inférence emploie le processus de diffusion inverse pour générer l'image, en passant de $x_t$ à $x_0$.\n\n\n\n![reverse_diff](/content/papers/assets/2d4afd151a8142a3dad2bdbd7a19243c90042bd5d0a2e48e4c866c8c916eee3f.jpg)\n\n\n\nSi vous avez déjà utilisé un modèle de diffusion pour générer des images, vous avez certainement rencontré le paramètre de température (*temperature*). Une température plus élevée accroît l'aléa de l'échantillonnage ; une température plus basse le réduit. Dans ce travail, elle intervient dans le terme $\\tau * \\sigma_t \\delta$, selon une méthode issue de [Diffusion Models Beat GANs on Image Synthesis](https://arxiv.org/abs/2105.05233).\n\nÀ y regarder de plus près, la méthode combine la représentation latente d'un autoencodeur avec le débruitage de DDPM : l'autoencodeur compresse les caractéristiques de l'image, puis DDPM sert à générer les tokens. C'est une idée élégante.\n\n\n\n![VAE_and_Diffusion](/content/papers/assets/11f951288db6ff4c5bbd5242f0fbf5823ed49431c9d5f2506f901aac8e734da4.jpg)\n\n\n\n### Intégrer les idées des modèles autorégressifs et des modèles génératifs masqués\n\nKaiming He ayant participé à [MAE (Masked Autoencoders Are Scalable Vision Learners), 2021](https://arxiv.org/abs/2111.06377), il est assez naturel de retrouver des idées de MAE dans ce modèle.\n\n- Le déroulement s'inspire aussi de travaux ultérieurs : [MaskGIT, 2022](https://arxiv.org/abs/2202.04200) et [MAGE, 2022](https://arxiv.org/abs/2211.09117). Tous deux utilisent un Transformer pour la génération masquée, bien que leurs mécanismes diffèrent de MAR. MaskGIT introduit un décodeur Transformer bidirectionnel qui prédit plusieurs tokens à la fois ; MAGE rapproche l'apprentissage de représentations visuelles et la synthèse d'images.\n- Ce travail reprend l'attention bidirectionnelle : les positions masquées sont représentées par des tokens [m] dans les couches intermédiaires, et les tokens connus peuvent se voir mutuellement au lieu de ne voir que leurs prédécesseurs. La perte ne porte que sur les **tokens masqués à prédire**, dont la valeur réelle n'est pas visible par le modèle. Attention : la distinction entre l'encodeur et le décodeur de MAE ne se réduit pas à « attention causale contre attention bidirectionnelle ». Pour aller plus loin, lisez l'article original de MAE. Cette organisation améliore la qualité des images, mais empêche d'accélérer l'entraînement et l'inférence avec un cache KV. Comme plusieurs tokens peuvent être prédits simultanément, la méthode ne devient pas pour autant trop lente.\n\n\n![bidirect](/content/papers/assets/ffa794552161b919af46a5f23030f2765fa444fec1367307336159109bea5a7f.jpg)\n\n\n\n- La figure suivante compare l'AR dans l'ordre habituel, l'AR dans un ordre aléatoire (un seul token masqué) et l'AR utilisé ici, qui prédit simultanément plusieurs tokens masqués. Voilà donc la réponse à la question posée plus haut : le Transformer reçoit une image masquée.\n\n\n![AR_and_MAR](/content/papers/assets/7d9e2036ebab3a5f2196e771c1ff55ca92c6910f1bd5b54f43735e8ca433f3cb.jpg)\n\n\n\n## Implémentation\n\n- **Diffusion Loss** : calendrier de bruit en cosinus, avec 1 000 pas DDPM à l'entraînement et seulement 100 pas à l'inférence.\n- **MLP de débruitage** : trois blocs de 1 024 canaux ; chacun contient LayerNorm, une couche linéaire, l'activation SiLU et une connexion résiduelle. AdaLN injecte la sortie $z$ du Transformer dans les couches de normalisation.\n- **Tokenizer** : les tokenizers publics de LDM, notamment VQ-16 et KL-16. VQ-16 est un modèle quantifié fondé sur VQ-GAN et entraîné avec une perte GAN et une perte perceptuelle ; KL-16 emploie une régularisation par divergence KL sans VQ.\n- **Transformer** : un ViT reçoit la séquence de tokens du tokenizer, à laquelle s'ajoutent les encodages de position et un token de classe [CLS], puis la traite avec 32 blocs Transformer de 1 024 canaux.\n- **Modèles autorégressifs masqués** : à l'entraînement, le taux de masquage se situe entre 0,7 et 1,0 ; 0,7 signifie que 70 % des tokens sont masqués aléatoirement. Pour éviter des séquences trop courtes, 64 tokens [cls] sont toujours ajoutés. À l'inférence, un calendrier en cosinus abaisse progressivement le taux de masquage de 1,0 à 0, sur 64 pas par défaut.\n- **Modèle autorégressif de référence** : un modèle de type GPT à attention causale, avec un token [cls] ajouté à l'entrée, un cache KV et un paramètre de température.\n\n## Expériences\n\nLes principales études de variantes emploient AR/MAR-L (environ 400 millions de paramètres), 400 époques et ImageNet à 256 × 256 pixels. La comparaison finale entre systèmes inclut aussi d'autres tailles et réglages d'entraînement.\n\n### Diffusion Loss contre entropie croisée\n\nDans toutes les variantes AR/MAR, la Diffusion Loss donne de meilleurs résultats que l'entropie croisée. Le gain est le plus modeste pour AR et augmente pour les variantes MAR bidirectionnelles ; il est maximal pour MAR avec attention bidirectionnelle et prédiction de plusieurs tokens. On voit ainsi l'importance de cette perte pour MAR.\n\n- La Diffusion Loss peut aussi être associée au *classifier-free guidance* (CFG), courant dans les modèles de diffusion, pour améliorer la génération.\n- Le Fréchet Inception Distance (FID) est d'autant meilleur qu'il est bas, tandis que l'Inception Score (IS) est meilleur lorsqu'il est élevé. Ces deux métriques servent d'indicateurs de qualité des images générées, sans résumer à elles seules le jugement humain.\n\n\n\n![Diffusion Loss](/content/papers/assets/07c8a5329c347b384c14df601fe936caf6693fa468bf0e3449b398481e2c511f.jpg)\n\n\n\n### Tokenizers\n\nLes expériences comparent plusieurs tokenizers associés à la Diffusion Loss. Comme cette perte peut opérer dans un espace continu, elle peut aussi être utilisée avec différents tokenizers, qu'ils produisent des tokens continus ou discrets.\n\n- Pour VQ-16, l'expérience emploie comme tokens les latents continus situés **avant** la quantification du modèle VQ. VQ-16 et KL-16 proviennent tous deux de LDM ; seule la variante KL-16 marquée † dans le tableau a été réentraînée par les auteurs sur ImageNet plutôt que sur OpenImages.\n- Consistency Decoder est un tokenizer sans VQ issu de [DALL·E 3](https://github.com/openai/consistencydecoder).\n- Le FID de reconstruction (*rFID*) sert à évaluer la qualité du tokenizer ; plus il est bas, mieux c'est.\n\n\n\n![Tokenizers](/content/papers/assets/bc6c3c8e908b2fabe593e8cf7fbea4b35ab744ed0213a3405f8792c85448f3f7.jpg)\n\n\n\nLes résultats montrent que les tokenizers continus, comme KL-16, font mieux que VQ-16 dans cette comparaison. Ils montrent aussi que la méthode peut fonctionner avec un autre tokenizer, tel que Consistency Decoder.\n\n### MLP de débruitage\n\nLes auteurs comparent plusieurs tailles de MLP. La largeur 1 024 représente leur compromis par défaut ; avec CFG, la largeur 1 536 donne un FID légèrement inférieur, si bien que 1 024 n'est pas la meilleure valeur pour toutes les métriques.\n\n\n\n![Denosing MLP](/content/papers/assets/5534cb3a6387cc0dc6a810f24d6d2c44b8de07440b083ba01fe564be227ce134.jpg)\n\n\n\n### Nombre de pas d'échantillonnage de la Diffusion Loss\n\nLe nombre de pas de diffusion influence la qualité des images produites ; 100 pas suffisent déjà pour obtenir de bons résultats.\n\n\n\n![Sampling steps of Diffusion Loss](/content/papers/assets/d79b94634f545f21175d002d953ebeb985cd71c63c3ed9bbc5461938da6f646b.jpg)\n\n\n\n### Température de la Diffusion Loss\n\nLa température compte également pour la Diffusion Loss.\n\n\n\n![Temperature](/content/papers/assets/6f5a98af364e924c9b1df45b4b1ef51e37d4a5ce2982baa7dfd428bef9eabe68.jpg)\n\n\n\n### Compromis vitesse et qualité\n\nPuisque MAR ne peut pas utiliser de cache KV, cette comparaison est importante. Les mesures ont été faites sur un GPU A100 avec une taille de lot de 256.\n\n\n\n![Speed](/content/papers/assets/6ef5eadda11216812426c26d082bdce0f6fb57cd23a9b5ec16ec0425f2c97b7b.jpg)\n\n\n\n- **MAR** : chaque point correspond à un nombre différent de pas autorégressifs (de 8 à 128).\n- **DiT** : chaque point correspond à un nombre différent de pas de diffusion (50, 75, 150 ou 250), ici avec DiT-XL.\n- **AR** : le modèle utilise un cache KV.\n\nOn constate que, même sans cache KV, MAR conserve une vitesse d'inférence honorable, bien que le réglage par défaut de 64 pas soit sensiblement plus lent. Une mesure de débit avec un lot de 256 images ne représente toutefois pas la latence interactive d'une seule image.\n\n### Comparaison entre systèmes\n\nFace aux autres modèles, c'est le plus grand modèle, MAR-H, qui obtient le meilleur résultat ; MAR-L se défend néanmoins déjà bien.\n\n\n\n![System-level comparison](/content/papers/assets/6ef26b4c4df74bfac8a2c005f73635ca5dc74d2e53198e3aa2b5f9c11472bba8.jpg)\n\n\n\n## Conclusion\n\nEn somme, ce travail s'écarte des anciennes recettes de génération autorégressive d'images et ouvre une autre voie en combinant les idées de la diffusion et de MAE. Il montre des résultats encourageants en employant un DDPM relativement simple ; savoir si un meilleur modèle de diffusion apporterait encore des gains demanderait d'autres expériences. J'attends avec intérêt les travaux qui en découleront.\n\nVoici pour finir quelques images générées par le modèle.\n\n\n\n![result](/content/papers/assets/7929d9cf4a72047fb6299a8b3b22933782125104c3564bfd88c1f7fd0a48fb08.jpg)\n\n\n\n## Référence\n\nhttps://zhouyifan.net/2024/07/27/20240717-ar-wo-vq/\n","imageSizes":{"/content/papers/assets/21442c2be2d5d8d706f0a4c44cfb83170df27e4540edd3a32cdc18d9de37c810.jpg":{"width":875,"height":656},"/content/papers/assets/3e22b1928b90e95f75ca2fe24627b172386adfbc29e0edc8ca6cfa5b74afa45e.jpg":{"width":1304,"height":537},"/content/papers/assets/8783b3ab43ad3bf68900fe9951c07d160bb83fa36f03b53b67fbfea9c4077a0f.jpg":{"width":954,"height":482},"/content/papers/assets/28c65b91fc2869186863a4615973a702c02d241f494231674cdc61bc0c27c68f.jpg":{"width":972,"height":554},"/content/papers/assets/a50b1b2d877b7926c4d1b35488b5b9966a1415b0de14be9cc650d1a705b95b85.jpg":{"width":508,"height":355},"/content/papers/assets/afc6bdaa2b20ae6a4d70a0b23ebd2d9a047034b0672c088b1fab4d765cd6eb57.jpg":{"width":543,"height":80},"/content/papers/assets/358275d89a9df704e627eea834efa8af5c777dad27a60dfe4977def47f1b67f9.jpg":{"width":324,"height":69},"/content/papers/assets/2d4afd151a8142a3dad2bdbd7a19243c90042bd5d0a2e48e4c866c8c916eee3f.jpg":{"width":741,"height":72},"/content/papers/assets/11f951288db6ff4c5bbd5242f0fbf5823ed49431c9d5f2506f901aac8e734da4.jpg":{"width":1603,"height":431},"/content/papers/assets/ffa794552161b919af46a5f23030f2765fa444fec1367307336159109bea5a7f.jpg":{"width":696,"height":668},"/content/papers/assets/7d9e2036ebab3a5f2196e771c1ff55ca92c6910f1bd5b54f43735e8ca433f3cb.jpg":{"width":816,"height":570},"/content/papers/assets/07c8a5329c347b384c14df601fe936caf6693fa468bf0e3449b398481e2c511f.jpg":{"width":1498,"height":433},"/content/papers/assets/bc6c3c8e908b2fabe593e8cf7fbea4b35ab744ed0213a3405f8792c85448f3f7.jpg":{"width":1430,"height":321},"/content/papers/assets/5534cb3a6387cc0dc6a810f24d6d2c44b8de07440b083ba01fe564be227ce134.jpg":{"width":901,"height":285},"/content/papers/assets/d79b94634f545f21175d002d953ebeb985cd71c63c3ed9bbc5461938da6f646b.jpg":{"width":950,"height":303},"/content/papers/assets/6f5a98af364e924c9b1df45b4b1ef51e37d4a5ce2982baa7dfd428bef9eabe68.jpg":{"width":892,"height":423},"/content/papers/assets/6ef5eadda11216812426c26d082bdce0f6fb57cd23a9b5ec16ec0425f2c97b7b.jpg":{"width":791,"height":582},"/content/papers/assets/6ef26b4c4df74bfac8a2c005f73635ca5dc74d2e53198e3aa2b5f9c11472bba8.jpg":{"width":1543,"height":846},"/content/papers/assets/7929d9cf4a72047fb6299a8b3b22933782125104c3564bfd88c1f7fd0a48fb08.jpg":{"width":942,"height":935}}}
