Autoregressive Image Generation without Vector Quantization
- Publication
- NeurIPS 2024Conférence
- Premier dépôt sur arXiv
- arXiv:2406.11838
Citer cet article · BibTeX
La référence correspond à la version liée et cite les auteurs de l’article original.
@misc{imagegenerationmar2024,
title = {{Autoregressive Image Generation without Vector Quantization}},
author = {Tianhong Li and Yonglong Tian and He Li and Mingyang Deng and Kaiming He},
year = {2024},
eprint = {2406.11838},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2406.11838}
}
Les modèles autorégressifs de génération d'images actuels utilisent souvent la quantification vectorielle (VQ) pour discrétiser l'image en tokens et reproduire le succès des modèles autorégressifs en traitement du langage naturel. Les auteurs estiment pourtant qu'un espace discret n'est pas indispensable à la génération autorégressive d'images. Ils proposent donc un modèle opérant dans un espace continu, qui obtient une meilleure qualité de génération tout en conservant une inférence rapide.
Contexte
Quantification vectorielle (VQ)
La quantification vectorielle est une technique ancienne, également employée pour accélérer la recherche de vecteurs. Elle associe chaque vecteur d'entrée au représentant le plus proche dans un dictionnaire fini, ou codebook, puis utilise l'indice de ce représentant. Découper les vecteurs en plusieurs groupes de sous-vecteurs est une variante particulière, et non une propriété nécessaire de toute VQ.
Pour le détail, voir Survey Of Vector Space Search ou l'article Wikipédia sur la quantification vectorielle.
Génération autorégressive d'images
Les premiers modèles autorégressifs d'images traitaient la génération comme celle d'un texte par un modèle de type GPT : chaque valeur de pixel, ou de canal, est une catégorie à prédire par entropie croisée catégorielle. Le modèle Image Transformer de Google, 2018 et ImageGPT d'OpenAI, 2020 illustrent cette approche. Il ne faut pas confondre ici les modèles autorégressifs d'images en général avec la méthode particulière nommée VAR.
Pour accélérer la génération, les modèles autorégressifs d'images plus récents introduisent souvent la VQ dans un entraînement en deux étapes. Ils apprennent d'abord, dans l'espace latent, un codebook permettant de reconstruire les images ; ils génèrent ensuite des images de manière autorégressive à partir de ce codebook appris.
- Prenons VQ-VAE, 2017 comme exemple :
- À l'encodage, un CNN extrait les caractéristiques de l'image. On quantifie ensuite la carte en comparant chacun de ses vecteurs aux représentants du codebook (vecteurs violets, à ). L'indice du représentant le plus proche fournit la représentation discrète .
- Au décodage, on reconstruit l'image à partir des vecteurs quantifiés correspondant aux indices de .
Employer la VQ avec un modèle autorégressif pour accélérer la génération semble prometteur. Mais cette méthode n'a-t-elle aucun défaut ?
Si : 1. l'apprentissage du codebook peut être difficile ; 2. la quantification peut dégrader la qualité de reconstruction de l'image.
Méthode
Abandonner la VQ, adopter la diffusion
Puisqu'un modèle de diffusion peut représenter la distribution jointe de tous les pixels ou tokens d'une image, pourquoi ne pourrait-il pas représenter la distribution de chaque token ?
- La diffusion peut générer une image à partir du bruit en étant conditionnée par un prompt ou une image.
- Ici, elle génère un token à partir du bruit en étant conditionnée par la sortie d'un Transformer. Nous reviendrons sur l'entrée de ce Transformer.
La méthode prédit de manière autorégressive un vecteur de conditionnement pour chaque token. Un modèle de diffusion, ici un petit MLP de débruitage, représente alors la distribution du token de sortie .
Les auteurs proposent ainsi la Diffusion Loss à la place de l'entropie croisée catégorielle habituelle.
- est un échantillon de bruit tiré d'une loi normale standard : zéro et un indiquent sa moyenne et la variance de chaque composante, pas un intervalle de valeurs.
- désigne le petit MLP. L'expression signifie qu'il prédit le vecteur de bruit à partir de , du pas et de la condition .
- correspond au pas du calendrier de bruit ; est le vecteur de conditionnement produit par le Transformer à partir du contexte.
Enfin, comme dans DDPM, l'inférence emploie le processus de diffusion inverse pour générer l'image, en passant de à .
Si vous avez déjà utilisé un modèle de diffusion pour générer des images, vous avez certainement rencontré le paramètre de température (temperature). Une température plus élevée accroît l'aléa de l'échantillonnage ; une température plus basse le réduit. Dans ce travail, elle intervient dans le terme , selon une méthode issue de Diffusion Models Beat GANs on Image Synthesis.
À y regarder de plus près, la méthode combine la représentation latente d'un autoencodeur avec le débruitage de DDPM : l'autoencodeur compresse les caractéristiques de l'image, puis DDPM sert à générer les tokens. C'est une idée élégante.
Intégrer les idées des modèles autorégressifs et des modèles génératifs masqués
Kaiming He ayant participé à MAE (Masked Autoencoders Are Scalable Vision Learners), 2021, il est assez naturel de retrouver des idées de MAE dans ce modèle.
- Le déroulement s'inspire aussi de travaux ultérieurs : MaskGIT, 2022 et MAGE, 2022. Tous deux utilisent un Transformer pour la génération masquée, bien que leurs mécanismes diffèrent de MAR. MaskGIT introduit un décodeur Transformer bidirectionnel qui prédit plusieurs tokens à la fois ; MAGE rapproche l'apprentissage de représentations visuelles et la synthèse d'images.
- Ce travail reprend l'attention bidirectionnelle : les positions masquées sont représentées par des tokens [m] dans les couches intermédiaires, et les tokens connus peuvent se voir mutuellement au lieu de ne voir que leurs prédécesseurs. La perte ne porte que sur les tokens masqués à prédire, dont la valeur réelle n'est pas visible par le modèle. Attention : la distinction entre l'encodeur et le décodeur de MAE ne se réduit pas à « attention causale contre attention bidirectionnelle ». Pour aller plus loin, lisez l'article original de MAE. Cette organisation améliore la qualité des images, mais empêche d'accélérer l'entraînement et l'inférence avec un cache KV. Comme plusieurs tokens peuvent être prédits simultanément, la méthode ne devient pas pour autant trop lente.
- La figure suivante compare l'AR dans l'ordre habituel, l'AR dans un ordre aléatoire (un seul token masqué) et l'AR utilisé ici, qui prédit simultanément plusieurs tokens masqués. Voilà donc la réponse à la question posée plus haut : le Transformer reçoit une image masquée.
Implémentation
- Diffusion Loss : calendrier de bruit en cosinus, avec 1 000 pas DDPM à l'entraînement et seulement 100 pas à l'inférence.
- MLP de débruitage : trois blocs de 1 024 canaux ; chacun contient LayerNorm, une couche linéaire, l'activation SiLU et une connexion résiduelle. AdaLN injecte la sortie du Transformer dans les couches de normalisation.
- Tokenizer : les tokenizers publics de LDM, notamment VQ-16 et KL-16. VQ-16 est un modèle quantifié fondé sur VQ-GAN et entraîné avec une perte GAN et une perte perceptuelle ; KL-16 emploie une régularisation par divergence KL sans VQ.
- Transformer : un ViT reçoit la séquence de tokens du tokenizer, à laquelle s'ajoutent les encodages de position et un token de classe [CLS], puis la traite avec 32 blocs Transformer de 1 024 canaux.
- Modèles autorégressifs masqués : à l'entraînement, le taux de masquage se situe entre 0,7 et 1,0 ; 0,7 signifie que 70 % des tokens sont masqués aléatoirement. Pour éviter des séquences trop courtes, 64 tokens [cls] sont toujours ajoutés. À l'inférence, un calendrier en cosinus abaisse progressivement le taux de masquage de 1,0 à 0, sur 64 pas par défaut.
- Modèle autorégressif de référence : un modèle de type GPT à attention causale, avec un token [cls] ajouté à l'entrée, un cache KV et un paramètre de température.
Expériences
Les principales études de variantes emploient AR/MAR-L (environ 400 millions de paramètres), 400 époques et ImageNet à 256 × 256 pixels. La comparaison finale entre systèmes inclut aussi d'autres tailles et réglages d'entraînement.
Diffusion Loss contre entropie croisée
Dans toutes les variantes AR/MAR, la Diffusion Loss donne de meilleurs résultats que l'entropie croisée. Le gain est le plus modeste pour AR et augmente pour les variantes MAR bidirectionnelles ; il est maximal pour MAR avec attention bidirectionnelle et prédiction de plusieurs tokens. On voit ainsi l'importance de cette perte pour MAR.
- La Diffusion Loss peut aussi être associée au classifier-free guidance (CFG), courant dans les modèles de diffusion, pour améliorer la génération.
- Le Fréchet Inception Distance (FID) est d'autant meilleur qu'il est bas, tandis que l'Inception Score (IS) est meilleur lorsqu'il est élevé. Ces deux métriques servent d'indicateurs de qualité des images générées, sans résumer à elles seules le jugement humain.
Tokenizers
Les expériences comparent plusieurs tokenizers associés à la Diffusion Loss. Comme cette perte peut opérer dans un espace continu, elle peut aussi être utilisée avec différents tokenizers, qu'ils produisent des tokens continus ou discrets.
- Pour VQ-16, l'expérience emploie comme tokens les latents continus situés avant la quantification du modèle VQ. VQ-16 et KL-16 proviennent tous deux de LDM ; seule la variante KL-16 marquée † dans le tableau a été réentraînée par les auteurs sur ImageNet plutôt que sur OpenImages.
- Consistency Decoder est un tokenizer sans VQ issu de DALL·E 3.
- Le FID de reconstruction (rFID) sert à évaluer la qualité du tokenizer ; plus il est bas, mieux c'est.
Les résultats montrent que les tokenizers continus, comme KL-16, font mieux que VQ-16 dans cette comparaison. Ils montrent aussi que la méthode peut fonctionner avec un autre tokenizer, tel que Consistency Decoder.
MLP de débruitage
Les auteurs comparent plusieurs tailles de MLP. La largeur 1 024 représente leur compromis par défaut ; avec CFG, la largeur 1 536 donne un FID légèrement inférieur, si bien que 1 024 n'est pas la meilleure valeur pour toutes les métriques.
Nombre de pas d'échantillonnage de la Diffusion Loss
Le nombre de pas de diffusion influence la qualité des images produites ; 100 pas suffisent déjà pour obtenir de bons résultats.
Température de la Diffusion Loss
La température compte également pour la Diffusion Loss.
Compromis vitesse et qualité
Puisque MAR ne peut pas utiliser de cache KV, cette comparaison est importante. Les mesures ont été faites sur un GPU A100 avec une taille de lot de 256.
- MAR : chaque point correspond à un nombre différent de pas autorégressifs (de 8 à 128).
- DiT : chaque point correspond à un nombre différent de pas de diffusion (50, 75, 150 ou 250), ici avec DiT-XL.
- AR : le modèle utilise un cache KV.
On constate que, même sans cache KV, MAR conserve une vitesse d'inférence honorable, bien que le réglage par défaut de 64 pas soit sensiblement plus lent. Une mesure de débit avec un lot de 256 images ne représente toutefois pas la latence interactive d'une seule image.
Comparaison entre systèmes
Face aux autres modèles, c'est le plus grand modèle, MAR-H, qui obtient le meilleur résultat ; MAR-L se défend néanmoins déjà bien.
Conclusion
En somme, ce travail s'écarte des anciennes recettes de génération autorégressive d'images et ouvre une autre voie en combinant les idées de la diffusion et de MAE. Il montre des résultats encourageants en employant un DDPM relativement simple ; savoir si un meilleur modèle de diffusion apporterait encore des gains demanderait d'autres expériences. J'attends avec intérêt les travaux qui en découleront.
Voici pour finir quelques images générées par le modèle.