Autoregressive Image Generation without Vector Quantization
- 发表版本
- NeurIPS 2024会议
- arXiv 首次提交
- arXiv:2406.11838
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{imagegenerationmar2024,
title = {{Autoregressive Image Generation without Vector Quantization}},
author = {Tianhong Li and Yonglong Tian and He Li and Mingyang Deng and Kaiming He},
year = {2024},
eprint = {2406.11838},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/2406.11838}
}
当前的自回归图片生成模型常使用向量量化(VQ)将图片离散化成一个个 token,来模拟自回归模型在 NLP 领域的成功。但作者认为,这种离散值空间对于自回归图片生成模型并不是必需的,因此提出一种基于连续空间的自回归图片生成模型,兼具更高的生成质量和较快的推理速度。
背景知识
Vector Quantization (VQ)
这是一种行之有年的向量量化技巧,也可用于加速向量搜索。基本做法是将每个特征向量(embedding vector)映射到 codebook 中距离最近的代表向量,再以其索引表示原向量。把向量切成多个子向量分别量化,是其中一种具体做法,而非所有 VQ 都如此。
详细做法可参考 Survey Of Vector Space Search 或是 Vector quantization wiki
Auto-regressive image generation
早期的自回归图片模型(这里泛指 AR,而非特定的 VAR 方法)直接将图片生成任务模拟成 GPT-like 的自回归文本生成,把像素或通道的离散取值视为类别,使用 categorical cross entropy 做多类别预测,如 Google 的Image Transformer, 2018和 OpenAI 的ImageGPT, 2020都属于这种方法。
而为了加速图片生成,现在的自回归图片生成模型常引入 VQ 做两阶段训练:第一阶段先在 latent space 中学习用来重建图片的 codebook,第二阶段则基于这个 learned codebook 自回归地生成图片。
- 以VQ-VAE, 2017为例
- Encode 阶段先通过 CNN 提取图片特征,然后对 feature map 做 VQ:计算每个特征点与 codebook 代表向量(紫色向量, ~ )之间的距离,取最近向量的索引,得到离散表示 。
- Decode 阶段则使用从 映射回来的 重建图片。
自回归模型通过 VQ 来加速图片生成听起来很棒,但是,这样的方法难道没有什么缺点吗?
当然有:1. VQ codebook 可能很难训练;2. 量化误差可能降低重建图片的质量。
Method
放弃 VQ,拥抱 Diffusion
既然 diffusion model 可以用来表示一张图片中所有 pixels 或 tokens 的联合概率分布,那为何不能用来表示每一个 token 的概率分布呢?
- Diffusion 可以将输入的 prompt/image 作为条件从 noise 中产图
- 而现在是改为将一个 transformer 的输出作为条件从 noise 中产图 (这个 transformer 的输入是什么等等会讲到)
他们的做法是自回归地预测每一个 token 的条件向量 ,再利用一个 diffusion model(small MLP)做 denoising,来表示输出 的概率分布 。
提出 Diffusion Loss 来取代原本的 categorical cross entropy
- 是从标准正态分布 中抽取的 noise sample;这里的 0 和 1 是均值与各分量方差,不是采样区间。
- 是一个 small MLP, 表示模型根据输入 、时间步 和条件 预测 noise vector。
- 是 noise schedule 的时间步, 是 Transformer 根据上下文生成的 condition vector。
最后,跟 DDPM 一样,在推理阶段,模型会通过 reverse diffusion process 生成图片(从 到 )。
除此之外,若读者们用过 diffusion model 来生成图片,肯定见过一个叫温度(temperature)的超参数。温度越高,采样的随机性越强;温度越低,随机性越弱。本作以 * 中的 控制采样,这个方法出自Diffusion Models Beat GANs on Image Synthesis。
仔细想就会发现,这是一种将自动编码器的潜在表示与 DDPM 降噪结合起来的方法:用自动编码器压缩图片特征,再用 DDPM 生成 token,非常精妙。
融入 Autoregressive 和 Masked Generative Models 的概念
恺明作为MAE(Masked Autoencoders Are Scalable Vision Learners), 2021的作者,接下来想到的当然是将 MAE 的概念一起融入模型当中。
- 主要流程参考 MAE 的后续作品MaskGIT, 2022和MAGE, 2022。两者都用 Transformer 做 masked generation,与 MAR 有关联,但采样顺序等机制不同。其中 MaskGIT 用 bidirectional transformer decoder 同时预测多个 token,MAGE 则统一图片表征学习与图片合成。
- 本作同样采用双向注意力机制,在 decoder 中加入 mask token [m],使已知 token 能看见彼此,而不是只能看到前面的 token;loss 只对被 mask、尚待预测的 token计算,模型看不到这些 token 的真实值。请注意,这不能简单理解成 MAE 的 causal vs bidirectional attention;若想深入理解,请阅读 MAE 原始论文。这样做的好处是图片生成表现更好,坏处是 transformer 的训练和推理无法利用 kv cache 加速。不过,由于能同时预测多个 token,方法并不会太慢。
- 下图比较一般顺序的 AR、随机顺序的 AR(random masking one token)和他们使用的同时预测多个 token 的 AR(random masking multiple tokens)。这里就揭晓了:前面那个 transformer 的输入是一张 masked image。
Implementation
- Diffusion Loss:使用 cosine 形状的 noise schedule,训练时 DDPM 有 1000 step,推理时则只需 100 step。
- Denoising MLP(small MLP):3 层 1024 个 channel 的 block,每个 block 包含 LayerNorm、linear layer、SiLU 激活函数和 residual connection;实现时使用 AdaLN 将 transformer 的输出 注入 LayerNorm。
- Tokenizer:使用 LDM 提供的公开 tokenizer,包括 VQ-16 和 KL-16。其中 VQ-16 是基于 VQ-GAN 的量化模型,使用 GAN loss 和感知 loss,KL-16 则通过 KL 散度做 regularization 且不依赖 VQ
- Transformer:使用 ViT 来接收 tokenizer 处理后的 token sequence,加上位置编码和类别 token [CLS],然后通过 32 层 1024 个 channel 的 transformer block
- Masked autoregressive models:训练阶段使用 [0.7, 1.0] 的 masking ratio;0.7 代表随机遮盖 70% 的 token。为避免采样后的序列太短,始终在 encoder 序列前补 64 个 [cls] token。推理阶段用 cosine schedule 将 masking ratio 从 1.0 逐步降到 0,默认是 64 步。
- Baseline Autoregressive Model:使用 causal attention 的 GPT 模型,在输入中添加一个 [cls],并使用 kv cache 和温度参数。
Experiments
下列主要消融实验使用 AR/MAR-L(∼400M parameters)、400 epochs、ImageNet 256×256;最后的系统比较还包括其他模型规模与训练设置。
Diffusion Loss vs. Cross-entropy Loss
在所有 AR/MAR 变体中,使用 Diff Loss 的表现都更好。其中 AR 的改进最少,双向 MAR 变体的改进更明显,可见 Diff Loss 对 MAR 模型的重要性。
- Diff Loss 也能搭配其他扩散模型常用的 CFG(Classifier-Free Guidance)提升生成效果。
- Fréchet Inception Distance(FID)越低越好,Inception Score(IS)越高越好。两个 metrics 都用于衡量生成图片的质量,但不能完全代替人的判断。
Tokenizers
实验比较了不同 tokenizers 搭配 Diff Loss 的效果。由于不再受限于离散值表示,Diff Loss 可以适用于连续或离散的 tokenizer。
- VQ-16 指的是将 VQ 之前的连续值 latent 作为 token。这里的 VQ-16 和 KL-16 都有 LDM 提供的公开版本;只有图中带 † 的 KL-16 是作者改在 ImageNet 上训练的,其余使用在 OpenImages 上训练的原版本。
- Consistency Decoder 是一个非 VQ 的 Tokenizer,来自DALL·E 3
- reconstruction FID (rFID) 越低越好,用来评估 tokenizer
结果显示,使用连续型 tokenizer,如 KL-16,会比 VQ-16 表现更好;另外也展示了方法能兼容 Consistency Decoder 等不同 tokenizer。
Denosing MLP
这里比较不同大小的 MLP。width=1024 是默认的折中选择;使用 CFG 时,width=1536 的 FID 略低,因此 1024 并非所有指标上都最好。
Sampling steps of Diffusion Loss
不同 Diffusion steps 会影响生成质量,steps=100 就可以获得很好的效果。
Temperature of Diffusion Loss
对 Diff Loss 来说温度也很重要
Speed/accuracy trade-off
由于无法使用 kv cache,这个评估非常重要。这里使用一张 A100,并以 batch size=256 测试。
- MAR: 每一个点代表不同的 autoregressive step(8 to 128)
- DiT: 每一个点代表不同的 diffusion steps(50, 75, 150, 250),这里使用的 DiT-XL
- AR: 套用了 kv cache
可见即使无法使用 kv cache,这个模型也有不错的推理速度,不过默认设置(step=64)仍慢了不少。这里的 batch size=256 测得的是吞吐量,不能直接等同于单张图片的交互式延迟。
System-level comparison
与其他模型的比较,最大的模型 MAR-H 才能获得最好的表现,但 MAR-L 表现也已经不错
结论
总的来说,本作打破了自回归图片生成模型的旧有做法,以结合 Diffusion 和 MAE 开辟出新的方向,而且只使用了相对简单的 DDPM 来展示效果。若改用其他扩散方法能否进一步提升,还需要实验验证;期待后续有更多衍生作品。
最后放上一部分模型生成的图。