返回论文笔记资料库
arXiv 2024NeurIPS 2024图像生成论文笔记

MAR

重铸生成的秩序

原始论文

Autoregressive Image Generation without Vector Quantization

论文作者

Tianhong Li · Yonglong Tian · He Li · Mingyang Deng · Kaiming He

发表版本
NeurIPS 2024会议
arXiv 首次提交
arXiv:2406.11838
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{imagegenerationmar2024,
  title = {{Autoregressive Image Generation without Vector Quantization}},
  author = {Tianhong Li and Yonglong Tian and He Li and Mingyang Deng and Kaiming He},
  year = {2024},
  eprint = {2406.11838},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/2406.11838}
}
本页内容

当前的自回归图片生成模型常使用向量量化(VQ)将图片离散化成一个个 token,来模拟自回归模型在 NLP 领域的成功。但作者认为,这种离散值空间对于自回归图片生成模型并不是必需的,因此提出一种基于连续空间的自回归图片生成模型,兼具更高的生成质量和较快的推理速度。

背景知识

Vector Quantization (VQ)

这是一种行之有年的向量量化技巧,也可用于加速向量搜索。基本做法是将每个特征向量(embedding vector)映射到 codebook 中距离最近的代表向量,再以其索引表示原向量。把向量切成多个子向量分别量化,是其中一种具体做法,而非所有 VQ 都如此。

详细做法可参考 Survey Of Vector Space Search 或是 Vector quantization wiki

Auto-regressive image generation

早期的自回归图片模型(这里泛指 AR,而非特定的 VAR 方法)直接将图片生成任务模拟成 GPT-like 的自回归文本生成,把像素或通道的离散取值视为类别,使用 categorical cross entropy 做多类别预测,如 Google 的Image Transformer, 2018和 OpenAI 的ImageGPT, 2020都属于这种方法。

而为了加速图片生成,现在的自回归图片生成模型常引入 VQ 做两阶段训练:第一阶段先在 latent space 中学习用来重建图片的 codebook,第二阶段则基于这个 learned codebook 自回归地生成图片。

  • 以VQ-VAE, 2017为例
    • Encode 阶段先通过 CNN 提取图片特征,然后对 feature map zez_e 做 VQ:计算每个特征点与 codebook 代表向量(紫色向量,e1e_1 ~ eKe_K)之间的距离,取最近向量的索引,得到离散表示 q(z∣x)q(z|x)。
    • Decode 阶段则使用从 qq 映射回来的 ZqZ_q 重建图片。

自回归模型通过 VQ 来加速图片生成听起来很棒,但是,这样的方法难道没有什么缺点吗?

当然有:1. VQ codebook 可能很难训练;2. 量化误差可能降低重建图片的质量。

Method

放弃 VQ,拥抱 Diffusion

既然 diffusion model 可以用来表示一张图片中所有 pixels 或 tokens 的联合概率分布,那为何不能用来表示每一个 token 的概率分布呢?

  • Diffusion 可以将输入的 prompt/image 作为条件从 noise 中产图
  • 而现在是改为将一个 transformer 的输出作为条件从 noise 中产图 (这个 transformer 的输入是什么等等会讲到)

他们的做法是自回归地预测每一个 token 的条件向量 zz,再利用一个 diffusion model(small MLP)做 denoising,来表示输出 xx 的概率分布 p(x∣z)p(x|z)。

提出 Diffusion Loss 来取代原本的 categorical cross entropy

  • ε\varepsilon 是从标准正态分布 N(0,I)\mathcal{N}(0,I) 中抽取的 noise sample;这里的 0 和 1 是均值与各分量方差,不是采样区间。
  • εθ\varepsilon_{\theta} 是一个 small MLP,εθ(xt∣t,z)\varepsilon_{\theta}(x_t|t,z) 表示模型根据输入 xtx_t、时间步 tt 和条件 zz 预测 noise vector。
    • tt 是 noise schedule 的时间步,zz 是 Transformer 根据上下文生成的 condition vector。

最后,跟 DDPM 一样,在推理阶段,模型会通过 reverse diffusion process 生成图片(从 xtx_t 到 x0x_0)。

除此之外,若读者们用过 diffusion model 来生成图片,肯定见过一个叫温度(temperature)的超参数。温度越高,采样的随机性越强;温度越低,随机性越弱。本作以 τ\tau * σtδ\sigma_t \delta 中的 τ\tau 控制采样,这个方法出自Diffusion Models Beat GANs on Image Synthesis。

仔细想就会发现,这是一种将自动编码器的潜在表示与 DDPM 降噪结合起来的方法:用自动编码器压缩图片特征,再用 DDPM 生成 token,非常精妙。

融入 Autoregressive 和 Masked Generative Models 的概念

恺明作为MAE(Masked Autoencoders Are Scalable Vision Learners), 2021的作者,接下来想到的当然是将 MAE 的概念一起融入模型当中。

  • 主要流程参考 MAE 的后续作品MaskGIT, 2022和MAGE, 2022。两者都用 Transformer 做 masked generation,与 MAR 有关联,但采样顺序等机制不同。其中 MaskGIT 用 bidirectional transformer decoder 同时预测多个 token,MAGE 则统一图片表征学习与图片合成。
  • 本作同样采用双向注意力机制,在 decoder 中加入 mask token [m],使已知 token 能看见彼此,而不是只能看到前面的 token;loss 只对被 mask、尚待预测的 token计算,模型看不到这些 token 的真实值。请注意,这不能简单理解成 MAE 的 causal vs bidirectional attention;若想深入理解,请阅读 MAE 原始论文。这样做的好处是图片生成表现更好,坏处是 transformer 的训练和推理无法利用 kv cache 加速。不过,由于能同时预测多个 token,方法并不会太慢。
  • 下图比较一般顺序的 AR、随机顺序的 AR(random masking one token)和他们使用的同时预测多个 token 的 AR(random masking multiple tokens)。这里就揭晓了:前面那个 transformer 的输入是一张 masked image。

Implementation

  • Diffusion Loss:使用 cosine 形状的 noise schedule,训练时 DDPM 有 1000 step,推理时则只需 100 step。
  • Denoising MLP(small MLP):3 层 1024 个 channel 的 block,每个 block 包含 LayerNorm、linear layer、SiLU 激活函数和 residual connection;实现时使用 AdaLN 将 transformer 的输出 zz 注入 LayerNorm。
  • Tokenizer:使用 LDM 提供的公开 tokenizer,包括 VQ-16 和 KL-16。其中 VQ-16 是基于 VQ-GAN 的量化模型,使用 GAN loss 和感知 loss,KL-16 则通过 KL 散度做 regularization 且不依赖 VQ
  • Transformer:使用 ViT 来接收 tokenizer 处理后的 token sequence,加上位置编码和类别 token [CLS],然后通过 32 层 1024 个 channel 的 transformer block
  • Masked autoregressive models:训练阶段使用 [0.7, 1.0] 的 masking ratio;0.7 代表随机遮盖 70% 的 token。为避免采样后的序列太短,始终在 encoder 序列前补 64 个 [cls] token。推理阶段用 cosine schedule 将 masking ratio 从 1.0 逐步降到 0,默认是 64 步。
  • Baseline Autoregressive Model:使用 causal attention 的 GPT 模型,在输入中添加一个 [cls],并使用 kv cache 和温度参数。

Experiments

下列主要消融实验使用 AR/MAR-L(∼400M parameters)、400 epochs、ImageNet 256×256;最后的系统比较还包括其他模型规模与训练设置。

Diffusion Loss vs. Cross-entropy Loss

在所有 AR/MAR 变体中,使用 Diff Loss 的表现都更好。其中 AR 的改进最少,双向 MAR 变体的改进更明显,可见 Diff Loss 对 MAR 模型的重要性。

  • Diff Loss 也能搭配其他扩散模型常用的 CFG(Classifier-Free Guidance)提升生成效果。
  • Fréchet Inception Distance(FID)越低越好,Inception Score(IS)越高越好。两个 metrics 都用于衡量生成图片的质量,但不能完全代替人的判断。

Tokenizers

实验比较了不同 tokenizers 搭配 Diff Loss 的效果。由于不再受限于离散值表示,Diff Loss 可以适用于连续或离散的 tokenizer。

  • VQ-16 指的是将 VQ 之前的连续值 latent 作为 token。这里的 VQ-16 和 KL-16 都有 LDM 提供的公开版本;只有图中带 † 的 KL-16 是作者改在 ImageNet 上训练的,其余使用在 OpenImages 上训练的原版本。
  • Consistency Decoder 是一个非 VQ 的 Tokenizer,来自DALL·E 3
  • reconstruction FID (rFID) 越低越好,用来评估 tokenizer

结果显示,使用连续型 tokenizer,如 KL-16,会比 VQ-16 表现更好;另外也展示了方法能兼容 Consistency Decoder 等不同 tokenizer。

Denosing MLP

这里比较不同大小的 MLP。width=1024 是默认的折中选择;使用 CFG 时,width=1536 的 FID 略低,因此 1024 并非所有指标上都最好。

Sampling steps of Diffusion Loss

不同 Diffusion steps 会影响生成质量,steps=100 就可以获得很好的效果。

Temperature of Diffusion Loss

对 Diff Loss 来说温度也很重要

Speed/accuracy trade-off

由于无法使用 kv cache,这个评估非常重要。这里使用一张 A100,并以 batch size=256 测试。

  • MAR: 每一个点代表不同的 autoregressive step(8 to 128)
  • DiT: 每一个点代表不同的 diffusion steps(50, 75, 150, 250),这里使用的 DiT-XL
  • AR: 套用了 kv cache

可见即使无法使用 kv cache,这个模型也有不错的推理速度,不过默认设置(step=64)仍慢了不少。这里的 batch size=256 测得的是吞吐量,不能直接等同于单张图片的交互式延迟。

System-level comparison

与其他模型的比较,最大的模型 MAR-H 才能获得最好的表现,但 MAR-L 表现也已经不错

结论

总的来说,本作打破了自回归图片生成模型的旧有做法,以结合 Diffusion 和 MAE 开辟出新的方向,而且只使用了相对简单的 DDPM 来展示效果。若改用其他扩散方法能否进一步提升,还需要实验验证;期待后续有更多衍生作品。

最后放上一部分模型生成的图。

Reference

https://zhouyifan.net/2024/07/27/20240717-ar-wo-vq/