返回论文笔记资料库
arXiv 2019NeurIPS 2019语言模型与 Transformer论文笔记

XLNet

双流注意力机制

原始论文

XLNet: Generalized Autoregressive Pretraining for Language Understanding

论文作者

Zhilin Yang · Zihang Dai · Yiming Yang · Jaime Carbonell · Ruslan Salakhutdinov · Quoc V. Le

发表版本
NeurIPS 2019会议
arXiv 首次提交
arXiv:1906.08237
引用此论文 · BibTeX

引用信息对应所链接的论文版本,作者为原论文作者。

@misc{transformersxlnet2019,
  title = {{XLNet: Generalized Autoregressive Pretraining for Language Understanding}},
  author = {Zhilin Yang and Zihang Dai and Yiming Yang and Jaime Carbonell and Ruslan Salakhutdinov and Quoc V. Le},
  year = {2019},
  eprint = {1906.08237},
  archivePrefix = {arXiv},
  url = {https://arxiv.org/abs/1906.08237}
}
本页内容

BERT 的成功带给后续研究人员大量的研究空间。

在早些时日,这篇论文的作者群已经发表了 Transformer-XL 这篇论文,提出了一种新的 Transformer 架构,能够捕捉长距离依赖关系。

但显然地,作者觉得这还不够,因为 Transformer-XL 的固定方向预训练无法让一个位置同时学习利用左右两侧的上下文。

定义问题

在语言模型中有两大主流方法:自回归(autoregressive)和自编码(autoencoding)。

自编码的代表作就是 BERT,而自回归的代表作则是 GPT,各有各的优缺点。

  • 自回归模型

    自回归的自监督的训练方式就是预测序列中的下一个词,也就是我们常讲的文字接龙。

    给定一个文字序列 x=[x1,…,xT]x = [x_1, \dots, x_T],自回归语言模型通过前向自回归分解来最大化似然函数:

    max⁡θlog⁡pθ(x)=\max_{\theta} \log p_{\theta}(x) = ∑t=1Tlog⁡pθ(xt∣x<t)=\sum_{t=1}^{T} \log p_{\theta}(x_t | x_{<t}) = ∑t=1Tlog⁡exp⁡(hθ(x1:t−1)Te(xt))∑x′exp⁡(hθ(x1:t−1)Te(x′))\sum_{t=1}^{T} \log \frac{\exp(h_{\theta}(x_{1:t-1})^T e(x_t))}{\sum_{x'} \exp(h_{\theta}(x_{1:t-1})^T e(x'))}

    其中,hθ(x1:t−1)h_{\theta}(x_{1:t-1}) 是由神经网络生成的上下文表示,而 e(x)e(x) 表示字词的嵌入。

    这样的训练方式有一个缺点:预训练时每个位置只利用固定方向的上下文。语言理解任务往往需要双向上下文,因此这种预训练目标可能受到限制。

  • 自编码模型

    自编码的自监督训练方式则是遮蔽语言模型(Masked Language Model, MLM),这是 BERT 提出来的最著名的方法,在训练中随机使用 [MASK] 标记来预测被遮蔽的词汇。并根据这个被遮蔽的序列 x^\hat{x} 来重建被遮蔽的文字 xˉ\bar{x},其目标函数为:

    max⁡θlog⁡pθ(xˉ∣x^)≈∑t=1Tmtlog⁡pθ(xt∣x^)=\max_{\theta} \log p_{\theta}(\bar{x}|\hat{x}) \approx \sum_{t=1}^{T} m_t \log p_{\theta}(x_t | \hat{x}) = ∑t=1Tmtlog⁡exp⁡(Hθ(x^)tTe(xt))∑x′exp⁡(Hθ(x^)tTe(x′))\sum_{t=1}^{T} m_t \log \frac{\exp(H_{\theta}(\hat{x})^T_t e(x_t))}{\sum_{x'} \exp(H_{\theta}(\hat{x})^T_t e(x'))}

    其中,mt=1m_t = 1 表示 xtx_t 被遮蔽,HθH_{\theta} 是 Transformer 网络产生的隐藏向量序列 Hθ(x)=[Hθ(x)1,Hθ(x)2,…,Hθ(x)T]H_{\theta}(x) = [H_{\theta}(x)_1, H_{\theta}(x)_2, \dots, H_{\theta}(x)_T]。

    这样的训练方式可以同时考虑到所有的上下文,但是会带来一个问题:下游微调时通常不存在 [MASK] 标记,这样的训练方式会导致模型在训练和预测时的不一致。不仅如此,也因为 BERT 的设计方式,这种 MLM 目标无法像 AR 目标这样,使用乘积规则对被遮蔽目标的联合概率进行建模。

所以作者希望可以做一个「自回归」的语言模型,但又要同时可以考虑到所有的上下文:

这个方法就是 XLNet!

解决问题

置换语言建模

置换语言建模,Permutation Language Modeling,是作者所提出的一种新的训练目标。

目的是同时保留自回归模型的优势(依赖于序列上下文进行词语预测),但又能像 BERT 那样捕捉到双向上下文(可以从任意方向理解文本)。

举例来说,对于一个长度为 TT 的序列(例如 "The cat sat on the mat" 有 6 个词),有 T!T! 种不同的索引顺序可以进行自回归分解。

代码
排列1: [3, 5, 4, 6, 2, 1](依序预测 sat、the、on、mat、cat、The)
排列2: [4, 1, 6, 5, 2, 3](依序预测 on、The、mat、the、cat、sat)
排列3: ...

在这个过程中,我们为模型引入一个排列 zz,这个排列代表模型在训练时所选择的分解顺序;输入句子的词语位置不会真的重排。模型会在每次训练中随机选择一个排列,然后依照这个排列预测词语。

假设 ZTZ_T 是所有可能的长度为 TT 的索引序列的置换集合,则置换语言建模目标可以表达为:

max⁡θEz∼ZT[∑t=1Tlog⁡pθ(xzt∣xz<t)]\max_{\theta} \mathbb{E}_{z \sim Z_T} \left[ \sum_{t=1}^{T} \log p_{\theta}(x_{z_t} | x_{z_{<t}}) \right]

双流自注意机制

为了有效实现置换语言建模,作者在论文特别指出,我们只排列「分解顺序」而不是「句子中的词语顺序」。这意味着,在训练过程中,句子的自然顺序保持不变,而是通过注意力掩码来控制这些词语在训练中的可见顺序。

在模型训练时,会随机选择一种分解的顺序。例如,对于一个序列 x=[x1,x2,x3,x4]x = [x_1, x_2, x_3, x_4],可能选择的顺序是 x3→x2→x4→x1x_3 → x_2 → x_4 → x_1。

模型会根据这个顺序,按该顺序定义每个字词的条件概率,并最大化该序列的似然函数。

要实现这种置换模型,需要用到「双流自注意力(Two-Stream Self-Attention)」机制。

这里的「双流」指的是两种不同的隐藏表示:

  • 内容流(Content Stream)

    内容流的表示 hθ(xz≤t)h_{\theta}(x_{z \leq t}) 包含置换顺序中已出现的上下文,以及当前位置的词 xztx_{z_t};它不会看到排列顺序中尚未出现的词。

    每层的内容流表示更新方式与标准的 Transformer 自注意力机制相同,但掩码限制了可读取的位置:查询 (QQ) 来自当前内容流,键 (KK) 和值 (VV) 只来自排列顺序中先前的位置与自己。

    如果我们要预测「A, B, C, D」中的「C」,内容流可读取「C」自己与置换顺序中先于「C」的词;真正用来预测「C」的是不能读取「C」内容的查询流。

  • 查询流(Query Stream)

    查询流的主要目的是生成与目标位置相关的表示,但它不能直接看到目标位置的词语内容。它保留目标位置信息,并从排列顺序中先前位置的内容流取得上下文,以免预测时偷看答案。

    查询流的表示 gθ(xz<t,zt)g_{\theta}(x_{z < t}, z_t) 只考虑上下文 xz<tx_{z<t} 和目标位置 ztz_t,但不包括目标位置的词语 xztx_{z_t}。这样,查询流强调的是位置依赖的信息,并且需要依赖于上下文来推测出目标词。

在实际训练中,直接对每个排列进行完整的预测可能会导致模型收敛缓慢。因此,作者使用部分预测策略,让模型不需要每次预测整个排列中的所有词,而是只对部分词进行预测,通常是排列中的「最后几个词」,这样模型能够利用最长的上下文信息来做预测;未选为目标的位置也不必计算查询流。

模型也沿用 Transformer-XL 的相对位置编码与跨片段记忆;前一片段缓存的是内容流表示,让下一片段能读取更长的上下文。处理两个输入片段时,另用相对片段编码区分两个位置是否属于同一片段。

再访部分预测机制

部分预测是指模型在训练时只预测句子中的一部分词语,而不是对整个句子的每一个词进行预测。

这对于 BERT 来说是必要的,因为如果句子中的所有词语都被掩蔽,模型将没有足够的上下文来进行有意义的预测。而 XLNet 也使用了部分预测,主要是为了减少优化难度,即让模型只预测那些有足够上下文的词语。

举例来说,假设我们有一句话「New York is a city」,我们只选择句子中的部分词进行预测,如「New」和「York」。

  • BERT 的问题:独立假设

    BERT 在进行预测时基于「独立假设」,即它预测每个目标词语时,认为这些词语之间是独立的,没有直接的依赖关系。

    比如在这个例子中,BERT 会把「New」和「York」当作彼此独立的词来预测,其目标是:

    JBERT=log⁡p(New∣is a city)+log⁡p(York∣is a city) \mathcal{J}_{\text{BERT}} = \log p(\text{New} | \text{is a city}) + \log p(\text{York} | \text{is a city})

    在这个同时选择两词作为目标的例子中,BERT 的两项损失只依赖「is a city」,没有在同一次目标分解中显式利用「New」和「York」之间的依赖关系。

  • XLNet 的优势:捕捉依赖关系

    相比之下,XLNet 则能够捕捉词语之间的依赖关系。这是因为 XLNet 基于自回归的方式进行排列顺序的预测,并且能够利用排列中较早位置的真实词作为上下文。

    在这个例子中,XLNet 可能会选择排列顺序 「is → a → city → New → York」,这样在预测 「York」 时,模型能够读取真实词 「New」,因此它能够考虑 「New」 和 「York」 之间的依赖关系。

    XLNet 的目标可以表示为:

    JXLNet=log⁡p(New∣is a city)+log⁡p(York∣New, is a city)\mathcal{J}_{\text{XLNet}} = \log p(\text{New} | \text{is a city}) + \log p(\text{York} | \text{New, is a city})

    这表示 XLNet 在预测「York」时,不仅依赖于「is a city」,还依赖于已经预测的「New」。因此,XLNet 能够学习到「New」和「York」之间的依赖关系,这是 BERT 的这次遮蔽目标没有显式建模的。

在同一组预测目标下,XLNet 能够学到更多的词之间的依赖关系,从而产生「更密集」的有效训练信号。

换句话说,在相同的目标词下,XLNet 可以进一步学到这些目标词之间的依赖;BERT 的遮罩预测目标则把它们分开预测。

讨论

和 BERT 的公平比较

在这里,作者首先在公平的环境下比较 BERT 和 XLNet 的效能,以解耦使用更多数据与从 BERT 到 XLNet 改进所带来的影响。

在上表中,比较了三个不同变体的 BERT 的最佳性能,以及使用相同数据和超参数训练的 XLNet。在相同的数据和几乎相同的训练设置下,XLNet 在表列各项指标都高于 BERT;这里没有逐项显著性检验。

和 RoBERTa 比较

阅读理解与文件排序
问答系统
文本分类测试集错误率,数值越低越好
自然语言理解

在这篇论文发表后,随即有其他预训练模型问世,如 RoBERTa 和 ALBERT。

为了与 RoBERTa 进行相对公平的比较,XLNet 使用较完整的预训练语料,并参照 RoBERTa 的超参数设置;这仍不是完全控制数据与算力的比较。结果如上表,在阅读理解与文件排序、问答系统、文本分类和自然语言理解的多数指标上,XLNet 优于表列对照;但 GLUE 开发集的 RTE、MRPC 低于 RoBERTa(85.9 对 86.6、90.8 对 90.9)。

GLUE 表的上半是单任务单模型开发集,下半是含多任务集成模型的测试集,两半不能当成同设置的分数差距。

此外,作者还提出两个有趣的观察结果:

  1. 对于像 SQuAD 和 RACE 这样需要进行明确推理且涉及较长上下文的任务,XLNet 的效能提升通常更大。这种在处理长上下文上的优势可能来自于 XLNet 所使用的 Transformer-XL 架构。
  2. 对于已经拥有大量监督数据的分类任务,如 MNLI(超过 39 万条样本)、Yelp(超过 56 万条样本)和 Amazon(超过 300 万条样本),XLNet 仍然显著提升了效能。

消融实验

作者为了证明 XLNet 中每个设计选择的重要性,并评估这些选择如何影响模型的性能。

在上表中,总共比较了 6 个不同实现细节的 XLNet-Base 变体(第 3 到 8 行)、原始的 BERT-Base 模型(第 1 行),以及一个基于 Transformer-XL 的模型,该模型使用了 BERT 的去噪自编码目标但采用了双向输入管道(第 2 行)。

为了公平比较,所有模型都基于相同的 12 层架构,并且使用与 BERT-Base 相同的超参数,只在 Wikipedia 和 BooksCorpus 上进行训练,且所有结果都是 5 次运行的中位数。

  • 置换语言建模和 Transformer-XL 的优势(rows 1 to 4):

    相较于 BERT-Base(第 1 行),第 2 行换成 Transformer-XL 与去噪目标,第 3、4 行再使用置换语言建模;这些设置在多数指标上逐步改善,但并非每一栏都单调提升,例如第 3 行的 SST-2 为 92.66,略低于 BERT 的 92.78。不能把第 1 行到第 4 行的差距全归于单一设计。

  • 记忆机制的重要性(row 5):

    当移除记忆缓存机制(memory caching)时,与第 4 行相比,RACE 从 66.66 降到 65.55,SQuAD2.0 F1 从 80.98 降到 80.15;这支持记忆机制有助于处理较长上下文。

  • 基于连续词片段的预测和双向输入管道的作用(rows 6 and 7):

    移除基于连续词片段的预测和双向输入管道都会使模型性能下降,这表明这两个设计对于 XLNet 的有效性有重要贡献。

  • 下句预测的影响(row 8):

    出乎意料的是,BERT 中提出的下句预测目标(next-sentence prediction)在 XLNet 的设置中没有带来一致的性能提升。因此,作者在最终的 XLNet 设计中排除了这个目标。

结论

XLNet 延续 Transformer-XL 的优势,并引入了置换语言建模目标,从而同时保留了自回归模型和自编码模型的优势。在论文列出的多项设置下,XLNet 超越了 BERT,也在多数指标上超过表列 RoBERTa 对照,并且在一些需要长上下文的任务上表现更好。

XLNet 的创新使其在多个自然语言处理任务中成为一个强有力的选择,并且为语言模型的发展提供了新的思路。

综观 2019 年,XLNet 可以说是地表最强的 LM 架构。