XLNet: Generalized Autoregressive Pretraining for Language Understanding
- 发表版本
- NeurIPS 2019会议
- arXiv 首次提交
- arXiv:1906.08237
引用此论文 · BibTeX
引用信息对应所链接的论文版本,作者为原论文作者。
@misc{transformersxlnet2019,
title = {{XLNet: Generalized Autoregressive Pretraining for Language Understanding}},
author = {Zhilin Yang and Zihang Dai and Yiming Yang and Jaime Carbonell and Ruslan Salakhutdinov and Quoc V. Le},
year = {2019},
eprint = {1906.08237},
archivePrefix = {arXiv},
url = {https://arxiv.org/abs/1906.08237}
}
BERT 的成功带给后续研究人员大量的研究空间。
在早些时日,这篇论文的作者群已经发表了 Transformer-XL 这篇论文,提出了一种新的 Transformer 架构,能够捕捉长距离依赖关系。
但显然地,作者觉得这还不够,因为 Transformer-XL 的固定方向预训练无法让一个位置同时学习利用左右两侧的上下文。
定义问题
在语言模型中有两大主流方法:自回归(autoregressive)和自编码(autoencoding)。
自编码的代表作就是 BERT,而自回归的代表作则是 GPT,各有各的优缺点。
-
自回归模型
自回归的自监督的训练方式就是预测序列中的下一个词,也就是我们常讲的文字接龙。
给定一个文字序列 ,自回归语言模型通过前向自回归分解来最大化似然函数:
其中, 是由神经网络生成的上下文表示,而 表示字词的嵌入。
这样的训练方式有一个缺点:预训练时每个位置只利用固定方向的上下文。语言理解任务往往需要双向上下文,因此这种预训练目标可能受到限制。
-
自编码模型
自编码的自监督训练方式则是遮蔽语言模型(Masked Language Model, MLM),这是 BERT 提出来的最著名的方法,在训练中随机使用
[MASK]标记来预测被遮蔽的词汇。并根据这个被遮蔽的序列 来重建被遮蔽的文字 ,其目标函数为:其中, 表示 被遮蔽, 是 Transformer 网络产生的隐藏向量序列 。
这样的训练方式可以同时考虑到所有的上下文,但是会带来一个问题:下游微调时通常不存在
[MASK]标记,这样的训练方式会导致模型在训练和预测时的不一致。不仅如此,也因为 BERT 的设计方式,这种 MLM 目标无法像 AR 目标这样,使用乘积规则对被遮蔽目标的联合概率进行建模。
所以作者希望可以做一个「自回归」的语言模型,但又要同时可以考虑到所有的上下文:
这个方法就是 XLNet!
解决问题
置换语言建模
置换语言建模,Permutation Language Modeling,是作者所提出的一种新的训练目标。
目的是同时保留自回归模型的优势(依赖于序列上下文进行词语预测),但又能像 BERT 那样捕捉到双向上下文(可以从任意方向理解文本)。
举例来说,对于一个长度为 的序列(例如 "The cat sat on the mat" 有 6 个词),有 种不同的索引顺序可以进行自回归分解。
排列1: [3, 5, 4, 6, 2, 1](依序预测 sat、the、on、mat、cat、The)
排列2: [4, 1, 6, 5, 2, 3](依序预测 on、The、mat、the、cat、sat)
排列3: ...
在这个过程中,我们为模型引入一个排列 ,这个排列代表模型在训练时所选择的分解顺序;输入句子的词语位置不会真的重排。模型会在每次训练中随机选择一个排列,然后依照这个排列预测词语。
假设 是所有可能的长度为 的索引序列的置换集合,则置换语言建模目标可以表达为:
双流自注意机制
为了有效实现置换语言建模,作者在论文特别指出,我们只排列「分解顺序」而不是「句子中的词语顺序」。这意味着,在训练过程中,句子的自然顺序保持不变,而是通过注意力掩码来控制这些词语在训练中的可见顺序。
在模型训练时,会随机选择一种分解的顺序。例如,对于一个序列 ,可能选择的顺序是 。
模型会根据这个顺序,按该顺序定义每个字词的条件概率,并最大化该序列的似然函数。
要实现这种置换模型,需要用到「双流自注意力(Two-Stream Self-Attention)」机制。
这里的「双流」指的是两种不同的隐藏表示:
-
内容流(Content Stream)
内容流的表示 包含置换顺序中已出现的上下文,以及当前位置的词 ;它不会看到排列顺序中尚未出现的词。
每层的内容流表示更新方式与标准的 Transformer 自注意力机制相同,但掩码限制了可读取的位置:查询 () 来自当前内容流,键 () 和值 () 只来自排列顺序中先前的位置与自己。
如果我们要预测「A, B, C, D」中的「C」,内容流可读取「C」自己与置换顺序中先于「C」的词;真正用来预测「C」的是不能读取「C」内容的查询流。
-
查询流(Query Stream)
查询流的主要目的是生成与目标位置相关的表示,但它不能直接看到目标位置的词语内容。它保留目标位置信息,并从排列顺序中先前位置的内容流取得上下文,以免预测时偷看答案。
查询流的表示 只考虑上下文 和目标位置 ,但不包括目标位置的词语 。这样,查询流强调的是位置依赖的信息,并且需要依赖于上下文来推测出目标词。
在实际训练中,直接对每个排列进行完整的预测可能会导致模型收敛缓慢。因此,作者使用部分预测策略,让模型不需要每次预测整个排列中的所有词,而是只对部分词进行预测,通常是排列中的「最后几个词」,这样模型能够利用最长的上下文信息来做预测;未选为目标的位置也不必计算查询流。
模型也沿用 Transformer-XL 的相对位置编码与跨片段记忆;前一片段缓存的是内容流表示,让下一片段能读取更长的上下文。处理两个输入片段时,另用相对片段编码区分两个位置是否属于同一片段。
再访部分预测机制
部分预测是指模型在训练时只预测句子中的一部分词语,而不是对整个句子的每一个词进行预测。
这对于 BERT 来说是必要的,因为如果句子中的所有词语都被掩蔽,模型将没有足够的上下文来进行有意义的预测。而 XLNet 也使用了部分预测,主要是为了减少优化难度,即让模型只预测那些有足够上下文的词语。
举例来说,假设我们有一句话「New York is a city」,我们只选择句子中的部分词进行预测,如「New」和「York」。
-
BERT 的问题:独立假设
BERT 在进行预测时基于「独立假设」,即它预测每个目标词语时,认为这些词语之间是独立的,没有直接的依赖关系。
比如在这个例子中,BERT 会把「New」和「York」当作彼此独立的词来预测,其目标是:
在这个同时选择两词作为目标的例子中,BERT 的两项损失只依赖「is a city」,没有在同一次目标分解中显式利用「New」和「York」之间的依赖关系。
-
XLNet 的优势:捕捉依赖关系
相比之下,XLNet 则能够捕捉词语之间的依赖关系。这是因为 XLNet 基于自回归的方式进行排列顺序的预测,并且能够利用排列中较早位置的真实词作为上下文。
在这个例子中,XLNet 可能会选择排列顺序 「is → a → city → New → York」,这样在预测 「York」 时,模型能够读取真实词 「New」,因此它能够考虑 「New」 和 「York」 之间的依赖关系。
XLNet 的目标可以表示为:
这表示 XLNet 在预测「York」时,不仅依赖于「is a city」,还依赖于已经预测的「New」。因此,XLNet 能够学习到「New」和「York」之间的依赖关系,这是 BERT 的这次遮蔽目标没有显式建模的。
在同一组预测目标下,XLNet 能够学到更多的词之间的依赖关系,从而产生「更密集」的有效训练信号。
换句话说,在相同的目标词下,XLNet 可以进一步学到这些目标词之间的依赖;BERT 的遮罩预测目标则把它们分开预测。
讨论
和 BERT 的公平比较
在这里,作者首先在公平的环境下比较 BERT 和 XLNet 的效能,以解耦使用更多数据与从 BERT 到 XLNet 改进所带来的影响。
在上表中,比较了三个不同变体的 BERT 的最佳性能,以及使用相同数据和超参数训练的 XLNet。在相同的数据和几乎相同的训练设置下,XLNet 在表列各项指标都高于 BERT;这里没有逐项显著性检验。
和 RoBERTa 比较
在这篇论文发表后,随即有其他预训练模型问世,如 RoBERTa 和 ALBERT。
为了与 RoBERTa 进行相对公平的比较,XLNet 使用较完整的预训练语料,并参照 RoBERTa 的超参数设置;这仍不是完全控制数据与算力的比较。结果如上表,在阅读理解与文件排序、问答系统、文本分类和自然语言理解的多数指标上,XLNet 优于表列对照;但 GLUE 开发集的 RTE、MRPC 低于 RoBERTa(85.9 对 86.6、90.8 对 90.9)。
GLUE 表的上半是单任务单模型开发集,下半是含多任务集成模型的测试集,两半不能当成同设置的分数差距。
此外,作者还提出两个有趣的观察结果:
- 对于像 SQuAD 和 RACE 这样需要进行明确推理且涉及较长上下文的任务,XLNet 的效能提升通常更大。这种在处理长上下文上的优势可能来自于 XLNet 所使用的 Transformer-XL 架构。
- 对于已经拥有大量监督数据的分类任务,如 MNLI(超过 39 万条样本)、Yelp(超过 56 万条样本)和 Amazon(超过 300 万条样本),XLNet 仍然显著提升了效能。
消融实验
作者为了证明 XLNet 中每个设计选择的重要性,并评估这些选择如何影响模型的性能。
在上表中,总共比较了 6 个不同实现细节的 XLNet-Base 变体(第 3 到 8 行)、原始的 BERT-Base 模型(第 1 行),以及一个基于 Transformer-XL 的模型,该模型使用了 BERT 的去噪自编码目标但采用了双向输入管道(第 2 行)。
为了公平比较,所有模型都基于相同的 12 层架构,并且使用与 BERT-Base 相同的超参数,只在 Wikipedia 和 BooksCorpus 上进行训练,且所有结果都是 5 次运行的中位数。
-
置换语言建模和 Transformer-XL 的优势(rows 1 to 4):
相较于 BERT-Base(第 1 行),第 2 行换成 Transformer-XL 与去噪目标,第 3、4 行再使用置换语言建模;这些设置在多数指标上逐步改善,但并非每一栏都单调提升,例如第 3 行的 SST-2 为 92.66,略低于 BERT 的 92.78。不能把第 1 行到第 4 行的差距全归于单一设计。
-
记忆机制的重要性(row 5):
当移除记忆缓存机制(memory caching)时,与第 4 行相比,RACE 从 66.66 降到 65.55,SQuAD2.0 F1 从 80.98 降到 80.15;这支持记忆机制有助于处理较长上下文。
-
基于连续词片段的预测和双向输入管道的作用(rows 6 and 7):
移除基于连续词片段的预测和双向输入管道都会使模型性能下降,这表明这两个设计对于 XLNet 的有效性有重要贡献。
-
下句预测的影响(row 8):
出乎意料的是,BERT 中提出的下句预测目标(next-sentence prediction)在 XLNet 的设置中没有带来一致的性能提升。因此,作者在最终的 XLNet 设计中排除了这个目标。
结论
XLNet 延续 Transformer-XL 的优势,并引入了置换语言建模目标,从而同时保留了自回归模型和自编码模型的优势。在论文列出的多项设置下,XLNet 超越了 BERT,也在多数指标上超过表列 RoBERTa 对照,并且在一些需要长上下文的任务上表现更好。
XLNet 的创新使其在多个自然语言处理任务中成为一个强有力的选择,并且为语言模型的发展提供了新的思路。
综观 2019 年,XLNet 可以说是地表最强的 LM 架构。