XLNet

目录 目录 1. 什么是XLNet 2. 自回归语言模型（Autoregressive LM） 3. 自编码语言模型（Autoencoder LM） 4. XLNet模型 4.1 排列语言建模（Permutation Language Modeling） 4.2 Transformer XL 4.2.1 vanilla Transformer 4.2.2 Transformer XL 5. XLNet与BERT比较 6. 代码实现 7. 参考文献 1. 什么是XLNet XLNet是一个类似BERT的模型，而不是完全不同的模型。总之，XLNet是一种通用的自回归预训练方法。它是CMU和Google Brain团队在2019年6月份发布的模型，最终，XLNet在20个任务上超过了BERT的表现，并在18个任务上取得了当前最佳效果（state-of-the-art），包括机器问答、自然语言推断、情感分析和文档排序。 作者表示，BERT这样基于去噪自编码器的预训练模型可以很好地建模双向语境信息，性能优于基于自回归语言模型的预训练方法。然而，由于需要mask一部分输 ...