NLP预训练模型【5】 -- Transformer
p{text-indent:2em}
NLP预训练模型【5】 – TransformerTransformerTransformer
1. 什么是 TransformerTransformerTransformer
《 AttentionAttentionAttention Is All You Need》是一篇Google提出的将 AttentionAttentionAttention 思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 TransformerTransformerTransformer ，抛弃了以往深度学习任务里面使用到的CNN和RNN。目前大热的BERT就是基于 TransformerTransformerTransformer 构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。
2. TransformerTransformerTransformer 结构
2.1 总体结构
TransformerTransformerTransformer 的结构和 AttentionAttentionAttenti ...