自然语言处理

目录 目录 1. 什么是XLNet 2. 自回归语言模型（Autoregressive LM） 3. 自编码语言模型（Autoencoder LM） 4. XLNet模型 4.1 排列语言建模（Permutation Language Modeling） 4.2 Transformer XL 4.2.1 vanilla Transformer 4.2.2 Transformer XL 5. XLNet与BERT比较 6. 代码实现 7. 参考文献 1. 什么是XLNetXLNet是一个类似BERT的模型，而不是完全不同的模型。总之，XLNet是一种通用的自回归预训练方法。它是CMU和Google...

目录 目录 1. 什么是BERT 2. 从Word Embedding到Bert模型的发展 2.1 图像的预训练 2.2 Word Embedding 2.3 ELMO 2.4 GPT 2.5 BERT 2.5.1 Embedding 2.5.2 Masked LM 2.5.3 Next Sentence Prediction 3. BERT的评价 4. 代码实现 5. 参考文献 1. 什么是BERTBERT的全称是Bidirectional Encoder Representation from Transformers，是Google2018年提出的预训练模型，即双向Transformer的Encoder，因为decoder是不能获要预测的信息的。模型的主要创新点都在pre-train方法上，即用了Masked LM和Next Sentence...

p{text-indent:2em} NLP预训练模型【5】 – $Transformer$1. 什么是 $Transformer$《 $Attention$ Is All You Need》是一篇Google提出的将 $Attention$ 思想发挥到极致的论文。这篇论文中提出一个全新的模型，叫 $Transformer$ ，抛弃了以往深度学习任务里面使用到的CNN和RNN。目前大热的BERT就是基于 $Transformer$ 构建的，这个模型广泛应用于NLP领域，例如机器翻译，问答系统，文本摘要和语音识别等等方向。 2. $Transformer$ 结构2.1 总体结构 $Transformer$ 的结构和 $Attention$ 模型一样， $Transformer$ 模型中也采用了 $Encoer- Decoder$ 架构。但其结构相比于 $Attention$ 更加复杂，论文中 $Encoder$ 层由6个 $Encoder$ 堆叠在一起， $Decoder$ 层也一样。 不了解 $Attention$ 模型的，可以回顾之前的文章。 每一个...

p{text-indent:2em} NLP预训练模型【4】 – 注意力机制1. 什么是 $ Attention $ 机制在” $ seq2seq $ ...

NLP预训练模型【3】 – seq2seq模型与RNN、LSTM等基础编解码器 引自：@mantchs GitHub：https://github.com/NLP-LOVE/ML-NLP 1. 什么是seq2seq? 在⾃然语⾔处理的很多应⽤中，输⼊和输出都可以是不定⻓序列。以机器翻译为例，输⼊可以是⼀段不定⻓的英语⽂本序列，输出可以是⼀段不定⻓的法语⽂本序列，例如： 英语输⼊：“They”、“are”、“watching”、“.” 法语输出：“Ils”、“regardent”、“.” ...

NLP预训练模型【2】– 离散表示与分布式表示【摘要】 在了解深度学习的预训练模型之前，本文首先介绍一下分布式表示的起源，以及一些前期的语言模型。主要包括：One-hot、词袋、词频等离散表示模型；和NNLM、word2vec等浅层分布式表示模型。 本文引自CSDN 「kesisour」 1. 什么是词嵌入(Word Embedding)⾃然语⾔是⼀套⽤来表达含义的复杂系统。在这套系统中，词是表义的基本单元。顾名思义，词向量是⽤来表⽰词的向量，也可被认为是词的特征向量或表征。把词映射为实数域向量的技术也叫词嵌⼊（word...

NLP预训练模型【1】 – 总览【摘要】预训练模型( Pre-trained Models )的出现将NLP带入了一个全新时代。2020年3月，邱锡鹏老师发表了关于NLP预训练模型的综述《Pre-trained Models for Natural Language Processing: A Survey》1，系统地对预训练模型进行了归纳分类。 本文引自公众号「高能AI」 〇....