02 2021 档案

自然语言处理之序列标注问题
摘要：序列标注问题是自然语言中最常见的问题，在深度学习火起来之前，常见的序列标注问题的解决方案都是借助于HMM模型，最大熵模型，CRF模型。尤其是CRF，是解决序列标注问题的主流方法。随着深度学习的发展，RNN在序列标注问题中取得了巨大的成果。而且深度学习中的end-to-end，也让序列标注问题变得更简 阅读全文
posted @ 2021-02-13 22:40 早起的小虫子 阅读(600) 评论(0) 推荐(0)
注意力(Attention)与Seq2Seq的区别
摘要：什么是注意力（Attention）？ 注意力机制可看作模糊记忆的一种形式。记忆由模型的隐藏状态组成，模型选择从记忆中检索内容。深入了解注意力之前，先简要回顾Seq2Seq模型。传统的机器翻译主要基于Seq2Seq模型。该模型分为编码层和解码层，并由RNN或RNN变体（LSTM、GRU等）组成。编码矢 阅读全文
posted @ 2021-02-13 13:57 早起的小虫子 阅读(547) 评论(0) 推荐(0)
Seq2Seq原理详解
摘要：一、Seq2Seq简介 seq2seq 是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列。Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。 很多自然语言处理任务，比如聊天机器人， 阅读全文
posted @ 2021-02-12 23:10 早起的小虫子 阅读(9807) 评论(0) 推荐(2)
浅谈 Attention 机制的理解
摘要：1.0 什么是注意力机制？ 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。例如人的视觉在处理一张图片时，会通过快速扫描全局图像，获得需要重点关注的目标区域，也就是注意力焦点。然后对这一区域投入更多的注意力资源，以获得更多所需要关注的目标的细 阅读全文
posted @ 2021-02-09 23:06 早起的小虫子 阅读(1107) 评论(0) 推荐(1)
Transformer模型通俗理解
摘要：目录 Transformer 1. 前言 2. Transformer详解3. 总结 2.1 Transformer整体结构 2.2 输入编码 2.3 Self-Attention 2.4 Multi-Head Attention 2.5 位置编码 2.6 残差结构 2.7 解码器结构 2.8 Th 阅读全文
posted @ 2021-02-06 13:25 早起的小虫子 阅读(5497) 评论(0) 推荐(0)
深度学习中Dropout原理解析
摘要：1. Dropout简介 1.1 Dropout出现的原因 在机器学习的模型中，如果模型的参数太多，而训练样本又太少，训练出来的模型很容易产生过拟合的现象。在训练神经网络的时候经常会遇到过拟合的问题，过拟合具体表现在：模型在训练数据上损失函数较小，预测准确率较高；但是在测试数据上损失函数比较大，预测 阅读全文
posted @ 2021-02-05 18:42 早起的小虫子 阅读(1104) 评论(0) 推荐(0)
彻底理解 Google BERT 模型
摘要：BERT 模型是 Google 在 2018 年提出的一种 NLP 模型，成为最近几年 NLP 领域最具有突破性的一项技术。在 11 个 NLP 领域的任务上都刷新了以往的记录，例如GLUE，SquAD1.1，MultiNLI 等。 1. 前言 Google 在论文《BERT: Pre-traini 阅读全文
posted @ 2021-02-02 17:00 早起的小虫子 阅读(1378) 评论(0) 推荐(0)
交叉熵和对数损失函数之间的关系
摘要：交叉熵 熵/信息熵 假设一个发送者想传输一个随机变量的值给接收者。这个过程中，他们传输的平均信息量为： 叫随机变量的熵，其中 把熵扩展到连续变量的概率分布,则熵变为 被称为微分熵。 在离散分布下，最大熵对应于变量的所有可能状态的均匀分布。 最大化微分熵的分布是高斯分布 相对熵/KL散度 考虑某个未知 阅读全文
posted @ 2021-02-01 09:38 早起的小虫子 阅读(894) 评论(0) 推荐(0)