摘要：
简介 命名实体识别（Named Entity Recognition, NER）旨在从文本中抽取出命名实体，比如人名、地名、机构名等。它是一个非常重要的基础性任务，可以有效帮助后续的文本语义理解。 NER任务一般有两种类型：flat NER和nested NER。前者就是普通的NER，每个token 阅读全文
摘要：
RoBERTa: A Robustly Optimized BERT Pretraining Approach. Yinhan Liu, Myle Ott, Naman Goyal, et al. 2019 BERT提出之后，有很多后续工作XLNet、ALICE、XLM、MT-DNN相继被提出，成绩 阅读全文
摘要：
Beyond Accuracy: Behavior Testing of NLP Models with CheckList. Marco Tulio Ribeiro, Tongshuang Wu, Carlos Guestrin, Sameer Singh. ACL 2020 摘要 在测试集上评估 阅读全文
摘要：
前言 激活函数，是神经网络中实现非线性计算的关键，再深的线性神经网络，本质上都和单步线性计算等价。所以，激活函数这个非线性单元是神经网络化腐朽为神奇的关键。 激活函数的要求： 计算简单，特别是导函数计算简单 连续可导（允许在若干个点上不可导） 值域合理，这样可以尽量使得不同网络层的输入和输出数据相似 阅读全文
摘要：
损失函数度量的是训练的模型与真实模型之间的距离。一般以最小化损失函数为目标，对模型进行不断优化。 常见的损失函数在计算过程中都会接受两个参数：模型预测值y_pred和正确答案y_true。 由于背后的数学计算过程相同，所以即使是不同深度学习框架这些损失函数的api也是大同小异。本文以keras为例， 阅读全文
摘要：
性质 判别模型 分类模型 模型 \[ P(Y=1|x) = \frac{e^{w \cdot x}}{1+e^{w \cdot x}}\\ P(Y=0|x)=\frac{1}{1+e^{w \cdot x}} \] 损失函数 最大似然估计 \[ \begin{aligned} L(w) & = \p 阅读全文
摘要：
参数估计(Parameter Estimate)就是通过一系列算法，来求出模型的最优参数。在各个机器学习深度学习的框架里，都变成了optimizer的活了。 其实这个名字很奇怪，但是在比较早的机器学习论文里都是这么叫的，我们重点来关注下里面涉及的一些算法。 这里主要关注的是 最小二乘法 梯度下降 牛 阅读全文
摘要：
注意力的种类有如下四种： 加法注意力, Bahdanau Attention 点乘注意力, Luong Attention 自注意力, Self-Attention 多头点乘注意力, Multi-Head Dot Product Attention（请转至Transformer模型） 1. Bahd 阅读全文
摘要：
01 《清平调·云想衣裳花想容》 李白 云想衣裳花想容， 春风拂槛露华浓。 若非群玉山头见， 会向瑶台月下逢。 02 《离思五首·其四》 元稹 曾经沧海难为水，除却巫山不是云。 取次花丛懒回顾，半缘修道半缘君。 03 叶底藏花一度，梦里踏雪几回。 ——《一代宗师》 04 伊人何在，总在寒冷清秋！ — 阅读全文
摘要：
Text preprocessing is an essential part of NLP tasks. Conversion from Complicated Chinese to Simple Chinese The code below has a dependency on two pyt 阅读全文