摘要：
BERT 简介 BERT是2018年google 提出来的预训练的语言模型，并且它打破很多NLP领域的任务记录，其提出在nlp的领域具有重要意义。预训练的(pre-train)的语言模型通过无监督的学习掌握了很多自然语言的一些语法或者语义知识，之后在做下游的nlp任务时就会显得比较容易。BERT在做 阅读全文
摘要：
自然语言处理在文本信息抽取、自动审校、智能问答、情感分析等场景下都有非常多的实际应用需求，在人工智能领域里有极为广泛的应用场景。然而在实际工程应用中，最经常面临的挑战是我们往往很难有大量高质量的标注语料。 “巧妇难为无米之炊”，在缺少语料的情况下，如何达到良好的NLP应用效果，是这些场景要落地所必须 阅读全文
摘要：
2017年中，有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》，它们都算是Seq2Seq上的创新，本质上来说，都是抛弃了RNN 阅读全文
摘要：
torch.max(input) → Tensor 返回输入tensor中所有元素的最大值 a = torch.randn(1, 3)>>0.4729 -0.2266 -0.2085 torch.max(a)>>0.4729 torch.max(input, dim, keepdim=False, 阅读全文
摘要：
一、unsqueeze()函数 1. 首先初始化一个a 可以看出a的维度为（2，3） 2. 在第二维增加一个维度，使其维度变为（2，1，3） 可以看出a的维度已经变为（2，1，3）了，同样如果需要在倒数第二个维度上增加一个维度，那么使用b.unsqueeze(-2) 二、squeeze()函数介绍 阅读全文
摘要：
可以调用的对象 关于 __call__ 方法，不得不先提到一个概念，就是可调用对象（callable），我们平时自定义的函数、内置函数和类都属于可调用对象，但凡是可以把一对括号()应用到某个对象身上都可称之为可调用对象，判断对象是否为可调用对象可以用函数 callable 如果在类中实现了 __ca 阅读全文