摘要：
对数几率回归对数几率回归（logistic regression），又称为逻辑回归，虽然它的名字是“回归”，但实际却是一种分类学习方法，那为什么“回归”？个人觉得是因为它跟线性回归的公式有点关联。 对数几率函数是sigmoid函数。 1､模型线性回归：z=w∗x+b z = w*x+ bz=w∗x+ 阅读全文
摘要：
https://blog.csdn.net/cc1949/article/details/79744519 数学上有各种空间，概念容易混淆，为了记忆，整理出一张关系图。 目前不清楚无限维的内积空间是什么？ 也欢迎各位补充其他的概念。 阅读全文
摘要：
在数学中有许多空间表示，比如欧几里德空间、赋范空间、希尔伯特空间等。这些空间之间有什么关系呢？ 首先要从距离的定义说起。 什么是距离呢？实际上距离除了我们经常用到的直线距离外，还有向量距离如Σni=1xi⋅yi−−−−−−−−√Σi=1nxi⋅yi， 函数距离如∫ba(f(x)−g(x))2dx∫a 阅读全文
摘要：
大数据文摘与百度NLP联合出品 编译：张驰、毅航、Conrad、龙心尘 https://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=2651666707&idx=1&sn=2e9149ccdba746eaec687038ce560349&chksm=b 阅读全文
摘要：
1 Transformer 模型结构处理自然语言序列的模型有 rnn， cnn（textcnn），但是现在介绍一种新的模型，transformer。与RNN不同的是，Transformer直接把一句话当做一个矩阵进行处理，要知道，RNN是把每一个字的Embedding Vector输入进行，隐层节点 阅读全文
摘要：
1、预训练模型 BERT是一个预训练的模型，那么什么是预训练呢？举例子进行简单的介绍 假设已有A训练集，先用A对网络进行预训练，在A任务上学会网络参数，然后保存以备后用，当来一个新的任务B，采取相同的网络结构，网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数 阅读全文
摘要：
BERT-BiLSMT-CRF-NERTensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuningGitHub： https://github.com/macanv/BERT-BiLSTM-CR 阅读全文
摘要：
过年放了七天假，每年第一件事就是立一个flag——希望今年除了能够将技术学扎实之外，还希望能够将所学能够用来造福社会，好像flag立得有点大了。没关系，套用一句电影台词为自己开脱一下——人没有梦想，和咸鱼有什么区别。闲话至此，进入今天主题：Transformer。谷歌于2017年提出Transfor 阅读全文
摘要：
BERT 简介 BERT是2018年google 提出来的预训练的语言模型，并且它打破很多NLP领域的任务记录，其提出在nlp的领域具有重要意义。预训练的(pre-train)的语言模型通过无监督的学习掌握了很多自然语言的一些语法或者语义知识，之后在做下游的nlp任务时就会显得比较容易。BERT在做 阅读全文
摘要：
自然语言处理在文本信息抽取、自动审校、智能问答、情感分析等场景下都有非常多的实际应用需求，在人工智能领域里有极为广泛的应用场景。然而在实际工程应用中，最经常面临的挑战是我们往往很难有大量高质量的标注语料。 “巧妇难为无米之炊”，在缺少语料的情况下，如何达到良好的NLP应用效果，是这些场景要落地所必须 阅读全文
摘要：
2017年中，有两篇类似同时也是笔者非常欣赏的论文，分别是FaceBook的《Convolutional Sequence to Sequence Learning》和Google的《Attention is All You Need》，它们都算是Seq2Seq上的创新，本质上来说，都是抛弃了RNN 阅读全文
摘要：
torch.max(input) → Tensor 返回输入tensor中所有元素的最大值 a = torch.randn(1, 3)>>0.4729 -0.2266 -0.2085 torch.max(a)>>0.4729 torch.max(input, dim, keepdim=False, 阅读全文
摘要：
一、unsqueeze()函数 1. 首先初始化一个a 可以看出a的维度为（2，3） 2. 在第二维增加一个维度，使其维度变为（2，1，3） 可以看出a的维度已经变为（2，1，3）了，同样如果需要在倒数第二个维度上增加一个维度，那么使用b.unsqueeze(-2) 二、squeeze()函数介绍 阅读全文
摘要：
可以调用的对象 关于 __call__ 方法，不得不先提到一个概念，就是可调用对象（callable），我们平时自定义的函数、内置函数和类都属于可调用对象，但凡是可以把一对括号()应用到某个对象身上都可称之为可调用对象，判断对象是否为可调用对象可以用函数 callable 如果在类中实现了 __ca 阅读全文