交流_QQ_2240410488

2019年7月18日

摘要： BERT (Bidirectional Encoder Representations from Transformers) 10月11日，Google AI Language 发布了论文 BERT: Pre-training of Deep Bidirectional Transformers f 阅读全文

posted @ 2019-07-18 11:13 交流_QQ_2240410488 阅读(634) 评论(0) 推荐(0)

2019年7月17日

对数几率回归

摘要：对数几率回归对数几率回归（logistic regression），又称为逻辑回归，虽然它的名字是“回归”，但实际却是一种分类学习方法，那为什么“回归”？个人觉得是因为它跟线性回归的公式有点关联。对数几率函数是sigmoid函数。 1､模型线性回归：z=w∗x+b z = w*x+ bz=w∗x+ 阅读全文

posted @ 2019-07-17 23:19 交流_QQ_2240410488 阅读(1093) 评论(0) 推荐(0)

数学上各种空间概念的关系图

摘要： https://blog.csdn.net/cc1949/article/details/79744519 数学上有各种空间，概念容易混淆，为了记忆，整理出一张关系图。目前不清楚无限维的内积空间是什么？也欢迎各位补充其他的概念。阅读全文

posted @ 2019-07-17 22:43 交流_QQ_2240410488 阅读(974) 评论(0) 推荐(0)

理解数学空间，从距离到希尔伯特空间

摘要：在数学中有许多空间表示，比如欧几里德空间、赋范空间、希尔伯特空间等。这些空间之间有什么关系呢？首先要从距离的定义说起。什么是距离呢？实际上距离除了我们经常用到的直线距离外，还有向量距离如Σni=1xi⋅yi−−−−−−−−√Σi=1nxi⋅yi，函数距离如∫ba(f(x)−g(x))2dx∫a 阅读全文

posted @ 2019-07-17 22:42 交流_QQ_2240410488 阅读(752) 评论(0) 推荐(0)

BERT大火却不懂Transformer？读这一篇就够了

摘要：大数据文摘与百度NLP联合出品编译：张驰、毅航、Conrad、龙心尘 https://mp.weixin.qq.com/s?__biz=MjM5MTQzNzU2NA==&mid=2651666707&idx=1&sn=2e9149ccdba746eaec687038ce560349&chksm=b 阅读全文

posted @ 2019-07-17 17:28 交流_QQ_2240410488 阅读(570) 评论(0) 推荐(0)

浅谈Transformer 及Attention网络

摘要： 1 Transformer 模型结构处理自然语言序列的模型有 rnn， cnn（textcnn），但是现在介绍一种新的模型，transformer。与RNN不同的是，Transformer直接把一句话当做一个矩阵进行处理，要知道，RNN是把每一个字的Embedding Vector输入进行，隐层节点阅读全文

posted @ 2019-07-17 17:27 交流_QQ_2240410488 阅读(781) 评论(0) 推荐(0)

BERT的通俗理解预训练模型微调

摘要： 1、预训练模型 BERT是一个预训练的模型，那么什么是预训练呢？举例子进行简单的介绍假设已有A训练集，先用A对网络进行预训练，在A任务上学会网络参数，然后保存以备后用，当来一个新的任务B，采取相同的网络结构，网络参数初始化的时候可以加载A学习好的参数，其他的高层参数随机初始化，之后用B任务的训练数阅读全文

posted @ 2019-07-17 16:51 交流_QQ_2240410488 阅读(4083) 评论(0) 推荐(0)

基于BERT预训练的中文命名实体识别TensorFlow实现

摘要： BERT-BiLSMT-CRF-NERTensorflow solution of NER task Using BiLSTM-CRF model with Google BERT Fine-tuningGitHub： https://github.com/macanv/BERT-BiLSTM-CR 阅读全文

posted @ 2019-07-17 16:38 交流_QQ_2240410488 阅读(4733) 评论(0) 推荐(0)

Attention is all your need 谷歌的超强特征提取网络——Transformer

摘要：过年放了七天假，每年第一件事就是立一个flag——希望今年除了能够将技术学扎实之外，还希望能够将所学能够用来造福社会，好像flag立得有点大了。没关系，套用一句电影台词为自己开脱一下——人没有梦想，和咸鱼有什么区别。闲话至此，进入今天主题：Transformer。谷歌于2017年提出Transfor 阅读全文

posted @ 2019-07-17 16:12 交流_QQ_2240410488 阅读(1134) 评论(0) 推荐(0)

五分钟搭建一个基于BERT的NER模型

摘要： BERT 简介 BERT是2018年google 提出来的预训练的语言模型，并且它打破很多NLP领域的任务记录，其提出在nlp的领域具有重要意义。预训练的(pre-train)的语言模型通过无监督的学习掌握了很多自然语言的一些语法或者语义知识，之后在做下游的nlp任务时就会显得比较容易。BERT在做阅读全文

posted @ 2019-07-17 16:11 交流_QQ_2240410488 阅读(925) 评论(0) 推荐(0)

劲风的味道

公告