随笔分类 - 自然语言处理
NLP courses of standford cs224d
摘要：1、Recursive Nerual Networks能够更好地体现每个词与词之间语法上的联系这里我们选取的损失函数仍然是交叉熵函数 2、整个网络的结构如下图所示: 每个参数的更新时的梯队值如何计算,稍后再给大家计算相应的数学公式 这里先列出节点的合并规则 1、即假设将一句话中的词先两个合并，并通过
阅读全文
摘要：今天将的还是cs224d 的problem set2 的第三部分习题， 原来国外大学的系统难度真的如此之大，相比之下还是默默地再天朝继续搬砖吧 下面讲述一下RNN语言建模的数学公式: 给出一串连续的词x1,x2...xt关于预测其后面紧跟的词xt+1的建模方式是: vj是词库中的某个词。实现一个循环
阅读全文
摘要：神经网络在命名实体识别中的应用 所有的这些包括之前的两篇都可以通过tensorflow 模型的托管部署到 google cloud 上面，发布成restful接口，从而与任何的ERP,CRM系统集成、 天呀，这就是赤果果的钱呀。好血腥。感觉tensorflow的革命性意义就是能够将学校学到的各种数学
阅读全文
摘要：Hi Dear Today we will use tensorflow to implement the softmax regression and linear classifier algorithm. not using the library of tensorflow (like tf
阅读全文
摘要：使用在上一篇博客中训练好的wordvector 在这一节进行情感分析。 因为在上一节中得到的是一个词就是一个向量 所以一句话便是一个矩阵，矩阵的每一列表示一个词向量 情感分析的前提是已知一句话是 （超级消极，比较消极，中立，积极，非常积极）中的一类作为训练集分别用（0,1,2,3,4）进行表示 然后
阅读全文
摘要：首先上来的是最简单的sigmoid激励函数， 至于为什么选他做激励函数， 1、因为这个函数能将定义域为(-inf,+inf)的值映射到(0,1)区间，便于计算(能够消除量纲的影响) 2、这个函数的变化曲线不是特变陡峭，每一点处都可导 3、这个函数的导数为y(1-y)，即用他原来的函数值就可以求出其导
阅读全文
摘要：这是根据斯坦福cs224d课程写出来的， 这是课程里边最开始所讲的词向量， 1、首先将所有的词组织成一个词典 2、对于词典中的每一个词， 扫描词典中的其他词， 对于扫描到的每一个词， 统计原始词在被扫描到的词的前边或者后边出现的次数， 这样就构成了一个由词频所构成的对角阵 3、对该对角阵进行SVD分
阅读全文
