随笔分类 -  NLP

139、TensorFlow Serving 实现模型的部署(二) TextCnn文本分类模型
摘要：昨晚终于实现了Tensorflow模型的部署 使用TensorFlow Serving 1、使用Docker 获取Tensorflow Serving的镜像，Docker在国内的需要将镜像的Repository地址设置为阿里云的加速地址，这个大家可以自己去CSDN上面找 然后启动docker 2、使 阅读全文
posted @ 2018-10-18 10:50 香港胖仔 阅读(2767) 评论(0) 推荐(0)
103、Linux 编译 Kaldi 语音识别工具
摘要：由于这个开源的语音识别工具Kaldi只能在Linux下面成功编译， 所以这一小节来写如何成功地在Linux下面编译Kaldi工具 （1）第一步，去github 上面把 Kaldi下载下来 git clone https://github.com/kaldi-asr/kaldi.git （2）然后 首 阅读全文
posted @ 2018-01-02 23:11 香港胖仔 阅读(374) 评论(0) 推荐(0)
102.kaldi 斯坦福语音识别工具的编译
摘要：接着上一节，在编译完了openFST有限状态机之后，便开始了最重要部分，语音识别插件的编译过程 首先看目录是如下所示的 1、首先添加openBLAS的支持，这是一个矩阵运算库，个人觉得这个矩阵运算库 应该提供 像什么 乔莱斯分解啊 LU分解呀 等优化矩阵运算的方法， 不然的话怎么好意思成为 矩阵运算 阅读全文
posted @ 2017-12-31 22:17 香港胖仔 阅读(355) 评论(0) 推荐(0)
101、有限状态机的编译c++
摘要：Hi Dear 今天是 2017/12/31 跨年之夜，今天白天突然之间兴起，想起来了夏天的时候看的斯坦福cs224d的自然语言处理课程，上面最后讲的语音识别的开源工具Kaldi。 于是便想着来动手试一试这个工具到底好不好用呀。哈哈哈 因为语音识别是使用DNN+有限状态机 来实现的。 所以这一小节主 阅读全文
posted @ 2017-12-31 20:38 香港胖仔 阅读(385) 评论(0) 推荐(0)
cs224d 作业 problem set3 (一) 实现Recursive Nerual Net Work 递归神经网络
摘要：1、Recursive Nerual Networks能够更好地体现每个词与词之间语法上的联系这里我们选取的损失函数仍然是交叉熵函数 2、整个网络的结构如下图所示: 每个参数的更新时的梯队值如何计算,稍后再给大家计算相应的数学公式 这里先列出节点的合并规则 1、即假设将一句话中的词先两个合并，并通过 阅读全文
posted @ 2017-10-06 22:37 香港胖仔 阅读(522) 评论(0) 推荐(0)
cs224d 作业 problem set2 (三) 用RNNLM模型实现Language Model，来预测下一个单词的出现
摘要：今天将的还是cs224d 的problem set2 的第三部分习题， 原来国外大学的系统难度真的如此之大，相比之下还是默默地再天朝继续搬砖吧 下面讲述一下RNN语言建模的数学公式: 给出一串连续的词x1,x2...xt关于预测其后面紧跟的词xt+1的建模方式是: vj是词库中的某个词。实现一个循环 阅读全文
posted @ 2017-09-29 21:34 香港胖仔 阅读(517) 评论(0) 推荐(0)
cs224d 作业 problem set2 (二) TensorFlow 实现命名实体识别
摘要：神经网络在命名实体识别中的应用 所有的这些包括之前的两篇都可以通过tensorflow 模型的托管部署到 google cloud 上面，发布成restful接口，从而与任何的ERP,CRM系统集成、 天呀，这就是赤果果的钱呀。好血腥。感觉tensorflow的革命性意义就是能够将学校学到的各种数学 阅读全文
posted @ 2017-09-23 12:08 香港胖仔 阅读(734) 评论(0) 推荐(0)
cs224d 作业 problem set2 (一) 用tensorflow纯手写实现sofmax 函数,线性判别分析,命名实体识别
摘要：Hi Dear Today we will use tensorflow to implement the softmax regression and linear classifier algorithm. not using the library of tensorflow (like tf 阅读全文
posted @ 2017-09-21 20:42 香港胖仔 阅读(818) 评论(0) 推荐(0)
cs224d 作业 problem set1 (二) 简单的情感分析
摘要：使用在上一篇博客中训练好的wordvector 在这一节进行情感分析。 因为在上一节中得到的是一个词就是一个向量 所以一句话便是一个矩阵，矩阵的每一列表示一个词向量 情感分析的前提是已知一句话是 （超级消极，比较消极，中立，积极，非常积极）中的一类作为训练集分别用（0,1,2,3,4）进行表示 然后 阅读全文
posted @ 2017-09-19 21:33 香港胖仔 阅读(752) 评论(0) 推荐(0)
cs224d 作业 problem set1 (一) 主要是实现word2vector模型,SGD,CBOW,Softmax,算法
摘要：首先上来的是最简单的sigmoid激励函数， 至于为什么选他做激励函数， 1、因为这个函数能将定义域为(-inf,+inf)的值映射到(0,1)区间，便于计算(能够消除量纲的影响) 2、这个函数的变化曲线不是特变陡峭，每一点处都可导 3、这个函数的导数为y(1-y)，即用他原来的函数值就可以求出其导 阅读全文
posted @ 2017-09-17 22:38 香港胖仔 阅读(1179) 评论(0) 推荐(0)
95、自然语言处理svd词向量
摘要：这是根据斯坦福cs224d课程写出来的， 这是课程里边最开始所讲的词向量， 1、首先将所有的词组织成一个词典 2、对于词典中的每一个词， 扫描词典中的其他词， 对于扫描到的每一个词， 统计原始词在被扫描到的词的前边或者后边出现的次数， 这样就构成了一个由词频所构成的对角阵 3、对该对角阵进行SVD分 阅读全文
posted @ 2017-08-12 19:23 香港胖仔 阅读(413) 评论(0) 推荐(0)
84、循环神经网络实现语言模型
摘要：''' Created on 2017年5月13日 @author: weizhen ''' import numpy as np import tensorflow as tf import ptb_iterator as reader from tensorflow.contrib import 阅读全文
posted @ 2017-05-21 10:48 香港胖仔 阅读(1086) 评论(0) 推荐(0)