随笔分类 - Deep Learning
摘要：PyText是基于NLP深度学习技术、通过Pytorch构建的建模框架。PyText解决了既要实现快速实验又要部署大规模服务模型的经常相互冲突。并且，Facebook已经采用了使用PyText快速迭代新的建模思路，然后大规模无缝衔接地发布它们。 相关资料 主页: https://facebook.a
阅读全文
摘要：生成字符向量的过程中需要注意： 1）在收集数据生成corpus时候，通过Word2Vec生成字向量的时候，产生了“ ”空格字符向量，但是加载模型是不会成功的。那么你不是生成的binary文件，就可以修改此文件，更改或删除。 示例参考代码如下：
阅读全文
摘要：saved_model模块主要用于TensorFlow Serving。TF Serving是一个将训练好的模型部署至生产环境的系统，主要的优点在于可以保持Server端与API不变的情况下，部署新的算法或进行试验，同时还有很高的性能。 在模型的训练阶段，同时要保存tfs需要的saved_model
阅读全文
摘要：今日看了一篇文章《Learning to Select Knowledge for Response Generation in Dialog Systems》，以知识信息、对话目标、对话历史信息为基础，进行端到端的对话语句生成。期间做了一些笔记，还有个人想法。大家一起进步！
阅读全文
摘要：做的文本二分类，使用tensorRT进行图优化和加速，输出预测概率结果对比如下： 从结果对比来看，概率值有微小的变化，但不影响最终的分类
阅读全文
摘要：使用tensorRT之前，你一定要注意你的网络结构是否能够得到trt的支持，无论是CNN还是RNN都会有trt的操作。 例如：tf.nn.dropout(features, keep_prob)，trt就不支持。 这个也不奇怪，因为trt在要求输入中，只要你传入样本数据，那你就不能feed一个数值，
阅读全文
摘要：tf.unpack, tf.slice, tf.tile, tf.expand_dims, tf.fill, tf.cast, tf.floor_div, tf.range 比较坑，所以你必须限制你的模型使用的方法，尽量选择简便的操作方式
阅读全文
摘要：话不多说，直接上代码
阅读全文
摘要：当你的深度学习模型变得很多时，选一个确定的模型也是一个头痛的问题。或者你可以把他们都用起来，就进行模型融合。我主要使用stacking和blend方法。先把代码贴出来，大家可以看一下。
阅读全文
摘要：在使用json.dumps时要注意一个问题 >>> import json >>> print json.dumps('中国') "\u4e2d\u56fd" >>> import json >>> print json.dumps('中国') "\u4e2d\u56fd" 输出的会是 '中国' 中
阅读全文
摘要：sys.argv[]说白了就是一个从程序外部获取参数的桥梁，这个“外部”很关键，所以那些试图从代码来说明它作用的解释一直没看明白。因为我们从外部取得的参数可以是多个，所以获得的是一个列表（list)，也就是说sys.argv其实可以看作是一个列表，所以才能用[]提取其中的元素。其第一个元素是程序本身
阅读全文
摘要：之前训练模型，认为网络图构建完成，Loss肯定是呈现下降的，就没有太留心，知识关注F1的变化情况，找到最优的F1训练就停止了，认为模型就ok。 但实际中发现，我们要时刻关注网络的损失变化情况，batch size过小（6,8）都会导致模型不收敛，此时你就看不到损失的变化，只能根据F1优劣判断模型。
阅读全文
摘要：在实际的nlp实际任务中，你有一大堆的人工标注的关键词，来新的一句话，找出这句话中的关键词，以便你以后使用，那如何来做呢？ 1）用到正则的 finditer()方法，返回你匹配的关键词的迭代对象，包含起始结束索引 2）增强list循环，提取数据 代码如下： 这里我只要开始索引，结果如下： 之后，你想
阅读全文
摘要：在编程时，我们要获取当前文件所在的路径，以适合所有的工程，建立相对路径。 python的os.path.dirname(__file__)非常好用，建议大家使用： 输出：
阅读全文
