随笔分类 - Tensorflow
摘要：使用CNN做文本分类已经有一段时间了，之前在封闭式测试集中模型的表现还是不错的。但是，拿到实际环境汇总测试，问题就来了。模型过拟合严重，泛化能力弱。最终带来的结果是，用户体验不佳。 改进的方面： 1）改变字符向量为词向量。实际发现，以字符为单元的模型，在数据量少的情况下（10W以下），更容易过拟合，
阅读全文
摘要：近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出，如单个、多个、交互式等等。去年6月，google机器翻译团队在arXiv上的《Attention is all you need》
阅读全文
摘要：如何快速简便地解决图像分类问题呢？本文通过使用Keras及一个预训练模型的实例，教你如何通过迁移学习来解决这个问题。 深度学习正在迅速成为人工智能应用开发的主要工具。在计算机视觉、自然语言处理和语音识别等领域都已有成功的案例。 深度学习擅长解决的一个问题是图像分类。图像分类的目标是根据一组合理的类别
阅读全文
摘要：迁移学习近年来在图形领域中得到了快速的发展，主要在于某些特定的领域不具备足够的数据，不能让深度模型学习的很好，需要从其它领域训练好的模型迁移过来，再使用该模型进行微调，使得该模型能很好地拟合少量数据的同时又具备较好的泛化能力（不过拟合）。 在迁移学习任务中，需要事先定义一组源数据集合，使用该集合训练
阅读全文
摘要：saved_model模块主要用于TensorFlow Serving。TF Serving是一个将训练好的模型部署至生产环境的系统，主要的优点在于可以保持Server端与API不变的情况下，部署新的算法或进行试验，同时还有很高的性能。 在模型的训练阶段，同时要保存tfs需要的saved_model
阅读全文
摘要：下表列出了TensorRT层和每个层支持的精确模式。它还列出了该层在深度学习加速器(DLA)上运行的能力。有关附加约束的更多信息，请参见 DLA Supported Layershttps://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-g
阅读全文
摘要：今日看了一篇文章《Learning to Select Knowledge for Response Generation in Dialog Systems》，以知识信息、对话目标、对话历史信息为基础，进行端到端的对话语句生成。期间做了一些笔记，还有个人想法。大家一起进步！
阅读全文
摘要：做的文本二分类，使用tensorRT进行图优化和加速，输出预测概率结果对比如下： 从结果对比来看，概率值有微小的变化，但不影响最终的分类
阅读全文
摘要：使用tensorRT之前，你一定要注意你的网络结构是否能够得到trt的支持，无论是CNN还是RNN都会有trt的操作。 例如：tf.nn.dropout(features, keep_prob)，trt就不支持。 这个也不奇怪，因为trt在要求输入中，只要你传入样本数据，那你就不能feed一个数值，
阅读全文
摘要：tf.unpack, tf.slice, tf.tile, tf.expand_dims, tf.fill, tf.cast, tf.floor_div, tf.range 比较坑，所以你必须限制你的模型使用的方法，尽量选择简便的操作方式
阅读全文
摘要：很多人认为python中的字典是无序的，因为它是按照hash来存储的，但是python中有个模块collections(英文，收集、集合)，里面自带了一个子类 OrderedDict，实现了对字典对象中元素的排序.
阅读全文
摘要：在使用json.dumps时要注意一个问题 >>> import json >>> print json.dumps('中国') "\u4e2d\u56fd" >>> import json >>> print json.dumps('中国') "\u4e2d\u56fd" 输出的会是 '中国' 中
阅读全文
摘要：sys.argv[]说白了就是一个从程序外部获取参数的桥梁，这个“外部”很关键，所以那些试图从代码来说明它作用的解释一直没看明白。因为我们从外部取得的参数可以是多个，所以获得的是一个列表（list)，也就是说sys.argv其实可以看作是一个列表，所以才能用[]提取其中的元素。其第一个元素是程序本身
阅读全文
摘要：之前训练模型，认为网络图构建完成，Loss肯定是呈现下降的，就没有太留心，知识关注F1的变化情况，找到最优的F1训练就停止了，认为模型就ok。 但实际中发现，我们要时刻关注网络的损失变化情况，batch size过小（6,8）都会导致模型不收敛，此时你就看不到损失的变化，只能根据F1优劣判断模型。
阅读全文
