03 2019 档案
摘要：数据加载器，结合了数据集和取样器，并且可以提供多个线程处理数据集。在训练模型时使用到此函数，用来把训练数据分成多个小组，此函数每次抛出一组数据。直至把所有的数据都抛出。就是做一个数据的初始化。 生成迭代数据非常方便，请看如下示例： 结果： 我们来看一下变量类型：
阅读全文
摘要：下表列出了TensorRT层和每个层支持的精确模式。它还列出了该层在深度学习加速器(DLA)上运行的能力。有关附加约束的更多信息，请参见 DLA Supported Layershttps://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-g
阅读全文
摘要：torch.nn 是专门为神经网络设计的模块化接口，nn构建于autgrad之上，可以用来定义和运行神经网络 nn.Module 是nn中重要的类，包含网络各层的定义，以及forward方法 对于自己定义的网络，需要注意以下几点： 1）需要继承nn.Module类，并实现forward方法，只要在n
阅读全文
摘要：PyTorch中数据读取的一个重要接口是torch.utils.data.DataLoader，该接口定义在dataloader.py脚本中，只要是用PyTorch来训练模型基本都会用到该接口， 该接口主要用来将自定义的数据读取接口的输出或者PyTorch已有的数据读取接口的输入按照batch si
阅读全文
摘要：刚学习pytorch，简单记录一下 输出结果：
阅读全文
摘要：（1）生成一个未初始化的tensor （2）随机初始化一个tensor （3）矩阵的大小，直接将其当做元组来操作 （4）tensor之间的操作，可以有多重形式的操作，比如相加操作，直接+，或者add，等等 （5）tensor和numpy之间的呼唤，也是非常方便，除了chartensor之外，所有的t
阅读全文
摘要：今日看了一篇文章《Learning to Select Knowledge for Response Generation in Dialog Systems》，以知识信息、对话目标、对话历史信息为基础，进行端到端的对话语句生成。期间做了一些笔记，还有个人想法。大家一起进步！
阅读全文
摘要：做的文本二分类，使用tensorRT进行图优化和加速，输出预测概率结果对比如下： 从结果对比来看，概率值有微小的变化，但不影响最终的分类
阅读全文
摘要：使用tensorRT之前，你一定要注意你的网络结构是否能够得到trt的支持，无论是CNN还是RNN都会有trt的操作。 例如：tf.nn.dropout(features, keep_prob)，trt就不支持。 这个也不奇怪，因为trt在要求输入中，只要你传入样本数据，那你就不能feed一个数值，
阅读全文
摘要：tf.unpack, tf.slice, tf.tile, tf.expand_dims, tf.fill, tf.cast, tf.floor_div, tf.range 比较坑，所以你必须限制你的模型使用的方法，尽量选择简便的操作方式
阅读全文
摘要：话不多说，直接上代码
阅读全文
摘要：K折交叉验证时使用： KFold（n_split, shuffle, random_state） 参数：n_split:要划分的折数 shuffle: 每次都进行shuffle，测试集中折数的总和就是训练集的个数 random_state:随机状态
阅读全文
摘要：当你的深度学习模型变得很多时，选一个确定的模型也是一个头痛的问题。或者你可以把他们都用起来，就进行模型融合。我主要使用stacking和blend方法。先把代码贴出来，大家可以看一下。
阅读全文
摘要：很多人认为python中的字典是无序的，因为它是按照hash来存储的，但是python中有个模块collections(英文，收集、集合)，里面自带了一个子类 OrderedDict，实现了对字典对象中元素的排序.
阅读全文
摘要：你在使用python，之后你想给python安装一些第三方库，如tensorflow或者tensorrt，那么这些包存放在哪个路径下呢？ 该目录下： /usr/local/lib/python3.5/dist-packages
阅读全文
摘要：1.shell脚本通常以.sh为后缀，不是说不带这个.sh脚本就不会执行，而是大家一种通用的命名规范而已 2.shell脚本中的第一行一定是：#! /bin/bash。该命令说明，该文件使用的是bash语法，如果不设置该行，则该脚本不会被执行 3.新建一个脚本：（1）nano test.sh （2）
阅读全文
摘要：常操作linux系统的都会用到：ps -ef 命令，是一个非常强大的进程查看命令。 在训练模型中使用python，那么我会要看这个python相关的进程，可以使用如下命令”： ps -ef | grep python 让你对当前应用的进程有详细的了解，你可以经常使用该命令进行查看。
阅读全文
摘要：在使用json.dumps时要注意一个问题 >>> import json >>> print json.dumps('中国') "\u4e2d\u56fd" >>> import json >>> print json.dumps('中国') "\u4e2d\u56fd" 输出的会是 '中国' 中
阅读全文
摘要：sys.argv[]说白了就是一个从程序外部获取参数的桥梁，这个“外部”很关键，所以那些试图从代码来说明它作用的解释一直没看明白。因为我们从外部取得的参数可以是多个，所以获得的是一个列表（list)，也就是说sys.argv其实可以看作是一个列表，所以才能用[]提取其中的元素。其第一个元素是程序本身
阅读全文
摘要：之前训练模型，认为网络图构建完成，Loss肯定是呈现下降的，就没有太留心，知识关注F1的变化情况，找到最优的F1训练就停止了，认为模型就ok。 但实际中发现，我们要时刻关注网络的损失变化情况，batch size过小（6,8）都会导致模型不收敛，此时你就看不到损失的变化，只能根据F1优劣判断模型。
阅读全文
摘要：在实际的nlp实际任务中，你有一大堆的人工标注的关键词，来新的一句话，找出这句话中的关键词，以便你以后使用，那如何来做呢？ 1）用到正则的 finditer()方法，返回你匹配的关键词的迭代对象，包含起始结束索引 2）增强list循环，提取数据 代码如下： 这里我只要开始索引，结果如下： 之后，你想
阅读全文
摘要：在编程时，我们要获取当前文件所在的路径，以适合所有的工程，建立相对路径。 python的os.path.dirname(__file__)非常好用，建议大家使用： 输出：
阅读全文
摘要：1、查看cuda版本 cat /usr/local/cuda/version.txt2、查看cudnn版本 cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 按照结果顺序读取出版本号
阅读全文
摘要：为了模型小型化，效率更高，使用TensorRT进行优化。前提是你必须要安装pycuda，可是费了我一番功夫。做一个笔记如下： 1.参考网址： https://wiki.tiker.net/PyCuda/Installation/Linux/ 2.配置代码
阅读全文