01 2019 档案
摘要：在文本分类任务中，语料的特性千差万别，我们需要找到适合模型并抓住数据的特性，最终才能得到较好的model。最近在文本类别标注任务，就是给文本打标签确定该文本的类别。这是一个很费人工的过程，需要认真仔细，因为我们都知道有多少人工就有多少智能。 微信、QQ短文本： （1）如何分段 聊天文本的边界是无法确
阅读全文
摘要：1.TensorFlow的模型文件 --checkpoint_dir | |--checkpoint | |--MyModel.meta | |--MyModel.data-00000-of-00001 | |--MyModel.index 2.meta文件 该文件保存的是图结构，meta文件是pb
阅读全文
摘要：使用预训练词向量和随机初始化词向量的差异还是挺大的，现在说一说我使用预训练词向量的流程。 一、构建本语料的词汇表，作为我的基础词汇 二、遍历该词汇表，从预训练词向量中提取出该词对应的词向量 三、初始化embeddings遍历，将数据赋值给tensor 样例代码：
阅读全文
摘要：最近做项目发现，当你使用sudo建立新的文件或者目录时，该文件的所有者是root用户，此种情况下，使用tensorflow加速就会报错，除非你把文件的权限改成777，但是这样不安全。 纠正的做法是，建立文件或者目录时不用sudo，直接mkdir，这样该目录下的python文件方可执行。
阅读全文
摘要：今天一起安装了4块1080的卡。也算有一些坑吧，记录一下。 1）1080显卡，驱动型号，tensorflow，cuda, cudnn 版本一定要一致。我的清单如下： ############################################# nvidia显卡，驱动版本：390.87
阅读全文
摘要：我们在使用tensorflow的时候，当你想复用一个函数的模块，调试时候回提示你变量已经出现，提示你是否重用。那我们当然是不重用的，因为每一个变量都是我们需要的。 要体现不同，就在不同的变量中使用name scope限定，那么其中的重复名字就不会出现问题了。 with tf.name_scope(s
阅读全文
摘要：在自然语言处理中，主要使用一维的卷积。 API inputs: 输入数据，如（?, 80, 300） filters: 滤波器的个数 kernel_size: 卷积核的大小，指定一个维度即可，即卷积核的高。宽是数据的维度，自动匹配。
阅读全文
摘要：最近在用到数据筛选，观看代码中有tf.where()的用法，不是很常用，也不是很好理解。在这里记录一下 Return the elements, either from x or y, depending on the condition. 理解：where嘛，就是要根据条件找到你要的东西。 con
阅读全文
摘要：将张量进行切分 value: 待切分的张量 num_or_size_splits: 切分的个数 axis： 沿着哪个维度切分
阅读全文
摘要：对于一个全连接层，tensorflow都为我们封装好了。 使用：tf.layers.dense() inputs: 该层的输入张量 units: 输出节点的大小
阅读全文
摘要：我们在处理矩阵数据时，需要用到数据的均值和方差，比如在batch normalization的时候。 那么，tensorflow中计算均值和方差的函数是：tf.nn.moments(x, axes) x: 我们待处理的数据 axes： 在哪一个维度上求解，是一个list，如axes=[0, 1, 2
阅读全文