随笔分类 - Deep Learning
摘要：有时我们的样本标签，都是标记从0开始直至到类别的个数。在模型训练的时候，这些标签需要变成one_hot向量，这样才能够跟softmax出来的概率做互熵损失，计算loss。 那么，映射的方法如下： y： 类型是list，样本的类别标签序列 n_class： 类别的个数 输出：
阅读全文
摘要：（1）语料库中56万条数据，分为14个类别 （2）现在训练模型，采样率设定为0.01，即5600条样本 （3）观察用于模型训练数据的分布 展示： 思考：模型训练的数据不是越多越好吗？何况使用深度学习模型，那作者为什么不不同56万条，而是用5600条训练模型。如果可以达到效果，那么说，对于小容量的数据
阅读全文
摘要：36.什么时候你应该在不同分布上做训练和测试 当你的猫app已经上传10000张图，你已经人工标记它们有没有猫，同时你有200000张互联网上下载的图，这时你要怎么划分训练开发测试集呢？ 当你训练深度学习模型时，可能必须用到那200000张图，那么训练和测试集的分布就不同，这会怎样影响你的工作呢？
阅读全文
摘要：命名实体的标注有两种方式：1）BIOES 2)BIO 实体的类别可以自己根据需求改变，通常作为原始数据来说，标注为BIO的方式。自己写了一套标注方法，大家可以参考下 原文：1.txt Inspired by energy-fueled phenomena such as cortical cytos
阅读全文
摘要：在进行模型训练前，我们要将数据打乱，以获得更好的训练效果。可以使用sklearn.utils中的shuffle，获得打乱后的数据索引，最后，迭代生成打乱后的batch数据，一个写好的模块如下。 思路是：1.先shuffle 2.再迭代生成
阅读全文
摘要：当我们训练的词向量保存为txt时候，如果不是直接读取到内存，找对应词的向量，这样会非常耗时 方法1.用gensim读取成model的形式，从内存中获得数据 方法2.读取txt文件，用enumerate()将数据放到字典里面，后期查找的时候用这个字典，主要代码如下：
阅读全文
摘要：一、原有模型的架构 biLSTM + CRF 二、对原有模型加入注意力机制 LSTM输出层加入注意力，参考文章：《Attention-Based Bidirectional Long Short-Term Memory Networks for Relation Classification》，该文
阅读全文
摘要：我们在模型训练的时候，每次分minbatch个数据进行训练，首先我们要随机地从中随机选取这么多个数据，有没有一套好的封装函数能够处理呢？有。我平时就遇到好多需要shuffle的地方，今天就总结一下这个函数，方便以后使用，提供给大家。直接上代码吧：
阅读全文
摘要：用于模型的训练 1.说明： lightgbm.train(params, train_set, num_boost_round=100, valid_sets=None, valid_names=None, fobj=None, feval=None, init_model=None, featur
阅读全文
摘要：最近使用了LightBGM的Dataset，记录一下： 1.说明： classlightgbm.Dataset(data, label=None, reference=None, weight=None, group=None, init_score=None, silent=False, feat
阅读全文
摘要：文章1 Generative and Discriminative Text Classification with Recurrent Neural Networks 时间：2017 机构：Google DeepMind 生成模型：generative 判别模型：discrimination 作者
阅读全文
