今夜无风 - 博客园

2019年1月

摘要：将张量进行切分 value: 待切分的张量 num_or_size_splits: 切分的个数 axis：沿着哪个维度切分阅读全文

posted @ 2019-01-02 14:49 今夜无风阅读(3031) 评论(0) 推荐(0) 编辑

摘要：对于一个全连接层，tensorflow都为我们封装好了。使用：tf.layers.dense() inputs: 该层的输入张量 units: 输出节点的大小阅读全文

posted @ 2019-01-02 14:41 今夜无风阅读(4303) 评论(0) 推荐(0) 编辑

摘要：我们在处理矩阵数据时，需要用到数据的均值和方差，比如在batch normalization的时候。那么，tensorflow中计算均值和方差的函数是：tf.nn.moments(x, axes) x:　我们待处理的数据 axes：在哪一个维度上求解，是一个list，如axes=[0, 1, 2 阅读全文

posted @ 2019-01-02 11:44 今夜无风阅读(9488) 评论(0) 推荐(0) 编辑

2018年12月

注意力机制的本质

摘要：注意力机制本质：注意力机制的具体计算过程，可以归纳为两个过程。第一个过程：根据query和key计算权重系数第二个过程：根据权重系数对value进行加权求和阅读全文

posted @ 2018-12-29 15:23 今夜无风阅读(897) 评论(0) 推荐(0) 编辑

两层LSTM的使用

摘要：一层的lstm效果不是很好，使用两层的lstm，代码如下。阅读全文

posted @ 2018-12-29 14:25 今夜无风阅读(5211) 评论(0) 推荐(0) 编辑

深度学习中的batch的大小对学习效果的影响

摘要： Batch_size参数的作用：决定了下降的方向极端一： batch_size为全数据集(Full Batch Learning)：好处： 1.由全数据集确定的方向能够更好地代表样本总体，从而更准确地朝向极值所在的方向。 2.由于不同权重的梯度值差别巨大，因此选择一个全局的学习率很困难。Full 阅读全文

posted @ 2018-12-28 11:42 今夜无风阅读(7593) 评论(0) 推荐(1) 编辑

深度学习中网络设计的几点经验

摘要： 1.CNN网络中的池化方式选择池化方式有两种：1）最大池化；2）平均池化在实验中我发现，最大池化要比平均池化慢很多，效果也不如平均池化好。所以，池化的方式我们尽量选择平均池化。 2.CNN卷积核的设计卷积的大小，遵守奇数设计原则，如【1,3,5,7】 3.CNN和RNN网络输出到全连接层数据s 阅读全文

posted @ 2018-12-28 09:52 今夜无风阅读(2022) 评论(0) 推荐(0) 编辑

深度学习中将类别标签映射到one_hot向量

摘要：有时我们的样本标签，都是标记从0开始直至到类别的个数。在模型训练的时候，这些标签需要变成one_hot向量，这样才能够跟softmax出来的概率做互熵损失，计算loss。那么，映射的方法如下： y：类型是list，样本的类别标签序列 n_class：类别的个数输出：阅读全文

posted @ 2018-12-27 09:06 今夜无风阅读(4069) 评论(0) 推荐(0) 编辑

python 过滤掉字符串中的回车符与换行符（\t\n）

摘要：我们在文本数据预处理前，要将数据统一整理成需要的格式，其中有回车（\t）或者（\n）符号，会对我们的数据保存有影响，那么就需要将其过滤掉。比较简单的方法，用replace()将这些符号替换为空，一定要一个一个的替换这样就删除了你想要删除的符号阅读全文

posted @ 2018-12-26 11:23 今夜无风阅读(8604) 评论(0) 推荐(0) 编辑

对训练集中的数据做随机抽样，并对抽样出的数据可视化观察分布情况

摘要：（1）语料库中56万条数据，分为14个类别（2）现在训练模型，采样率设定为0.01，即5600条样本（3）观察用于模型训练数据的分布展示：思考：模型训练的数据不是越多越好吗？何况使用深度学习模型，那作者为什么不不同56万条，而是用5600条训练模型。如果可以达到效果，那么说，对于小容量的数据阅读全文

posted @ 2018-12-25 14:32 今夜无风阅读(521) 评论(0) 推荐(0) 编辑

公告