摘要： 一、光流特征的使用 对于很多模型，光流特征的加入，会明显提升效果，这是因为光流特征是比较科学的人工特征。但是，光流特征需要很高的计算代价和存储代价，所以TV-Nets或许是工程上解决这一问题的方法。 有一些模型，对光流特征的加入，提升效果不明显，或许可以不考虑这个问题。 二、预训练 一些模型在大型动 阅读全文

摘要： 根据TV-Net的论文，UCF101有大约1万多的视频，光流的计算需要1个GPU1整天的时间，并且存储需要1TB的空间。 阅读全文

摘要： 一、学习率衰减实验 二、不做衰减 三、结论 由此可见，使用学习率衰减，使得训练集上的loss下降更快，迭代20轮时，不使用衰减，训练集loss是0.2033，而使用衰减的是0.05。所以，对于训练集loss难以进一步下降的场景，可以使用学习率衰减。 但是，验证集上的loss和准确率并没有显著区别，都 阅读全文

摘要： 一、原理 Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution KDD2018的这篇文章，指出对于采用分段线性激活函数如Relu、最后接softmax的深度学习 阅读全文

摘要： 一、实验 采用keras的multi_gpu_model函数注释中的示例代码 经过实验发现，当batch_size=4的时候，2GPU速度为30s/epoch，4GPU速度为36s/epoch。速度反而下降了 当batch_size=32时，2GPU速度为10s/epoch，4GPU速度为8s/ep 阅读全文

摘要： 一、结构 由于输入与输出长度很多时候是不等长的，先回顾一下Seq2Seq的结构 这种结构在负担集中在c身上，在句子较长时比较不好。例如在机器翻译中，考虑到每个输出的词，都跟所有输入的词有关，但有的关系大，有的关系小，于是有下面的结构： 合起来的总结构就是： 二、为什么不直接对输入x使用attenti 阅读全文

摘要： 一、背景 序列问题经常存在输入与输出个数不同的问题，例如在机器翻译里面，一句话的汉语词数和英语词数并不是相同的 二、结构 将存储了整个输入序列信息的最后h，去决定输出序列中的每个元素。 相当于将输入序列先编码为最后的h，再解码为输出序列 由于这种Encoder-Decoder结构不限制输入和输出的序 阅读全文

摘要： 一、单层网络 单层网络就是输入一个x，经过神经元的变换，输出一个y 二、RNN 有很多种序列输入的数据，如： 自然语言处理问题。x1可以看做是第一个单词，x2可以看做是第二个单词，依次类推。 语音处理。此时，x1、x2、x3……是每帧的声音信号。 时间序列问题。例如每天的股票价格等 序列形的数据就不 阅读全文

摘要： 一、序列标注问题通用概率图结构 如图，对于序列标注问题，第一行的节点是标注标签，第二行是词。 例如“我 爱 美丽的 四川 九寨沟” 第一行节点分别是：代词、动词、形容词、名词、名词 第二行节点分别是：我、爱、美丽的、四川、九寨沟 所以模型的假设是：句子中，相邻词的词性是有逻辑关系的，每个词的词性和词 阅读全文

摘要： 一、Loss加入L2正则对参数的影响 根据在最优解处的泰勒展开，L2正则化会让某些参数缩小，但不会到0 二、为什么参数缩小可以减少过拟合 过拟合的函数在小区间里变化剧烈，这就需要有很大的导数，由于自变量的值可大可小，只有系数特别大才能保证导数很大 阅读全文