随笔分类 - deep learning
1
摘要：Encoder-Decoder框架： 目前大多数注意力模型附着在Encoder-Decoder框架下，当然，其实注意力模型可以看作一种通用的思想，本身并不依赖于特定框架，这点需要注意。 抽象的文本处理领域的Encoder-Decoder框架： 文本处理领域的Encoder-Decoder框架可以这么
阅读全文
摘要：转载：https://www.infoq.cn/article/XA055tpFrprUy*0UBdCb https://www.zhihu.com/question/20830906/answer/681688041
阅读全文
摘要：https://www.infoq.cn/article/XA055tpFrprUy*0UBdCb 1、Wide & Deep 模型 https://arxiv.org/abs/1606.07792 https://blog.csdn.net/google19890102/article/detai
阅读全文
摘要：https://www.cnblogs.com/pinard/category/1254674.html https://github.com/ljpzzz/machinelearning
阅读全文
摘要：MTL 有很多形式：联合学习（joint learning）、自主学习（learning to learn）和带有辅助任务的学习（learning with auxiliary task）等。一般来说，优化多个损失函数就等同于进行多任务学习。即使只优化一个损失函数（如在典型情况下），也有可能借助辅助
阅读全文
摘要：http://colah.github.io/posts/2015-08-Understanding-LSTMs/ https://www.jianshu.com/p/9dc9f41f0b29 机器学习面试100题： https://blog.csdn.net/T7SFOKzorD1JAYMSFk4
阅读全文
摘要：Implement C++ Class The C++ class of the layer implements the initialization, forward, and backward part of the layer. It needs to derive the base cla
阅读全文
摘要：Recurrent Neural Networks Recurrent neural networks are networks with loops in them, allowing information to persist. A recurrent neural network can b
阅读全文
摘要：参数初始化 下面几种方式,随便选一个,结果基本都差不多。但是一定要做。否则可能会减慢收敛速度，影响收敛结果，甚至造成Nan等一系列问题。n_in为网络的输入大小，n_out为网络的输出大小，n为n_in或(n_in+n_out)*0.5Xavier初始法论文：http://jmlr.org/proc
阅读全文
摘要：ReLU 激活函数： ReLu使得网络可以自行引入稀疏性，在没做预训练情况下，以ReLu为激活的网络性能优于其它激活函数。 数学表达式： 第一，sigmoid的导数只有在0附近的时候有比较好的激活性，在正负饱和区的梯度都接近于0，所以这会造成梯度消失，而relu函数在大
阅读全文
摘要：DeepFM integrates the architectures of FM and deep neural networks (DNN). It models low-order feature interactions like FM(二阶组合特征) and models high-ord
阅读全文
摘要：Generalized linear models with nonlinear feature transformations (特征工程 + 线性模型) are widely used for large-scale regression and classification problems
阅读全文
摘要：转自： http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html
阅读全文
摘要：GoogLeNet Incepetion V1 这是GoogLeNet的最早版本，出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。 Motivation 深度学习以及神
阅读全文
摘要：参数初始化： xavier初始化： https://blog.csdn.net/VictoriaW/article/details/73000632 条件：优秀的初始化应该使得各层的激活值和梯度的方差在传播过程中保持一致 初始化方法： 假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tan
阅读全文
摘要：http://spaces.ac.cn/archives/4122/ 关于词向量讲的很好 上边的形式表明，这是一个以2x6的one hot矩阵的为输入、中间层节点数为3的全连接神经网络层，但你看右边，不就相当于在这个矩阵中，取出第1、2行，这不是跟所谓的字向量的查表（从表中找出对应字
阅读全文
摘要：https://zhuanlan.zhihu.com/p/28871960 深度学习模型中的卷积神经网络(Convolution Neural Network, CNN)近年来在图像领域取得了惊人的成绩，CNN直接利用图像像素信息作为输入，最大程度上保留了输入图像的所有信息，通过卷积操作进行特征的提
阅读全文
摘要：Softmax回归(Softmax Regression) 最简单的Softmax回归模型是先将输入层经过一个全连接层得到的特征，然后直接通过softmax 函数进行多分类 输入层的数据传到输出层，在激活操作之前，会乘以相应的权重,并加上偏置变量 ，具体如下： $ y_i = {s
阅读全文
摘要：two important types of artificial neuron :the perceptron and the sigmoid neuron Perceptrons <!--EndFragment--> 感知机的输入个数不限,每个输入的取值都是二元的(0或1,这点不确定，后续确认下
阅读全文
1
