摘要：
Generalized linear models with nonlinear feature transformations (特征工程 + 线性模型) are widely used for large-scale regression and classification problems 阅读全文
摘要：
SGD: 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient descent, 以及 mini-batch gradient descent的具体区别就不细说了。现在的SGD一般都指mini 阅读全文
摘要：
相同点：都是线性分类算法 不同点： 1、损失函数不同 LR：基于“给定x和参数，y服从二项分布”的假设，由极大似然估计推导 SVM： hinge loss ＋ L2 regularization的标准表示，基于几何间隔最大化原理推导 $\sum^N_{i=1}[1 - y_i(w*x_i + b)] 阅读全文
摘要：
I. 牛顿迭代法给定一个复杂的非线性函数f(x)，希望求它的最小值，我们一般可以这样做，假定它足够光滑，那么它的最小值也就是它的极小值点，满足f′(x0)=0，然后可以转化为求方程f′(x)=0的根了。非线性方程的根我们有个牛顿法，所以 然而，这种做法脱离了几何意义，不能让我们窥探到更多的秘密。我们 阅读全文
摘要：
牛顿法、拟牛顿法相关资料： http://www.cnblogs.com/richqian/p/4535550.html https://www.codelast.com/%E5%8E%9F%E5%88%9B%E6%8B%9F%E7%89%9B%E9%A1%BF%E6%B3%95quasi-newt 阅读全文
摘要：
条款5：了解c++默默编写并调用哪些函数 如果自己没声明，编译器会声明一个copy构造函数，一个copy赋值操作符和一个析构函数。此外，如果没有声明任何构造函数，编译器会声明一个default构造函数（如果已经声明了构造函数，编译器不会创建default构造函数）。编译器生成的所有这些函数都是pub 阅读全文
摘要：
转自： http://lamda.nju.edu.cn/weixs/project/CNNTricks/CNNTricks.html 阅读全文
摘要：
GoogLeNet Incepetion V1 这是GoogLeNet的最早版本，出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。 Motivation 深度学习以及神 阅读全文
摘要：
参数初始化： xavier初始化： https://blog.csdn.net/VictoriaW/article/details/73000632 条件：优秀的初始化应该使得各层的激活值和梯度的方差在传播过程中保持一致 初始化方法： 假设激活函数关于0对称，且主要针对于全连接神经网络。适用于tan 阅读全文
摘要：
http://spaces.ac.cn/archives/4122/ 关于词向量讲的很好 上边的形式表明，这是一个以2x6的one hot矩阵的为输入、中间层节点数为3的全连接神经网络层，但你看右边，不就相当于在$w_{ij}$这个矩阵中，取出第1、2行，这不是跟所谓的字向量的查表（从表中找出对应字 阅读全文