05 2017 档案
摘要：转载链接：http://blog.csdn.net/itplus/article/details/21897715 前面的拟牛顿法、DFP、BFGS、L-BFGS算法简短总结一下就是： 牛顿法不仅使用了梯度还使用了梯度下降的趋势，所以能加速下降；DFP和BFGS为了弥补牛顿法的不足（海森矩阵必须可逆
阅读全文
摘要：转载链接：http://blog.csdn.net/itplus/article/details/21897443 这里，式（2.38）暂时不知如何证出来，有哪位知道麻烦给个思路。
阅读全文
摘要：转载链接：http://blog.csdn.net/itplus/article/details/21896981 注意：式（2.25）中，蓝色变量之所以是实数可以根据它们的矩阵系数相乘为1*1得到。
阅读全文
摘要：转载链接：http://blog.csdn.net/itplus/article/details/21896619
阅读全文
摘要：在介绍“牛顿法”之前，我先说一下“不动点迭代法”，它是牛顿法的基础； 一、不动点迭代法： PPT链接：https://wenku.baidu.com/view/dc4a73d683d049649b6658ab.html 二、牛顿法 同时，由于牛顿法需要计算hassen矩阵，计算量更大；
阅读全文
摘要：目前为止，我们已经讨论了神经网络在有监督学习中的应用。在有监督学习中，训练样本是有类别标签的。现在假设我们只有一个没有带类别标签的训练样本集合 ，其中 。自编码神经网络是一种无监督学习算法，它使用了反向传播算法，并让目标值等于输入值，比如 。下图是一个自编码神经网络的示例。 自编码神经网络尝试学习一
阅读全文
摘要：转载链接：http://www.cnblogs.com/tornadomeet/archive/2013/03/17/2964858.html 在上一讲Deep learning：五(regularized线性回归练习)中已经介绍了regularization项在线性回归问题中的应用，这节主要是练习
阅读全文
摘要：转载链接：http://www.cnblogs.com/tornadomeet/archive/2013/03/17/2964515.html 前言： 本节主要是练习regularization项的使用原则。因为在机器学习的一些模型中，如果模型的参数太多，而训练样本又太少的话，这样训练出来的模型很容
阅读全文
摘要：转载：http://www.cnblogs.com/tornadomeet/archive/2013/03/16/2963919.html 牛顿法：http://blog.csdn.net/xp215774576/article/details/45974081 http://blog.csdn.n
阅读全文
摘要：转载：http://www.cnblogs.com/tornadomeet/archive/2013/03/15/2962116.html 前言: 本文主要是来练习多变量线性回归问题(其实本文也就3个变量)，参考资料见网页：http://openclassroom.stanford.edu/Main
阅读全文
摘要：转载链接：http://www.cnblogs.com/tornadomeet/archive/2013/03/15/2961660.html 前言 本文是多元线性回归的练习，这里练习的是最简单的二元线性回归，参考斯坦福大学的教学网http://openclassroom.stanford.edu/
阅读全文
摘要：一直寻思着要系统地学一下Deep Learning,在网上搜了不少，建议路线先看UFLDL教程，Andrew NG执笔，很好，后面的exercise要做（建议配合大神们的博客一起看，我是参考tornadomeet的博客来看的），然后再去看李飞飞的cs231n，后面的作业也一定要做；放出链接： UFL
阅读全文
