机器学习之深度学习---深度学习之我见
今天下午，闲来无事，遂百度翻看下最近关于模式识别，以及目标检测方面的最新进展，还有收获不少！
------------------------------------author：pkf
-----------------------------------------------time：2016-1-20
--------------------------------------------------------------qq：1327706646
1.深度学习的本质
2.深度学习对传统先验特征目标的检测影响
3.rcnn-fcnn，caffe
4.拟合与插值的区别
5.拟合，逼近，插值，微分，极限。。。 这些都是虚拟现实的数序手段！！！拉普拉斯，拉格朗日，傅立叶都是十九世纪杰出的法国杰出全方位人才，还有同时代的欧拉，在天体力学中，都有应用，高斯用最小二乘发现未知行星位置，拉格朗日用拉格朗日乘法发现太阳系中拉格朗日点
1.深度学习的本质
深度被人们重新发现在于2012年，Hinton 的研究小组采用深度学习赢得了ImageNet，以cnn为代表的深度学习模型，现在被人们有点夸大其词，借用香港中文大学王晓刚老师的那篇总结文章来说，深度学习无非就是在训练方面比传统机器特征学习实现了自动分级功能，在特征提取方面实现了多层级单元模块，使得学习和特征提取更泛化更全面，从而达到深度学习的效果！
http://blog.csdn.net/linj_m/article/details/46351053
从数学的角度分析来说，深度学习的关键就是通过多层非线性映射将这些因素成功的分开，例如在深度模型的最后一个隐含层，不同的神经元代表了不同的因素。如果将这个隐含层当作特征表示，人脸识别、姿态估计、表情识别、年龄估计就会变得非常简单，因为各个因素之间变成了简单的线性关系，不再彼此干扰。
通过线性单元的迭代，上升维度，形成非线性机器学习多项式，而多项式，又是可以表达成矩阵向量，如果是周期函数则可以通过泰勒公式表达成三角函数，也就是著名的傅立叶变换，所以最终，还是多项式凸函数，最优化问题，以及多项式的拟合在预测方面；常见的拟合有逻辑回归，最小二乘，拉格朗日乘法
还是那句话，最美的东西都是最简洁的，同样最好的机器学习算法深度学习也是一样
2.深度学习对传统先验特征目标的检测影响
深度学习模型意味着神经网络的结构深，由很多层组成。而支持向量机和Boosting 等其它常用的机器学习模型都是浅层结构。有理论证明，三层神经网络模型（包括输入层、输出层和一个隐含层）可以近似任何分类函数。既然如此，为什么需要深层模型呢？
理论研究表明，针对特定的任务，如果模型的深度不够，其所需要的计算单元会呈指数增加。这意味着虽然浅层模型可以表达相同的分类函数，其需要的参数和训练样本要多得多。浅层模型提供的是局部表达。它将高维图像空间分成若干局部区域，每个局部区域存储至少一个从训练数据中获得的模板。浅层模型将一个测试样本和这些模板逐一匹配，根据匹配的结果预测其类别。例如在支持向量机模型中，这些模板就是支持向量；在最近邻分类器中，这些模板是所有的训练样本。随着分类问题复杂度的增加，图像空间需要被划分成越来越多的局部区域，因而需要越来越多的参数和训练样本。
深度模型能够减少参数的关键在于重复利用中间层的计算单元。例如，它可以学习针对人脸图像的分层特征表达。最底层可以从原始像素学习滤波器，刻画局部的边缘和纹理特征；通过对各种边缘滤波器进行组合，中层滤波器可以描述不同类型的人脸器官；最高层描述的是整个人脸的全局特征。深度学习提供的是分布式的特征表示。在最高的隐含层，每个神经元代表了一个属性分类器，例如男女、人种和头发颜色等等。每个神经元将图像空间一分为二，N 个神经元的组合就可以表达2N 个局部区域，而用浅层模型表达这些区域的划分至少需要个2N 模板。由此我们可以看到深度模型的表达能力更强，更有效率。
3.rcnn-fcnn，caffe
Regions with CNN features
http://blog.csdn.net/kuaitoukid/article/details/46740477
https://www.zhihu.com/question/27982282/answer/39350629 基于caffe实现的rcnn
http://www.cnblogs.com/louyihang-loves-baiyan/p/4885659.html?utm_source=tuicool&utm_medium=referral fcnn
http://caffe.berkeleyvision.org/ 伯克利
4.拟合与插值的区别
插值是多项式，拟合是超平面直线方程，
多项式拟合一般指，用多项式函数逼近一个函数，
常用方法为利用泰勒公式，将函数展开为拉格朗日级数麦克劳林级数等等，最后化为多项式向量，然后通过矩阵计算结果
http://bbs.csdn.net/topics/380043166 矩阵计算拟合
http://www.chinabaike.com/m/d/1483817.html
http://blog.csdn.net/jairuschan/article/details/7517773/ 拟合方法
http://zhidao.baidu.com/link?url=OImO6cRZ8NVvYqeiPG60C6OHbUOPfgXHYJfRuWLtu3aL1N9PQZN26YcJqO4r3BzesCxs3vOBVif9E7QGPDP8Za
http://blog.csdn.net/yihaizhiyan/article/details/7579506 线性判别
http://blog.csdn.net/Linoi/article/category/1406179/2 j
百度的搜索基于hoodp，而Google是放弃了hoodp，自己弄了一套框架的比hoodp更先进！
http://baike.baidu.com/link?url=MkxgXZLe_kspwcgqdi7eQVq6TSLP6Kreg3JDaIB2coXUUTu0-0TmIDNE2gw1B9qfhUXi-86hoTr3HoypFtDyLa 傅立叶变换
http://daily.zhihu.com/story/3939307
http://www.guokr.com/post/463448/ 傅立叶动态图效果
http://blog.sina.com.cn/s/blog_6163bdeb0102ehhg.html 拉格朗日
http://blog.csdn.net/linj_m/article/details/16964461 最小二乘
http://blog.csdn.net/yihaizhiyan/article/details/7579506 lda ---fish
http://blog.csdn.net/ttransposition/article/details/41806601 dpm
http://blog.csdn.net/carson2005/article/details/6292905 lpb
http://blog.csdn.net/carson2005/article/details/7841443 hog
http://www.cnblogs.com/louyihang-loves-baiyan/p/4839869.html rcnn
http://www.deepmind.com/
http://36kr.com/p/220012.html
http://blog.csdn.net/linj_m/article/details/9897839
http://baike.baidu.com/link?url=5Swq06zW7f0abml0EyQff2fl8MRFX3IPI3-NPIkABGQKJ3LIIE097gCbfYcxcCCocWI8BaUZgI4xIzc4R1gZpa
http://365ykt.cn/index.aspx ykt
