机器学习相关课程推荐

一、Statistical Learning

Statistical Learning 与Machine Learning到底有什么区别，我至今都糊里糊涂！UNSW Australia的 Claude Sammut 教授和Monash University Australia的Geoffrey I. Webb 教授等编著的"Encyclopedia of Machine Learning"中有如下论述:"Inductive learning is a subclass of machine learning that studies algorithms for learning knowledge based on statistical regularities. The learned knowledge typically has no deductive guarantees of correctness, though there may be statistical forms of guarantees."，他们大概认为:统计学习是机器学习的一个子类。

而Carnegie Mellon University的Larry Wasserman教授则在其Blog Normal Deviate的一篇博文"Statistics Versus Machine Learning"中说到:"What is the difference between these two fields(Statistics and Machine Learning)? The short answer is: None. They are both concerned with the same question: how do we learn from data?"，在回答没有任何区别后，Larry Wasserman又简述了两个领域的些许不同！不管怎么样，这些大牛也有自己的观点!What's the difference? But it is really important?Let's busy with other more important things!

能够结识“The Elements of Statistical Learning”这本书要感谢我媳妇的介绍，记得在2010年我一直在努力完成一个机器学习的项目，因为这个方向以前公司没人做过，加之手头没有好的参考资料和入门书籍，所以进展举步维艰。这本书的其中一章在我完成整个项目的过程中起到了很大的作用，当时就想这么经典的书籍，等项目完成后一定要好好研读，没曾想，一拖就是四年，现在才开始慢慢去领悟其中的奥秘！

国内影印版封面竟然翻译为《统计学习基础》，其实这本书一点也不基础，想很好地理解其中的奥秘，理论功底是必须的，个人认为还是翻译为《统计学习精要》更加准确点(But it is really important?Let's busy with other more important things!)。

找了很多资料，竟然发现作者Trevor Hastie和Robert Tibshirani竟然还以此书为蓝本，开了一门Statistical Learning课，课程就挂在Stanford University的在线课程官网上！大师就是大师，没想到两个老头竟然会这么认真，美国高校的那种Share精神，让我敬佩了很久！

课程网址:

2014年课程

https://class.stanford.edu/courses/HumanitiesScience/StatLearning/Winter2014/
courseware/995220423fd14a4588d8e47920f1b5df/99faa3a82fca4fc19adc577ce9f75afd/

或2015年课程

https://class.stanford.edu/courses/HumanitiesandScience/StatLearning/Winter2015/about

参考书(需要原版电子书可以自己GOOGLE或给我留言)：

1、The Elements of Statistical Learning

by Trevor Hastie , Robert Tibshirani and Jerome H.Friedman

http://www-bcf.usc.edu/~gareth/ISL/

2、An Introduction to Statistical Learning

by Gareth James, Daniela Witten, Trevor Hastie and Robert Tibshirani

http://statweb.stanford.edu/~tibs/ElemStatLearn/

3、Modern multivariate statistical techniques

by Alan J. Izenman

PS:这本书比以上两本都要基础！

二、Machine Learning

机器学习哪家强？恐怕将Statistical Learning 与Machine Learning结合的最好的就是斯坦福这一派了，没办法啦！毕竟硅谷也是人家的。2011年斯坦福大学副教授Andrew Ng参与并主持了Google深度学习项目(后来被称为Google Brain)，作为 Google’s X laboratory项目的一部分，因为"YouTube找猫"实验被The New York Times报道(上右图就是Andrew Ng登上纽约时报的照片)。Google’s X laboratory一直很神秘，负责人和很多子项目的负责人都是斯坦福毕业，另外还有很多或许会改变世界的项目，例如无人驾驶汽车、Loon等。不过Andrew Ng最近被李厂长忽悠跳槽到了Baidu，2013年Google已经正式雇佣了Deep Learning的鼻祖Geoff Hinton，关于吴老师离开Google去百度，喜欢八卦的可以参考Man Behind the ‘Google Brain’ Joins Chinese Search Giant Baidu!

遗憾的是吴老师并没有在此课程中介绍Deep Learning知识，作为Supervised Learning的一个重要内容，NG介绍的较多的是聚类中的K-means和高斯混合模型(GMM)，但对于最近流行的Deep Learning却没怎么涉及。但网络上深度学习的资料也有很多，另外Deep Learning的鼻祖Geoff Hinton很快就会在Coursera(Andrew Ng联合创办的一个优秀的在线教育平台)提供自己的课程，喜大普奔。

此课程主要介绍了机器学习的基础知识，当然包括一些统计的基础知识，虽然深度没有Trevor Hastie的Statistical Learning深，但此课程更偏向计算机，广度和实践性都较强，特别适合入门级别的课程。此课程在"网易公开课"、Coursera和Stanford Online上都有提供，只是“网易公开课”上只有视频和课件，而Coursera上有很全的资料和练习以及程序，Stanford Online上还有从2004到2014年的学生课程设计和其他很全面的资料。

课程网址1:Coursera

https://class.coursera.org/ml-007

课程网址2:Stanford Online

http://cs229.stanford.edu/

课程网址3:网易公开课

http://v.163.com/special/opencourse/machinelearning.html

Deep Learning资料:

(1)、偏理论的介绍

http://ufldl.stanford.edu/tutorial/

https://web.stanford.edu/class/cs294a/handouts.html

(2)、偏应用的Python库

http://deeplearning.net/tutorial/

http://deeplearning.net/software/theano/

(3)、偏游戏的实例

http://deeplearning.cs.toronto.edu/

三、Convex Optimization

当拿到Stephen Boyd的"Convex Optimization"这本书后，真有种相见恨晚的感觉。主要因为在我看"The Elements of Statistical Learning"一书的时候，有不懂的地方主要看了一些运筹学的知识或在网上查阅零碎的优化理论，最后也是硬啃下了一部分内容。2013年底工作中需要用到类似“Minimum Volume Enclosing Ellipsoid”的东西，让我再一次的感觉到必须花时间系统地学习数学知识，特别是凸优化知识，于是乎又找到了这一门课！

课程网址:

https://class.stanford.edu/courses/Engineering/CVX101/Winter2014/
courseware/7206c57866504e83821d00b5d3f80793/

参考书(需要原版电子书可以自己GOOGLE或给我留言)：

1、Convex Optimization

by Stephen Boyd and Lieven Vandenberghe

http://web.stanford.edu/~boyd/cvxbook/