摘要：正则化的提出，是因为要解决overfitting的问题。以Linear Regression为例：低次多项式拟合的效果可能会好于高次多项式拟合的效果。这里回顾上上节nonlinear transform的课件：上面的内容说的是，多项式拟合这种的假设空间，是nested hypothesis；因此，能...
阅读全文
摘要：首先明确了什么是Overfitting随后，用开车的例子给出了Overfitting的出现原因出现原因有三个：（1）dvc太高，模型过于复杂（开车开太快）（2）data中噪声太大（路面太颠簸）（3）数据量N太小（知道的路线太少）这里（1）是前提，模型太复杂：（1）模型越复杂，就会捕获train da...
阅读全文
摘要：关注了Q18~Q20三道编程作业题。这三道题都与Logistic Regression相关。Q18~19是用全量梯度下降实现Logistic Regression；Q20要求用随机梯度下降实现Logistic Regression。这三题的代码都何在一个py文件中了。个人觉得，这道题的程序设计，完全...
阅读全文
摘要：首先回顾了几个Linear Model的共性：都是算出来一个score，然后做某种变化处理。既然Linear Model有各种好处（训练时间，公式简单），那如何把Linear Regression给应用到Classification的问题上呢？到底能不能迁移呢？总结了如下的集中Linear Mode...
阅读全文
摘要：这里提出Logistic Regression的角度是Soft Binary Classification。输出限定在0~1之间，用于表示可能发生positive的概率。具体的做法是在Linear Regression的基础上，再加一层Logistic Function，限定住输出的取值。完成了hy...
阅读全文
摘要：这一节开始讲基础的Linear Regression算法。（1）Linear Regression的假设空间变成了实数域（2）Linear Regression的目标是找到使得残差更小的分割线（超平面）下面进入核心环节：Linear Regression的优化目标是minimize Ein(W)为了...
阅读全文
摘要：作业一被bubuko抓取了，要是能注明转载就更好了（http://bubuko.com/infodetail-916604.html） 作业二关注的题目是需要coding的Q16~Q20 Q16理解了一段时间，题目阐述的不够详细。理解了题意之后，发现其实很简单。 理解问题的关键是题目中给的's'是啥
阅读全文
摘要：http://beader.me/mlnotebook/section2/noise-and-error.html上面这个日志总结的已经很好了。这一章的内容，在后面具体的算法中cost function体会更好一些。没必要过于纠结。
阅读全文
摘要：首先回顾上节课末尾引出来的VC Bound概念，对于机器学习来说，VC dimension理论到底有啥用。三点：1. 如果有Break Point证明是一个好的假设集合2. 如果N足够大，那么Ein跟Eout的表现会比较接近3. 如果算法A选的g足够好（Ein很小），则可能从数据中学到了东西====...
阅读全文
摘要：紧接上一讲的Break Point of H。有一个非常intuition的结论，如果break point在k取到了，那么k+1, k+2,... 都是break point。那么除此之外，我们还能获得那些讯息？这里举了一些例子，核心就是说下面的事情简言之，如果H有Break Point k，那么...
阅读全文
摘要：接着上一讲留下的关子，机器学习是否可行与假设集合H的数量M的关系。机器学习是否可行的两个关键点：1. Ein(g)是否足够小（在训练集上的表现是否出色）2. Eout(g)是否与Ein(g)足够接近（在训练集上的表现能否迁移到测试集上）（1）如果假设集合数量小（M小），可知union bound后，...
阅读全文
摘要：作业方面，暂时只关注需要编程的题目了，用python完成代码。Q15~Q17应用的是传统PLA算法，给定的数据集也是保证线性可分的。代码需要完成的就是实现一个简单的PLA，并且“W = W + speed*yX”中的speed是可以配置的（即学习速率）代码1#encoding=utf8import ...
阅读全文
摘要：直接跳过第一讲。从第二讲Perceptron开始，记录这一讲中几个印象深的点：1. 之前自己的直觉一直对这种图理解的不好，老按照x、y去理解。a) 这种图的每个坐标代表的是features；features的值是有物理意义的。b) 而圈圈和叉叉是为了标注不同的样本（正样本 负样本），即label；为...
阅读全文
摘要：前天刷完了leetcode的150题~算是完成了一个节点~后续每天回顾下几题，保持感觉~机器学习这块，感觉自己在实际上线的项目中也用过，各种算法也了解。但是面试时让我一点儿不差的推导出来SVM，真是做不到，就是基础不牢固。决定跟一下台大林轩田的机器学习课程，继续夯实基础为求职工作准备。每跟完一个章节...
阅读全文
