摘要：
正则化的提出，是因为要解决overfitting的问题。以Linear Regression为例：低次多项式拟合的效果可能会好于高次多项式拟合的效果。这里回顾上上节nonlinear transform的课件：上面的内容说的是，多项式拟合这种的假设空间，是nested hypothesis；因此，能... 阅读全文
2015年6月30日
2015年6月28日
摘要：
首先明确了什么是Overfitting随后，用开车的例子给出了Overfitting的出现原因出现原因有三个：（1）dvc太高，模型过于复杂（开车开太快）（2）data中噪声太大（路面太颠簸）（3）数据量N太小（知道的路线太少）这里（1）是前提，模型太复杂：（1）模型越复杂，就会捕获train da... 阅读全文
摘要：
关注了Q18~Q20三道编程作业题。这三道题都与Logistic Regression相关。Q18~19是用全量梯度下降实现Logistic Regression；Q20要求用随机梯度下降实现Logistic Regression。这三题的代码都何在一个py文件中了。个人觉得，这道题的程序设计，完全... 阅读全文
2015年6月27日
摘要：
题目：第一次刷的时候漏掉了这道题。Given a sorted linked list, delete all duplicates such that each element appear onlyonce.For example,Given1->1->2, return1->2.Given1-... 阅读全文
摘要：
首先回顾了几个Linear Model的共性：都是算出来一个score，然后做某种变化处理。既然Linear Model有各种好处（训练时间，公式简单），那如何把Linear Regression给应用到Classification的问题上呢？到底能不能迁移呢？总结了如下的集中Linear Mode... 阅读全文
2015年6月26日
摘要：
这里提出Logistic Regression的角度是Soft Binary Classification。输出限定在0~1之间，用于表示可能发生positive的概率。具体的做法是在Linear Regression的基础上，再加一层Logistic Function，限定住输出的取值。完成了hy... 阅读全文
2015年6月24日
摘要：
这一节开始讲基础的Linear Regression算法。（1）Linear Regression的假设空间变成了实数域（2）Linear Regression的目标是找到使得残差更小的分割线（超平面）下面进入核心环节：Linear Regression的优化目标是minimize Ein(W)为了... 阅读全文
2015年6月23日
摘要：
作业一被bubuko抓取了，要是能注明转载就更好了（http://bubuko.com/infodetail-916604.html） 作业二关注的题目是需要coding的Q16~Q20 Q16理解了一段时间，题目阐述的不够详细。理解了题意之后，发现其实很简单。 理解问题的关键是题目中给的's'是啥 阅读全文
2015年6月22日
摘要：
http://beader.me/mlnotebook/section2/noise-and-error.html上面这个日志总结的已经很好了。这一章的内容，在后面具体的算法中cost function体会更好一些。没必要过于纠结。 阅读全文
2015年6月19日
摘要：
首先回顾上节课末尾引出来的VC Bound概念，对于机器学习来说，VC dimension理论到底有啥用。三点：1. 如果有Break Point证明是一个好的假设集合2. 如果N足够大，那么Ein跟Eout的表现会比较接近3. 如果算法A选的g足够好（Ein很小），则可能从数据中学到了东西====... 阅读全文
