摘要：
上节课讲了Kernel的技巧如何应用到Logistic Regression中。核心是L2 regularized的error形式的linear model是可以应用Kernel技巧的。这一节，继续沿用representer theorem，延伸到一般的regression问题。首先想到的就是rid... 阅读全文
2015年7月13日
2015年7月12日
摘要：
题目：Given a binary tree, determine if it is height-balanced.For this problem, a height-balanced binary tree is defined as a binary tree in which the de... 阅读全文
2015年7月9日
摘要：
最近求职真慌，一方面要看机器学习，一方面还刷代码。还是静下心继续看看课程，因为觉得实在讲的太好了。能求啥样搬砖工作就随缘吧。这节课的核心就在如何把kernel trick到logistic regression上。首先把松弛变量的表达形式修改一下，把constrained的形式改成unconstra... 阅读全文
2015年7月7日
摘要：
关注的是编程题目Q15~Q20这里需要借用libsvm的python包，需要一下几个处理步骤：（1）到libsvm官网（http://www.csie.ntu.edu.tw/~cjlin/libsvm/）下载.gz包，解压缩到一个目录（2）在解压的根目录make命令（3）再到解压缩根目录下的pyth... 阅读全文
2015年7月5日
摘要：
Hard-Margin的约束太强了：要求必须把所有点都分开。这样就可能带来overfiiting，把noise也当成正确的样本点了。Hard-Margin有些“学习洁癖”，如何克服这种学习洁癖呢？沿用pocket算法的思想，修改一下优化目标函数的形式，补上一个错分点的惩罚项CΣ...。（1）C越大，... 阅读全文
摘要：
考虑dual SVM 问题：如果对原输入变量做了non-linear transform，那么在二次规划计算Q矩阵的时候，就面临着：先做转换，再做内积；如果转换后的项数很多（如100次多项式转换），那么耗费的时间就比较多。能否在计算Q矩阵这一步的时候，把transform+inner product... 阅读全文
2015年7月3日
摘要：
这节课内容介绍了SVM的核心。首先，既然SVM都可以转化为二次规划问题了，为啥还有有Dual啥的呢？原因如下：如果x进行non-linear transform后，二次规划算法需要面对的是d`+1维度的N个变量，以及N个约束如果d`的维度超大，那么二次规划解起来的代价就太大了。因此，SVM的精髓就在... 阅读全文
2015年7月2日
摘要：
首先从介绍了Large_margin Separating Hyperplane的概念。（在linear separable的前提下）找到largest-margin的分界面，即最胖的那条分界线。下面开始一步步说怎么找到largest-margin separating hyperplane。接下来... 阅读全文
2015年7月1日
摘要：
作业四的代码题目主要是基于ridge regression来做的，并加上了各种cross-validation的情况。由于ridge regression是有analytic solution，所以直接求逆矩阵就OK了，过程并不复杂。只有在做cross-validation的时候遇上了些问题。#en... 阅读全文
2015年6月30日
摘要：
这一节主要讲如何通过数据来合理的验证模型好不好。首先，否定了Ein来选模型和Etest来选模型。（1）模型越复杂，Ein肯定越好；但是Eout就不一定了（见上一节的overfitting等）（2）Etest是偷窥训练集，也没有效果下面，集中讨论已有的数据集切分成train data和test dat... 阅读全文
