摘要：
Lecture 15: Matrix Factorization Linear Network Hypothesis Recommender System Revisited 在推荐系统问题中，我们有若干原始的训练数据，训练样本的输入$\tilde x_n$是用户ID，$y_n=r_{nm}$，即I 阅读全文
摘要：
Lecture 13: Deep Learning Autoencoder autoencoder是深度学习中一种常用的初始化权重的方法。 如上图所示，首先，从第0~1层的权重开始，一层层用autoencoder初始化每两层之间的权重，然后再使用训练集对整个网络进行训练 autoencoder是如何 阅读全文
摘要：
Lecture 11: Gradient Boosted Decision Tree Adaptive Boosted Decision Tree From Random Forest to AdaBoost DTree 在随机森林中，我们通过特殊的bootstrap方法产生了T个$\tilde{\ 阅读全文
摘要：
Lecture 9: Decision Tree Decision Tree Hypothesis 之前介绍的uniform blending和linear blending等，$G$中每个假设函数$g_t$前的权重都是一个常数$\alpha_t$($G(x)=\sum_{t=1}^T \alpha 阅读全文
摘要：
Lecture 7:Blending and Bagging Motivation of Aggregation 现在给出T个假设函数$g_1,\cdots,g_T$，我们希望充分利用它们，得到一个更好的假设函数$G$，我们有几种方法： 1、用交叉验证的方法从T个g里选$E_{val}$最小的：$G 阅读全文
摘要：
Lecture 5:Kernel Logistic Regression Soft Margin SVM as Regularized Model 我们首先回顾Soft Margin SVM的优化目标 在得到的最优解$(b,w,\xi)$中，当$(x_n,y_n)$没有越过margin自己这一方的边 阅读全文
摘要：
Lecture 3:Kernel Support Vector Machine Kernel Trick 回顾Lecture 2中SVM的拉格朗日对偶问题： 对偶问题中，有n个变量需要求解，n个不等式约束条件和1个等式约束条件 整个问题只有在计算$q_{n,m}$时与$\tilde d$有联系：计算 阅读全文
摘要：
Lecture 1:Linear Support Vector Machine Large Margin Separating Hyperplane 在二分类问题中，假设现在我们有大小为n的线性可分的训练集$\mathcal D$ 在PLA/口袋算法中，对于上图中的三种假设函数$h=\mathrm{ 阅读全文
摘要：
Lecture 16:Three Learning Principles Occam's Razor 奥卡姆剃刀原则：如无必要，勿增实体(entities must not be multiplied beyond necessity) 意思就是，拟合训练数据时，在保证$E_{in}$足够小的前提下 阅读全文
摘要：
Lecture 14:Regularization Regularized Hypothesis Set 当训练样本数不够多，而假设函数次数比较高时，很容易发生过拟合，正则化的目的就是希望让高维的假设函数退化成低维的假设函数 如上图，高维假设函数的参数里，高阶项对应的参数(w3,...,w10)就都 阅读全文