随笔分类 - 机器学习
摘要：deep learning computationally expensive data algorithm logistic regression e.g.1 find a cat in the image input : suppose image 64*64, input vector x:
阅读全文
摘要：Learning Theory Assumption data in training set and test set are from the same distribution all samples are sampled independently Learning Algorithm i
阅读全文
摘要：Data splits, Models and Cross Validation Bias and Variance Bias: wrong thought about how to fit the data Variance: changing original dataset cause a g
阅读全文
摘要：Kernels review A decision boundary with the greatest possible geometric margin. functional margin/geometric margin maximize the margin as an optimizin
阅读全文
摘要：1. 模型概览 1.1 学科分属 对偶问题，拉格朗日乘数法与KKT条件是一种求解凸二次规划的最优化算法，属于最优化问题的重要求解理论和技巧，在机器学习领域的支持向量机（SVM）的理论推导中起着核心作用。 1.2 历史发展 拉格朗日乘数法是数学优化中，一种寻找变量受数个条件限制下多元函数局部极值的策略
阅读全文
摘要：Support Vector Machine To deal with a classification problem with a non-linear decision boundary, we may process the data and get some new features, a
阅读全文
摘要：GDA Naive Bayes introduction All of the learning algorithm I've learned so far are called discriminative learning algorithms. this time generative lea
阅读全文
摘要：当数据的规律不能很好的用直线拟合，我们使用局部加权回归来处理各种其他拟合方式。 参数学习与非参数学习 参数学习：参数是固定的，只需要通过学习确定即可 非参数学习：参数不确定，需要保持改变，通常参数数目与数据规模线性相关。（对大规模数据不太友好） 对某个训练集提出假设的方式： 线性回归：使θ适应为成本
阅读全文
摘要：构建一个最基础的监督学习模型 监督学习的过程是将由输入特征X和目标变量Y组成的训练集输入，利用机器学习输出一个假设模型，使其能够用于处理新的输入，并得出符合训练集中的规律的目标变量。 特征X的数目为n，在线性回归中，我们得到一个类似y=θ0+θ1X1+θ2X2的线性模型，则为了统一，设参数向量θ=[
阅读全文
摘要：机器学习的五种主要类型 监督学习（Supervised Learning）：data with labels，例如：回归问题（Regression），分类问题（Classification），逻辑斯谛回归（Logistic Regression），支持向量机（SVM） 机器学习策略/学习理论（Mac
阅读全文
