摘要：
本次Octave仿真解决的问题是，根据两门入学考试的成绩来决定学生是否被录取，我们学习的训练集是包含100名学生成绩及其录取结果的数据，需要设计算法来学习该数据集，并且对新给出的学生成绩进行录取结果预测。 首先，我们读取并绘制training set数据集： 然后，我们来学习训练集，直接使用我们逻辑 阅读全文
摘要：
在线性回归算法中，我们看到，在training set中，输入矩阵X与向量y的值都是连续的。所以在二维空间中，我们可以用一条直线去模拟X与y的变化关系，寻找参数向量theta的取值。如根据房屋面积预测房价，根据日期、纬度来预测温度等等，我们称此类问题为回归(Regression)。 而本文，我们开始 阅读全文
摘要：
Normal Equation算法及其简洁，仅需一步即可计算出theta的取值，实现如下： 和梯度下降算法一样，我们预估1650square feet&3 bedrooms的房价: outputs： 阅读全文
摘要：
和梯度下降法一样，Normal Equation（正规方程法）算法也是一种线性回归算法(Linear Regression Algorithm)。与梯度下降法通过一步步计算来逐步靠近最佳θ值不同，Normal Equation提供了一种直接得到最佳θ值的公式。 我们知道，求解曲线f(x)=ax^2+ 阅读全文
摘要：
Gaussian Distribution(Normal Distribution)其图形特点为中间高，两头低，是钟形曲线(bell-shaped curve)。在高斯分布中，以数学期望μ表示钟型的中心位置（也即曲线的位置），而标准差（standard deviation）σ表征曲线的离散程度。 随 阅读全文
摘要：
之前所讨论的梯度下降算法，其算法模型是“线性回归模型”，我们可以理解为变量与因变量之间的关系是线性的。而现实情况是，使用线性模型去描述所有数据，很容易出现欠拟合(underfitting)的情况；同样，如果使用相当复杂的模型去描述数据集中所有的细节，则很容易产生另一种问题：过拟合(overfitti 阅读全文
摘要：
随着所学算法的增多，加之使用次数的增多，不时对之前所学的算法有新的理解。这篇博文是在2018年4月17日再次编辑，将之前的3篇博文合并为一篇。 1.Problem and Loss Function 首先，Linear Regression是一种Supervised Learning，有input 阅读全文
摘要：
之前做了很长时间“罗辑思维”的听众，罗胖子曾经讲起过，我们这一代人该如何学习。其中，就讲到我们这个岁数，已经不可能再去从头到尾的学习一门又一门工具课程了，而是在学习某一领域时，有目的的去翻阅工具课程中的某些部分。 当时，他曾经提到了导数，那是在他研究经济变化时，而我来写这篇博文，则是在研究机器学习梯 阅读全文
摘要：
阅读全文
摘要：
1、内积的计算 2、长度（范数）的计算 3、两边夹角与内积 4、投影向量：向量a在向量b上的投影为c，夹角为θ，则 且向量c的方向与向量b相同，为b/||b||（一个向量除以它的模得到单位向量，即它的方向），则 5、根据1,3,4，推出： 6、向量加减法：遵循平行四边形法则，即如下图，a+b的结果是 阅读全文