hi_heisen

摘要： 参考简书中Logistic回归及Python代码实现。 Logistic函数的损失函数的偏导数为$\frac{1}{m}\sum_{i=1}^{m}(h_\theta(x_i)-y_i)x_i^j$，所以$\theta$的更新可以写为：$\theta_j=\theta_j-\alpha\frac{1 阅读全文

摘要： 2016年10月 1. 梯度下降（Gradient Descent）小结 对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。沿着梯度向量的方向就是f(x,y)增加最快的地方，容易找到函数的最大值。反过来说，沿着梯度向量相反的方向，梯度减少最快，也就是更加容易找到函数的 阅读全文

摘要： 1 拉格朗日乘子法基本概念 拉格朗日乘子法是在约束条件$g(x_1,x_2,...)=0$下，计算函数$f(x_1,x_2,...)$极值的方法。 以二元函数为例，约束条件为$g(x,y)=0$，求函数$f(x,y)$的极值，定义一个新的函数$F(x,y,\lambda)=f(x,y)+\lambd 阅读全文

摘要： 1.梯度的理解 在机器学习过程中，经常使用梯度下降方法求解损失函数的最小值。梯度的值为函数在某一点，沿着各向量方向的偏导数。沿着梯度相反的方向，函数减小最快，更容易找到函数的最小值。 2.梯度下降法的矩阵表示 函数的表达式为$h_\theta(X)=X\theta$，损失函数的表达式为$J(\the 阅读全文

摘要： 最小二乘法需要计算$X^TX$的逆矩阵，有可能它的逆矩阵不存在。 当样本特征n非常的大的时候，计算$X^TX$的逆矩阵是一个非常耗时的工作（nxn的矩阵求逆），甚至不可行。 如果拟合函数不是线性的，这时无法使用最小二乘法。 其他特殊情况下也不适合使用最小二乘法。 参考刘建平Pinard的最小二乘法总 阅读全文