摘要：
一、假设函数与决策边界 二、求解代价函数 这样推导后最后发现，逻辑回归参数更新公式跟线性回归参数更新方式一摸一样。 为什么线性回归采用最小二乘法作为求解代价函数，而逻辑回归却用极大似然估计求解？ 解答： 1）因为线性回归采用最小二乘法作为代价函数，这个函数是一个凸函数，能够得到全局最优解。如下图所示 阅读全文
摘要：
一个多元函数的梯度方向是该函数值增大最陡的方向。对于一元函数而言，梯度方向是沿着曲线切线的，然后取切线向上增长的方向为梯度方向。对于二元或多元函数而言，梯度向量为函数F对每个变量的导数，该向量的方向就是梯度的方向。 上图为一元二次函数的曲线图，可以看出：在最低点的左边部分，每一点的梯度方向值都是负值 阅读全文
摘要：
一、解决过拟合问题方法 1）减少特征数量 --人为筛选 --靠模型筛选 2）正则化(Regularization) 原理：可以降低参数Θ的数量级，使一些Θ值变得非常之小。这样的目的既能保证足够的特征变量存在(虽然Θ值变小了，但是并不为0)，还能减少这些特征变量对模型的影响。换言之，这些特征对于准备预 阅读全文
摘要：
一、归一化(也说标准化)作用 1）将有量纲特征转化为无量纲特征 2）能够加快收敛(主要指梯度下降法时) 二、Octave中计算 mean(A) 求解矩阵中每一列的均值 std(A) 求解矩阵中每一列的标准差 在Octave中对样本进行归一下代码如下： mu=mean(X); sigma=std(X) 阅读全文