摘要:
逻辑回归 逻辑回归问题和线性回归问题不一样,我们将不用线性回归来解决,而使用 Sigmoid 非线性函数来处理。 🧐逻辑回归是什么? 逻辑回归并不是回归问题,是属于监督学习的一类,通常输出是几个离散值,而不是像线性回归有连续的 y。 🧐为什么不用线性回归解决逻辑回归问题? 比如说二元逻辑回归问题 阅读全文
摘要:
我们想让我们的模型拟合训练集的数据。有时,我们用线性来模拟一些复杂的数据,就会欠拟合(underfit),具有高偏差;这时候,我们可能就会采用一些非线性的模型拟合训练集,或许达到不错的效果;但有时,我们的模型太想拟合数据了,使得模型失去了泛化能力(泛化:能够对之前从未见过的全新示例也能给出良好的预测 阅读全文
摘要:
为啥需要特征缩放? 因为有些特征的特征值很大或者很小,导致ωj的差异比较大,如果导致ω太大的话,一次梯度下降对ω的更新微乎其微,所以用特征缩放来平衡这些特征值。特征缩放可以使得梯度下降运行更快 方式一:除以最大值 方式二:均值归一化 方式三:Z-score 归一化 什么时候需要特征缩放 阅读全文
摘要:
梯度下降算法 梯度下降是一种算法,可以用来找到成本函数的局部最小值。这里用线性回归来演示梯度下降算法,但梯度下降不仅仅适用于线性回归成本函数。 梯度下降中,有学习率 α、数学表示等概念 梯度下降是什么 单变量线性回归梯度下降 梯度下降通过逐步更新参数,一步一步达到局部最小值 每一步的更新操作是这样的 阅读全文
摘要:
一些术语 线性回归 线性回归就是用线性函数来拟合数据 注意 y-hat 和 y 的区别 成本函数 成本函数可以表现预测值和训练集中实际值的误差。因此,可以通过 minimize 成本函数来找到更加拟合的回归函数。 梯度下降算法解决线性回归问题 梯度下降算法 阅读全文