随笔- 54
文章- 0
评论- 1
阅读-
16787
随笔分类 - ML_basic
最小二乘法
摘要：普通最小二乘法 参考 https://zhuanlan.zhihu.com/p/62018131 在批量梯度下降中讨论了，如何利用梯度下降的方式，如何一步一步寻找到损失函数的最小值，得到最佳拟合的 ，这里我们继续讨论线性拟合问题，这次尝试用最小二乘法直接求解 ，就是说我们不用从山顶寻找梯度一步一步的
阅读全文
L1和L2正则化的概率解释
摘要：https://zhuanlan.zhihu.com/p/56185913 正则化可以产生稀疏权值矩阵，即产生一个稀疏模型，用于特征筛选； 正则化可以防止过拟合，提升模型的泛化能力。 假设待优化函数为 ，其中 ，那么优化问题可以转化为求 正则化，即对参数 加上 范数约束 正则化，即对参数 加上 范数
阅读全文
余弦距离与欧式距离
摘要：什么时候用余弦距离什么时候用欧式距离呢？ Ref: https://zhuanlan.zhihu.com/p/84643138 总体来说，欧氏距离体现数值上的绝对差异，而余弦距离体现方向上的相对差异。 1）例如，统计两部剧的用户观看行为，用户A的观看向量为(0,1)，用户B为(1,0)；此时二者的余
阅读全文
