随笔分类 - (C)机器学习
摘要:什么是逻辑回归 逻辑回归虽然名字有回归,但解决的是分类问题。 逻辑回归既可以看做回归算法,也可以看做是分类算法,通常作为分类算法用,只可以解决二分类问题。 Sigmoid函数: 逻辑回归的损失函数 推导过程这里就不赘述了,高等数学基本知识。 向量化: 逻辑回归的向量化梯度: LogisticRegr
阅读全文
摘要:什么是多项式回归 用线性回归试试: 发现根本没有拟合,我们可以把x 2这一项设为另一个特征,和原来的特征合并后一起训练,这就是多项式回归: 看看预测的特征值和截距: 发现都很接近我们开始设置的。 scikit learn中的多项式回归和Pipeline scikit learn中的多项式回归 x^0
阅读全文
摘要:主成分分析(Principal Component Analysis) 1. 一个非监督的机器学习算法 2. 主要用于数据的降维 3. 通过降维,可以发现更便于人类理解的特征 4. 其他应用:可视化、去噪 通过映射,我们可以把数据从二维降到一维: 显然,右边的要好一点,因为间距大,更容易看出差距。
阅读全文
摘要:什么是梯度下降法 1. 不是一个机器学习算法 2. 是一种基于搜索的最优化方法 3. 作用:最小化一个损失函数 4. 梯度上升法:最大化一个效用函数 并不是所有函数都有唯一的极值点,解决方案: 1. 多次运行,随机化初始点 2. 梯度下降发的初始点也是一个超参数 梯度下降法模拟 再用波士顿房价的例子
阅读全文
摘要:简单线性回归与最小二乘法 解决回归问题,思想简单、实现容易,许多强大的非线性模型的基础,结果具有很好的可解释性,蕴含机器学习的很多重要思想。 回归问题的横轴为特征,纵轴为输出标记,分类问题的横纵轴均为特征,颜色为输出标记。 样本特征只有一个称为简单线性回归。 因为y=|x|不是处处可导,所以我们不选
阅读全文
摘要:KNN的函数写法 有时候,距离的权重可能有影响,比如: 最近的是红色,那么我们按权重来比就是对距离取倒数求和。 明科夫斯基距离: 获得了一个超参数p 查找最好的p和k(网格搜索): 使用scikit learn中的网格搜索: 定义网格参数: param_grid =[ { 'weights':['u
阅读全文
摘要:转载自https://www.cnblogs.com/90zeng/p/Lagrange_duality.html,本人觉得讲的非常好! 1.原始问题 假设是定义在上的连续可微函数(为什么要求连续可微呢,后面再说,这里不用多想),考虑约束最优化问题: 称为约束最优化问题的原始问题。 现在如果不考虑约
阅读全文