11 2021 档案
摘要：支持向量：支撑起超平面的样本点，里分界线最近 逻辑回归的代价函数 每个单独的训练样本 一起为逻辑回归总体目标做贡献 两条线段 在数学上的定义： 对于逻辑回归来说（》：远大于） 每个单独的训练样本 一起为逻辑回归总体目标做贡献（下面考虑单个样本的情况）：？ y=1 就是标签为1，代价函数就是左边的图形
阅读全文
摘要：过拟合问题 变量过多的时候容易出现，训练出来的假设能很好地拟合训练集，但是无法很好地泛化到新的样本中，导致无法准确预测 解决方法： 1.尽量减少选取特征变量的数量（模型选择算法：可以自动选择特征） ，同时也舍弃了一些特征 2.正则化（保留所有特征，减少量级或参数θ的大小） 加入惩罚增大两个参数带来的
阅读全文
摘要：线性回归做分类不太理想 新增最右边额外的红色点，会改变原来的线性回归的拟合直线从洋红改变到蓝色直线，运用原来的数据标准，分类出现了错误，使得新的拟合直线更糟糕 而且分类问题通常只有0和1，但是线性回归会得出小于0或者大于1的值 就很奇怪，但是下面的逻辑回归值一定在【0,1】之间 所以用到了sigmo
阅读全文
摘要：区别于梯度下降逐渐求θ，正规方程提供了一种求θ的解析解法，不需要运行迭代算法，一次性求解θ的最优值 无需特征缩放（梯度下降需要） θ是多个值组成的一个向量时候。逐个队参数θj求J的偏导数，把它们全部置零，这样求出θ0-θn的值，这样就能得到最小化代价函数J的θ值 梯度下降和特征缩放对比（α，迭代次数
阅读全文
摘要：1.梯度下降(单，多元) 2.特征缩放 3.选择合适的α（学习率） 4.特征和多项式 梯度下降是很常用的算法，不仅用于线性回归，还广泛应用于机器学习的众多领域，可以最小化其他函数（任意函数） 不同的起始点有可能得到不同的局部最优解 下图Θ逐渐减小，直到最佳状态 可能会出现的问题 随着导数斜率越来越小
阅读全文
摘要：贝叶斯（朴素） 公式： 男60% 全部穿长裤 女40% 50%穿长裤 求穿长裤的人是女生的概率是多少？ P(A丨B)：在B的条件下A发生的概率（不容易得出）， B穿长裤的人 ，A女生 P(B丨A)：在A的条件下B发生的概率(容易得出)， A女生，穿长裤 P(A丨B)=0.5*0.4/（0.6*1+0
阅读全文
摘要：什么是决策树？ 关键字：熵、Gini系数CART、信息增益ID3、信息增益率C4.5、 决策树剪枝、随机森林 决策树(decision tree)是一种基本的分类与回归方法 根节点 age<15,非叶子节点 is male,叶子节点娃娃头（结果值），分支（ Y ，N） 如何利用数据构造一个决策树？各
阅读全文
