随笔分类 - 4_机器学习实例（项目、K近邻、决策树、贝叶斯、svm、线性回归、逻辑回归、集成方法、AdaBoost等）
摘要：机器学习实例 6.1、提升分类器性能利器-AdaBoost笔记 一、总结 一句话总结： AdaBoost算法是基于Boosting思想的机器学习算法，AdaBoost是【adaptive boosting（自适应boosting）】的缩写 1、集成方法(ensemble method)或元算法(me
阅读全文
摘要：机器学习实例 5.2、支持向量机实战篇之再撕非线性SVM笔记 一、总结 一句话总结： 【节约时间】：节约时间这个特性已经深入到我的骨髓之中 1、SMO算法优化？ 在几百个点组成的【小规模数据集上】，简化版SMO算法的运行是没有什么问题的，但是在更大的数据集上的运行速度就会变慢。简化版SMO算法的【第
阅读全文
摘要：机器学习实例 5.1、支持向量机原理篇之手撕线性SVM 笔记 一、总结 一句话总结： 这篇文章的svm公式推导非常详细和好，和视频一起看非常容易懂 1、SVM有趣实例？ SVM就是试图把棍放在最佳位置，好让在【棍的两边有尽可能大的间隙】。这个间隙就是球到棍的距离。 现在，大侠没有棍可以很好帮他分开两
阅读全文
摘要：机器学习实例 4.2、Logistic回归实战篇之预测病马死亡率 一、总结 一句话总结： 逻辑回归就是在线性回归的基础上加了sigmoid函数，所以【有多少个特征就可以看成有多少个x和w】，再多一个多常数偏置项 1、使用Sklearn构建Logistic回归分类器？ classifier = Log
阅读全文
摘要：【机器学习】逻辑回归详解总结 一、总结 一句话总结： 还是要看【视频结合看书】，这样才有意义，还是得【多看书】，【多看视频】 1、Logistic 回归的本质？ 假设数据服从这个分布，然后使用【极大似然估计做【参数的估计】】。 2、逻辑回归 中的最大化似然函数和最小化损失函数的关系？ 在逻辑回归模型
阅读全文
摘要：Logistic回归和梯度上升 公式推导 一、总结 一句话总结： 还是得多看视频，这样比较快，如果找不到好视频，还是自己推导比较快 1、逻辑回归 梯度上升算法迭代更新θ的取值？ $$\theta _ { j } = \theta _ { j } + \alpha \frac { \partial \
阅读全文
摘要：机器学习实例 4.1、Logistic回归基础篇之梯度上升算法 一、总结 一句话总结： Logistic回归是众多分类算法中的一员。通常，Logistic回归用于【二分类】问题，例如预测明天是否会下雨。当然它【也可以用于多分类】问题，不过为了简单起见，本文暂先讨论二分类问题。 Logistic回归一
阅读全文
摘要：机器学习实例 3.2、朴素贝叶斯之新浪新闻分类 一、总结 一句话总结： 在训练朴素贝叶斯分类器之前，要处理好训练集，【文本的清洗】还是有很多需要学习的东西。【去高频词汇】数量的不同，对结果也是有影响的的。 根据提取的分类特征将【文本向量化】，然后训练朴素贝叶斯分类器。 【拉普拉斯平滑】对于改善朴素贝
阅读全文
摘要：Python人工智能参考 朴素贝叶斯进行垃圾邮件分类最最最简单实战 一、总结 一句话总结： a、用最简单的实例来演示 算法是最方便的能洞悉算法实质的方式 b、朴素贝叶斯注意有多个词表，而不是一个混合的词表 1、朴素贝叶斯进行垃圾邮件分类的计算的时候的注意点是什么？ 【P(关键词1,关键词2)）可以不
阅读全文
摘要：机器学习实例 3.1、朴素贝叶斯基础 一、总结 一句话总结： 朴素贝叶斯算法是有监督的学习算法，解决的是【分类问题】，如客户是否流失、是否值得投资、信用等级评定等多分类问题。 该算法的优点在于【简单易懂、学习效率高】、在某些领域的分类问题中能够与决策树、神经网络【相媲美】。 但由于该算法以【自变量之
阅读全文
摘要：机器学习实例 2.1、决策树（实战） 一、总结 一句话总结： 决策树【构建】、决策树【可视化】、使用决策树进行【分类预测】、决策树的【存储和读取】、 【sklearn】实战之预测隐形眼镜类型 本来是想继续讨论决策树的过拟合问题，但是看到【《机器学习实战》】将此部分内容放到了第九章，那我也放在后面好了
阅读全文
摘要：机器学习实例 2.1、决策树（介绍） 一、总结 一句话总结： 得到原始数据集，然后基于最好的属性值划分数据集，由于特征值可能多于两个，因此可能存在【大于两个分支的数据集划分】。第一次划分之后，数据集被向下传递到树的分支的下一个结点。在这个结点上，我们可以【再次划分】数据。因此我们可以采用【递归】的原
阅读全文
摘要：机器学习实例 1.3、k-近邻算法（数字识别） 一、总结 一句话总结： 原理非常简单，这里的每个数字都是1024维的向量，由0和1组成，【求解的时候就是求测试的点（那个1024维数据）和所有训练数据（也是一个个1024维数据）的距离】，然后根据【最近的k个】来确定分类即可 相比于简单knn和海伦约会
阅读全文
摘要：机器学习实例 1.2、k-近邻算法（海伦约会） 一、总结 一句话总结： 核心代码就是直接调用 【简单k-nn】 里面的那个 【classify0方法】，非常简单 也就是说，k-nn在实战中也是【非常非常简单】的，就是【选最近邻的k个】来确定分类 def classify0(inX, dataSet,
阅读全文
摘要：机器学习实例 1.1、k-近邻算法（简单k-nn） 一、总结 一句话总结： 【取最邻近的分类标签】：算法提取样本最相似数据(最近邻)的分类标签 【k的出处】：一般来说，我们只选择样本数据集中前k个最相似的数据，这就是k-近邻算法中k的出处 【k-近邻算法实例】：比如，现在我这个k值取3，那么在电影例
阅读全文
摘要：200820_预测双色球 1、神经网络擅长解决的是什么（杂） 一、总结 一句话总结： 【拟合函数来预测】：神经网络擅长解决的是“过去发生过 而且 未来也会发生 可是它喵的我就是看不出规律 只好求助计算机”的事情。 1、完全随机事件（比如买彩票）可以被神经网络预测么？ 可以，因为完全随机事件有没有规律
阅读全文
