随笔分类 - 机器学习
摘要：1970年代，一个叫做昆兰的大神找到了用信息论中的熵来度量决策树的决策选择过程......
阅读全文
摘要：利用Logistics回归进行分类的主要思想是：根据现有数据对分类边界线建立回归公式，以此进行分类。这里的“回归” 一词源于最佳拟合，表示要找到最佳拟合参数集。
阅读全文
摘要：时间序列：一个变量在连续时间段内的一系列观测值。如过去十年的月度股票市场回报率数据，就是一个时间序列数据。
阅读全文
摘要：KKT条件是非线性规划最佳解的必要条件，KKT条件将拉格朗日乘数法所处理的涉及等式约束的优化问题，推广至不等式约束。
阅读全文
摘要：正则化就是对最小化经验误差函数上加约束，这样的约束可以解释为先验知识(正则化参数等价于对参数引入先验分布)。约束有引导作用，在优化误差函数的时候倾向于选择满足约束的梯度减少的方向，使最终的解倾向于符合先验知识。
阅读全文
摘要：梯度下降法作为在机器学习中较长使用的优化算法，有三种不同的形式：批量梯度下降、随机梯度下降、小批量梯度下降。
阅读全文
摘要：为了防止模型的过拟合，我们在建立线性模型的时候，经常需要加入正则化项，一般有L1正则化和L2正则化。
阅读全文
摘要：线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。
阅读全文
摘要：K近邻法(k-nearest neighbors,KNN)是一种很基本的机器学习方法，在平常的生活中也会不自主的应用。比如，判断一个人的人品，只需要观察他来往最密切的几个人的人品好坏就可以得出了。这里就运用了KNN的思想。
阅读全文
摘要：1、此部分内容为本人的个人学习总结，内容来自老师的讲义、网络达人的分享、 周志华老师的《西瓜书》、李航老师的《统计学习方法》等。 2、其中网络资料以刘建平老师博客为主。
阅读全文
摘要：第一章 绪论 机器学习概述 机器学习是这样一门学科，它致力于研究如何通过计算的手段，利用经验来改善系统自身的性能。在计算机系统中，“经验”通常以“数据”形式存在，因此机器学习所研究的主要内容，是关于在计算机上从数据中产生“模型”的算法，即“学习算法”。 有了学习算法，我们把经验数据提供给它，他就能基
阅读全文
