摘要:
ID3、C4.5生成决策树的算法,当训练数据量很大的时候,建立的决策树模型往往非常复杂,树的深度很大。此时虽然对训练数据拟合得很好,但是其泛化能力即预测新数据的能力并不一定很好,也就是出现了过拟合现象。这个时候我们就需要对决策树进行剪枝处理以简化模型。另外,CART算法也可用于建立回归树。 CART 阅读全文
摘要:
决策树概念: 分类决策树模型是一种描述对实例进行分类的树形结构。决策树由结点和有向边组成。结点有两种类型:内部节点和叶节点,内部节点表示一个特征或属性,叶节点表示一个类。 分类的时候,从根节点开始,对实例的某一个特征进行测试,根据测试结果,将实例分配到其子结点;此时,每一个子结点对应着该特征的一个取 阅读全文
摘要:
原理: 存在一个样本数据集合,也称作为训练样本集,并且样本集中每个数据都存在标签,即我们知道样本集中每一个数据与所属分类的对应关系。输入没有标签的新数据后,将新的数据的每个特征与样本集中数据对应的特征进行比较,然后算法提取样本最相似数据(最近邻)的分类标签。一般来说,我们只选择样本数据集中前k个最相 阅读全文
摘要:
内容:线性回归;逻辑回归,应用场景。 一、线性回归 有监督学习,根据学习样本{x->y},学习一个映射f:X->Y(线性相关),输出预测结果y_i。最简单的例子:y=ax+b 重要组成:训练数据集 training set, 学习算法 learning algorithm, 损失函数 loss fu 阅读全文
摘要:
复习理解下列知识点: 线性相关和线性无关 基与子空间 特征值与特征向量 矩阵特征分解--对角化问题,PCA(主成分分析)&SVD(奇异值分解) 二次型 阅读全文
摘要:
1,导数,偏导,梯度,极限 2,贝叶斯,泊松分布。 3,概率与统计 概率问题:已知全部事件,求某个事件发生的概率 统计问题:采样样本,估计总体。 机器学习与概率统计的关系 训练 统计, 预测 计算概率 1.统计估计的是分布,机器学习训练出来的是模型,模型可能包含了很多分布。 2.训练与预测过程的一个 阅读全文
摘要:
机器学习顾名思义,计算机模拟人类学习行为,获取学习规律改善自己。可以应用于数据的预测任务。 人类学习: 外界现象-->认知-->推理判断-->归纳规律 计算机:给定样本数据-->学习规则-->获取数据的规律 -->根据新的数据进行预测 机器学习的对象:学习任务T,训练经验E,预测性能目标P 例子:学 阅读全文