随笔分类 - 机器学习
摘要:损失函数是用来估量你模型的预测值f(x)与真实值Y的不一致程度,它是一个非负实值函数,通常使用L(Y, f(x))来表示,损失函数越小,模型的鲁棒性就越好。损失函数是经验风险函数的核心部分,也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项,通常可以表示成如下式子: 其中,前面
阅读全文
摘要:关于过拟合的问题 1、什么是过拟合? 过拟合(overfitting)是指学习时选择的模型所包含的参数过多(即模型容量很大),以至于出现这一模型对已知数据预测得很好,但对未知数据预测得很差的现象。 2、产生过拟合的原因 产生过拟合的主要原因可以有以下三点: 1) 数据有噪声 为什么数据有噪声,就可能
阅读全文
摘要:转自:https://blog.csdn.net/jlei_apple/article/details/8168856 这两天在看关于boosting算法时,看到一篇不错的文章讲bootstrap, jackknife, bagging, boosting, random forest 都有介绍,以
阅读全文
摘要:什么是决策树? 决策树是一种基本的分类与回归方法。其主要有点事模型具有可得性,分类速度快。学习时,利用训练数据,根据损失函数最小化原则建立决策树模型;预测时,对新数据,利用决策树模型进行分类。 决策树学习通常包含以下三个步骤: 选择特征 决策树生成 剪枝 决策树的改进路线: ID3 >C4.5 >C
阅读全文