偏差与方差（未完）

偏差与方差

1.1概念性的定义

基于偏差的误差：所谓基于偏差的误差是我们模型预期的预测与我们将要预测的真实值之间的差值。偏差是用来衡量我们的模型的预测同真实值的差异，就是我们想要做的、理想符合的模型和我们已经做的模型的差距。

基于方差的误差：基于方差的误差描述了一个模型对给定的数据进行预测的可变性。比如，当你多次重复构建完整模型的进程时，方差是在预测在模型的不同关系间变化的多少。

 

1.2图形上的定义

假设靶心是最适合给定数据的模型，离靶心越远，我们的预测就越糟糕。有时，我们对训练数据的预测结果更接 近靶心，有时我们的结果相互分散。如下图:

1.3数学上的定义

我们定义我们要预测的变量为Y，协变量为X，我们假设有Y=f(X)+ϵ，其中误差项服从均值为0的正态分布.

我们用线性回归或者别的模型来估计f(X) 为.其中，对x来说，误差为：

用偏差和方差表述：

最后一项为噪声，是无法通过模型降低的。

 

最后，关于过拟合和欠拟合(Over- and Under-Fitting)

 

我们用一个参数少的，简单的模型进行预测，会得到低方差，高偏差，通常会出现欠拟合，而我们用一个参数多 的，复杂的模型进行预测，会得到高方差，低偏差，通常出现过拟合。下图描述了偏差与方差跟模型复杂度的关 系：

其中：

 

 

 

 

Understanding the Bias-Variance Tradeoff：http://scott.fortmann-roe.com/docs/BiasVariance.html

偏差与方差(Bias and Variance)：http://blog.csdn.net/u013802188/article/details/40513879

机器学习中的数学(2)-线性回归，偏差、方差权衡：http://www.cnblogs.com/LeftNotEasy/archive/2010/12/19/mathmatic_in_machine_learning_2_regression_and_bias_variance_trade_off.html Coursera台大机器学习课程笔记3 – 机器学习的可能性：http://www.cnblogs.com/HappyAngel/p/3495804.html

理解为什么机器可以学习——Hoeffding不等式： http://jasonding1354.github.io/2014/12/10/Machine%20Learning/【机器学习基础】理解为什么机器可以学习——Hoeffding不等式/ http://jasonding1354.github.io/2014/12/10/Machine%20Learning/【机器学习基础】理解为什么机器可以学习——PAC学习模型/

求助关于bias和variance的计算：http://bbs.pinggu.org/thread-1330804-1-1.html 斯坦福大学机器学习——误差理论（Error Theory）：http://blog.csdn.net/linkin1005/article/details/42563229 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系：http://www.zhihu.com/question/27068705 机器学习的几个重要问题 ：http://blog.csdn.net/dong976209075/article/details/8246507