摘要： 前言 机器学习中的核心问题：模型的设计不仅在训练数据上表现好，并且能在新输入上泛化好； 正则化策略：以增大训练误差为代价，来减少测试误差（如果在训练误差上很小，可能出现过拟合的情况）； 最好的拟合模型（最小化泛化误差的意义上）是一个适当正则化的大型模型。 正则化(regularization)的作用 阅读全文

摘要： 1、独立与不相关 随机变量X和Y相互独立，有：E(XY) = E(X)E(Y)。 独立一定不相关，不相关不一定独立（高斯过程里二者等价） 。对于均值为零的高斯随机变量，“独立”和“不相关”等价的。 独立性是指两个变量的发生概率一点关系没有，而相关性通常是指线性关系。如果两个变量不相关，指的是线性关系 阅读全文

摘要： 偏差，方差以及两者权衡 偏差是由模型简化的假设，使目标函数更容易学习。 一般来说，参数化算法有很高的偏差，使它们学习起来更快，更容易理解，但通常不那么灵活。反过来，它们在复杂问题上的预测性能更低，无法满足算法偏差的简化假设。 Decision trees是低偏差算法的一个例子，而linear reg 阅读全文