摘要:
前言 机器学习中的核心问题:模型的设计不仅在训练数据上表现好,并且能在新输入上泛化好; 正则化策略:以增大训练误差为代价,来减少测试误差(如果在训练误差上很小,可能出现过拟合的情况); 最好的拟合模型(最小化泛化误差的意义上)是一个适当正则化的大型模型。 正则化(regularization)的作用 阅读全文
摘要:
1、独立与不相关 随机变量X和Y相互独立,有:E(XY) = E(X)E(Y)。 独立一定不相关,不相关不一定独立(高斯过程里二者等价) 。对于均值为零的高斯随机变量,“独立”和“不相关”等价的。 独立性是指两个变量的发生概率一点关系没有,而相关性通常是指线性关系。如果两个变量不相关,指的是线性关系 阅读全文
摘要:
偏差,方差以及两者权衡 偏差是由模型简化的假设,使目标函数更容易学习。 一般来说,参数化算法有很高的偏差,使它们学习起来更快,更容易理解,但通常不那么灵活。反过来,它们在复杂问题上的预测性能更低,无法满足算法偏差的简化假设。 Decision trees是低偏差算法的一个例子,而linear reg 阅读全文