摘要：
在ml模型的学习过程中，算法本身还是在偏差和方差上做权衡 欠拟合: 不能很好的拟合数据, 训练集上很差 过拟合: 训练集上表现好,测试集上表现差 方差: Variance反映的是模型每一次输出结果与模型输出期望之间的误差，即模型的稳定性。反应预测的波动情况。 偏差: Bias反映的是模型在样本上的输 阅读全文
摘要：
信息熵 信息熵是信息论中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。信息量是对信息的度量，就跟时间的度量是秒一样，当我们考虑一个离散的随机变量 x 的时候，当我们观察到的这个变量的一个具体值的时候，我 阅读全文