独立同分布的理解

参考：https://zhuanlan.zhihu.com/p/52530189

 

1.两个随机变量X1，X2，

独立：取值不相互影响

同分布：对离散分布具有相同的分布律；对连续变量有相同的概率密度、分布函数、方差、期望。

例子：跑骰子，第一次X1和第二次X2。

2.机器学习要求iid（idependently and identically distributed）

因为ML是从已有数据中学习规律，并对未知数据进行模拟，如果所采的样本在整体中不具有代表性，那么ML学到的东西就是没用的，所以数据一般假设服从iid。

希望历史数据具有总体代表性，就可以大大减小训练样本中个例的情形。