第二章 data and sampling distributions

抽样和分布

random sampling and sample bias 随机抽样和抽样偏倚

  • key terms
  1. sample : 抽样集
    • subset from a larger dataset
  2. population:
    • the larger data set of a dataset 众集
  3. random sampling:随机抽样
    • draw elements into a sample at random
    • 其中随机抽样里面还有又放回和无放回的抽样
    • data quality > data quantity
  4. stratified sampling: 分层抽样,strata层
    • devide the population into strata and randomly sample from each strata
  5. simple random sample: 不是分层抽样
    • random sampling without stratifying the population
  6. sample bias: 坏的样本，无法描述整体的样本
    • sample that misrepresents the population
  7. self-selection sampling bias
    • 举的例子是：商品的评论reviews一般来说这个不能反应商品的真实水平，是因为大家写商品评论的动力比起商品多么多么好而言，更多的是因为收到的瑕疵品而对于商品有不满
  8. statistical bias: 可以等同于理解为“系统误差”
    • systematic measurements/sampling errors 测量/抽样误差
  9. 分层抽样的例子：
    • 政客调查支持率的时候会分人种:white,black,hispanics（西班牙裔的）
  10. sample mean vs. population mean
    • 抽样平均和众集平均是两个不同的概念

selection bias 选择产生的bias

  • key term
  1. regression to the mean: 连续观测会导致极端观测值之后的观测值会更偏向于mean
    • involving successive measurements, extreme observations tend to be followed by more central ones
    • 举例：rookie of the year, sophomore slump 年度最佳球员，第二年打回原形

sampling distribution of a statistic 随机值的抽样分布

  • key term
  1. sampling distribution 抽样分布
    • 是抽样结果的频率分布
  2. central limit theorem
    • 抽样数越多，抽样分布就约接近正态分布
  3. standard error:
    • 抽样value 的std
    • 计算方法：SE = std/sqrt(n) ---> n:sample size

The Bootstrap:

  • key term
  1. bootstrap: 有放回抽样
    • 从已知的抽样sample set中，对自己再进行有放回的抽样，重新组成一个的抽样集
    • 其中有放回的抽样还可以等效理解为：将自己sample set 自我复制几百万次然后无放回抽样
  2. bootstrap 算法：
    1. 抽样，记录，放回
    2. 重复n次
    3. 记录这n次的mean,std,median等参数
    4. 重复1-3 R次
    5. 用R 来：
      • 计算这R个数据的std ----> 就是抽样过程的error/bias
      • boxplot/histiogram
      • 找confidence interval
  3. resampling vs. bootstrapping
    • 可以理解为同义词，只不过resampling多一个permutation procedures
    • 好处1是可以不用拟合复杂的模型就可以得到std
    • 好处2是多个bootstrap集合（bagging）可以比单个模型效果好

confidence intervals 置信区间

  • key term:
  1. bootstrap来计算置信区间：
    1. 有放回的的取n个data
    2. 计算这些data的特征数据:mean/std
    3. 重复1-2 R次
    4. 对于一个x%的置信区间，我们从两边减掉[(1-[x/100])/2]%的sample
    5. 剪枝点就是置信区间的两端点
  2. 置信区间的目的：
    • 用区间来描述估计
    • 看我们能tolerate多少
    • 来判断我们estimate有没有可能的error
    • 看看是不是需要larger sample

normal distribution 正态分布

  • key term
  1. standardize: 正则化
    • (x-x_mean)/x_std
  2. z-score:
    • 正则一个点的结果
  3. standard normal:
    • mean=0,std=1的normal distribution
  4. 95% confidence interval:
    • 2std

long-tailed distribution长尾分布

  • key term
  1. tail:
    • extreme values occur at low frequency 极值很少，大多都集中在某个区域
  2. skew
    • one tail is longer than the other 一个tail比另一个要长

student t-distribution学生t分布

  • key term
  1. 90%的confidence interval在：
    • x±t_(n-1)(.05)*(s/n) ----> s:std,n:sample size,t_(n-1):t-statistic

binomial distribution二项分布/伯努利分布

如果事件是要么是或者否，那么可以被Model成二项分布

poisson distribution 泊松分布

  • key term
  1. exponential distribution：指数分布
    • 时间/地点距离的分布，从一点到另一点,one event to the next event
  2. weibull distribution
    • generalized version of exponential, event rate is allowed to shift over time
  3. lambda
    • the rate at which events occur 事件发生的速率

小结：

  • 很多工作都是将数据拟合到分布上，但是不是每个数据都是正态的，有一些规则来明确哪些数据适合那些分布。
  • 如果事件发生间隔固定:poisson distribution
  • 如果事件间隔在变化：weibull distribution（比如飞机硬件故障率）