随笔分类 - Statistics
摘要：今天听课听到这样一个结论：如果假设检验的样本量很大，那么显著性水平α应该设得小一点。 为什么呢？我没想通，于是去网上试图查找答案。结果发现网上很多人还在纠结：如果假设检验的样本量很大，那么会使假设检验的结果非常容易产生显著性。这是不是真的？样本量太大是不是不好？ 我：？？？ 很久之前我就知道这种说法
阅读全文
摘要：z检验： 计算临界值：scipy.stats.norm.ppf(level_of_confidence) 计算p值：scipy.stats.norm.sf(abs(z_score)) 或 1-scipy.stats.norm.cdf(abs(z_score)) 左尾或右尾，双尾检验需在此基础上乘以2
阅读全文
摘要：以下是几种常见的离散型概率分布和连续型概率分布类型： 伯努利分布（Bernoulli Distribution）：常称为0-1分布，即它的随机变量只取值0或者1。 伯努利试验是单次随机试验，只有"成功"（1）或"失败"（0）这两种结果。假如某次伯努利实验成功的概率为p，失败的概率为q=1-p，那么实
阅读全文
摘要：概率（Probability）：事件发生的可能性的数值度量。 组合（Combination）：从n项中选取r项的组合数，不考虑排列顺序。组合计数法则：。 排列（Permutation）：从n项中选取r项的组合数，考虑排列顺序。排列计数法则：。 贝叶斯定理（Bayes's Theorem）：获取新信息
阅读全文
摘要：以下是常用的假设检验类型： 使用python进行各假设检验的代码请见下面链接： 单样本t检验，独立样本t检验，配对t检验，单因素方差分析，卡方分布检验，Levene's test，卡方独立性检验，卡方拟合优度检验：https://www.cnblogs.com/HuZihu/p/11442833.h
阅读全文
摘要：非参数检验（non-parametric test）：对总体分布形式没有要求，不比较总体参数，只比较总体分布的位置是否相同，也被称为无分布方法（distribution-free method）。相对于参数检验基本只能用于数值型数据的情况，非参数检验还可以用于类别型数据。 由于很多参数检验要求总体服
阅读全文
摘要：在《假设检验（Hypothesis Testing）》一文中，我们罗列了关于比较均值或方差的几种假设检验类型。除此之外，还有一种经常用到的检验类型，那就是比较比率（proportion）的假设检验。比如说，使用A方案的付费转化率为30%，使用B方案的付费转化率为34%，请问这两个转化率之间是否有显著
阅读全文
摘要：一份完整的假设检验报告应该包括以下内容： 1， 描述统计 对样本数据进行描述统计，报告平均值和标准差等。可以用文本和图表进行展示。 2， 推断统计 （1）假设检验 原假设，备择假设，检验类型，样本量，抽样分布类型，检验方向，显著性水平α，检验统计量的值，p值，结论 （2）置信区间 置信度，置信度对应
阅读全文
摘要：在《如何计算假设检验的功效（power）和效应量（effect size）？》一文中，我们讲述了如何根据显著性水平α，效应量和样本容量n，计算功效，以及如何根据显著性水平α，功效和样本容量n，计算效应量。但这两个应用都属于事后检验，也就是说，就算假设检验之后计算出的功效或效应量不理想，我们也没有办法
阅读全文
摘要：做完一个假设检验之后，如果结果具有统计显著性，那么还需要继续计算其效应量，如果结果不具有统计显著性，并且还需要继续进行决策的话，那么需要计算功效。 功效（power）：正确拒绝原假设的概率，记作1-β。 假设检验的功效受以下三个因素影响： 样本量 (n)：其他条件保持不变，样本量越大，功效就越大。
阅读全文
摘要：误区一：如果不能拒绝原假设，那么便接受原假设（错误） 在大多数假设检验的应用中（即显著性检验），虽然对发生第一类错误的概率进行了控制，但并没有控制第二类错误发生的概率。因此，如果样本数据不能拒绝原假设，我们决定接受原假设的话，其实并不能确定该决策有多大的可信度。因此，我们在叙述中通常用“无法拒绝原假
阅读全文
摘要：格利文科定理：每次从总体中随机抽取1个样本，这样抽取很多次后，样本的分布会趋近于总体分布。也可以理解为：从总体中抽取容量为n的样本，样本容量n越大，样本的分布越趋近于总体分布。 （注：总体数据需要独立同分布）
阅读全文
摘要：几种常见的假设检验总结如下： 假设检验名称 Z检验 t检验 χ2检验 F检验 原假设 H0: μ≥μ0 H0: μ≤μ0 H0: μ=μ0 （比较样本和总体均值） H0: μ1-μ2≥0 H0: μ1-μ2≤0 H0: μ1-μ2=0 （比较两样本均值） H0: μd≥0 H0: μd≤0 H0:
阅读全文
摘要：推断统计（Inferential Statistics）：利用样本信息对总体进行估计和假设检验。 总体（population）：在一个特定研究中所有感兴趣的个体组成的集合。 样本（sample）：总体的一个子集。 样本统计量（sample statistics）：样本数据的计算度量。 总体参数（po
阅读全文
摘要：大数定律：每次从总体中随机抽取1个样本，这样抽取很多次后，样本的均值会趋近于总体的期望。也可以理解为：从总体中抽取容量为n的样本，样本容量n越大，样本的均值越趋近于总体的期望。当样本容量极大时，样本均值 。 （注：总体数据需要独立同分布） 下图展示的是：每次从1，2，3当中随机选取一个数字，随着抽样
阅读全文
摘要：概率抽样方法： 1. 随机抽样（random sampling）：从有限总体中简单随机抽样或从无限总体中随机抽样。 具体实现方式：a. 抽签法；b. 随机数字法 2. 分层抽样（stratified sampling）：将总体单位按某种特征或某种规则划分为不同的层(Strata)， 然后从每一层中随
阅读全文
摘要：切比雪夫定理（Chebyshev's theorem）：适用于任何数据集，而不论数据的分布情况如何。 与平均数的距离在z个标准差之内的数值所占的比例至少为(1-1/z2)，其中z是大于1的任意实数。 至少75%的数据值与平均数的距离在z=2个标准差之内； 至少89%的数据值与平均数的距离在z=3个标
阅读全文
摘要：中心极限定理：每次从总体中抽取容量为n的简单随机样本，这样抽取很多次后，如果样本容量很大，样本均值的抽样分布近似服从正态分布（期望为 ，标准差为 ）。 （注：总体数据需独立同分布） 那么样本容量n应该达到多大时，才能应用中心极限定理呢？答：对于大多数应用，当样本容量大于等于30时就可以。（当总体分布
阅读全文
摘要：描述统计（Descriptive Statistics）：将数据的信息以表格， 图形或数值的形式进行汇总。 数据类型：分为定量数据（数值型数据）和定性数据（类别型数据）。数值型数据又可以分为连续型和离散型，类别型数据又可以分为有序型和无序型。 定性数据： 频数（frequency）：数据出现的次数。
阅读全文
摘要：假设检验的定义 假设检验：先对总体参数提出某种假设，然后利用样本数据判断假设是否成立。在逻辑上，假设检验采用了反证法，即先提出假设，再通过适当的统计学方法证明这个假设基本不可能是真的。（说“基本”是因为统计得出的结果来自于随机样本，结论不可能是绝对的，所以我们只能根据概率上的一些依据进行相关的判断。
阅读全文
