第五节 无序分类变量的比较：卡方检验
import statsmodels.stats.contingency_tables as tb # 卡方检验，不同家庭收入级别在轿车拥有率上是否有区别 table = tb.Table(pd.crosstab(ccss.Ts9, ccss.O1)) table
<statsmodels.stats.contingency_tables.Table at 0x1df819bc5c0>
table.table_orig
| O1 | 有 | 没有 |
|---|---|---|
| Ts9 | ||
| Below 48,000 | 32 | 303 |
| Over 48,000 | 225 | 429 |
table.fittedvalues
| O1 | 有 | 没有 |
|---|---|---|
| Ts9 | ||
| Below 48,000 | 87.052578 | 247.947422 |
| Over 48,000 | 169.947422 | 484.052578 |
table.resid_pearson
| O1 | 有 | 没有 |
|---|---|---|
| Ts9 | ||
| Below 48,000 | -5.900473 | 3.496213 |
| Over 48,000 | 4.222993 | -2.502254 |
table.chi2_contribs
| O1 | 有 | 没有 |
|---|---|---|
| Ts9 | ||
| Below 48,000 | 34.815584 | 12.223504 |
| Over 48,000 | 17.833671 | 6.261275 |
table.marginal_probabilities
(Ts9 Below 48,000 0.338726 Over 48,000 0.661274 dtype: float64, O1 有 0.259858 没有 0.740142 dtype: float64)
res = table.test_nominal_association()
res.statistic # 卡方统计量
71.13403472094657
res.df # 自由度
1
res.pvalue # p值
0.0
# 不同城市的轿车拥有比率是否相同 table2 = tb.Table(pd.crosstab(ccss.s0, ccss.O1)) table2.table_orig
| O1 | 有 | 没有 |
|---|---|---|
| s0 | ||
| 上海 | 87 | 300 |
| 北京 | 118 | 258 |
| 广州 | 107 | 274 |
res2 = table2.test_nominal_association() print(res2.statistic, res2.df, res2.pvalue) # 拒绝了原假设不同城市轿车拥有比率无差异的情况
7.80961277431242 2 0.02014485441628988
table2.local_oddsratios
| O1 | 有 | 没有 |
|---|---|---|
| s0 | ||
| 上海 | 0.634068 | NaN |
| 北京 | 1.171195 | NaN |
| 广州 | NaN | NaN |
table2.cumulative_oddsratios
| O1 | 有 | 没有 |
|---|---|---|
| s0 | ||
| 上海 | 0.685689 | NaN |
| 北京 | 0.940776 | NaN |
| 广州 | NaN | NaN |
# 配对卡方检验 import statsmodels.stats.contingency_tables as tbl table3 = tbl.mcnemar(pd.DataFrame([[56, 35], [21, 28]])) table3.pvalue
0.08142681460950622
tbl.SquareTable(pd.DataFrame([[5, 35], [21, 2]])).summary()
| Statistic | P-value | DF | |
|---|---|---|---|
| Symmetry | 3.500 | 0.061 | 1 |
| Homogeneity | 3.500 | 0.061 | 1 |
# 分层卡方检验 rawtb = pd.crosstab([ccss.s0, ccss.Ts9], ccss.O1) rawtb
| O1 | 有 | 没有 | |
|---|---|---|---|
| s0 | Ts9 | ||
| 上海 | Below 48,000 | 4 | 103 |
| Over 48,000 | 70 | 160 | |
| 北京 | Below 48,000 | 9 | 93 |
| Over 48,000 | 83 | 134 | |
| 广州 | Below 48,000 | 19 | 107 |
| Over 48,000 | 72 | 135 |
pd.crosstab([ccss.s0, ccss.Ts9], ccss.O1, normalize=0)
| O1 | 有 | 没有 | |
|---|---|---|---|
| s0 | Ts9 | ||
| 上海 | Below 48,000 | 0.037383 | 0.962617 |
| Over 48,000 | 0.304348 | 0.695652 | |
| 北京 | Below 48,000 | 0.088235 | 0.911765 |
| Over 48,000 | 0.382488 | 0.617512 | |
| 广州 | Below 48,000 | 0.150794 | 0.849206 |
| Over 48,000 | 0.347826 | 0.652174 |
table4 = tbl.StratifiedTable([rawtb[:2], rawtb[2:4], rawtb[4:]] ) table4.summary() # Test constant OR先查看层和层之间的关联强度是否是不变的，如果不同，不能进行合并，这边显然p值拒绝了关联强度相同的结论，如果关联结论相同则再看Test of OR行列变量有无关联
| Estimate | LCB | UCB | |
|---|---|---|---|
| Pooled odds | 0.195 | 0.130 | 0.292 |
| Pooled log odds | -1.636 | -2.040 | -1.232 |
| Pooled risk ratio | 0.272 | ||
| Statistic | P-value | ||
| Test of OR=1 | 72.178 | 0.000 | |
| Test constant OR | 6.165 | 0.046 | |
| Number of tables | 3 | ||
| Min n | 319 | ||
| Max n | 337 | ||
| Avg n | 330 | ||
| Total n | 989 |
from statsmodels.stats import proportion as sp sp.proportion_confint(5, 10) # 使用近似正态计算95%置信区间
(0.19010248384771916, 0.8098975161522808)
sp.proportion_confint(5, 10, method='binom_test') # 使用精确计算概率值
(0.2224411010081248, 0.7775588989918751)
sp.multinomial_proportions_confint([5, 5])
array([[0.21086627, 0.78913373],
[0.21086627, 0.78913373]])
sp.proportions_ztest(30, 100, 0.2) # 总次数100，成功30次，是否偏离总体率0.2
(2.182178902359923, 0.029096331741252257)
sp.proportions_ztest([30, 25], [100, 200], 0) # a组100例成功30例，b组200例成功25例，0是指定的两总体率的差异
(3.692744729379982, 0.00022184668066321168)
