辛普森悖论
不要轻易相信统计得到的数据所推出的结论,要看其统计的方法,如果过于简单,就得注意了。假设学校的专业A与B总体的招生情况如下:
可以看到,录取率女生高很多,但分别看专业A与B的情况分别为:
由表可知,男生在两个专业上的录取率都高于女生,可是为什么总体的情况却相反,这是著名的“辛普森悖论”,简单点说,这是典型的单因素与多因素关系的例子。单因素的情况下,考虑的情况太少如只考虑性别对录取率的影响,有些情况下就能发生“辛普森悖论”,为什么要做多因素分析,除了性别还有单独的专业类别等,因为它能更好地帮助我们认清事物的本质,如“录取率到底更偏向谁?”这类问题,可以帮助我们排除混杂因素的干扰,透过现象认识本质,不被表面的数据结果所迷惑,抓住隐藏在其背后的真实的结论。
相应的例子还有,上图X变量与Y变量是负相关的,数据的整体分布是随着X的增加,Y减小。
如果做如下划分:
可以看到,X变量与Y变量在Group A与 Group B 中都是正相关的,是什么导致这样不同的结论?原因是数据之间存在着内在分组的特性,例如X变量表示户外锻炼时长(h),Y变量表示体格强健程度,如果分析整体的数据,会得到随着锻炼时长的增加,体格强健程度减小的结论;可是如果Group A表示年轻人的统计数据,Group B表示的是老年人的统计数据,结论就发生了变化,符合随着锻炼时长的增加,体格强健程度增加的常识。因此,不能囫囵吞枣式的把统计的数据一下子全部计算,得出X、Y是正相关或负相关的结论,应该考虑到数据的内在分组才有意义。在充斥着大数据的时代,切记大数据分析的基础还是统计分析,不要像盲人摸象似的做分析和解读,因为得出的结论可能就是类似“辛普森悖论”的结论。