信度不达标的处理方式
在进行问卷研究时,特别是问卷中有非常多的量表题时,数据质量是基础保障,问卷研究中排在最前面的即为数据质量分析,通常包括信度和效度分析。本身进行信度或者效度分析并非难事,但最难的事情在于如果信度或者效度不达标应该如何处理。
接下来慢慢阐述信度分析(下一篇文章阐述效度分析),以及信度分析时的处理方法,如何解决出现的问题等。本书中使用的较多内容参考于“问卷数据分析-破解SPSS的六类分析思路”一书,以及使用网页版本在线spss软件spssau进行操作说明等。
信度分析,即研究样本数据是否真实可靠,通俗来讲即研究样本是否真实回答各个题项。如果样本没有真实回答,信度肯定不达标,而有时即使样本真实回答,信度也不一定达标。信度分析可以分为四类,分别是:α信度系数、折半信度、复本信度和重测信度。
(1) α信度系数,即内部一致性系数。此类信度分析最为常见,基本上所有问卷信度分析均会使用此类分析。通过软件计算出α信度系数值,并且用其进行信度水平判断。进行此分析前,首先需要对反向题进行反向操作,并且α信度系数的测量通常以最小的维度为准,而非大维度。
一般来讲:α系数最好在0.8以上,0.7~0.8之间属于可以接受范围,而分量表的α信度系数希望在0.7以上, 0.6~0.7之间可以接受。如果α信度系数低于0.6则考虑修改量表。从α信度系数计算公式来看,维度对应的题项越多,以及样本量越多时,此值会越大。从笔者经验来看,如果某个维度仅由三个或者两个题项组成,并且样本量在200以下时,那么α信度系数通常会较小(低于0.6)。1个题项表达的维度无法进行α信度系数计算。
α信度系数是问卷信度分析中最为常见的分析方法,绝大多数时候使用α信度系数进行信度测量即可,笔者建议使用α信度系数进行问卷信度测量,问卷前测也类似,但问卷前测时会结合CITC和删除某项后的信度系数值进行判断是否修正或者删除题项,通常来讲,CITC值低于0.4,或者删除某项后的信度系数值反而上升0.1左右时应该考虑对题项进行修正或者删除处理。
特别提示:α信度系数(内部一致性系数)是最为常见的信度测量方法。
(2) 折半信度。折半信度是将维度对应的题项按照单双号分成两组,通过计算两组题项间的相关系数,进而再通过公式计算得到折半信度系数值,并且进行衡量信度质量。心理学、教育学类经典量表常使用此类方法进行信度质量衡量。判断标准可参考α信度系数的衡量标准。此类分析方法较为少见。
(3) 复本信度。复本信度是同样一组样本,一次性回答两份问卷,比如同样一组学生连续做两份同样难度水平的试卷。然后通过计算两份样本相关系数,从而进行信度质量衡量,由于实际操作过程中有诸多客观条件限制,此类分析方法较为少见。
(4) 重测信度。重测信度指同样的样本,在不同的时间点回答同样一份问卷。继而计算两份数据的相关系数,并且通过相关系数去衡量信度质量。重测信度可以评估时间差异带来的误差,但实际操作中有诸多不便,因而此类分析使用较少。
上述四种信度方法,正常情况下是使用第一种研究,第二,第三和第四种信度研究方法非常少见,使用场景上通常为实验式或者非常复杂的研究中会使用到。第一种信度即α信度系数的测量最为常见。以网页版本spssau软件为例,将同一维度对应的题项拖拽到右侧即可。特别提示下,信度分析是以维度为单位进行分析,一个维度一定需要对应多个题项才可以,一个题项无法做信度分析。以spssau为例,共1个维度叫做‘课程质量’对应3项,进行操作如下:
点击分析得到结果如下,包括表格和智能分析。
1.表格中共包括三列,分别是CITC值,删除项后的信度系数值,整体信度系数值。事实上,我们进行信度分析时,更关注于整体信度系数值。首先分析α系数,如果此值高于0.8,则说明信度高;如果此值介于0.7~0.8之间;则说明信度较好;如果此值介于0.6~0.7;则说明信度可接受;如果此值小于0.6;说明信度不佳;
2.如果说有发现整体信度系数值不达标,此时此应该关注于CITC和删除项后信度系数值这两个指标。如果CITC值低于0.3;可考虑将该项进行删除;如果“项已删除的α系数”值明显高于α系数,此时可考虑对将该项进行删除后重新分析。删除相关项后再次进行分析即可。直至信度系数高于0.6,当然这一过程在spssau中也可以直接智能化,可参考使用。
信度分析的操作非常简单,但当数据出现问题之后如何处理,这才是关键。书籍中将解的内容都以高质量数据作为案例,但现实中数据质量通常会‘出乎意料’。
本文总结出信度不达标的几种情况,以及对应的处理办法。
1.整体α信度信度系数值小于0;
2.整体α信度信度系数值介于0~0.5之间;
3.整体α信度信度系数值介于0.5~0.6之间。
接着对应讲解三种情况的处理办法:
1.如果说α信度信度系数值小于0,请查看是否有反向题。何为反向题?比如有5个题表示1个维度;其中4个题数字越大说明越喜欢运动,另外1个题数字越大说明越不喜欢运动,那么此项即为反向题。需要先进行数据编码,反向处理后,使用反向处理后的数据进行信度分析。
2.整体α信度系数值介于0~0.5之间时,此时说明信度有点'不可救药',出现此类情况通常原因有3种。一是用错方法,信度分析只针对量表题,但非量表题都放进去分析;二是问卷设计质量太糟糕,量表题的设计随心所欲完全不带一点参考;三是样本量少(比如小于50)并且一个维度仅对应2个题项,样本少信度系数值相对会较低。无论是那种情况,解决流程均是:结合CITC值和项已删除后的信度系数值,先删除掉很糟糕项,然后再接着依次循环,直至信度系数可接受可止。
3.整体α信度系数值介于0.5~0.6之间。如果说分析项仅2个,此时只能接受这种事实。如果分析项为3个或者更多,此时则需要结合CITC值进行处理,删除掉CITC值小于0.3的项后再次进行分析,以及结合’项已删除后的信度系数值‘这个指标进行删除分析项。如果说分析项仅为2个,此时没有其它办法,要么接受要么直接放弃掉该维度。
在进行信度分析时,如果说确实是量表项,而且数据真实,事实上很少会再现问题。但有两种情况是需要提前注意:
1.不知道量表数据才能进行信度分析。这种情况最糟糕后续是无法进行分析的。即不能使用研究方法使用客观数据指标描述清楚信度情况,可以考虑使用文字描述数据的收集过程和收集方式等,以证明数据真实可靠,即信度可靠。
2.量表数据自己乱设计,量表是相对规范的一种测量题项,需要有较强的参考文献,而且一个维度对应的量表要来自于同一个参考出处。