关于信度分析的多种方法
一、利用SPSSAU做信度分析
1.信度分析位置
以SPSSAU为例,信度分析的位置在【问卷研究】→【信度】
图 1:信度分析位置2.数据格式
信度一般针对量表题进行分析,数据格式常见是一个量表题为一列,举例如下:
图 2:信度分析数据格式二、信度类型
上述内容已经了解到‘利用SPSSAU做信度分析’,那么信度有几种类型呢?是如何划分的?一般信度分析可以分为两个类型一个是内部一致性信度,另一个为外部一致性信度,内部一致性信度包括:克伦巴赫系数、折半信度系数、theta信度系数、McDonald omega信度系数。外部一致性信度包括复本信度和重测法检验信度。接下来进行说明。
1.部一致性信度
图 3:内部一致性信度1.克伦巴赫信度系数
克伦巴赫信度系数计算公式:
公式说明:
N:测量个数(即放入SPSSAU的分析项个数)
Si2 表示第i项的数据变异。
ΣSi2表示各项数据变异求和。
S2表示数据求和后的总变异。
说明:
从公式可以看出,测量项个数会对克伦巴赫信度系数产生影响关系,分析项个数越多时,Cron克伦巴赫信度系数可能会越高。测量项个数最少为2个,此时信度系数相对可能会最低。
2.折半信度系数
折半系数涉及到Spearman-Brown系数和Guttman Split-Half系数。其中Spearman-Brown系数又分为等长和不等长两种计算。分别说明如下:
Spearman-Brown等长:
其中R代表拆分成两部分数据(先将数据拆分成两部分,然后分别求和,分别得到两列数据)的相关系数值。
Spearman-Brown不等长:
上公式中R为两部分数据的相关系数,k1和k2分别代表两部分数据分别的分析项个数,k=k1+k2。
Guttman Split-Half:
与此同时,SPSSAU还有提供Guttman Split-Half 系数,其也可用于测量信度。计算公式如下:上式中,Sp 表示整体求和部分的方差;Sp12 和Sp22 分别代表第1部分,第2部分方差。
3.theta信度系数
上式中N为分析项个数,λ为最大特征根值。从上式可以看到,当分析项个数越多时,theta信度系数很可能会越大,而且最大特征根越大,theta信度系数值也会越大。
4.McDonald omega信度系数
McDonald's ω=(∑ loading )2(∑ loading )2+∑ uniqueness
上式中loading为载荷系数值,uniqueness为1-loading^2。从上式可知,loading值整体绝对值越大时,McDonald's ω信度系数值也会越高。
2.外部一致性信度
(1)复本信度
复本信度是指设计两份或多份功能一致内容不同的问卷,对同一批样本进行测试,并两次结果的相关性。复本信度多用于教育学测验效果的信度考察,在一般量表中很少使用。
操作方法:分别计算两个复本各个维度(或整体)得分,使用pearson相关分析,考察两个量表的相关性。
判断标准:相关系数越大,代表相关性越高,信度越高。
(2)重测法检验信度
重测信度是指在不同时间,对同一批样本进行两次相同内容的问卷测量,并两次结果的相关性。
操作方法:和复本信度方法一致。分别计算两个复本各个维度(或整体)得分,使用pearson相关分析,考察两个量表的相关性。
三、克伦巴赫信度分析指标
针对信度的两种类型,我们已经了解,在分析中内部一致性信度的克伦巴赫系数比较常用,所以我们以克伦巴赫信度进行分析相关指标。
背景:当前有一份数据,共涉及A1~A4,B1~B4,C1~C3,D1~D3共14个量表题,此14个题目共分为4个维度,分别称作A,B,C和D维度。现希望对此份数据信度度情况进行分析,以验证数据质量可靠。由于是分4个维度所以需要分析4次。先对A维度涉及A1~A4,进行分析,结果如下:
如果CITC值低于0.3,可考虑将该项进行删除;如果“项已删除的α系数”值明显高于α系数,此时可考虑对将该项进行删除后重新分析。针对CITC值和项已删除的α系数一般用于预测试中。接着分析α系数,如果此值高于0.8,则说明信度高;如果此值介于0.7~0.8之间,则说明信度较好;如果此值介于0.6~0.7,则说明信度可接受;如果此值小于0.6,说明信度不佳;从上表可以看出α系数为0.859大于0.8,所以信度高,
补充说明:
标准化Cronbach α系数值和Cronbach α系数值的功能一样,判断标准也完全一样,一般使用很少,直接使用Cronbach α系数值进行分析信度即可。
其它三个维度也是这样分析,最后汇总分析结果如下:
从上表可以看出,A,B,C,D四个维度的α系数值均高于0.7,最小是D维度的信度系数为0.770,所以说明本次数据的信度质量水平较好,研究数据真实可靠。
四、疑难解惑
针对其它信度分析方法大家可以利用SPSSAU进行尝试,因为克伦巴赫系数比较常用,一般以为只有这种信度分析方法,实际上还有很多测量信度的方法,只是这种方法最方便,可操作性强。最后对信度分析存在的难点进行说明,其中包括‘非量表数据怎么进行数据分析’以及‘信度不达标的解决方案’。
1.非量表数据怎么进行数据分析
量表是指类似于“非常不满意,不满意,非常满意”这样的题项,第1个选项用1分表示,第2个选项用2分表示,依次下去,分值越大代表越满意,或者越不满意。只有量表题才能进行信度分析(以及效度分析)。
信度分析是研究数据质量是否可靠的一种研究方法,如果是非量表题,则没有办法使用研究方法进行分析,只能使用文字形式进行描述,以证明数据质量可信可靠,建议按以下几点分别说明。
第一:用文字描述数据收集的过程,比如纸质收集,网络收集等;
第二:用文字描述样本有效性,比如收集样本是否满足研究需要,收集的样本人群为有效样本群体等,比如研究大学生网购行为,收集样本人群一定需要为大学生等;
第三:用文字描述数据中无效样本的处理过程,比如使用SPSSAU的无效样本功能,将选择同一个答案超过70%的样本设置为无效样本等;
第四:其它可用于论证数据质量有保障的说明等。
2.信度不达标的解决方案
(1)检查数据是否为量表数据
如果做信度分析,那么首先需要满足其前提条件。一般是量表数据才能做信度分析,如果不是量表题,那么正常情况下都不会达标的,而且最关键的是非量表数据不能进行信度分析。
(2)检查样本量
有时样本量也有着至关重要的地位,比如从Cronbach信度分析的公式上可知,信度分析指标Cronbach值与样本量有着密切的关系。同时其还与分析项的个数有着密切的关系。
一般情况下,样本量希望是量表题的5倍,严格最好是10倍以上。比如有20个量表题,那么至少需要100个样本以上。否则很难得到较好的信度结果。
如果是样本量不足,除了加大样本量收集,或者减少分析项。但实际研究中通常量表是固定的,因此加大样本量是首要之选。但是并不是题越多越好,题越多时样本量要求也会越高,做到适合最重要。
(3)检查是否存在无效样本
很多时候我们都容易忽略掉无效样本这一处理过程,每次收集的数据都很难满足样本真实认真的回答,因此无效样本处理是重要的一个步骤,把无效样本处理掉后,通常会让信度指标提升。
(4)是否存在反向题
如果出现信度不达标,尤其是当信度系数值小于0时,很可能是由于反向题导致。此时只需要使用SPSSAU数据处理→数据编码功能反向处理即可。
(5)删除不合理项
在进行Cronbach信度分析时,有时候SPSSAU智能分析会提示建议删除某分析项。有可能某个分析项对信度是负作用,那么可考虑将该指标移除出去,相当于直接删除掉某个分析项。这也是常用的信度处理方式。
(6)提前预测试
其实当信度出现问题时,首先需要找到原因,比如非量表题不能做信度而应该用文字描述说明,比如针对反向题需要提前处理,也或者数据质量差一般需要提前做无效样本处理。真正可使用的其它技巧性解决办法只包括以更高的指标为单位进行,删除不合理项等几种。
如果还是不达标,那么说明数据确实不可靠。这种情况是比较糟糕的,因为数据收集回来不可靠意味着完全没用。因此提前做好预防是一种更科学的做法,提前收集小量数据,比如50个数据做下预测试,提前发现问题然后进行处理,这样才能保证正式数据不会出现任何问题。
除此之外,还有一些需要注意的点,比如样本量需要是量表题的5倍以上,同时分析信度时的分析项个数最好在4~7个等。