效度案例分析

一、案例说明

调查不同人群对于创业方面的想法,其中认为也许影响“创业可能性”分为“科技发展”,“社会资源”和“教育水平”共3个维度,其三个维度下的11个分析项都是量表题,以及创业可能性也是由2个量表题构成,案例数据中还包括基本个体特征比如性别、年龄等,数据样本为200个。此案例主要分析目的是研究测量题项设计是否合理,使用SPSSAU效度分析进行。首先对效度类型进行说明。

二、效度类型

效度分析在研究中非常常见,其用于分析‘测量项是否真实有效的测量自己希望测量的变量’,效度分析的研究方式有多种,通常包括内容效度,结构效度(SPSSAU探索性因子分析法)、聚合效度(SPSSAU验证性因子分析法)和区分效度。可见下表格:

(1)内容效度是指使用文字叙述形式对问卷的合理性、科学性进行说明,比如问卷中测量量表题有着严谨的参考依据,一般来说采用现有成熟的量表则说明内容效度较好。比如测量‘美丽’这个变量,用了三个量表题,分别是‘看起来很年轻’,‘看上去五官端正’,‘看上去心情很好’,这3个测量题是有着参考依据,也或者专家认为此3项确实可以测量‘美丽’这个关键变量,那么就说明具有内容效度。

(2)结构效度通常使用探索性因子分析(EFA)进行验证,即通过探索性因子分析对题项进行分析,如果输出结果显示题项与变量对应关系基本与预期一致,则说明结构效度良好。即在收集好数据后,让软件运行下,软件会运行出来‘变量’与‘测量项’之间的对应关系情况,而自己也有着‘变量’与‘测量项’之间的对应关系,如果说二者基本吻合,那么说明自己想的,与软件出来的结果基本一致,那么就说明结构上数据具有有效性,即具有结构效度。此种测量方式最为普遍,在实际研究中最常使用。当然很可能结果为‘变量’与‘测量项’之间的对应关系情况,与自己预期不一致,此时需要自行分析,通常是删除掉对应关系出错的‘测量项’,最终让余下的‘测量项’与‘变量’的对应关系,与预期保持一致。

(3)聚合效度强调本应该在同一因子下面的测量项,确实在同一因子下面。聚合效度是使用AVE开根号然后再与相关分析结果进行对比,除此之外还可以使用HTMT异质-单质比率法测量聚合效度,在SPSSAU中均有提供。

(4)区分效度强调本不应该在同一因子的测量项,确实不在同一因子下面。区分效度的具体测量方式是使用AVE值和相关分析结果对比等。

此案例分析使用结构效度首先判断测量项的对应关系,由于案例中有自变量与因变量,所以分析时将自变量和因变量分开进行分析因为本身自变量和因变量之间可能有关系,一般分开做。

三、效度难点(对应关系)

一般情况下,如果11项与3个因子之间的对应关系情况,与专业知识情况不符合,比如第一项被划分到了第一个因子下面,此时则说明可能Q1这项应该被删除处理,其出现了‘张冠李戴’现象。因而在进行分析时很可能会对部分不合理项进行删除处理。除此之外,也有可能会出现‘纠缠不清’现象。

  1. “张冠李戴”

一般情况下,如果11项与3个因子之间的对应关系情况,与专业知识情况不符合,比如Q1被划分到了第一个因子下面,此时则说明可能Q1这项应该被删除处理,其出现了‘张冠李戴’现象。出现“张冠李戴”的情况就需要进行删除处理,由于本案例没有出现“张冠李戴”的情况所以不用处理。

2.“纠缠不清”

除了“张冠李戴”现象,有时候会出现‘纠缠不清’现象,比如Q1可归属为因子1 ,同时也可归属到因子2,这种情况较为正常(称作‘纠缠不清’),需要结合实际情况处理即可,可将该项删除,也可不删除,由于本案例的自变量效度分析没有出现“纠缠不清”的情况,所以也不需要考虑。

对因变量进行分析与查看发现也不存在“张冠李戴”与“纠缠不清”的情况,所以均不需要处理。因子分析是一个多次重复的过程,比如删除某个或多个题项后,则需要重新再次分析进行对比选择等。最终目的在于:因子与分析项对应关系,与专业知识情况基本吻合。

四、结构效度分析

效度一般分析过程如下:

首先设置维度个数为5个数,并且接着把‘共同度’值较低(一般小于0.4或0.5)移除掉,‘共同度值’低意味着‘测量项’的信息没有被提取出来,说明根本不适合对‘测量项’进行测量;接着移除掉‘张冠李戴’的项,似情况而定,一般一次移除尽量少的‘测量项’;重复第2步和第3步操作,直到最终‘测量项’与‘变量’之间的对应关系情况与预期符合。由于模型没有“张冠李戴”情况所以不需要处理,首先设置维度如下(SPSSAU问卷研究中的效度):

由于案例中分为自变量和因变量,所以分析时将自变量和因变量分开进行分析因为本身自变量和因变量之间可能有关系一般分开做。

1.自变量

使用KMO 和 Bartlett 检验进行效度验证,从上表可以看出:KMO值为0.809,KMO值大于0.8,研究数据非常适合提取信息(从侧面反应出效度很好)。

效度研究用于分析研究项是否合理,有意义,效度分析使用因子分析这种数据分析方法进行研究,分别通过KMO值,共同度,方差解释率值,因子载荷系数值等指标进行综合分析,以验证出数据的效度水平情况。KMO值用于判断信息提取的适合程度,共同度值用于排除不合理研究项,方差解释率值用于说明信息提取水平,因子载荷系数用于衡量因子(维度)和题项对应关系,从上表可知:所有研究项对应的共同度值均高于0.4,说明研究项信息可以被有效的提取。另外,KMO值为0.809,大于0.6,数据可以被有效提取信息。另外,3个因子的方差解释率值分别是25.041%,23.627%,21.097%,旋转后累积方差解释率为69.765%>50%。意味着研究项的信息量可以有效的提取出来。最后,请结合因子载荷系数,去确认因子(维度)和研究项对应关系,是否与预期相符,如果相符则说明具有效度,反之则需要重新进行调整。因子载荷系数绝对值大于0.4时即说明选项和因子有对应关系。

2.因变量

使用KMO 和 Bartlett 检验进行效度验证,从上表可以看出:研究项仅为2项,因而KMO值无论如何均为0.5,不能根据KMO值测量效度。

效度研究用于分析研究项是否合理,有意义,效度分析使用因子分析这种数据分析方法进行研究,分别通过KMO值,共同度,方差解释率值,因子载荷系数值等指标进行综合分析,以验证出数据的效度水平情况。KMO值用于判断信息提取的适合程度,共同度值用于排除不合理研究项,方差解释率值用于说明信息提取水平,因子载荷系数用于衡量因子(维度)和题项对应关系,从上表可知:所有研究项对应的共同度值均高于0.4,说明研究项信息可以被有效的提取。另外,当前仅2个研究项,因而KMO值为0.5。另外,1个因子的方差解释率值分别是75.056%,旋转后累积方差解释率为75.056%>50%。意味着研究项的信息量可以有效的提取出来。最后,请结合因子载荷系数,去确认因子(维度)和研究项对应关系,是否与预期相符,如果相符则说明具有效度,反之则需要重新进行调整。因子载荷系数绝对值大于0.4时即说明选项和因子有对应关系。

五、其它

上述对于结构效度分析发现效度良好,如果想要深入分析,可以继续进行聚合效度和区分效度的分析,接下来我们对测量项进行聚合效度、区分效度的查看(可不做,此处只做案例参考)与进一步处理对分析项进行命名。

1.深入分析

(1)聚合效度

利用SPSSAU问卷研究中的验证性因子分析,将分析项拖拽到右侧分析框中,将一个维度的量表题拖拽到一个Factor中,点击开始分析:

聚合效度一般查看验证性因子分析的AVE和CR指标结果如下:

本次针对共4个因子,以及13个分析项进行验证性因子分析(CFA)分析。从上表可知,共4个因子对应的AVE值全部均大于0.5,且CR值全部均高于0.7,意味着本次分析数据具有良好的聚合(收敛)效度。

(2)区分效度

针对区分效度进行分析,针对Factor1,其AVE平方根值为0.770,大于因子间相关系数绝对值的最大值0.441,意味着其具有良好的区分效度。针对Factor2,其AVE平方根值为0.800,大于因子间相关系数绝对值的最大值0.441,意味着其具有良好的区分效度。针对Factor3,其AVE平方根值为0.728,大于因子间相关系数绝对值的最大值0.336,意味着其具有良好的区分效度。针对Factor4,其AVE平方根值为0.791,大于因子间相关系数绝对值的最大值0.232,意味着其具有良好的区分效度。

2.进一步处理

将自变量与因变量分别分析总结后,根据对应关系将变量进行命名,由于都是量表题大部分使用平均值法,其它分析项如果不是量表题想要合成一个维度可以使用因子得分等。

由于问卷中多个量表表示一个问题所以将量表合成一个维度进行分析:

例如“我意识到科技发展对于创业的好处”、“我认为科技发展使得创业更加容易”、“我认为网络创业在中国会成为一种趋势”以及“将来我可能会以科技行业作为创业起点”,四个量表题可以表示“科技发展”利用SPSSAU数据处理中的生成变量就可以完成,如图所示:

“我认为社会关系对于创业是非常重要”、“拥有好的社会关系可以帮助创业人成就一番事业” 以及“没有好的社会关系会影响创业活动的成功”,三个量表题可以表示“社会资源”如图所示:

其它变量也是如此。最后可以命名为“科技发展”、“社会资源”、“教育水平”以及“创业可能性”四个大维度,对于分析调整后的分析项也可以进行信度分析,一般步骤是进行效度分析后进行信度分析,原因在于效度分析可能会涉及删除分析项等。

六、总结

研究该问卷中测量题项设计是否合理,使用SPSSAU效度分析进行。首先对效度类型进行说明其中包括内容效度,结构效度、聚合效度和区分效度。案例分析主要使用结构效度进行分析,首先对效度难点进行说明,由于案例中有自变量与因变量,所以分析时将自变量和因变量分开进行分析,对于结构效度结果进行分析说明,分析后对分析项进行深入分析(包括聚合效度和区分效度)以及进一步处理,此次分析结束。


更多干货请登录SPSSAU官方网站查看。

posted @ 2022-07-01 11:24  spssau  阅读(651)  评论(0编辑  收藏  举报