效度不达标的处理方式

 

在进行问卷研究时，特别是问卷中有非常多的量表题时，量表设计是否合适，量表设置有效吗？如同信度一样，这是非常重要的问题。如果量表设计不合理，基于此量表的数据也会受到置疑。

接下来阐述效度分析（上一篇文章阐述信度分析），以及效度分析时的操作方法，如何解决出现的问题等。本书中使用的较多内容参考于“问卷数据分析-破解SPSS的六类分析思路”一书，以及使用网页版本在线spss软件spssau进行操作说明等。

 

效度分析，简单来说就是量表设计的有效性情况，其可分为三类，分别是：内容效度、结构效度和效标效度，建议研究人员使用内容效度和结构效度对问卷进行效度质量衡量。

 

(1) 内容效度。内容效度是指问卷题项对相关概念测量的适用性情况，简单来讲即题项设计合理性情况。内容效度可以从两个方面进行说明，第一是专家判断，专家具有权威性，因此专家对问卷进行判断并得出肯定结论后也即说明问卷具有有效性，此处专家是指行业内专家，或者参考文献，也或者权威来源等。第二为问卷前测结果，通过对问卷前测并结合结果进行题项的修正等工作以充分说明问卷的有效性。

在具体分析过程中，内容效度通常是指研究题项的设计是否具有参考文献出处，是否有经过老师(专家)的认可，以及是否得到同专业相关人员比如同学的认可等。以及研究人员是否对问卷进行修正工作，比如对问卷进行前测后发现问题，并做出修正工作。内容效度是通过文字性进行描述说明，而并非统计软件进行的统计方法，对于问卷研究来讲，基本上均需要进行内容效度说明。

(2) 结构效度。结构效度指测量题项与测量维度之间的对应关系，其测量方法有两种，一种是探索性因子分析，另外一种是验证性因子分析。探索性因子分析是当前使用最为广泛的结构效度测量方法，此方法可以使用SPSS客户端或者在线网页版SPSS SPSSAU实现。使用探索性因子分析进行效度验证时，应该以量表为准，对变量或者量表分别进行分析。

使用探索性因子分析进行效度验证时，首先需要对KMO值进行说明(最为简单的效度验证是直接对每个变量进行探索性因子分析，并且通过KMO值进行判断，勿需判断题项与因子对应关系情况等，此种判断方法过于简单，使用较少)，KMO值指标的常见标准是大于0.6，接着具体说明提取的因子数量，每个因子的方差解释率，总共方差解释率值，并且详细描述各个题项与因子的对应关系，如果对应关系与预期相符(专业知识预期一致)，则说明有着良好的结构效度。使用探索性因子分析进行效度验证时，很可能会涉及题项删除，删除掉对应关系与预期不一致的题项，或者删除掉因子载荷系数值较低的题项等。

验证性因子分析则需要使用AMOS或者LISREL等结构方程模型软件进行测量，其对问卷量表质量，以及样本量和样本质量均有着较高的要求，如果量表质量并非特别高，以及样本量较低(低于200)时，验证性因子分析进行结构效度测量很难达标，验证性因子分析不在本书讨论范畴。

正常情况下，针对量表数据的效度分析，均需要使用探索性因子分析进行效度的验证说明，并且配合内容效度进行综合分析。而验证性因子分析的使用，相对会非常少。

(3) 效标效度。如果以前有一份权威且标准的量表数据，现在依旧使用该量表进行研究，并且收集回来一份数据。以前权威标准数据作为标准，当前数据与前一份数据之间进行相关分析，如果说相关系数值较高，则说明效标效度良好。效标效度使用频数非常低，通常会出现在中学考试量表研究中，本文不详述。

 

关于效度分析的操作上，以网页在线版本SPSS软件SPSSAU为便，总共仅两个步骤，将分析项拖拽到右侧，设置维度个数，点击开始效度分析，即生成得到结果。

 

· 拖拽分析项到右侧：如果量表有20个题则同时放入20个题；【切记一定是量表题目】

· 设置维度个数：如果20个量表题对应4个维度则设置为4；【只有自己才知道应该分为几个维度】

点击分析得到结果如下，包括表格和智能分析。

 

SPSSAU生成的结果为规范表格，表格中包括有意义指标比如：KMO值，巴特球形检验，特征根，方差解释率值，累积方差解释率值，因子载荷系数值，共同度值。接下来一 一阐述。

· KMO值：如果此值高于0.8，则说明效度高；如果此值介于0.7~0.8之间，则说明效度较好；如果此值介于0.6~0.7，则说明效度可接受，如果此值小于0.6，说明效度不佳

· 巴特球形检验：其对应巴特球形值，对应P值一定需要小于0.05，这样才能说明通过巴特球形检验

· 特征根：此值是判断因子（维度）个数的标准的信息量，由于已经设置好因子（维度）个数，因而此值意义较小可忽略；

· 方差解释率值：代表各维度可解释整体量表的信息量；

· 累积方差解释率值：所有维度可解释整体量表的信息量；

· 因子载荷系数值：分析项与维度之间的相关关系情况；此值非常非常重要，可用于判断分析项与维度的对应关系情况，下述会有说明；

· 共同度值：分析项可以被提取出的信息量情况，比如为0.617，可以理解为该项有61.7%的信息可被最终提取出来。

接下来进行分析的详细阐述，首先说下SPSSAU默认提供的智能文字分析：

 

SPSSAU中的智能分析只能对基本指标的情况进行分析，但需要特别注意的一点，效度分析最关键也是最实质的分析点在于：分析项与因子(维度）的对应关系情况，如果对应关系情况良好，一切都迎刃而解，如果对应关系出现偏差，需要进行题项删除处理并且重复多次进行分析。

关于分析项与因子（维度）的对应有关系上，某分析项 对应因子载荷系数值绝对值大于0.4时，则认为该分析项 应该属于对应的因子（维度）；但会出现以下两种情况的问题：

1. 分析项与因子（维度）对应关系出错

2. 分析项与多个因子（维度）建立对应关系

此两种情况是最为常见也是最麻烦的两种问题，在下面会逐一阐述

 

效度不达标的情况有很多种，概括起来大概如下几类：

1. KMO值或者没有通过巴特球形检验

2. 分析项与因子（维度）对应关系出错

3. 分析项与多个因子（维度）建立对应关系

4. 分析项没有和任何因子（维度）建立对应关系

5. 1个因子仅对应1个分析项

6. 无论如何，因子（维度）与分析项间的对应关系情况，均与预期不符

上述五类情况的解决办法逐一说明如下：

· KMO值或者没有通过巴特球形检验

KMO值最容易达标，巴特球形检验也非常容易达标。如果仅2个量表分析项，那么KMO值一定为0.5，因而不遵从0.6以上的判断标准。如果KMO和巴特球形检验这两项均不达标，建议直接放弃结构效度，最基础的指标都不满足，实在太糟糕的数据，直接使用内容效度即可。

· 分析项与因子（维度）对应关系出错

对应关系出错，这称作‘张冠李戴’现象。出现这类情况，需要将对应关系出错的分析项删除掉，然后再次进行分析。而且一定需要尽早删除，对应关系出现偏差错误是无法接受的。

· 分析项与多个因子（维度）建立对应关系

一个分析项与多个因子（维度）有对应关系，此类情况称作‘纠缠不清’，如果此类现象不严重，可考虑暂不处理，在多次分析删除项后再看情况而定。一般不处理‘纠缠不清’现象也可以接受。

· 分析项没有和任何因子（维度）建立对应关系

一个分析项与任何因子都没有对应关系，该分析项没有任何存在的意义直接删除后再次进行分析。

· 1个因子仅对应1个分析项

如果1个因子仅对应1项，这是比较糟糕的，正常情况下，1个因子（维度）应该对应至少2项，出现此类情况，建议可直接将该项进行删除，然后在分析时描述说明清楚。

· 无论如何，因子（维度）与分析项间的对应关系情况，均与预期不符

有时候无论如何处理，分析项与因子（维度）对应关系均有问题，出现此类问题时，依旧是由于量表质量差所致，也有可能是样本量太少的缘故。可考虑将量表拆分成多个维度，分别进行多次因子分析，每次设置因子个数为1。

在进行效度分析时，如果说确实是量表且有参考依据，而且数据真实。但有两种情况是需要提前注意：

1. 不知道量表数据才能进行效度分析。这种情况最糟糕后续是无法进行分析的。

2. 量表数据自己乱设计，量表是相对规范的一种测量题项，需要有较强的参考文献，而且一个维度对应的量表要来自于同一个参考出处。