超级糟糕的问卷效度,要如何调整?

做量表研究的人,或多或少都曾因为量表效度不达标困扰过,尤其在很多研究领域并没有特别权威的经典量表可以引用。使用自制的量表来研究,容易信效度不达标,那么如果遇到效度非常糟糕的情况时应该怎么办呢?

 

一、效度的标准

在解决效度低的这个问题之前,我们不妨一起来回顾下,判断效度达标的指标都有哪些。以使用探索性因子分析检验结构效度为例:

 

1KMO>0.6、通过巴特莱球形检验

 

SPSSAU效度分析中可自动输出KMO 和 Bartlett 的检验结果。

 

如果KMO值高于0.8,则说明效度高;如果此值介于0.7~0.8之间,则说明效度较好;如果此值介于0.6~0.7,则说明效度可接受,如果此值小于0.6,说明效度不佳(如果仅两个题;则KMO无论如何均为0.5)。

通过Bartlett 球形度检验意味着变量之间有一定的相关性,适合使用因子分析检验效度。

 

 

 

2)分析项归类清晰

 

结构效度分为两种:一种是使用探索性因子分析的方法;另一种是使用验证性因子性分析。其中探索性因子分析适合非经典量表使用。

 

比如说预期有5个维度,但是分析后得到3个公因子,可能就是某些分析项预期与实际分析时出现了偏差,这时可以适当删减不合理的分析项,当分析项与维度的划分与专业意义上的内在逻辑结构基本一致,此时则说明数据具有较好的效度。

 

通常分析项的在某个因子下的因子载荷系数绝对值>0.4,即认为该分析项可以归属于这个因子下。

 

 

 

 比如上表中的分析项d1,预期归属于因子5里,但实际在因子1里。此时就应该移出d1重新分析。

 

3)其他效度分析判断指标:共同度、相关系数矩阵等

 

如果变量相关性过高,可能会存在共线性问题,区分效度较低等问题;如果相关性太低,则说明变量之间的内在联系比较弱,不适合进行因子分析。通常共同度值>0.4即可。

共同度值可在效度分析结果中获得,相关系数矩阵可通过SPSSAU【通用方法--【相关】得到。

 

 

 

二、什么样的数据是糟糕的数据

①怎么都划分不清维度

②实际分析项归类与预期维度不同

③有很多共同度很低的题项

 

三、解决方案

 

①怎么都划分不清维度

建议每次放入一个维度的题项,移出共同度低的问题。重复以上操作,将每个维度分析一遍,确保每个维度内部没有太糟糕的题。然后再放入全部的题目,整体分析。这样就可以看到维度之间划分得是否清晰。

 

②实际分析项归类与预期维度不同

分析项归类与预期维度不同,是一个非常常见的问题。

 

  • 如果是采用经典量表,可以用验证性因子分析CFA代替探索性因子分析EFA检验量表效度。

CFA检验流程请参考:https://spssau.com/helps/questionnaire/cfa.html

 

  • 如果是自制量表,且有一定的理论支持。想保持量表维度划分不变。

建议每次放入一个维度的题项,移出共同度低的问题。重复所有维度操作一遍,确保每个维度内部没有太糟糕的题。然后再放入全部的题目,整体做一遍。这样就可以看到维度之间划分得是否清晰。

如果仍然无法解决建议可增加样本量,或重新收集数据修改量表内容。

 

  • 如果是自制量表,只是实现预测有几个维度且处于探索阶段。

如果结果的维度划分比较清晰,且符合专业知识认知,建议以分析结果为准,根据假设和结果,修正量表。

同样的样本数据,不同的分析思路,有可能出现结果不相同,但只要符合效度的思维概念即可。

 

③有很多共同度很低的题项

有很多共同度低的分析项,意味着分析项之间的关联性较低,通常这时候分析项归类也不好。

此时建议可以从共同度最低的分析项开始移出,依次分析直至删除所有共同度小于0.4的项,需要来回多次进行对比,找出最佳结果。

 

当然,最根本的改善效度的方法,还是要做好预调研工作,保证数据收集质量。设计量表时每个维度的题目最好有出处可寻。这样做才能为后续分析工作提供便利。

 

「更多内容登录SPSSAU官网了解」

posted @ 2020-11-27 10:47  spssau  阅读(8786)  评论(0编辑  收藏  举报