信效度分析常见问题
调查问卷的应用领域非常广泛,不管是在市场调研还是学术研究中,调查问卷都是很好的收集信息的方式。在进行问卷研究时,特别是问卷中有非常多的量表题时,数据质量是基础保障,问卷研究中排在最前面的即为数据质量分析,通常包括信度和效度分析。
信度与效度:
信度分析用于测量样本回答结果是否可靠,即样本有没有真实作答量表类题项
效度用于测量题项(定量数据)设计是否合理
信度与效度二者的关系:
1.信度低,效度不可能高。因为如果测量的数据不准确,也并不能有效地说明所研究的对象
2.信度高,效度未必高。
信效度常见问题:
最好的情况当然是问卷内容的信效度都比较高,但是在实际研究中,常会出现“信度系数低”或者“效度不达标”的情况,以下是关于信度分析和效度分析的常见问题及解决方法,分享给大家做参考
1) 是否需要预测试?
预测试是使用小量数据(通常样本为100以内),对问卷质量进行判断,发现问题并且进行修正,以减少正式分析可能出现的问题。如果研究量表为英文直接翻译,也或者研究量表来源于多个文献,也或者对于研究量表并没有充足的依据,此三种情况时应该使用预测试,通过预测试发现研究量表潜在问题,并且进行修正处理(通常预测试不删除题项,仅修正题目)。
2) 预测试发现不达标,如何处理题项?
如果预测试发现相关指标不达标,比如信度不达标,也或者效度出现问题。应该找出导致问题产生的题项,并且对题项问法进行修正处理,通常情况下预测试不需要对题项进行删除,如果正式研究中依然发现题项有问题,则应该对其进行删除处理。预测试发现问题值得“庆幸”,减少正式分析时出问题的概率。
3) 信度系数小于0.6。
针对信度系数,其常见标准为大于0.6,实际研究中,由于某研究变量对应题项较少,并且样本数量较少时,即使样本真实回答,也可能出现信度系数低于0.6。最好的解决办法是提前预防,问卷设计时一个研究变量尽可能对应3个或者更多题项。如果正式研究时出现信度系数0.6的情况,则只能综合说明原因,并且证明信度不高但可以接受。
4) 信度系数为负数。
如果有反向题向,则可能出现信度系数小于0的情况,此时应该将反向题进行反向处理,并且重新进行信度分析。
5) 结构效度原理是什么?
最为常见的结构效度验证方法是探索性因子分析,使用探索性因子分析时,软件会输出题项与因子(维度或者研究变量)的对应关系,将软件输出对应关系,与专业预期对应关系进行比较,如果二者结果基本吻合,则说明具有结构效度。
6) 结构效度不达标。
结构效度不达标有多种类型,包括题项与因子对应关系出现问题,或者因子载荷系数过低,也或者因子输出个数与预期不一致等。处理办法为首先对不合理题项进行删除处理,包括题项对应关系出现严重偏差,或者因子载荷系数过低的题面进行处理。删除题项处理后,如果软件输出因子个数与预期依然不一致,此时应该强制设置软件输出因子数量,删除不合理题项,并且多次重复比较,找出最优探索性因子分析结果作为最终结果,并且论证得到良好的结构效度。
7) 效度分析提示“出错啦”或者“非正定矩阵”
进行效度分析时,提示“出错啦”,也或者提示“非正定矩阵”,通常原因如下:
1效度分析时,放错分析项(重要提示:效度分析仅仅是针对量表数据)
2数据质量过差。
3样本量过少,比如仅30个样本
4如果是问卷数据,SPSSAU用户请使用‘描述分析’检查,数据中是否有‘-2’,‘-3’之类的异常值(如果有,请先把数据下载,清除掉此类异常数据【直接替换为空】后再上传分析)
解决办法
1、如果是放错分析项,将非量表数据放入,则重新放置分析项即可
2、加大样本量,通常建议100以上的样本量
8) 因子载荷系数为负数。
如果题目中有反向题,则可能出现因子载荷系数小于0。因子载荷系数应该以绝对值作为标准进行解读,因而负数并不影响探索性因子分析结果。可以提前对反向题项进行反向处理。
9) 因子载荷系数小于0.4。
通常情况下因子载荷系数值如果小于0.4,则应该作删除处理。如果因子载荷系数小于0.4的题项删除后,会出现其它指标(比如信度)不达标的情况,也可以综合说明,最终对该题项进行保留处理。
10) 效度分析时,KMO值不存在
进行因子分析,如果有发现KMO值不存在(不输出),可能为以下几种情况:
1、因子分析时,放错分析项:因子分析仅仅是针对量表数据,并非把所有标题均放入
2、数据质量过差,建议可使用相关分析看下相关关系,如果相关系数值基本均小于0.3,则说明题项间关联性弱,也有可能出现KMO无法计算输出。
3、样本量过少
4、在进行探索性因子分析时,SPSS软件默认不输出KMO值,而在实际研究中通常需要输出此指标结果。在SPSS中的具体操作方法为:在探索性因子分析界面中单击“描述”按钮→勾选“KMO和Bartlett的球形检验”复选框。
解决办法
1、如果是放错分析项,将非量表数据放入,则重新放置分析项即可
2、加大样本量,通常建议100以上的样本量
11) 软件提示不收敛。
如果进行探索性因子分析时SPSS软件提示不收敛,处理办法为:探索性因子分析界面->点击“旋转”按钮->修改“最大收敛性迭代次数”值(默认为25)为更高值(比如200)。