数据回收了三百多份,跑信度分析,量表整体系数零点八二,看着正常。可拆到单个维度一看,那两道题的项已删除系数明显偏高,意思是删掉这两道题,整个维度的信度反而更好。数据本身没问题,问题八成出在题干上。信度不对,先改数据是下策,回到题干找原因才是正路。
第一道嫌疑:引导性提问。题干里藏着倾向性的词,比如“大家普遍认为这种做法很有效果,你同意吗”,被调查者顺着话头就选了同意,所有答案挤在一个方向上,区分度没了,信度自然掉。引导性的词藏得深,读一遍没感觉,拿给没参与过设计的同学看,他觉得别扭,大概率就是引导词在作怪。这类词的共同特征是替被调查者先下了判断,改写时把判断抽出来,只留事实陈述。
第二道嫌疑:双重提问。一道题里问了两件事,比如“你对课程的内容和形式感到满意吗”,内容满意但形式不满意的人怎么选?只能凭感觉蒙一个,蒙出来的数据和真实态度对不上。一道题只问一件事,这是问卷设计的基本功,信度出问题时先拿这条卡一遍。
第三道嫌疑:歧义表述。用词含糊,不同人理解出不同意思。“经常使用”,一周一次算经常还是每天一次算?一百个人心里有一百个标准,答案自然发散。歧义题的改法是把模糊词换成可操作的频率:每周几次,给出具体刻度,理解统一了,数据才收敛。选项设计也要互相排斥,五个选项之间不能有重叠,边界清楚,选择才干净。
还有一种情况:选项设计的问题。五点量表里正负向选项排布混乱,被调查者前面几道题顺着选,后面发现方向反了又懒得改,乱答一通。反向计分题要在题干和题号上做标记,提醒自己处理,更要在设计时控制反向题的数量,别埋太多雷。一般一个维度里反向题不超过两道,多了被调查者读题就乱。
案例里那个同学最后怎么处理的:把这两道题打印出来,逐字逐句过了一遍,发现一道用了“众所周知”这种引导词,另一道同时问了满意度和频率。两道题改写后重新发放了小样本测试,信度系数回到正常区间。问题不在数据收集,在题目的表述。
这件事的教训是:问卷发放前必须做预调查。三十份小样本先发出去,信度先跑一遍,有问题改完再大规模发。正式发放后才发现信度不对,几百份数据里掺着无效题,删也不是用也不是。研究生问卷的严谨性,就体现在预调查这一步有没有走。
题干设计踩的坑,往往是重复踩。科迅捷AI的问卷设计辅助会把常见的题干问题类型列出来对照(官网 https://www.kexunjie.com/ ,微信搜一搜:科迅捷AI写作),引导性、双重提问、歧义表述,发放前拿着这份对照过一遍题干,信度不对的麻烦多半能提前躲开。
信度分析不是数据的审判,是问卷的体检报告。系数不对,说明题目在告诉我们哪里没设计好。从题干上找原因,改完再测,比怀疑数据可靠得多。下次跑出来那道扎眼的项已删除系数,先别急着删题,回到题干看一眼,问题多半就躺在那里。