1
安徽医科大学护理学院 胡燕
安徽医科大学护理学院
2
§1 信度
•信度:指采用同一研究工具重复测量某一研究对象时,其所得结果的一致程度。 •指测量结果的一贯性、一致性、再现性和稳定性,即测量工具能否稳定地测量所测的事物或变量。 •信度是个相对的概念,并非绝对的有或无,而是
一个程度上或多或少的问题。
安徽医科大学护理学院
3
§1 信度
•稳定性:重测信度
•内在一致性:分半信度、克朗巴赫系数 •等同性:评定者间信度、复本信度
安徽医科大学护理学院
4
信度的测评—稳定性
•稳定性的测定-重测信度
–稳定性指使用同一工具两次或多次测定同一研究对象,所得结果的一致程度。 –一般用重测信度来表示
–是用同一测量工具在不同的时间对同一受试者前后测量两次,然后计算两次测量分数的相关系数,相关系数越大说明两次测量的一致性越高。
–重测信度即重测相关系数
–具体做法:样本总数的1/10作为重测对象
安徽医科大学护理学院
复杂电磁环境
5 •稳定性的测定-重测信度
•重测信度的测量可以应用与自评研究、观察法研究、心理测量等多领域。 •局限性:
–测量时间的间隔
–测量变量的性质:性质相对稳定的变量 –保证测量环境的一致
信度的测评—稳定性
6
信度的测评—稳定性
安徽医科大学护理学院
7
•内在一致性
–组成研究工具的各项目之间的同质性或内在相关性,也就是对研究工具的各项目之间的关系进行评定。
•相关性越大 •同质性越好
•测量同一问题或指标
→ 信度越高
信度的测评—内在一致性
安徽医科大学护理学院
8
•内在一致性-折半信度或分半信度
•只用一个测量工具对同一受试者实施一次测量,但将奇数题和偶数题分开计分,再计算奇数试题和偶数试题分数之间的相关系数。 •前后折半、奇偶折半 •局限性
–不同的折半方法会获得不同的信度值 –不能说明所有项目间的平均相关程度
信度的测评—内在一致性
9 •内在一致性-折半信度或分半信度
信度的测评—内在一致性
梁宸 飞机
10
•内在一致性-克朗巴赫系数/(KR-20)
–计算所有项目之间的平均相关程度
信度的测评—内在一致性
11
•内在一致性-克朗巴赫系数/(KR-20)
信度的测评—内在一致性
安徽医科大学护理学院
12
信度的测评—内在一致性
安徽医科大学护理学院
13
•等同性-评定者间信度
•主要应用于观察性研究,因为观察误差的存在,所以需要计算评定者间信度。 •测定方法:
–两个或更多的经过培训的评定者,应用同一测量工具观察记录同一个事件
–同一评定者在不同时间观察和记录同一事件 –一致的数量/(一致的数量+不一致的数量)
信度的测评—等同性
安徽医科大学护理学院
14
•等同性-复本信度
•两个大致相同的研究工具同时施测于同一研究对象时结果一致性的程度。 •测量方法
–设计两份研究问卷,每份使用不同的项目,然后测量同一对象后计算复本信度。
信度的测评—等同性
安徽医科大学护理学院
15
影响研究工具信度的因素
•影响研究工具信度的因素
–测量项目的数量 –研究对象的同质性 –间隔时间 –观察者的影响
•报告信度的注意事项
–数值及计算方法
–成熟工具需报告他人和本研究的信度分别是多少 –一般认为相关系数高于0.7时工具的信度较理想
安徽医科大学护理学院
16
§2 效度
•效度:某一研究工具能真正反映其所期望研究概念的程度,是测量的准确性和有效性的指标。
–表面效度 –内容效度 –效标关联效度 –结构效度
安徽医科大学护理学院
17
§2 效度-表面效度
•表面效度(face validity):指测量内容或测量指标与测量目标之间的适合性和逻辑相符性。 •是由评估
人根据自己对所要测量概念的理解,尽其判断能力之所及来断定工具是否适当而做出的一种直觉判断。表面效度一般不能作为工具质量的有力证据。
•表面效度是最浅层次上的效度,它指的是从表现上看起来,测验题目是否与测验目的一致。
安徽医科大学护理学院
18
•内容效度(content validity) :
–是根据理论基础及实际经验来对工具是否包括足够的项目而且有恰当的内容比例分配所做出的判断。
–一个问卷或量表实际测到的内容与所要测量的内容之间的吻合程度。
–内容效度需建立在大量文献查阅、工作经验以及综合分析判断的基础上,多由有关专家来评议。
•一般由专家评议,至少需5位专家较为合适 •打分、填写建议→修改→再评议直至达到标准
§2 效度-内容效度
安徽医科大学护理学院
19
•提高内容效度的两个阶段:
•量表的制定阶段:包括维度定义、条目产生和量表构建;
•内容效度的评价阶段:请有关专家对量表条目与原定内容范围的吻合程度作出判断。
–内容效度指数(content validity index, CVI)
§2 效度-内容效度
安徽医科大学护理学院
20
•内容效度:
•条目水平的内容效度(I-CVI )
–就每一条目与相应内容维度的关联性作出选择,1-不相关,2-弱相关,3-较强相关,4-非常相关。
–给出评分为3或4的专家人数除以参评的专家总数,即为I-CVI 。人数<5,→1;人数>6,→>0.78.
•量表水平的内容效度(S-CVI )
–全体一致S-CVI (S-CVI/UA ):被所有专家均评为3或4分的条目数占全部条目的百分比;应≥0.8.
–平均S-CVI (S-CVI/Ave ):所有I-CVI 的平均数;3或4评分出现的次数除以评定次数。
§2 效度-内容效度
21
•内容效度
计算一下S-CVI/UA 和
S-CVI/Ave.
§2 效度-内容效度
安徽医科大学护理学院
22
•效标关联效度
–用现有的工具与以往原有的工具对同一事物或变量进行测量,比较结果的相关性。
•“青少年亚健康评定问卷”与“SCL-90”、“医学康奈尔指数问卷”
–指测验分数与某一外部效标间的一致性程度,因为效标效度需要有实际证据,所以又称为实证效度。
§2 效度-校标关联效度
安徽医科大学护理学院
23
•效标关联效度
–同时效度:工具与现有标准之间的相关程度,如量表与症状。
•人格测验的结果可以用家长、同学的评定作为效标。大学入学考试可以用中学成绩作为效标。
•“某人具有这种能力吗”“某人心理正常吗?”
–预测效度:作为未来情况预测指标的有效程度。如应激与未来的健康状况。
•用大学入学考试的成绩预测大学的学习是否成功,用人格测验预测是否会得心理疾病。
武警8674部队
•“某人会有这种能力吗?”“某人会得心理疾病吗?”
§2 效度-校标关联效度
安徽医科大学护理学院
安徽医科大学护理学院
•结构效度:
–是通过对某些理论概念或特质的测量结果的考察,来验证该测量对理论结构的衡量程度。 –利用现有的理论来考察当前测量工具或手段的效度。重点了解研究工具的内在属性。 –例,一个智力测验测得的结果,若与该测验所依据的智力理论、关于智力的一些假设相符,则该测验具有构想效度。
25
§2 效度-结构效度
安徽医科大学护理学院
•①探索性的因子分析:考察所得量表的结构与理论构想是否相符;
•②验证性的因子分析:按探索性的因子分析所得量表的结构绘制通径图,以实测数据考察模型的拟合程度;
•③相关分析:考察各条目与所在的因子及维度之间、各维度之间、维度与量表总分之间的相关程度。
26
§2 效度-结构效度
27《全民健身条例》
•结构效度:
公因子 所属条目
螺旋锥蝇
(按因子贡献率顺序)
公因子 维度归属情况 公因子贡献率
(%)
1 34、36、38、35、39、32、31、33、37 同伴关系维度 10.05
2 28、18、17、27、29、19 学校生活维度 7.12
3 15、14、16、
4 家庭生活维度 5.90 4 41、40 健康与成长维度 4.80
5 52、53、54 恋爱与性维度 4.78
6 51、50、47、45 恋爱与性维度 4.53
7 12、10、13、9、
8 家庭生活维度 4.51 8 24、25、30、23 学校生活维度 4.47
9 3、1、6 家庭生活维度 4.17 10
44、43、42
健康与成长维度
3.54
结构效度:极大方差正交旋转的因素分析法
§2 效度-结构效度
28
基于对MSQA 的理论构想,结合因子分析结果和对各因子内涵剖析,将MSQA 的各维度及各因子构成情况绘制成如图3所示的示意图。
图3 MSQA 各维度及其所含项目的构成情况
Fig.3 Dimensions and Items of MSQA
《青少年亚健康多维评定问卷》
躯体亚健康 心理亚健康
23 5 29 31
9 27 3 15 21 17 26 28 22 4 6 15 25 30 32 35
3 7 11 19 2
4 20 1
5 9 1
6 12 8 10 14 21 18 23 2
7 2 29 31 33 13 39
36
32 19 20 16 17 躯体活力不足
26 11 18 24 28 30 生理功能低下 13 25 10 8 12 1 2 4 6 7 抵抗力下降 情绪问题 品行问题 社会适应困难
34 37
38
14 22
§2 效度-结构效度
29
•结构效度
§2 效度-结构效度
安徽医科大学护理学院
gm码
30
•区分效度
•测量项目对所测量的心理特性的区分程度或鉴别能力。
•区分度越高,项目越有效。
§2 效度-区分效度