素质测评的质量分析

《素质测评的质量分析》由会员分享，可在线阅读，更多相关《素质测评的质量分析（61页珍藏版）》请在文档大全上搜索。

1、素质测评的质量分析素质测评的质量分析一项测评是否可靠、可信？一项测评是否可靠、可信？一项测评是否准确、有用？一项测评是否准确、有用？一项测评是否公正、公平？一项测评是否公正、公平？一项测评是否经济、合理？一项测评是否经济、合理？第九章第九章 素质测评的质量分析素质测评的质量分析l 教学内容教学内容10-1 10-1 测评的信度测评的信度10-1-1 10-1-1 信度及其影响因素信度及其影响因素10-1-2 10-1-2 信度的评估方法信度的评估方法10-2 10-2 测评的效度测评的效度10-2-1 10-2-1 效度及其影响因素效度及其影响因素10-2-2 10-2-2 效度的评估方法效度

2、的评估方法10-3 10-3 项目分析项目分析10-3-1 10-3-1 测评的难度分析测评的难度分析10-3-2 10-3-2 测评的鉴别度分析测评的鉴别度分析10-3-3 10-3-3 测评的公平性分析测评的公平性分析10-3-4 10-3-4 测评的经济效益分析测评的经济效益分析10-1 10-1 测评的信度测评的信度l信度是标准化素质测评的基本要求之一，信度是标准化素质测评的基本要求之一，如果测评工具的信度不理想，测量结果就如果测评工具的信度不理想，测量结果就无法被认为能代表应试者的一致、稳定和无法被认为能代表应试者的一致、稳定和可靠的行为表现，就可能误导对应试者的可靠的行为表现，就可

3、能误导对应试者的评价。评价。10-1-1 10-1-1 信度及其影响因素信度及其影响因素l 如果我们用一个游标卡尺来测量一个钢管的外直径，每次测量时都难免会有一定的误差。l 首先，游标卡尺作为一种测量工具是有一定精度限制的，也就是说，测量工具本身存在误差测量工具本身存在误差。当然这种误差是必然存在的，而且误差是在一定范围中有规律的变动的，这种误差在测量工作中被称之为系统误差（系统误差（systematic errorsystematic error）。l 其次，我们每一次测量都可能出现操作上的差异，或者由于不可预见的外界因素的影响，产生测量误差测量误差。这些误差是很难控制的，而且无规律可循，有

4、时大有时小，这种误差被称为随机随机误差（误差（random errorrandom error）。l 前者在一定程度上可以控制，而后者很难控制，一个好的测量工具应该不仅要有尽可能高的精确度（与系统误差相关），还能够把误差控制在一个有规律的范围以内，这样才能够得到稳定可信的测量结果。信度实际上就是对随机误差的一种度量。信度实际上就是对随机误差的一种度量。1、信度的概念、信度的概念l 信度（reliability）是指测验结果的可靠性、稳定性和可靠性、稳定性和一致性一致性，即指测验结果是否反应了被试的稳定的、一贯的真实特征。l 随机误差越大，信度就越低。反之，信度就越高。l 通常任何测验都存在某种

5、程度的不一致性（同一受试者在不同时间或在不同的测验条件下做同一测验）l 因为误差的存在，我们永远不可能完全揭示人的心理特点，只能无限接近真实分数。 例如：例如：l 所有测验都有误差，心理测验分数也不例外。如果一个人连续两天接受同一测验，或者完成同一测验被认为是等值的两个版本，如果得分相同会让人感到惊讶，如果分数有相当大的变化可能让人吃惊，但是有一点可以肯定，这是由于偶然或随机因素影响了每次测验的成绩。l 然而，对于儿童，如果同一测验在半年或一年之后测第二遍，分数有很大的差异是不足为奇的，因为他们的成长导致测验成绩的变化非常自然。问题将是确定有多少变化是由于成绩的随机变化引起的，又有多少可以归因

6、于个人在这段时间内所发生的变化。测量结果的稳定性：测量结果的稳定性：l 测验分数一致性的程度（不同时间、测验条件下所得分数之间的一致性）l 一个人获得分数与“真实分数”之间的接近程度l 测量结果的一致性是否达到实际应用的程度影响稳定性的原因：影响稳定性的原因：l 什么因素造成了这种差异（误差的来源）l 这些效应的相对作用如何（分数的实际含意）在研究信度时，主要应考虑两方面的问题：在研究信度时，主要应考虑两方面的问题：信度的计算：信度系数信度的计算：信度系数l 测验的结果：测验分数（观察值） = 真实分数（要测量的特质）+ 测量误差（不一致） 或者： Xt = T + Xel 信度的高低通常以相

7、关系数表示，称为信度系数（reliability coefficient）。信度系数一般是同一样本所得的两组资料的相关性，l 假设：误差与真分数相互独立；测量误差是随机的，即误差的平均值为0，这是信度理论的核心假设；不同测量产生的误差是独立的，l因此有：测验分数方差 = 真实分数方差+ 误差分数方差 X2 = T2 + e2l信度系数： rxx= T2 / X2 = T2 / （ T2 + e2 ）l信度系数即是真实分数方差（变异数）与测验分数总方差（变异数）之比。2、信度的作用、信度的作用l 测验信度要能够区分出：导致一致性的因素：个体稳定的特性（测量对象）导致不一致性的因素：可能影响测验，

8、但又与测验对象没有关系的个体和环境的特性 l 在素质测评中，对信度系数进行确定通常有以下作用：解释真实分数与实得分数之间的相关说明可以接受的信度水平解释真实分数与实得分数之间的相关l 信度可以解释为总的方差（标准差的平方的缩略语）中有多少比例是由真实分数的方差决定的，即测量分数的变化中有多少是真正反映了被测者分数的变化。l 例如：当r rxy xy = 0.100= 0.100时，我们可以说，实得分数中有时，我们可以说，实得分数中有100%100%的方差是来自真实分数的变化，仅有的方差是来自真实分数的变化，仅有10%10%是来自是来自测量的误差。测量的误差。l 信度系数的分布是从信度系数的分布

9、是从0.00-1.000.00-1.00的正数范围，代表了的正数范围，代表了从缺乏信度到完全可信的所有状况。从缺乏信度到完全可信的所有状况。l 思考：思考：如果如果r rxy xy = 1.00= 1.00表示什么？表示什么？ r rxy xy = 0.00= 0.00表示什表示什么？么？答案： r rxyxy = 1.00表示完全没有测量误差，所有的变异（即分数的变化）均来自真实分数； r rxyxy = 0.00表示所有的变异和差别都反映的是测量误差。说明可以接受的信度水平l信度的理想水平是1.00，但是实际上是达不到的。l一般能力与成就测验的信度系数在0.100以上；人格、兴趣等测验的信

10、度通常在0.80-0.85之间。l一般来说，当rxxxx 0.70时，可用于团体间比较；当rxxxx 0.85时，可用于鉴别个人。3、信度的影响因素l 受试者个体持久而泛化的特性：进行测验的一般技能水平理解测验指示语的一般能力水平进行类似测验的一般的人格特质l 受试者个体持久而特殊的特性：进行某项测验（或其形式）需要的特殊的技能、能力 和特质；以及稳定的反映定势；对某个测验项目内容的熟悉程度l 受试者个体短时而泛化的特性：健康、疲劳、动机、情绪状态、测验自如性；温度、 光亮、通风等测验外部条件l 受试者个体短时而特殊的特性对特殊测验的理解，测验所需要的特殊技巧；为做测验所进行的练习；对测验项目

11、内容的注意、记忆等的飘忽不定。l 影响测验过程和解释的外部因素系统改变测验条件；对测验的各种限制；干扰程度；指示语的清晰度；受试者在个性、性别、种族等与测验主试的交互作用；对测验结果的不一致或有偏差的评判。l 无法解释的变化（随机因素）猜测、运气，以及暂时的干扰10-1-2 10-1-2 信度的评估方法信度的评估方法l 针对不同的误差来源，信度可以有不同的确定方法。信度系数类型信度系数类型误差来源误差来源重测信度时间取样复本信度（连续施测）内容取样重测复本信度时间和内容取样分半信度内容取样同质性信度内容的异质性评分者信度评分者间差异1 1、重测信度、重测信度(test-retest relia