测验信度估计：从α系数到内部一致性信度

沿用经典的测验信度定义, 简介了信度与a 系数的关系以及a系数的局限。为了推荐替代a系数的信度估计方法, 深入讨论了与a 系数关系密切的同质性信度和内部一致性信度。在很一般的条件下, 证明了a 系数和同质性信度都不超过内部一致性信度, 后者不超过测验信度, 说明内部一致性信度比较接近测验信度。总结出一个测验信度分析流程, 说明什么情况下a 系数还有参考价值; 什么情况下a 系数不再适用, 应当使用内部一致性信度(文献上也常称为合成信度)。提供了计算同质性信度和内部一致性信度的计算程序, 一般的应用工作者可以直接套用。     

同质信度多种指标的比较研究

本研究采用实验研究方式．以被试人数、项目数和方差是否相等为3个自变量,研究随自变量变化因变景同质信度不同指标各自的稳定性。然后采用概化理论的研究方法对上述结果进一步验证。两种研究结果一致表明,α系数对方差是否相等比较敏感．不是同质信度的理想指标。β系数γ系数ζ系数对信度的估计精度基本处于同一水平．在抗干扰性上明显比。系数优越,但不及ρ系数。ρ系数在各种条件下都很稳定,能较准确地反映同质信度。     

α系数与测验的同质性

本文从α系数与同质性测验、平行测验和基本τ-等价测验间的关系及三种测验间的关系入手,分析了α系数作为测验同质性信度估计的局限性;根据Jreskog给出的信度定义(α系数),讨论了λ系数与α一致性信度、Guttman 下限之间的关系,说明了在测验同质的前提下,λ系数在估计测验内部一致性时与α系数相比的优点.同时用模拟数据的方法就不同情景下测验的结构维度与α系数、Guttman λ2下限和λ系数之间的关系进行了探讨.     

评分者内部一致性的研究和应用

在行为科学的研究和实践中,研究者常常需要将个体层次的评价,整合到群体层次的评价,对于这种自下而上整合模式的一致性问题,国内一些学者常常错误地使用评分者内部信度作为评分者内部一致性的指标。评分者内部一致性和评分者内部信度不仅在理论基础上存在差异,而且在实践中也存在前者很高(或很低),而后者却很低(或很高)的不一致情况。文章阐述了学术界对评分一致性这一问题的提出、争论和取得一致观点的发展脉络,以期学者们对这一问题能够有深入的思索,避免在今后的研究中出现类似的错误。     

α系数在使用中存在的问题

从a系数与同质性测验、平行测验和r-等价测验之间的关系,分析了a系数作为测验同质性信度估计的局限性;另外就a系数与测验维度问的关系和项目间的关系进行了讨论,对a系数在解释中常见的一些错误进行了说明。     

标准参照测验决策一致性指标研究的总结与展望

决策一致性指考生在两次平行测验中被一致归类的程度,是衡量标准参照测验质量的重要指标.到目前为止,基于经典测量模型和项目反应模型,研究者已经提出了数十种估计决策一致性指标的方法,并对这些方法的优劣进行了比较.由于模型基础和对分数分布的假设不同,各种方法适用于不同的测验情境.未来的研究应当对已有方法进行验证,并探讨决策一致性在教育测量中的应用途径,为教育和心理测量工作者估计测验的决策一致性指标提供凭据.     

α系数的区间估计方法比较

多数情况下,α系数可以用来评价测验信度。诸多研究建议,在报告测验信度的时候应当包括其置信区间。通过蒙特卡洛模拟研究,比较了7种α系数区间估计方法,包括Fisher法、Bonett-02法、Bonett-10法、精确Koning-Franses法、渐近ID法、渐近Koning-Franses法和ADF法。结果发现Bonett-10法和精确Koning-Franses法较好,它们的结果相差很小。这两种方法都比较简单,只需要样本的α值、测验题数、被试人数及F临界值,通过简单的运算便可得到α系数的置信区间。     

质性研究中编码者信度的多种方法考察

质性研究中检验编码者信度的方法有归类一致性指数、编码信度系数、相关系数、中位数检验、概化系数等。基于教师胜任力访谈数据集,对编码者信度考察结果表明,归类一致性指数和编码信度系数受相同编码数影响而不稳定,相关系数受数据类型制约,中位数检验受研究设计影响,概化系数则受编码者和编码项目的数量影响。研究中须合理选用。     

会“说谎”的信度

本文在经典测量理论的框架之内，就信度的概念与运用阐述了三个相关问题：首先，指出信度适用于测量分数而非测量工具，然后，阐述为什么最常用的信度估计是α系数，最后，就α系数的正确使用提出了建议。     

信度系数与观测分数和潜在特质的相关比

在经典真分数模型中,信度系数R=D(T)/D(X)。通常认为,信度系数与项目反应理论没有什么联系。事实上,信度系数恰好等于考生观测分数与潜在特质分数的非线性相关比η_(xθ)~2=1-MD(x|θ)/D(X),据此我们得出估计信度系数的一种新途径,同时讨论了x、θ的相关系数与相关比η_(xθ)~2的关系。     

人格判断的准确性研究述评

人格判断的准确性主要涉及到现实准确性、一致性和自我一他人一致性三个方面。现实准确性代表着人格判断和目标本来面目之间的一致性水平;一致性是指两个人或更多人对他人人格做出的判断之间的一致性水平;而自我一他人一致性则被认为是他人做出的判断和目标自我判断之间的一致性水平。人格判断的标准化问题是当前人格研究中的基本问题,也是人格研究的新动向之一。     

认知诊断测验的属性分类一致性和分类准确性指标

分类一致性和分类准确性是衡量考试信效度的两个重要评价指标。基于项目反应理论下分类一致性和分类准确性指标,提出认知诊断测验的属性(模式)分类一致性和分类准确性指标,讨论分类一致性指标、分类准确性指标与属性估计误差之间的关系,并由属性掌握概率的估计标准误推导出属性分类准确性的上限。结果显示:属性(模式)分类一致性可准确估计重测一致性;分类准确性指标计算简单,可准确估计认知诊断测验的判准率。     

信度估计的γ系数

本文提出了信度估计的γ系数。与今天应用最广泛的α系数相比,γ系数较少受到被试样本特点的影响,更多地反映了测验受到误差因素影响的程度,因此,γ系数是更好的测验信度估计指标。     

西方诚信度测验研究述评

诚信度测验是指在招聘和选拔过程中用于评价应聘者的诚实、诚信、可依靠性,从而预测他们的偷盗、违反纪律、反工作行为以及今后工作业绩的以纸笔测验为主的测验工具。文章对西方诚信度测验的发展和应用现状做出了综述,指出诚信度测验具有较好的信度和效度。大五人格模型中的责任感、宜人性和情绪稳定性是诚信度测验潜在的测量内容,但诚信度测验与大五人格模型以外的其它人格维度也存在较高的相关性。诚信度测验对反工作行为和整体工作绩效具有良好的预测效度。文章在总结诚信度测验存在的一些争议和问题的基础上,提出了它在中国企业员工招聘和选拔中应用的若干建议     

信度的再认识与信度概括化研究

本文首先对信度概念进行了明确,指出信度是评价测验结果可靠与否的一个指标,而不是测验工具的不变属性。针对测验结果的信度估计的可变性,介绍了上世纪末Vacha-Haase提出的信度概括化研究方法．即一种用来探索得分信度估计的可变性、并对引起变异的预测源进行探讨的一种元分析方法。最后通过对信度概括化研究手段的分析,指出信度概念的再认识与信度概括化研究将会给心理测验工作者带来新的启示。     

追踪研究中测验信度的估计

追踪研究中测验工具的信度是衡量追踪研究质量的重要指标。传统的信度估计方法不适用于估计追踪研究的测验信度。近年来, 研究者提出了四种估计追踪研究的测验信度, 包括估计单个时间点的测验信度系数rw和r(Sw), 以及估计整个追踪研究的测验信度系数RT和RL。本文评述了这四种信度估计方法的数学模型、前提假设及其优缺点。RT和RL既可估计追踪研究中单个时间点的测验信度, 也可估计追踪研究中整个追踪研究的测验信度, 所需要的前提假设较少, 推荐同时使用RT和RL来估计追踪研究的测验信度。     

新世纪20年国内测验信度研究

随着验证性因子分析模型的应用, 信度研究进入了崭新的发展阶段。新世纪前20年国内有关测验信度的研究有三条发展主线。一是基于验证性因子模型的信度发展, 包括同质性系数、合成信度、最大信度等; 二是数据类型的拓展, 包括两水平和追踪数据的信度; 三是信度用途的拓展, 如评分者信度、编码者信度等。对于通常的测验(题目之间的测量误差不相关), 如果α系数够高, 信度就够高; 否则使用合成信度。如果一个统计模型中所有变量的合成信度都很高(超过0.95), 使用显变量建模与使用潜变量建模的结果差别不大; 否则, 使用潜变量建模较好。     

成人依恋研究述评

依恋形成于婴幼时期,持续人的整个一生。是人类长期生物进化的结果,早期的依恋形式会通过内部工作模型影响到成年后的依恋模式,影响亲密关系的形成,人际社会功能的表达及人格功能。成人依恋已逐步成为一个跨越心理学各领域的热门研究课题。     

档案袋评价中评分者信度的实证研究

档案袋评价因能充分发挥促进学生发展和教学改进的功能而受到青睐,但不佳的测评信度和效度限制了其在教学评价中的应用。本文对档案袋评分者信度的特点进行实证研究,4位评分者对152份档案袋进行了2次等级评分,运用多种统计方法计算评分者信度。结果表明,档案袋的评分有较高的关联性、中等偏弱的一致性和一定的稳定性,对档案袋整体水平的评分信度最高。本研究中,评分者个数为3时,对档案袋整体水平评分的概化系数和可靠性系数都在0.80以上。     

质性研究的编码者间一致性

质性研究的编码者间一致性日渐受到研究者关注。部分研究者倾向于将编码者间一致性作为编码信度指标,以表明编码结果的可重复性与客观性。也有研究者反对这样做,他们强调资料分析结果的社会建构性,建议采取协商对话的方式发展对研究资料的多元理解。基于对以上两种态度的分析,研究进一步讨论了编码者间一致性在心理学质性研究中的适用性、编码者身份对合作编码的影响及质性研究的综合性评价等问题。