经典真分数理论与概化理论信度观评析

经典真分数理论信度观和概化理论信度观是当代心理测量学中的两大信度理论。该文简要地介绍了两种信度观的基本思想,并在此基础上,对两种信度理论的特征进行系统的分析和比较。文章认为：概化理论信度观在理论假设、测量误差源的综合分析技术、测量条件的推广研究等方面,比经典真分数理论具有更多的优越性,但概化理论信度观注重所测心理特质的单维性和方差分量估计上的负值现象等局限性,大大限制了概化理论在实际测量中的应用。文章指出,就目前的发展现状而言,没有哪一种信度理论能够包容或取代另一种信度理论,由此提出了当代信度理论合理使用的几点建议。     

三种心理测量理论的信度观

目前,心理测量领域中主要存在三大理论派别。本文分别对这三种理论即经典测验理论、可概括性理论和项目反应理论作了简要介绍,着重分析这三种理论的信度观。文章讨论了这三种信度观的理论基础和研究方法,比较了它们的异同,指出经典测验理论存在的一些不足及概化理论和项目反应理论所作的改进。概化理论是对经典测验理论的扩展,它用多维的信度指标（概化系数）替代了经典测验理论的信度系数,项目反应理论则从信息量的角度出发,用项目信息函数、测验信息函数等指标更具体深入地反映项目、测验的测量可靠程度。     

透析GT信度观及其存在的问题

概化理论(GT)与经典测验理论(CTT)是随机测量模型下信度评量的重要理论来源。本文将重复测量作为理解概化理论产生与建构的切入点,剖析了GT在测验假设、全域分思想与误差观三方面的特点,提出了目前GT在理论与应用方面存在的若干问题与不足。     

概化理论在绩效评估中的应用

概化理论借助其理论上的优势在很大程度上克服了基于经典测量理论绩效评估存在的缺陷。它可以对绩效评估中的信度进行更全面的估计,更好地预测和控制误差,并且概化理论的独特视角和方法还为360度绩效评估的效度求取提供了理论支持。     

概化理论研究及应用前景

1972年,Cronbach和他的同事们提出概化理论之后,概化理论在行为与心理测量领域得到了广泛的应用,较之经典测量理论,它的优势逐渐地显露：(1)测量的多种误差来源可以在同一个分析中分别估计;(2)可以指导决策者选择最优测量方案;(3)提供可靠性系数：概化系数(G系数)和依存性指标(φ系数)用于不同的决策任务;(4)排除了严格平行测验的假设。概化理论以它的精确性和可藏性受到了信度测量领域研究者们的青睐,本文旨在对概化理论的基本框架、产生、发展及应用前景进行详细论述。     

用结构方程建模(SEM)估计概化理论(GT)中的评分者信度

评分者的信度分析 ,已从经典测量理论的方法 (Kendall和谐系数 )发展为基于现代测量理论 (如GT)的方法 ,但由于GT中方差分量估计的工具和途径有限 ,使该方法的推广受到限制。本文介绍了结构方程建模 (SEM )估计GT中方差分量的必要性及原理 ,并通过对某省直国家机关公务员录用考试结构化面试的评分者信度分析 ,阐述用SEM估计概化理论中不同设计下的评分者信度研究     

用结构方程建模（SEM）估计概论理论（GT）中的评分者信度

评分者的信度分析,已从经典测量理论的方法（Kendall和谐系数）发展为基于现代测量理论（如GT）的方法,但由于GT中方差分量估计的工具和途径有限,使该方法的推广受到限制。本文介绍了结构方程建模（SEM）估计GT中方差分量的必要性及原理,并通过对某省直国家机关公务员录用考试结构化面试的评分者信度分析,阐述用SEM估计概化理论中不同设计下的评分者信度研究。     

标准参照测验及其等级线信度的概化理论分析

在测量工作中,误用经典测验理论方法估计标准参照性测验的整体信度和等级线决策信度的情况非常突出。如,无论测量设计是交叉的还是嵌套的,也无论测验结果是做常模参照性解释,还是做标准参照性解释,测验工作者往往只报告克龙巴赫α系数或经典测验理论中的其它少数几个信度指标,而误把整体信度作为等级线信度的现象则更加普遍,这是十分不妥的。本文借用概化理论中的可靠性指数Φ和Φ(λ)公式,分别针对交叉设计和嵌套设计,就标准参照性测验的整体信度和等级分数线决策信度的估计问题进行了探讨。用数据演示的方法比较了交叉设计与嵌套设计在估计标准参照性测验整体信度方面的差异,展示了等级决策分数线决策信度的估计方法。     

人事测评中的概化理论应用

概化理论是现代心理与教育测量理论之一,可应用在各种人事测评中,如表现性评价、多源评估、心理测验、结构化面试、水平测试、工作分析、评价中心等.与经典测量理论相比,概化理论应用于人事测评,表现出较强的优势,能够同时考察多种因素、确定多个维度权重等,其应用对象主要包括两大类,即企业和机构.概化理论应用于人事测评,存在应用领域、样本数据、测评效度和微观分析等问题.     

高校教师教学水平评价多元概化理论权重效应分析

探讨高校教师教学水平评价多元概化理论合成信度的权重效应。使用"高校教师教学水平评价问卷",要求534名学生对16名教师进行评价,对收集到的数据作嵌套设计的多元概化理论分析。结果表明：（1）在高校教师教学水平评价中,多元概化理论合成信度估计权重、先验权重和效果权重产生不同效应;（2）结合高校教师教学水平评价,在充分分析三种权重对合成信度影响的基础上,提出了多元概化理论"合成信度三种权重效应分析模式图",能为正确使用多元概化理论权重提供科学参考。     

信度系数与观测分数和潜在特质的相关比

在经典真分数模型中,信度系数R=D(T)/D(X)。通常认为,信度系数与项目反应理论没有什么联系。事实上,信度系数恰好等于考生观测分数与潜在特质分数的非线性相关比η_(xθ)~2=1-MD(x|θ)/D(X),据此我们得出估计信度系数的一种新途径,同时讨论了x、θ的相关系数与相关比η_(xθ)~2的关系。     

研究生入学考试写作评分的概化理论研究与多面Rasch分析

为了评价和改进硕士研究生入学考试一般能力测试的写作评分,研究者采用概化理论和多面Rasch分析对113位考生的写作样本的评分误差来源、评分信度等进行了探讨.概化理论研究显示,评分者和题目对评分准确性影响不大,以两道写作题的考试设计而言,评分者为2人即可保证评分信度在0.75以上.多面Rasch分析显示,评分者宽严度的估计值及其误差均在可接受的范围内,评分者之间在宽严度上不存在显著差异,且评分者自身在评分时总体上比较稳定.但个别评分者在特定考生特定题目上表现出特殊偏向.概化理论和多面Rasch分析丰富了写作评分研究的量化指标,证实了硕士研究生入学考试一般能力测试的写作评分具有较高的信度.     

表现性测验在能力评价中的应用

相对传统的纸笔测验形式,表现性测验的突出特点是任务的真实性水平较高。表现性测验是一种认知导向的测验。在国外教育、医学、心理咨询与治疗等领域的能力评价中,一系列表现性测验已被开发出来并用于实践,获得了较好的心理测量学指标。表现性测验可用于国内学生、教师的能力评价,辅助人才选拔以及相关职业资格认证的实践。表现性测验开发过程中若合理应用概化理论、项目反应理论等现代测量理论,对于提高测验信度和效度都有一定积极意义。     

测验项目反应机制与心理测量模型假设的对应性分析

从测验项目解决的认知过程的视角分析了在不同测验理论框架下的测量模型中的基本假设, 指出测量模型是测验开发者有关测验项目反应机制的理论假设的具体表征, 是系统检验测量假设和过程的统计框架。然而, 不管是经典测验理论、概化理论, 还是早期的项目反应理论模型, 相关假设都过于简化, 缺少相应实质理论的支持。与之相比, 认知测量模型强调与个体在测验项目反应过程中的认知过程、认知策略和知识结构的对应性, 提供了在实质理论基础上界定测量建构、设计测验项目、进行建模分析和解释的可能性, 为日益边缘化的心理测量学和主流心理学研究的融合奠定了基础。     

用信息函数法对标准参照测验作质量分析

根据项目反应理论的信息函数法,以自主开发的“现代教育和心理测量通用分析系统”为工具,对两个大规模实施的标准参照测验进行了测验质量分析。结果说明,信息函数分析法比经典真分数理论分析法,可以获得更丰富、深刻、有针对性的资料,能对项目筛选修订、测验编制开发给出有力的指导,值得大力引进、推广。     

评价中心结构效度的多元概化理论分析研究

评价中心技术是现代人事测评的一种主要形式,主要通过多种模拟任务来测评高级管理人才。然而,少有研究能证明它具有理想的结构效度。该研究运用多质多法分析了某金融企业一次真实的评价中心测评项目,发现测评的结构效度并不理想。接着,通过多元概化理论的分析,探讨了结构效度不理想的原因,并指出了评价中心任务与所测维度之间的关系,以及对各维度的测量信度。最后,根据分析结果,探讨了优化评价中心结构效度和提升整体测量信度的途径。     

多元概化理论在评定量表编制中的作用——以音像教材测评数据分析为例

目前多元概化理论已开始在考试、评价领域得到应用,但是很少有研究者关注其对评定量表编制的作用.本文认为多元概化理论的G研究可以估计各种效应带来的变异,能够据此(1)考察评定量表各维度和总体信度;(2)确定评定量表各维度的权重;D研究可以评估各种测量方案的信度,能够据此(3)确定评定项目的数量.这三个方面都是编制评定量表必不可少的环节,本文采用音像教材的测评数据,用实证方法展示多元概化理论对评定量表编制的指导作用.     

基于多元概化理论的中小学教师资格考试质量分析——以《综合素质》(中学)科目为例

教师资格考试是国家教育规划纲要确定的改革项目之一。本文运用多元概化理论对中小学教师资格考试笔试科目《综合素质》(中学)试卷的测量信度、试卷总分合成、试卷结构优化等问题进行探讨。研究发现:本次测试的测量信度较高,为0.707;各测量分项对全域总分的方差贡献比例与试卷赋分意图基本一致,除写作能力外,其余部分误差在7%以内;可以采取减少客观题数量,增加主观题数量的方式来提高信度。     

"情绪智力量表(EIS)"的多元概化理论分析

本文运用多元概化理论对情绪智力量表(EIS)的测量信度进行探讨,得到以下研究结论:(1)EIS的整体测量信度较高,它既可用于常模参照测验,也可用于标准参照测验;在它的四个维度中,感知情绪、自我调控情绪和调控他人情绪维度有较好的测量信度,而运用情绪维度的测量信度稍差,需要改善;(2)EIS在决定各因子的分量比例方面不尽完善;(3)要想提高运用情绪因子的测量信度,除了增加运用情绪分量表的题目数外,还得改进题目的质量.     

关于概化理论应用中几个问题的探讨——与李伟明等的商榷

概化理论是经典测验理论与方差分析相结合而产生出来的当今最有影响的三大测验理论之一。它通过改进经典测验理论的数学模型、引进方差分析技术等方法,把分数变异细分为多种来源,为测验决策提供了系统的理论和方法。