当前考试理论研究的进展

近二十年以来,考试理论(Testing Theories)的研究取得了长足进展,这种进展表现在两个方面一方面,在上个世纪六十年代由Lord提出的项目反应理论(Item Response Theory,IRT)得到了很大的扩展,出现了多维度项目反应理论(multi-dimensional IRT)、非参数项目反应理论(Nonparametric IRT)以及认知诊断理论(Cognitively Diagnostic Theory)等;另一方面,项目反应理论在考试实践中得到了广泛的应用,使考试实践产生了革命性的变化,出现了计算机自适应考试(Computerized Adaptive Testing,CAT).     

解释性项目反应理论模型：理论与应用

解释性项目反应理论模型(Explanatory Item Response Theory Models, EIRTM)是指基于广义线性混合模型和非线性混合模型构建的项目反应理论(Item Response Theory, IRT)模型。EIRTM能在IRT模型的基础上直接加入预测变量, 从而解决各类测量问题。首先介绍EIRTM的相关概念和参数估计方法, 然后展示如何使用EIRTM处理题目位置效应、测验模式效应、题目功能差异、局部被试依赖和局部题目依赖, 接着提供实例对EIRTM的使用进行说明, 最后对EIRTM的不足之处和应用前景进行讨论。     

CTT与IRT方法对人格测验结果处理的比较研究

为了说明使用经典测量理论(CTT)方法和项目反应理论(IRT)方法计算出的人格测验结果的差异,本研究使用IRT和CTT这两种方法分别计算出模拟人格测验和实际人格测验的测验结果,并对此进行比较。研究表明,两种不同的方法得到的测验结果之间平均有0．11个标准差以上的差异。进一步研究发现,在对测验结果进行分析时,IRT方法比CTT方法更为有效。     

项目反应理论中潜在心理特质“填补”的参数估计方法及其演变

在心理与教育测量中, 项目反应理论(Item Response Theory, IRT)模型的参数估计方法是理论研究与实践应用的基本工具。最近, 由于IRT模型的不断扩展与EM (expectation-maximization)算法自身的固有问题, 参数估计方法的改进与发展显得尤为重要。这里介绍了IRT模型中边际极大似然估计的发展, 提出了它的阶段性特征, 即联合极大似然估计阶段、确定性潜在心理特质“填补”阶段、随机潜在心理特质“填补”阶段, 重点阐述了它的潜在心理特质“填补” (data augmentation)思想。EM算法与Metropolis-Hastings Robbins-Monro (MH-RM)算法作为不同的潜在心理特质“填补”方法, 都是边际极大似然估计的思想跨越。目前, 潜在心理特质“填补”的参数估计方法仍在不断发展与完善。     

不同参数分布形态下GIRM方法和传统GT方法的对比研究

GIRM(Generalizability in Item Response Modeling)是一种将概化理论GT和项目反应理论IRT相结合后计算概化理论中方差分量的一种方法.当GIRM方法下θp和βi的抽样分布与GIRM方法中的MCMC先验分布一致时,GIRM方法对方差分量估计具有较高的准确性.为了进一步检验GIRM方法对IRT参数分布形态的敏感性,研究在将MCMC先验分布固定的情况下,探讨不同IRT参数分布形态下GIRM方法的适用性,并将所得结果与传统GT方法相比较.结果表明:(1)在各种参数分布形态下,采用GIRM方法估计IRT模型的参数是可行的;(2)GIRM方法在被试能力参数为标准正态分布时对σ2(p)估计的准确性高于传统GT方法,但在均匀分布和偏态分布下略差于传统GT方法;(3) GIRM方法在题目难度参数为偏态分布情况下对σ2(i)的估计准确性显著差于传统GT方法;(4)两种方法对于σ2(pie)估计的准确性在任何参数分布形态下都大致相当,优劣并无统一规律.     

IRT中最小化χ2/EM参数估计方法

对IRT的双参数Logistic模型（2PLM）中未知参数估计问题,给出了一个新的估计方法――最小化χ2/EM估计。新方法在充分考虑项目反应理论(IRT)与经典测量理论(CTT)之间的差异的前提下,从统计计算的角度改进了Berkson的最小化χ2估计,取消了Berkson实施最小化χ2估计时需要已知能力参数的不合实际的前提,扩大了应用范围。实验结果表明新方法能力参数的估计结果与BILOG相比,精确度要高,且当样本容量超过2000时,项目参数的估计结果也优于BILOG。实验还表明新方法稳健性好     

自陈量表式测验应用IRT的可行性

对采用5级评分Likert式测题的情感能力量表的分析表明,各分量表项目都有较好的模型-数据拟合性,而且显示了参数估计的不变性,及与CTT参数的关联性。这些都表明Likert量表应用IRT模型的假设条件得到了满足,即IRT应用是可行的。研究还表明IRT能对测量精度进行更精确的估计。     

题目难度分布和样本容量对两种CTT等值结果的影响

基于经典测验理论(CTT)的等值方法主要有线性等值和等百分位等值两种。在不同情境下,不同的等值方法会产生不同的等值结果。本研究以真分数等值为依据,用蒙特卡洛模拟研究方法,综合比较了各种题目难度分布条件下和各种样本容量条件下两种CTT等值方法的等值结果。研究结果表明:(1)线性等值的误差受题目难度分布影响较大,等百分位等值的误差几乎不受题目难度分布影响。(2)线性等值的误差几乎不受样本容量的影响,等百分位等值的误差受样本容量影响较大。(3)不论题目难度分布如何,只要样本容量足够大,等百分位等值的效果都比线性等值更好。     

项目反应理论的形成与基本理论假设

项目反应理论(Item Response Theory)是近二十多年来在西欧和北美各国教育与心理测量领域得以迅速发展和广泛应用的一种新的教育和测量理论。在美国,有人称其为教育与心理测量领域的“爱因斯坦相对论”,喻其带来了教育与心理测量理论的革命。     

在GLMM框架下统一GT与IRT

本文首次提出使用广义线性混合模型(Generalized Linear Mixed Model, GLMM)对概化理论(GT)和项目反应理论(IRT)进行统合,即在一次统计中就能同时获得GT和IRT所需要的估计结果。模拟研究结果显示：相比于传统的GT方差分量估计方法——期望均值平方(Expected Mean Squares, EMS),GLMM可以获得更准确的方差分量、G系数和Φ系数,而且GLMM获得的题目难度参数估计精度优于传统Rasch模型。实证研究展示GLMM在实际心理测量数据分析中的应用。     

题目位置效应的概念及检测

题目位置效应(Item Position Effect, IPE)是指在剔除随机误差的影响之后, 同一道题目在不同测验间因题目位置的变化而导致题目参数的变化。IPE的存在会严重威胁依赖于项目反应理论参数不变性特征的相关应用, 比如测验等值和计算机化自适应测验。目前关于这一领域的研究主要集中于对IPE的检测, 而对所检测到的效应进行进一步的解释, 则是今后的研究重点。另外, 在不同的研究情境下深入探讨IPE, 对于基础研究领域和实践领域都具有重要意义。     

项目反应理论中模型-资料拟合检验常用统计量

项目反应理论(IRT)模型依据项目与被试的特征预测被试的作答表现, 是常用的心理测量模型。但IRT的有效运用依赖于所选用IRT模型与实际数据资料相符合的程度(即模型?资料拟合度, goodness of fit)。只有当所采用IRT分析模型与实际数据资料拟合较好时, IRT的优点和功能才能真正发挥出来(Orlando & Thissen, 2000)。而当所采用IRT模型与资料不拟合或选择了错误的模型, 则会导致如参数估计、测验等值及项目功能差异分析等具有较大误差(Kang, Cohen & Sung, 2009), 给实际工作带来不良影响。因此, 在使用IRT分析时, 应首先充分考察及检验所选用模型与实际数据是否相匹配/相拟合(McKinley & Mills, 1985)。IRT领域中常用模型?资料拟合检验统计量可从项目拟合、测验拟合两个角度进行阐述并比较, 这是心理、教育测量领域的重要主题, 也是测验分析过程中较易忽视的环节, 目前还未见此类公开发表的文章。未来的研究可以在各统计量的实证比较研究以及在认知诊断领域的拓展方面有所发展。     

中国少数民族考生与外国考生HSK成绩的公平性分析

该研究利用项目功能差异(Differential Item Functioning,简称DIF)理论,对HSK考生中不同两个群体——外国人和中国国内的少数民族,进行题目的反应分析。考查HSK的题目是否存在不利于某一群体。具体做法：采用MH和SIBTEST方法检测DIF,利用标准化的离散分析方法和SIBTEST的项目束分析法鉴别DIF的真伪,并寻找造成DIF的原因。由数据分析的结果可知,HSK(初、中等)A卷对对外国考生和中国国内的少数民族考生存在一些有DIF的题目。     

多维数据IRT真分数等值和IRT观察分数等值研究

实际应用中测验往往具有多维结构,如果仍采用单维方法进行等值,会得到不准确的结果。研究基于随机等组设计下英语测验,使用MCMC方法估计题目参数,将单维IRT真分数等值和观察分数等值方法推广到多维。比较了四种等值方法:单维IRT真分数等值和观察分数等值,多维近似单维IRT真分数等值和观察分数等值。结果显示,当数据符合多维结构时:(1)基于多维测验的IRT真分数等值和观察分数等值方法优于单维IRT真分数等值和IRT观察分数等值方法;(2)多维IRT观察分数等值略优于多维IRT真分数等值,但是两者之间的差异较小。     

我国项目反应理论研究的文献计量规律分析

通过文献计量方法,论述了1986~2012年项目反应理论(IRT)研究的状况、趋势和文献特征以及文献分布、作者分布、文献产出机构和出版物分布的规律。结果表明,我国IRT文献处于增长期,其发展趋势良好。但尚未构成文献计量学层面的核心作者群体,尚需广泛和深入加强IRT研究工作,努力扩大核心作者群、核心机构群和核心期刊群的数量。提高我国IRT研究的广度和深度,以适应新时期心理测量和教育评价的需要。     

国家公务员结构化面试中评委偏差的IRT分析

使用项目反应理论(IRT)中的多面Rasch模型,对两组共12名评委在国家公务员结构化面试中的评委偏差进行了分析。提出并验证了两种评委偏差：评委之间在宽严程度上的差异和评委自身的一致性问题。结果发现：不同评委之间在宽严程度上差异显著,且不同评委评定行为的跨考生、跨维度、跨性别、跨时间的自身一致性也存在差异。研究表明,这种进入到评委个体层次的分析突破了经典测量理论(CTT)定位于评委群体进行分析的局限,针对每位评委的偏差行为提供了详细具体的诊断信息,从而为评委的针对性培训和评委库的建立提供了现代测量学的新方法     

分部评分模型与其它几种多级模型的比较

项目反应理论(IRT)是当前教育与心理测量领域的一个重大进展,也日益成为当今测验领域的一个热点。本文对IRT理论中的二个重要评分模型PCM与GPCM作了简要的介绍。并较详细地对PCM与GPCM模型的逻辑结构及其适用范围进行了论述,指出了它们与其它几种重要模型之间的关系及不同之处。     

认知元反应理论--IRT直接应用于多值记分题

0-1记分测验的项目反应理论已经得到广泛的研究和应用.但是,许多测验都含有多值记分题,所以需要将IRT推广到此类情况.从认知理论的观点看,每个0-1记分题(项目)和多值记分题的每个测试点都可同样地看成一个由若干知识点构成的集合,称之为认知元;根据认知元之间存在的关系可以确定各受测者对各试题作出特定答案的概率,从而不需要引用任何其它假设就可将IRT的方法直接应用于含多值记分题的测验.本文应用这一理论分析了某些测验样本,结果表明是可行的.     

梅尔美术判断测验在中国应用的信、效度检验

目的:修订梅尔美术判断测验(Meier Art Judgment Test)并对其信度、效度进行检验。方法:通过对来自6所大学、中专共2270人施测梅尔美术判断测验,采用CTT区分度和IRT的模型拟合检验、区分度筛选项目,以霍兰德艺术分测验、学生艺术创作水平自评与艺术过往经历分量表为效标,以及采用效标组法(美术与非美术专业)检验效标关联效度。结果:保留的61题都拟合IRT的2参数logistic模型,量表得分与各效标得分相关显著,美术与非美术专业学生得分存在显著差异; 但测验信息量分析表明,对高能力被试的测量误差相对较大。结论:修订的量表能测量个体的美术判断能力; 今后改进方向应该是增加更难的试题。     

透析GT信度观及其存在的问题

概化理论(GT)与经典测验理论(CTT)是随机测量模型下信度评量的重要理论来源。本文将重复测量作为理解概化理论产生与建构的切入点,剖析了GT在测验假设、全域分思想与误差观三方面的特点,提出了目前GT在理论与应用方面存在的若干问题与不足。