多维题组反应模型:多维随机系数多项Logistic模型的应用拓展

本文将多维随机系数多项Logistic模型(MRCMLM)拓展应用到多维题组领域,得到适用于多维目标能力和多维题组效应的多维题组反应模型(MTRM),该模型具有高度灵活性和适用性。本文通过两个模拟研究和一个应用研究探究MTRM参数估计精度和模型适用性,以及与two-tier模型的差异,结果发现:(1)能力维度间相关和项目评分等级是影响模型参数估计的重要因素;(2)MTRM对项目参数估计准确性和稳定性高于two-tier模型,对题组效应大小估计更为准确。(3)MTRM在考虑项目内多维题组情况下模型拟合度更高,为测验分析提供了更广泛的模型结构选择,具有显著的应用价值。     

大五人格测验在中国应用的信度概化分析

对过去20年(1994~2013年)间国内有关大五人格测验的研究文献进行信度概化分析。结果表明:(1)检索到的文献中约68.15%存在"信度引入"现象;(2)未加权估计中,A和O的均值最低,N和C的均值最高,国内所得结果均略低于国外(O除外),而后者的变异性略大(E除外);采用α系数效果量方法,在随机效应模型中,N的估计值最高,O和A的估计值最低;(3)回归分析显示,分数均值、量表来源和南北地域差异是N维度信度的预测变量;量表来源、文章专业类型、测验版本和测验记分对E维度信度具有预测作用;样本量、文章专业类型和量表来源是O维度信度的预测变量;量表来源、文章专业类型、项目数和样本类型对A维度信度具有预测作用;量表来源、项目数、文章专业类型和测验记分是C维度信度的预测变量。     

适用于多维迫选测验的IRT计分模型

迫选(forced-choice, FC)测验由于可以控制传统李克特方法带来的反应偏差, 被广泛应用于非认知测验中, 而迫选测验的传统计分方式会产生自模式数据, 这种数据由于不适合于个体间的比较, 一直备受批评。近年来, 多种迫选IRT模型的发展使研究者能够从迫选测验中获得接近常模性的数据, 再次引起了研究者与实践人员对迫选IRT模型的兴趣。首先, 依据所采纳的决策模型和题目反应模型对6种较为主流的迫选IRT模型进行分类和介绍。然后, 从模型构建思路、参数估计方法两个角度对各模型进行比较与总结。其次, 从参数不变性检验、计算机化自适应测验(computerized adaptive testing, CAT)和效度研究3个应用研究方面进行述评。最后提出未来研究可以在模型拓展、参数不变性检验、迫选CAT测验和效度研究4个方向深入。     

多题多做测验模型及其应用

在IRT框架下,建立了0-1评分方式下单维双参数Logistic多题多做（MAMI）测验模型。与Spray给出的一题多做（MASI）模型相比,MAMI不仅模型更加精致,而且扩展了适用范围,参数估计方法也不同,采用EM算法求取项目参数。Monte Carlo模拟结果显示,应用MAMI测验模型与测验题量作相应增加的作法相比,两者给出的能力估计精度相同,但MAMI模型给出的项目参数估计精度更高。如果将MAMI测验模型与被试人数相应增加的作法相比,项目参数的估计精度相同,但MAMI给出的能力参数估计精度更高。这个发现表明,在一定条件下若允许修改答案,并采用累加式记分方式,纵使题量不变,也可使能力估计的精度相当于题量增加一倍的估计精度,而项目参数估计精度也会提高。这些发现不仅对技能评价和认知能力评价有参考价值,而且对数据的处理方式也有参考价值     

高中英语阅读测验中题组模型的选择与应用

本研究通过高中英语阅读测验实测数据,对比分析双参数逻辑斯蒂克模型 (2PL-IRT)和加入不同数量题组的双参数逻辑斯蒂克模型 (2PL-TRT), 探究题组数量对参数估计及模型拟合的影响。结果表明：(1) 2PL-IRT模型对能力介于-1.50到0.50的被试,能力参数估计偏差较大;(2)将题组效应大于0.50的题组作为局部独立题目纳入模型,会导致部分题目区分度参数的低估和大部分题目难度参数的高估;(3)题组效应越大,将其当作局部独立题目纳入模型估计项目参数的偏差越大。     

MIRT模型中多维能力及其相关矩阵估计的影响因素

多维项目反应理论因其模型本身的天然优势及其兼具因素分析与项目反应理论于一身的优点,而被广大研究者及应用者所重视.本研究在前人研究基础上,重点讨论MIRT多维能力及能力间相关矩阵的参数估计问题.研究采用Monte Carlo模拟方法进行,在三因素完全随机设计（4 ×3×3）下,使用MCMC算法,探讨测验维度数、维度间的相关大小和测验项目数三个因素对MIRT能力及其相关矩阵估计的影响.     

基于RSM对Q矩阵相同的无锚题测验的等值

传统锚题-非等组设计下的测验等值,等值要求的满足具有主观性,并且由于锚题失效或难以获得等因素的影响,则该方法的使用受到了限制。因此,本研究基于规则空间模型的Q矩阵理论,生成两个Q矩阵相同但无锚题的测验的共同受测者,使用共同组设计,利用同时性估计的方法对测验进行等值,并考虑了作答失误率和测验结构对等值稳定性的影响。结果表明:共同组设计同时估计方法的等值稳定性取得了优于或等于锚题-非等组同时估计方法;失误率的增大也会导致等值稳定性的下降;并且不同的测验结构也对等值稳定性产生了影响,其中直线型和收敛型结构稳定性较好,发散型和无结构型较差。     

多维题组效应认知诊断模型

当前认知诊断领域还缺少对包含题组的测验进行诊断分析的研究, 即已开发的认知诊断模型无法合理有效地处理含有题组效应的测验数据, 且已开发的题组反应模型也不具有对被试知识结构或认知过程进行诊断的功能。针对该问题, 本文尝试性地将多维题组效应向量参数引入线性Logistic模型中, 同时开发了属性间具有补偿作用的和属性间具有非补偿作用的多维题组效应认知诊断模型。模拟研究结果显示新模型合理有效, 与线性Logistic模型和DINA模型对比研究后表明：(1)作答数据含有题组效应时, 忽略题组效应会导致项目参数的偏差估计并降低对目标属性的判准率; (2)新模型更具普适性, 即便当作答数据不存在题组效应时, 采用新模型进行测验分析亦能得到很好的项目参数估计结果且不影响对目标属性的判准率。整体来看, 新模型既具有认知诊断功能又可有效处理题组效应。     

多维测验项目参数的估计：基于SEM与MIRT方法的比较

作者简要回顾了SEM框架下分类数据因素分析(CCFA)模型和MIRT框架下测验题目和潜在能力的关系模型, 对两种框架下的主要参数估计方法进行了总结。通过模拟研究, 比较了SEM框架下WLSc和WLSMV估计方法与MIRT框架下MLR和MCMC估计方法的差异。研究结果表明：(1) WLSc得到参数估计的偏差最大, 且存在参数收敛的问题; (2)随着样本量增大, 各种项目参数估计的精度均提高, WLSMV方法与MLR方法得到的参数估计精度差异很小, 大多数情况下不比MCMC方法差; (3)除WLSc方法外, 随着每个维度测验题目的增多参数估计的精度逐渐增高; (4)测验维度对区分度参数和难度参数的影响较大, 而测验维度对项目因素载荷和阈值的影响相对较小; (5)项目参数的估计精度受项目测量维度数的影响, 只测量一个维度的项目参数估计精度较高。另外文章还对两种方法在实际应用中应该注意的问题提供了一些建议。     

双因子模型MCAT中多级评分项目选题策略的比较

双因子模型假设测验考察一个一般因子和多个组因子,符合很多教育和心理测验的因素结构。“维度缩减”方法将参数估计中多维积分计算化简为多个迭代二维积分,是双因子模型的重要特征。本文针对考察多级评分项目的计算机化自适应测验,首先推导双因子等级反应模型下Fisher信息量的计算,然后推导“维度缩减”方法在项目选择方法中的应用,最后在低、中、高双因子模式题库中比较D-优化方法、后验加权Fisher信息D优化方法(PDO)、后验加权Kullback-Leibler方法(PKL)、连续熵(CEM)和互信息(MI)方法在能力估计的相关、均方根误差、绝对值偏差和欧氏距离的表现。模拟研究表明：(1)双因子模式越强,即一般因子和组因子在项目上的区分度的差异越小,一般因子估计精度降低,组因子估计精度增加,整体能力的估计精度提高;(2)相同实验条件下,连续熵方法的测量精度最高,PKL方法的能力估计精度最低,其它方法的测量精度没有显著差异。     

IRT模型参数估计的新方法——MCMC算法

本研究主要探讨MCMC算法在IRT模型参数估计中的实现及其估计精度.通过模拟多种实验条件(人少题少、人题适中、人多题多、被试数及其参数固定情况下项目数变化、项目数及其参数固定情况下人数变化),考察两参数和叁参数Logistic模型的MCMC算法对其参数估计的精度,并与国际通用测量程序-Bilog程序(E-M算法)进行比较研究.模拟实验研究表明,上述各种实验条件下,MCMC算法均可用于IRT模型参数估计,且其估计的精度均较Bilog程序(E-M算法)高,值得推广.     

中小学教师胜任力迫选式测验的编制及应用

在文献追踪和关键事件访谈的基础上,采用迫选法编制了中小学教师胜任力迫选式测验,并应用该测验对482名中小学教师做了研究,结果表明:(1)中小学教师胜任力迫选式测验具有较好的信度和效度。(2)中小学教师胜任特征由宜人性、爱学生、爱教育、素养四个因子构成,这四个因子能够解释总变异的53.16%。(3)目前宁夏在岗中小学教师胜任力的整体水平尚可,个人素养和对教育事业的感情尤其需要加强。(4)在各种影响因素中,教龄对中小学教师胜任力水平影响较大。随着执教时间的增加,其胜任力水平会逐渐提高;小学教师在素养维度上的得分显著高于高中教师,但不同学科和学历的教师之间胜任力水平没有差异。结论:编制的中小学教师胜任力测验符合心理测量学的要求,能够作为测量中小学教师胜任特征的工具加以使用。     

题组项目功能差异（DIF）检验方法的应用探索

篇章形式的阅读测验是一种典型的题组测验,在进行项目功能差异（DIF）检验时需要采用与之匹配的DIF检验方法.基于题组反应模型的DIF检验方法是真正能够处理题组效应的DIF检验方法,能够提供题组中每个项目的DIF效应测量,是题组DIF检验方法中较有理论优势的一种,主要使用的方法是Rasch题组DIF检验方法.该研究将Rasch题组DIF检验方法引入篇章阅读测验的DIF检验中,对某阅读成就测验进行题组DIF检验,结果显示,该测验在内容维度和能力维度的部分子维度上出现了具有显著DIF效应的项目,研究从测验公平的角度对该测验的进一步修改及编制提出了一定的建议.研究中进一步将Rasch题组DIF检验方法与基于传统Rasch模型的DIF检验方法以及变通的题组DIF检验方法的结果进行比较,研究结果体现了进行题组DIF检验的必要性与优越性.研究结果表明,在篇章阅读测验中,能够真正处理题组效应的题组DIF检验方法更加具有理论优势且对于阅读测验的编制与质量的提高具有更重要的意义.     

使用题组反应模型缓解局部题目依赖性对多阶段测验的危害

尽管多阶段测验(MST)在保持自适应测验优点的同时允许测验编制者按照一定的约束条件去建构每一个模块和题板,但建构测验时若因忽视某些潜在的因素而导致题目之间出现局部题目依赖性(LID)时,也会对MST测验结果带来一定的危害。为探究"LID对MST的危害"这一问题,本研究首先介绍了MST和LID等相关概念;然后通过模拟研究比较探讨该问题,结果表明LID的存在会影响被试能力估计的精度但仍为估计偏差较小,且该危害不限于某一特定的路由规则;之后为消除该危害,使用了题组反应模型作为MST施测过程中的分析模型,结果表明尽管该方法能够消除部分危害但效果有限。这一方面表明LID对MST中被试能力估计精度所带来的危害确实值得关注,另一方面也表明在今后关于如何消除MST中由LID造成危害的方法仍值得进一步探究的。     

项目功能差异对于认知诊断测验估计准确性的影响

为探讨项目功能差异对于认知诊断测验估计准确性的影响,采用模拟研究的方式在3种DIF题目所占比例,3种DIF量下,检测了4种认知诊断测验中存在的DIF对于被试能力估计准确性和题目参数估计准确性的影响。结果发现:(1)DIF对于目标组被试能力估计准确性影响较大;(2)含有DIF的题目所占比例和DIF量增大,都会降低目标组被试能力估计的准确性;(3)非一致性DIF对于被试能力估计准确性的影响大于一致性DIF;(4)只有含有DIF题目的题目参数估计准确性会下降;(5)随着DIF量增大,含有DIF题目的题目参数估计准确性下降增多,但不受含DIF题目所占比例的影响。     

多维题组效应Rasch模型

首先, 本文诠释了“题组”的本质即一个存在共同刺激的项目集合。并基于此, 将题组效应划分为项目内单维题组效应和项目内多维题组效应。其次, 本文基于Rasch模型开发了二级评分和多级评分的多维题组效应Rasch模型, 以期较好地处理项目内多维题组效应。最后, 模拟研究结果显示新模型有效合理, 与Rasch题组模型、分部评分模型对比研究后表明：(1)测验存在项目内多维题组效应时, 仅把明显的捆绑式题组效应进行分离而忽略其他潜在的题组效应, 仍会导致参数的偏差估计甚或高估测验信度; (2)新模型更具普适性, 即便当被试作答数据不存在题组效应或只存在项目内单维题组效应, 采用新模型进行测验分析也能得到较好的参数估计结果。     

多级评分认知诊断题组模型

具有多级评分和题组结构的测验形式被广泛应用，本文提出多级评分认知诊断题组模型（PCDTM），能处理带题组的多级评分测验数据。研究表明：（1）PCDTM模型合理有效，在各条件中均能得到良好的参数估计结果；（2）随着样本量、题目质量、题目数量增加，PCDTM的参数估计精度提高；（3）忽视题组效应，被试判准率和题目参数精度降低，甚至发生混乱；（4）PCDTM对实证数据的拟合更优，生态效果更好。建议使用该模型时，样本量不低于1000，题目数量不少于20题。     

基于多维题组反应模型的项目功能差异检验探究

本文将多维题组反应模型（MTRM）应用到多维题组测验的项目功能差异（DIF）检验中,通过模拟研究和应用研究探究MTRM在DIF检验中的准确性、有效性和影响因素,并与忽略题组效应的多维随机系数多项Logistic模型（MRCMLM）进行对比。结果表明：（1）随着样本量的增大,MTRM对有效DIF值检出率增高,错误率降低,在不同条件下结果的稳定性更高;（2）与MRCMLM相比,基于MTRM的DIF检验模型检验率更高,受到其他因素的影响更小;（3）当测验中题组效应较小时,MTRM与MRCMLM结果差异较小,但是MTRM模型拟合度更高。     

展开模型和优势模型在职业兴趣测验中的比较研究

该研究调查了展开模型(GGUM)和优势模型(GRM)对职业兴趣测验反应数据的拟合情况,并对展开模型和优势模型两种测验编制方法在职业兴趣测验中进行了比较。结果发现:(1)展开模型的模型拟合情况和测量精度优于累积模型,两种模型对被试能力参数估计的差异主要体现在极端被试上,对兴趣水平极端高的被试,展开模型的估计值更精确;(2)采用展开模型编制的测验在信度上远远高于Likert方法编制的测验,中间区域题目的增加提高了测验的信度,但两种方法在测验的效标关联效度上没有差异。结果表明,在职业兴趣的测量上,展开模型更精确;在职业兴趣测验的编制上,GGUM和Likert法没有差异,反而Likert法具有简便、易懂的优势。     

二参数逻辑斯蒂模型项目参数的估计精度

项目参数的估计精度对于测验的编制尤其是题库的建立十分重要。目前,国内外对项目参数估计精度的研究,大部分是基于在已知项目参数真值的情况下,运用各种参数估计方法产生新的估计值,再和真值进行偏度(BIAS)和均方根差(RMSE)的比较,从而说明该种估计方法的有效性。但是这种方法不能提供不同的参数真值之间的估计误差的变化规律。为了弥补这一缺陷,本文尝试从项目参数估计信息函数的角度出发研究项目参数的估计精度问题。本研究以二参数Logistic模型作为研究对象,首先定义了项目参数的估计信息函数,然后基于完全随机实验设计,通过模拟研究的方法探索影响项目参数的估计精度的因素,实验共设计了(2×3×2)种情形。研究结果表明：(1)项目参数(a,b)的估计精度均随着被试样本量的增大而提高;(2)被试的能力分布对难度参数的估计精度影响较大,对区分度参数的估计精度影响相对较小;(3)难度参数和区分度参数的估计精度都分别受到参数a和参数b的共同作用。