多维测验项目参数的估计：基于SEM与MIRT方法的比较

作者简要回顾了SEM框架下分类数据因素分析(CCFA)模型和MIRT框架下测验题目和潜在能力的关系模型, 对两种框架下的主要参数估计方法进行了总结。通过模拟研究, 比较了SEM框架下WLSc和WLSMV估计方法与MIRT框架下MLR和MCMC估计方法的差异。研究结果表明：(1) WLSc得到参数估计的偏差最大, 且存在参数收敛的问题; (2)随着样本量增大, 各种项目参数估计的精度均提高, WLSMV方法与MLR方法得到的参数估计精度差异很小, 大多数情况下不比MCMC方法差; (3)除WLSc方法外, 随着每个维度测验题目的增多参数估计的精度逐渐增高; (4)测验维度对区分度参数和难度参数的影响较大, 而测验维度对项目因素载荷和阈值的影响相对较小; (5)项目参数的估计精度受项目测量维度数的影响, 只测量一个维度的项目参数估计精度较高。另外文章还对两种方法在实际应用中应该注意的问题提供了一些建议。     

概率分布等值法及其应用

在项目反应理论框架下,根据已有文献提出了开发新的测验等值准则的方法,即许多准则都可以看成是通过对锚题上作答反应概率分布进行变换而导出。据此揭示了两个著名的等值准则——Haebara方法和Stocking-Lord方法之间的联系,并且导出了一个新的等值准则——余弦等值准则。为了讨论余弦准则的行为表现,开展了一系列Monte-Carlo模拟研究。模拟结果表明,余弦准则在多级评分模型GPCM上表现比Haebara方法和Stocking--Lord方法都好,而对GRM和2PLM,其表现不如Haebara,但可以和Stocking-Lord方法相提并论。这一发现提醒我们等值准则的选用是否恰当,不仅与等值系数所落的范围有关,而且还与项目反应函数（IRF）有更密切的关系     

多阶段混合增长模型的方法及研究现状

多阶段混合增长模型(PGMM)可对发展过程中的阶段性及群体异质性特征进行分析,在能力发展、行为发展及干预、临床心理等研究领域应用广泛。PGMM可在结构方程模型和随机系数模型框架下定义,通常使用基于EM算法的极大似然估计和基于马尔科夫链蒙特卡洛模拟的贝叶斯推断两种方法进行参数估计。样本量、测量时间点数、潜在类别距离等因素对模型及参数估计有显著影响。未来应加强PGMM与其它增长模型的比较研究;在相同或不同的模型框架下研究数据特征、类别属性等对参数估计方法的影响。     

认知诊断模型的标准误与置信区间估计：并行自助法

认知诊断模型的标准误(Standard Error, SE; 或方差—协方差矩阵)与置信区间(Confidence Interval, CI)在模型参数估计不确定性的度量、项目功能差异检验、项目水平上的模型比较、Q矩阵检验以及探索属性层级关系等领域有重要的理论与实践价值。本研究提出了两种新的SE和CI计算方法：并行参数化自助法和并行非参数化自助法。模拟研究发现：模型完全正确设定时, 在高质量及中等质量项目条件下, 这两种方法在计算模型参数的SE和CI时均有好的表现; 模型参数存在冗余时, 在高质量及中等质量项目条件下, 对于大部分允许存在的模型参数而言, 其SE和CI有好的表现。通过实证数据展示了新方法的价值及计算效率提升效果。     

单维项目因素分析：CCFA与IRT估计方法的比较

当观测指标变量为二分分类数据时,传统的因素分析方法不再适用。作者简要回顾了SEM框架下的分类数据因素分析模型和IRT框架下的测验题目和潜在能力的关系模型,并对两种框架下主要采用的参数估计方法进行了总结。通过两个模拟研究,比较了SEM框架下GLSc和MGLSc估计方法与IRT框架下MML/EM估计方法的差异。研究结果表明：（1）三种方法中,GLSc得到参数估计的偏差最大,MGLSc和MML/EM估计方法相差不大;（2）随着样本量增大,各种项目参数估计的精度均提高;（3）项目因素载荷和难度估计的精度受测验长度的影响;（4）项目因素载荷和区分度估计的精度受总体因素载荷（区分度）高低的影响;（5）测验项目中阈值的分布会影响参数估计的精度,其中受影响最大的是项目区分度。（6）总体来看,SEM框架下的项目参数估计精度较IRT框架下项目参数估计的精度高。此外,文章还将两种方法在实际应用中应该注意的问题提供了一些建议。     

多题多做测验模型及其应用

在IRT框架下,建立了0-1评分方式下单维双参数Logistic多题多做（MAMI）测验模型。与Spray给出的一题多做（MASI）模型相比,MAMI不仅模型更加精致,而且扩展了适用范围,参数估计方法也不同,采用EM算法求取项目参数。Monte Carlo模拟结果显示,应用MAMI测验模型与测验题量作相应增加的作法相比,两者给出的能力估计精度相同,但MAMI模型给出的项目参数估计精度更高。如果将MAMI测验模型与被试人数相应增加的作法相比,项目参数的估计精度相同,但MAMI给出的能力参数估计精度更高。这个发现表明,在一定条件下若允许修改答案,并采用累加式记分方式,纵使题量不变,也可使能力估计的精度相当于题量增加一倍的估计精度,而项目参数估计精度也会提高。这些发现不仅对技能评价和认知能力评价有参考价值,而且对数据的处理方式也有参考价值     

用于处理不努力作答的标准化残差系列方法和混合多层模型法的比较

文章采用模拟研究, 分别在混合多层模型假设满足和违背的情境下, 比较了混合多层模型方法与标准化残差系列方法在识别不努力作答和参数估计方面的表现。结果显示：(1)不存在不努力作答或其严重性低时, 各方法表现接近; (2)不努力作答严重性高时, 固定参数迭代标准化残差法普遍更优, 混合多层模型法仅在假设满足且两种作答反应时差异大的条件下表现较好。建议实际应用中优先选择固定参数迭代标准化残差法。     

基于题目作答时间信息的认知诊断模型

在认知诊断评估中利用过程性数据,如作答时间信息,能进一步提升诊断精度。通过建立被试正确作答概率与个体速度参数之间的回归模型,开发了更简洁的新模型：RRT-DINA模型。采用实证与模拟研究,与JRT-DINA模型比较,探讨了新模型的性能。PISA2012数据研究表明,RRT-DINA模型的拟合效果更好。模拟研究结果表明：（1）RRT-DINA模型可采用MCMC算法实现参数估计,估计精度较高。（2）当以RRT-DINA生成数据时,RRT-DINA的题目参数估计精度优于JRTDINA;当以JRT-DINA生成数据时,JRT-DINA的题目参数估计精度稍微优于RRT-DINA。（3）当以RRT-DINA生成数据时,RRT-DINA的判准率优于JRT-DINA模型;当以JRT-DINA生成数据时,JRT-DINA的判准率稍微优于RRT-DINA,且差距较小。     

分离型的多级评分认知诊断模型开发及其应用研究

本文基于DINO模型开发出一种分离型的多级评分认知诊断模型(P-DINO模型),并采用Monte Carlo模拟与实证研究相结合的范式,探讨了新模型的性能与有效性。结果表明:(1)P-DINO模型参数估计精度较好,参数估计的稳健性较强。(2)采用MCMC算法可以实现该模型的参数估计,估计结果较理想。(3)测验长度的增加能有效提高模型的判准率,被试人数的增加对判准率的提高相对较小,属性个数的增加会降低判准率。(4)在抑郁症状评估中,P-DINO模型的表现要优于DINO模型与传统的抑郁症状评估。     

认知诊断计算机化自适应测验中的项目增补

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路, 提出联合估计算法(JEA), 仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明：当项目参数相对较小且样本量相对较大时, JEA算法在新题属性向量和新题项目参数估计精度方面表现不错; 而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。     

一种多级评分的认知诊断模型：P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料, 大大限制了认知诊断在实际中的应用, 也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展, 开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型, 同时采用MCMC算法实现模型参数的估计, 并对该模型性能进行研究。结果表明：(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下, 参数估计的精度均较高, 参数估计的稳健性较强, 说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计, 且参数估计的精度较高。(3)整体来看, 无结构型属性层级关系和结构型属性层级关系下, P-DINA模型在项目参数的估计精度上两者基本相当; 但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下：模型诊断的属性个数越多, 参数 估计的精度越差、属性诊断的正确率(MMR和PMR)越低, 但参数 的估计精度越好; 若想保证属性模式判准率在80%以上, 建议诊断的属性个数不宜超过7个。总之, 本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。     

非补偿的非参数化多策略认知诊断方法：NCNPMSC方法开发

心理与教育认知诊断测验中常常存在一个题目包含多种解题策略的情况,参数化的多策略认知诊断模型需要足够的样本量以保证模型参数估计的准确性,而学校和班级规模的诊断测验难以满足参数化模型的样本量要求。本研究开发了一种新的简洁高效的非参数化多策略认知诊断分类（NCNPMSC）方法,该方法不需要进行参数估计,即使样本量为1人也能实现诊断分类。本文通过两个模拟研究和实证数据分析证明了NCNPMSC方法进行多策略诊断分类的合理性和可行性,为多策略认知诊断提供了新的方法支持。     

改进3PL模型参数估计的MCMC算法

本文首先用马尔科夫链蒙特卡洛(MCMC)算法和EM算法进行IRT模型参数估计模拟实验,并探讨了两种算法的参数估计精度,然后在分析三参数Logistic(3PL)模型参数估计精度的基础上改进模型并对其进行参数估计。结果表明,MCMC算法估计IRT模型的参数精度均优于EM算法,并且MCMC算法在估计3PL模型参数方面具有更明显的优势;在样本量较小的情况下,MCMC算法能较好地估计3PL模型参数,估计精度略低于2PL模型;3PL模型的项目参数确定性低是参数估计精度略低于2PL模型的主要原因;采用改进模型可以提高项目参数的确定性,进而得到更优的参数估计精度。     

多项式加工树模型次序约束的量化分析及其应用

多项式加工树（MPT）模型是一种认知测量模型,能够对潜在认知过程进行测量和检验。已有研究探讨了二链MPT模型次序约束的重新参数化问题,本研究探讨了MPT模型次序约束的量化分析方法并从二链推广到多链,同时归纳出MPT模型参数向量内和参数向量间两参数次序约束量化分析的结论。数据分析结果表明该方法不仅在MPT模型框架下验证了潜在参数次序关系,而且给出了约束的量化指标,为潜在认知测量提供更有意义的解释。     

联合作答精度和作答时间的概率态认知诊断模型

对多模态数据的联合分析是改进结果评价、健全综合评价的主要途径。针对概率态认知诊断模型(CDM)仅能分析题目作答精度(RA)的局限,本文基于联合-层级建模框架和联合-交叉负载建模框架提出三个可联合分析RA和题目作答时间(RT)的概率态联合CDM。模拟研究和实证研究结果表明：(1)新模型参数估计返真性良好,额外引入RT有助于提高参数估计精度并提供有关个体加工速度的测量;(2)基于联合-交叉负载建模框架构建的模型对测验情境的兼容性优于基于联合-层级建模框架构建的模型;(3)概率态属性比确定态属性更精细地反映个体对属性的掌握情况。     

基于HO-DINA模型的多级评分认知诊断模型的开发

本文对具有较好发展前景的HO-DINA模型进行拓展,将仅适用于0-1评分题型的HO-DINA模型拓广至可用于多级评分题型,采用MCMC算法实现了对模型参数的估计,并对新模型性能进行了研究。研究发现: （1）本文拓展的多级评分HO-DINA模型参数估计精度较高且诊断正确率较高。（2）多级评分的HO-DINA模型诊断的属性个数越多,属性参数（ 和 ）和s参数估计的精度越差、属性诊断的正确率（MMR和PRM）越低,但能力参数（ ）和g参数的估计精度反而越高。（3）在当前条件下,若想保证属性模式判准率在80%以上,建议诊断的属性个数不宜超过7个。     

IRT模型参数估计的新方法——MCMC算法

本研究主要探讨MCMC算法在IRT模型参数估计中的实现及其估计精度.通过模拟多种实验条件(人少题少、人题适中、人多题多、被试数及其参数固定情况下项目数变化、项目数及其参数固定情况下人数变化),考察两参数和叁参数Logistic模型的MCMC算法对其参数估计的精度,并与国际通用测量程序-Bilog程序(E-M算法)进行比较研究.模拟实验研究表明,上述各种实验条件下,MCMC算法均可用于IRT模型参数估计,且其估计的精度均较Bilog程序(E-M算法)高,值得推广.     

HO-DINA模型的MCMC参数估计及模型性能研究

认知诊断目前在国内外越来越受到重视,而要真正实现认知诊断,需借助一定的计量学模型即认知诊断模型。国际上,目前已开发近60种认知诊断模型,不同模型又各具特点。本研究重点分析国外研究较成熟的模型--HO-DINA/DINA模型,具体探讨该模型参数估计的实现及模型性能,采用Monte Carlo模拟方法进行,研究发现：(1)本研究对项目参数、属性参数和被试参数估计返真性较好、稳健性较强、HO-DINA模型具有较高的判断率,MCMC算法可行;（2）诊断的属性个数越多,诊断的模式正确率越低,建议实际使用该模型时,诊断的属性个数不宜超过7个;（3）用于诊断的项目数越多,诊断的模式正确率越高,在实际工作中,若要保证有80%以上的模式判准率,则4个属性的至少需20题,5个、6个和7个属性的至少需要40题,8个属性至少需60题。实际运用者应根据实际情况考虑适当的项目数及属性数。     

R-RUM的参数估计及性能评价研究

认知诊断作为21世纪一种新的测量范式,在国内外越来越受到重视。该文运用MCMC算法实现了R-RUM的参数估计,并采用Monte Carlo模拟方法探讨其性能。研究结果表明:(1)R-RUM参数估计方法可行,估计精度较高;(2)Q矩阵复杂性和模型参数水平对模型参数估计精度有较大影响,随着r_(jk)*值的增大和Q矩阵复杂性的增加,项目参数和被试参数估计精度逐渐下降;(3)在特定情形下,R-RUM具有一定的稳健性。     

项目反应理论多级记分模型参数估计的实现

项目反应理论中参数估计程序的实现,一直是研究现代测量理论的学者们关注的问题。该研究从理论上探讨了多级模型参数估计的实现途径,并模拟了5批不同数量及分布情形的项目及被试参数,生成相应的原始得分矩阵,对自编程序及国际流行的相关程序进行了严格的比较校验,验证结果证明本程序具有精确、稳定的性能,并且发现被试量太少将影响参数估计的精确性及稳定性