多维题组效应Rasch模型

首先, 本文诠释了“题组”的本质即一个存在共同刺激的项目集合。并基于此, 将题组效应划分为项目内单维题组效应和项目内多维题组效应。其次, 本文基于Rasch模型开发了二级评分和多级评分的多维题组效应Rasch模型, 以期较好地处理项目内多维题组效应。最后, 模拟研究结果显示新模型有效合理, 与Rasch题组模型、分部评分模型对比研究后表明：(1)测验存在项目内多维题组效应时, 仅把明显的捆绑式题组效应进行分离而忽略其他潜在的题组效应, 仍会导致参数的偏差估计甚或高估测验信度; (2)新模型更具普适性, 即便当被试作答数据不存在题组效应或只存在项目内单维题组效应, 采用新模型进行测验分析也能得到较好的参数估计结果。     

多级评分认知诊断题组模型

具有多级评分和题组结构的测验形式被广泛应用，本文提出多级评分认知诊断题组模型（PCDTM），能处理带题组的多级评分测验数据。研究表明：（1）PCDTM模型合理有效，在各条件中均能得到良好的参数估计结果；（2）随着样本量、题目质量、题目数量增加，PCDTM的参数估计精度提高；（3）忽视题组效应，被试判准率和题目参数精度降低，甚至发生混乱；（4）PCDTM对实证数据的拟合更优，生态效果更好。建议使用该模型时，样本量不低于1000，题目数量不少于20题。     

一种优化的多级评分认知诊断模型

本研究在P-DINA模型基础上开发了一种全新的多级评分认知诊断模型——r P-DINA模型。与P-DINA模型相比,r PDINA模型理论上更具优势:它成功克服了P-DINA模型"将被试得分推向0分或满分两个极端"等不足;且r P-DINA模型较P-DINA模型更为充分地利用了多级评分数据原有特征,从而大大提高了模型的诊断正确率。Monte Carlo模拟结果表明:(1)改进后的r P-DINA模型无论是在无结构还是有结构的属性层级关系下,参数估计的精度及属性诊断正确率均明显优于P-DINA模型;(2)r P-DINA模型可以处理测验属性更多的测验情景,当测验认知属性高达9个时,其属性边际判准率及模式判准率仍高达96.4%和81.6%。     

基于属性层级结构的认知诊断测验的组卷

认知诊断测验组卷方法对提高被试属性掌握模式的判准率至关重要.Henson和Douglas的组卷方法(2005)得到的认知诊断测验判准率不高,没有考虑属性间的层级关系是重要原因.本文提出一种基于属性层级结构的认知诊断组卷方法:首先根据属性层级结构确定待选项目类集合,其次根据新建构的选题指标确定项目类,然后由属性区分被试的能力确定各项目类中题目的数量,并在测验Q阵中放入可达阵.模拟研究表明:新方法比H&D方法在判准率上有很大的提高;新的选题指标比H&D的指标大大缩短计算时间.     

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高, 要标定大量项目的属性相当费时费力, 专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上, 本文在计算机化自适应认知诊断测验过程中, 植入原始题, 对项目属性标定的问题进行探讨, 重点研究原始题属性标定的方法及其影响因素, 除了MMLE方法和MLE方法外, 还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法—— 交差方法。Monte Carlo模拟结果显示, MMLE方法较MLE方法好; 在知识状态估计精度较高时, 自适应植入原始题较随机植入原始题有一定的优势; 随着知识状态估计精度提高和原始题作答次数增加, 交差方法与MLE方法基本相当, 只是在发散型和无结构型表现欠佳, 但是交差方法不需要预先设定项目参数值。     

基于多维题组反应模型的项目功能差异检验探究

本文将多维题组反应模型（MTRM）应用到多维题组测验的项目功能差异（DIF）检验中,通过模拟研究和应用研究探究MTRM在DIF检验中的准确性、有效性和影响因素,并与忽略题组效应的多维随机系数多项Logistic模型（MRCMLM）进行对比。结果表明：（1）随着样本量的增大,MTRM对有效DIF值检出率增高,错误率降低,在不同条件下结果的稳定性更高;（2）与MRCMLM相比,基于MTRM的DIF检验模型检验率更高,受到其他因素的影响更小;（3）当测验中题组效应较小时,MTRM与MRCMLM结果差异较小,但是MTRM模型拟合度更高。     

分类视角下认知诊断测验项目区分度指标及应用

在认知诊断中还没有指标能在无作答数据情况下直接评价项目的属性分类准确率或属性判准率。项目水平上的属性分类准确率,与项目属性向量、项目参数、先验分布和作答反应等有关。综合各个影响因素定义了项目水平上的属性期望分类准确率指标,并将其用于组卷。模拟研究显示：新指标可十分准确地评价项目的属性判准率,新指标对于项目筛选十分重要;以模式分类准确率为评价指标,基于新指标的组卷方法与经典的组卷方法表现相当。     

分离型的多级评分认知诊断模型开发及其应用研究

本文基于DINO模型开发出一种分离型的多级评分认知诊断模型(P-DINO模型),并采用Monte Carlo模拟与实证研究相结合的范式,探讨了新模型的性能与有效性。结果表明:(1)P-DINO模型参数估计精度较好,参数估计的稳健性较强。(2)采用MCMC算法可以实现该模型的参数估计,估计结果较理想。(3)测验长度的增加能有效提高模型的判准率,被试人数的增加对判准率的提高相对较小,属性个数的增加会降低判准率。(4)在抑郁症状评估中,P-DINO模型的表现要优于DINO模型与传统的抑郁症状评估。     

基于群体水平评估的认知诊断模型开发与应用

本文开发了基于群体水平评估的认知诊断模型——G-AHM,采用Monte Carlo模拟方法探讨了模型的性能与表现,并探讨其在实践中的具体应用。研究发现：（1）新模型G-AHM不仅具有较高的边际判准率,还具有较好的模式判准率,且具有较强的稳健性,说明本研究开发的新模型基本合理、可行的。（2）与已有的具有较高效度的诊断结果比较发现：从认知状态、属性掌握概率与属性掌握比例三个方面,G-AHM模型所获得的群体诊断结果都与已有结果基本一致,即可以认为G-AHM方法获得的诊断结果也具有较高的效度。因此G-AHM模型在实际中是可行、可信的;且G-AHM方法中将认知状态与群体对属性的掌握概率信息相结合,可以更好的解释及分析被试的认知水平,提供的信息更具参考价值。     

HO-DINA模型的MCMC参数估计及模型性能研究

认知诊断目前在国内外越来越受到重视,而要真正实现认知诊断,需借助一定的计量学模型即认知诊断模型。国际上,目前已开发近60种认知诊断模型,不同模型又各具特点。本研究重点分析国外研究较成熟的模型--HO-DINA/DINA模型,具体探讨该模型参数估计的实现及模型性能,采用Monte Carlo模拟方法进行,研究发现：(1)本研究对项目参数、属性参数和被试参数估计返真性较好、稳健性较强、HO-DINA模型具有较高的判断率,MCMC算法可行;（2）诊断的属性个数越多,诊断的模式正确率越低,建议实际使用该模型时,诊断的属性个数不宜超过7个;（3）用于诊断的项目数越多,诊断的模式正确率越高,在实际工作中,若要保证有80%以上的模式判准率,则4个属性的至少需20题,5个、6个和7个属性的至少需要40题,8个属性至少需60题。实际运用者应根据实际情况考虑适当的项目数及属性数。     

使用题组反应模型缓解局部题目依赖性对多阶段测验的危害

尽管多阶段测验(MST)在保持自适应测验优点的同时允许测验编制者按照一定的约束条件去建构每一个模块和题板,但建构测验时若因忽视某些潜在的因素而导致题目之间出现局部题目依赖性(LID)时,也会对MST测验结果带来一定的危害。为探究"LID对MST的危害"这一问题,本研究首先介绍了MST和LID等相关概念;然后通过模拟研究比较探讨该问题,结果表明LID的存在会影响被试能力估计的精度但仍为估计偏差较小,且该危害不限于某一特定的路由规则;之后为消除该危害,使用了题组反应模型作为MST施测过程中的分析模型,结果表明尽管该方法能够消除部分危害但效果有限。这一方面表明LID对MST中被试能力估计精度所带来的危害确实值得关注,另一方面也表明在今后关于如何消除MST中由LID造成危害的方法仍值得进一步探究的。     

基于混合模型（Mixed-CDMs）视角的CD-CAT及其应用研究

传统CD-CAT通常选择一个认知诊断模型（cognitive diagnosis model, CDM）标定题库参数,但在实际应用中一个CDM很难完全拟合题库中所有的题目。G-DINA模型是一般化的饱和模型,可以通过Wald统计量检验在题目水平上,比较简约模型（DINA、DINO、ACDM、LLM和RRUM）是否能够代替饱和模型（G-DINA）,并为每个题目选择一个相对最优的CDM,从而充分发挥各个CDM的优势,从而在一个题库中有的题目采用简约CDM,而有的题目采用饱和CDM,本文把这种思路称为混合模型（Mixed-CDMs）思路。基于此,本文探讨了基于混合模型的CD-CAT,并通过两个模拟研究及其应用研究验证了该方法的效果。研究结果表明基于混合模型建立的CD-CAT具有理想的效果,从而为CD-CAT在实际使用中提供了新思路和新方法。     

使用验证性补偿多维IRT模型进行认知诊断评估

随着人们对测验反馈结果精细化的需求逐渐提高, 具有认知诊断功能的测量方法逐渐受到人们的关注。在认知诊断模型(CDMs)闪耀着光芒的同时, 另一类能够在连续量尺上提供精细反馈的多维IRT模型(MIRTMs)似乎受到些许冷落。为探究MIRTMs潜在的认知诊断功能, 本文以补偿模型为视角, 聚焦于分别属于MIRTMs的多维两参数logistic模型(M2PLM)和属于CDMs的线性logistic模型(LLM); 之后为使两者具有可比性, 可对补偿M2PLM引入验证性矩阵(Q矩阵)来界定题目与维度之间的关系, 进而得到验证性的补偿M2PLM (CC-M2PLM), 并通过把潜在特质按切点划分为跨界属性, 以期使CC-M2PLM展现出其本应具有的认知诊断功能; 预研究表明logistic量尺上的0点可作为相对合理的切点; 然后, 通过模拟研究对比探究CC-M2PLM和LLM的认知诊断功能, 结果表明CC-M2PLM可用于分析诊断测验数据, 且认知诊断功能与直接使用LLM的效果相当; 最后, 以两则实证数据为例来说明CC-M2PLM在实际诊断测验分析中的可行性。     

认知诊断模型中项目水平模型比较统计量的健壮性

使用模拟研究方法比较了以往研究中提出的基于观察信息矩阵、三明治矩阵的Wald（分别表示为W_Obs、W_Sw）、似然比（Likelihood Ratio）统计量以及新提出的基于经验交叉相乘信息矩阵的Wald统计量（W_XPD）在模型——数据失拟条件下进行项目水平上模型比较时的表现。结果显示：（1）W_Sw的一类错误控制率有很强的健壮性。（2）W_XPD在Q矩阵错误设定的大多数条件下的表现优于W_Sw。结论：模型—数据拟合良好时可以使用W_Sw进行项目水平上的模型比较,当模型与数据失拟时W_XPD可能是更好的选择。     

认知诊断模型中项目水平模型比较统计量的健壮性

使用模拟研究方法比较了以往研究中提出的基于观察信息矩阵、三明治矩阵的Wald（分别表示为W_Obs、W_Sw）、似然比（Likelihood Ratio）统计量以及新提出的基于经验交叉相乘信息矩阵的Wald统计量（W_XPD）在模型——数据失拟条件下进行项目水平上模型比较时的表现。结果显示：（1）W_Sw的一类错误控制率有很强的健壮性。（2）W_XPD在Q矩阵错误设定的大多数条件下的表现优于W_Sw。结论：模型—数据拟合良好时可以使用W_Sw进行项目水平上的模型比较,当模型与数据失拟时W_XPD可能是更好的选择。     

题组项目功能差异（DIF）检验方法的应用探索

篇章形式的阅读测验是一种典型的题组测验,在进行项目功能差异（DIF）检验时需要采用与之匹配的DIF检验方法.基于题组反应模型的DIF检验方法是真正能够处理题组效应的DIF检验方法,能够提供题组中每个项目的DIF效应测量,是题组DIF检验方法中较有理论优势的一种,主要使用的方法是Rasch题组DIF检验方法.该研究将Rasch题组DIF检验方法引入篇章阅读测验的DIF检验中,对某阅读成就测验进行题组DIF检验,结果显示,该测验在内容维度和能力维度的部分子维度上出现了具有显著DIF效应的项目,研究从测验公平的角度对该测验的进一步修改及编制提出了一定的建议.研究中进一步将Rasch题组DIF检验方法与基于传统Rasch模型的DIF检验方法以及变通的题组DIF检验方法的结果进行比较,研究结果体现了进行题组DIF检验的必要性与优越性.研究结果表明,在篇章阅读测验中,能够真正处理题组效应的题组DIF检验方法更加具有理论优势且对于阅读测验的编制与质量的提高具有更重要的意义.     

贝叶斯题组随机效应模型的必要性及影响因素

题组模型可以解决传统IRT模型由于题目间局部独立性假设违背时所导致的参数估计偏差。为探讨题组随机效应模型的适用范围, 采用Monte Carlo模拟研究, 分别使用2-PL贝叶斯题组随机效应模型(BTRM)和2-PL贝叶斯模型(BM)对数据进行拟合, 考虑了题组效应、题组长度、题目数量和局部独立题目比例的影响。结果显示：(1) BTRM不受题组效应和题组长度影响, BM对参数估计的误差随题组效应和题组长度增加而增加。(2) BTRM具有一定的普遍性, 且当题组效应大, 题组长, 题目数量大时使用该模型能减少估计误差, 但是当题目数量较小时, 两个模型得到的能力估计误差都较大。(3)当局部独立题目的比例较大时, 两种模型得到的参数估计差异不大。     

认知诊断模型的比较及其应用研究：饱和模型、简化模型还是混合方法？

GDINA是一个饱和认知诊断模型（Cognitive Diagnosis Models, CDM）,Wald检验被用于在题目水平上检验GDINA是否可以被简化模型（如DINA, DINO, ACDM和RRUM）替代,并为测验的每一个题目选择一个最恰当的CDM（简称混合CDM）。选择合适的CDM是进行诊断评估的一个关键步骤,通过Monte Carlo 模拟实验,比较了不同的测验情境下,GDINA、简化CDM和混合CDM在测验整体拟合指标、模式判准率和项目参数估计的返真性等效果,研究发现混合模型的整体表现是最好的,其次是GDINA,最后是简化CDM。     

概率性输入,噪音“与”门(PINA)模型

当前认知诊断测验的主要目的是对被试进行合理分类,进而采用类别变量去描述被试对某技能或知识(即认知属性)的掌握情况,但该粗糙的分类方法不能精细地区分不同被试之间的差异。对此,采用掌握概率这一连续变量去描述被试对某认知属性的掌握情况是一种值得尝试的做法。本文首先基于高阶潜在特质(简称"潜质")模型给出了认知属性掌握概率的量化定义,之后与多成分潜质模型相结合提出了概率性输入,噪音"与"门(PINA)模型;其次,采用MCMC算法实现了对PINA的参数估计,结果表明参数估计程序对各参数的估计返真性均较好;最后,以ECPE数据为例来说明PINA在实际测验分析中具有可行性。