HO-DINA模型的MCMC参数估计及模型性能研究

认知诊断目前在国内外越来越受到重视,而要真正实现认知诊断,需借助一定的计量学模型即认知诊断模型。国际上,目前已开发近60种认知诊断模型,不同模型又各具特点。本研究重点分析国外研究较成熟的模型--HO-DINA/DINA模型,具体探讨该模型参数估计的实现及模型性能,采用Monte Carlo模拟方法进行,研究发现：(1)本研究对项目参数、属性参数和被试参数估计返真性较好、稳健性较强、HO-DINA模型具有较高的判断率,MCMC算法可行;（2）诊断的属性个数越多,诊断的模式正确率越低,建议实际使用该模型时,诊断的属性个数不宜超过7个;（3）用于诊断的项目数越多,诊断的模式正确率越高,在实际工作中,若要保证有80%以上的模式判准率,则4个属性的至少需20题,5个、6个和7个属性的至少需要40题,8个属性至少需60题。实际运用者应根据实际情况考虑适当的项目数及属性数。     

多级评分认知诊断模型述评

认知诊断评估旨在探讨个体内部的知识掌握结构,并提供关于学生优缺点的详细诊断信息,以促进个体的全面发展。当前研究者已开发了大量0-1评分的认知诊断模型,但对于多级评分认知诊断模型的研究还比较少。本文对已有的多级评分认知诊断模型进行了归纳,介绍了模型的假设,计量特征以及适用范围,为实际应用者和研究者在多级评分认知诊断模型的比较和选用上提供借鉴和参考。最后,对未来关于多级评分诊断模型的研究方向进行了展望。     

一种多级评分的认知诊断模型：P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料, 大大限制了认知诊断在实际中的应用, 也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展, 开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型, 同时采用MCMC算法实现模型参数的估计, 并对该模型性能进行研究。结果表明：(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下, 参数估计的精度均较高, 参数估计的稳健性较强, 说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计, 且参数估计的精度较高。(3)整体来看, 无结构型属性层级关系和结构型属性层级关系下, P-DINA模型在项目参数的估计精度上两者基本相当; 但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下：模型诊断的属性个数越多, 参数 估计的精度越差、属性诊断的正确率(MMR和PMR)越低, 但参数 的估计精度越好; 若想保证属性模式判准率在80%以上, 建议诊断的属性个数不宜超过7个。总之, 本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。     

基于贝叶斯网的认知诊断模型构建

新一代测量理论在测验设计、计量分析和结果解释等方面,都强调将认知科学与心理计量学相结合。文章基于贝叶斯网对定性的认知模型(属性层级)建立概率模型,并将其整合到认知诊断模型中,可实现认知模型与计量模型相结合进行诊断数据分析。采用MCMC算法分析带分数减法数据,比较不同属性结构下模型的表现,结果表明基于贝叶斯网构建的认知诊断模型可提供丰富且有效的诊断信息,可为验证认知模型提供一种途径。     

一种优化的多级评分认知诊断模型

本研究在P-DINA模型基础上开发了一种全新的多级评分认知诊断模型——r P-DINA模型。与P-DINA模型相比,r PDINA模型理论上更具优势:它成功克服了P-DINA模型"将被试得分推向0分或满分两个极端"等不足;且r P-DINA模型较P-DINA模型更为充分地利用了多级评分数据原有特征,从而大大提高了模型的诊断正确率。Monte Carlo模拟结果表明:(1)改进后的r P-DINA模型无论是在无结构还是有结构的属性层级关系下,参数估计的精度及属性诊断正确率均明显优于P-DINA模型;(2)r P-DINA模型可以处理测验属性更多的测验情景,当测验认知属性高达9个时,其属性边际判准率及模式判准率仍高达96.4%和81.6%。     

认知诊断模型资料拟合检验方法和统计量

认知诊断模型界定了测验题目和所考察属性之间的关系, 通过被试的作答反应获取被试对属性或知识技能的掌握情况。认知诊断模型资料拟合检验可以从项目拟合、模型绝对拟合、模型相对拟合和个人拟合方等方面进行。通过对认知诊断拟合检验方法和统计量的详细介绍和评价, 可为认知诊断实践提供借鉴和参考。未来研究可在更丰富的研究条件下对各统计量的性能进行评价和对比, 完善已有的拟合检验方法, 提出新的拟合统计量。     

不同链接函数下多级评分认知诊断模型的比较及应用研究

认知诊断测验因具有传统测验所不具备的诊断功能而日益受到重视。当前多级评分认知诊断模型开发中,研究者采用不同的链接函数（Link Function）开发出不同的多级评分认知诊断模型。本研究基于局部或相邻类别链接函数(Local or Adjacent Categories Link Function)的思想,开发出多级评分认知诊断模型LC-DINA研究采用Monte Carlo模拟研究与实证应用研究相结合的方法,将新开发模型与已有模型进行比较并应用于国际数学与科学评估（TIMMS）中,为实际应用者提供了借鉴。     

贝叶斯网在认知诊断属性层级结构确定中的应用

K. K. Tatsuoka和她同事研究的规则空间模型(RSM)是一种在国内外有较大影响的认知诊断模型, 但是Tatsuoka的RSM是由学科专家先从已编制的测验中抽取出属性, 然后给出测验的关联Q阵, 再由该Q阵导出属性间的层级关系。已有研究证明, 这种做法所得到的属性间的层级关系难以保证是正确的, 甚至难以保证属性间的层级关系是唯一确定的。这里利用贝叶斯网进行结构学习, 从被试的属性掌握模式中挖掘出属性间的层级关系, 学习所得到的层级关系可以用来验证由RSM中的方法得到的层级关系。模拟实验和实证研究的结果都显示了该方法所得到的属性层级关系是有参考价值的, 可以为命题或测量专家带来有用的信息。     

探索语言水平测验的认知诊断改造和深度分析： 以广州市英语学业考试为例

本研究探索在通用认知诊断模型和相关检验方法的基础上对现有语言水平测验进行诊断改造和分析,分三步进行探索：1）探索对语言水平测试不同的属性和Q矩阵构建途径;2）探索对语言水平测试基于通用模型的建模和效度验证;3）探索对语言水平测试建模后续的深入分析。研究发现：属性分布和总分分布划分的学生水平一致性较高;学生对属性掌握存在性别差异且属性间的难易层级不同;属性模式分布进一步验证了语言属性间关联程度较高以及通用认知诊断模型和相关检验方法对语言测验的适用性。三步式的建模分析可作为对语言水平测验进行认知诊断改造的参考。     

属性多级化的认知诊断模型拓展及其Q矩阵设计

本研究在传统0-1属性的基础上, 拓展出可以处理属性多级化的认知诊断模型--PA-rRUM和PA-DINA模型。Monte Carlo模拟研究表明：拓展模型具有较高的属性诊断正确率和参数估计精度, 且参数估计的稳定性较强, 说明拓展模型基本可行, 可以用于实现多级化属性的认知诊断。这弥补了传统0-1化属性认知诊断模型的不足, 具有较好的发展和应用前景|同时本研究还探讨了拓展模型性能及属性多级化下测验Q矩阵的设计。总之, 本研究对于进一步拓展认知诊断在实践中的应用提供了重要的方法和技术支持。     

Tatsuoka 矩阵理论的修正

K .K.Tatsuoka和她同事开发的规则空间模型（RSM）是一种在国内外有较大影响的认知诊断模型,但是Tatsuoka的RSM中 矩阵理论存在缺陷和错误,这些失误使得RSM中用布尔描述函数（BDF）计算被试理想项目反应模式（IRP）的方法缺乏理论依据。这里揭示了Tatsuoka的 矩阵理论的缺陷和错误并引进既不使用BDF又便于应用的计算IRP的方法;接着还介绍一种由可达阵计算简化 阵的方法,该方法显示了可达阵在构造认知诊断测验的重要性。这些结果对丰富 矩阵理论及正确使用RSM进行认知诊断有一定的意义     

Q矩阵包含错误的诊断测验分类准确性比较

Q矩阵是认知诊断测验的重要组成部分之一,围绕Q矩阵构建的诊断模型对Q矩阵中包含的错误较敏感。贝叶斯网分类模型是基于网络结点之间的关系构建的模型,将朴素贝叶斯网作为诊断模型,与DINA模型进行比较。模拟实验结果表明：Q矩阵中是否包含可达矩阵和错误界定的项目数量对DINA模型影响较大,对贝叶斯网模型影响较小;项目数量对DINA和贝叶斯网模型影响都较大;样本大小对贝叶斯网模型影响较大,对DINA模型影响较小。模拟研究结果显示,当Q矩阵中不包含可达阵、包含5个以上错误项目或样本数较大时,贝叶斯网分类模型优于DINA模型;而当Q矩阵中包含可达阵和5个(以下)错误项目时,DINA模型优于贝叶斯分类模型。     

基于等级反应模型的属性层级方法

给出基于等级反应模型的属性层级方法（Attribute Hierarchy Method, AHM）,并简记为GRM-AHM,提出了相应的确定GRM-AHM的期望项目反应模式全集的方法和一种新的归类法LL。用蒙特卡洛模拟实验比较GRM-AHM的几种归类法的归准率（属性模式归准率和单个属性的平均判准率）。结果发现,新归类法的归准率与AHM中的方法A差不多,但比方法B高很多;随着被试作答失误率的提高,它们的归准率都有所下降。在归类精度和简单性方面,GRM-AHM都比Bolt等(2004)提出的多级评分融合模型（Fusion Model）好     

一种基于Q矩阵理论朴素的认知诊断方法

现有的认知诊断方法均是在复杂的统计测量学知识基础上构建的, 需要经过大量的运算才可实现对被试的诊断分类。这使得相关研究者及一线教师在理解和运用某一认知诊断方法时困难重重。相比之下, 孙佳楠、张淑梅、辛涛和包钰(2011)提出的广义距离判别法(GDD)较其他认知诊断方法更简单易用且分类准确率高。本研究在改进的Q矩阵理论(丁树良, 祝玉芳, 林海菁, 蔡艳, 2009; 丁树良, 杨淑群, 汪文义, 2010)的基础上, 借鉴GDD的思路, 提出一种无需进行参数估计的朴素的认知诊断方法, 即海明距离判别法(HDD)。根据判别方式的不同将其分为R方法和B方法。采用Monte Carlo模拟的研究方法, 以模式判准率(PMR)和属性平均判准率(AAMR)作为衡量被试知识状态分类准确率的指标, 与GDD进行比较。结果表明, HDD具有更简便的操作步骤和更好的分类准确率。     

重参数化的多分属性诊断分类模型及其判准率影响因素

多分属性比传统的二分属性提供更多更详细的诊断反馈信息, 符合对知识技能的多水平要求, 具有较好的应用前景。本文首先介绍了多分属性和多分Q矩阵的概念; 之后重参数化了3个分别满足连接、分离和补偿缩合规则的多分属性诊断分类模型并研究了其判准率影响因素, 结果发现它们的判准率(1)均随多分属性数量的增加而降低, 建议实际使用中不宜高于5个; (2)均随多分属性的最高水平数增加而降低, 建议实际使用中不宜高于4水平; (3)均随多分属性间统计相关性增加而增加, 但影响不大; (4)受多分属性层级结构的影响较大; (4)受被试量影响不大; (5)均随题目数量增加而增加且影响较大。最后, 针对“多分属性与多级评分的关系”和“多分属性与二分属性之间的关系”这两个问题进行了讨论。以期为实证研究者提供相关的理论支持和使用建议。     

多维题组效应认知诊断模型

当前认知诊断领域还缺少对包含题组的测验进行诊断分析的研究, 即已开发的认知诊断模型无法合理有效地处理含有题组效应的测验数据, 且已开发的题组反应模型也不具有对被试知识结构或认知过程进行诊断的功能。针对该问题, 本文尝试性地将多维题组效应向量参数引入线性Logistic模型中, 同时开发了属性间具有补偿作用的和属性间具有非补偿作用的多维题组效应认知诊断模型。模拟研究结果显示新模型合理有效, 与线性Logistic模型和DINA模型对比研究后表明：(1)作答数据含有题组效应时, 忽略题组效应会导致项目参数的偏差估计并降低对目标属性的判准率; (2)新模型更具普适性, 即便当作答数据不存在题组效应时, 采用新模型进行测验分析亦能得到很好的项目参数估计结果且不影响对目标属性的判准率。整体来看, 新模型既具有认知诊断功能又可有效处理题组效应。     

认知诊断测验中的项目功能差异检测方法比较

检测项目功能差异(DIF)是认知诊断测验中很重要的问题。首先将逻辑斯蒂克回归法(LR)引入认知诊断测验DIF检测, 然后将LR法与MH法和Wald检验法的DIF检验效果进行比较。在比较中同时考察了匹配变量、DIF种类、DIF大小和受测者人数的影响。结果表明：(1) LR法在认知诊断测验DIF检测中, 检验力较高, 一类错误率较低。(2) LR法在检测认知诊断测验的DIF时, 不受认知诊断方法的影响。(3) LR法可以有效区分一致性DIF和非一致性DIF, 并有较高检验力和较低一类错误率。(4)采用知识状态作为匹配变量, 能够得到较理想的检验力和一类错误率。(5) DIF越大, 受测者人数越多, 统计检验力越高, 但一类错误率不受影响。     

基于Q矩阵和广义距离的认知诊断方法

规则空间方法(RSM)和属性层级方法(AHM)是两种重要的认知诊断方法, 近年来受到了广泛关注。本文在属性层级方法和丁树良等人(2009, 2010)改进的Q矩阵理论的基础上, 通过定义观察反应模式与理想反应模式之间的广义距离, 给出了一种识别被试知识状态的认知诊断方法, 即广义距离判别法。通过DINA模型生成被试的作答反应矩阵进行模拟研究, 以模式判准率和属性判准率作为衡量被试知识状态分类准确率指标, 将广义距离判别法、RSM和AHM的分类A方法分别与DINA模型进行比较。结果表明, 本文提出的广义距离判别法具有更好的分类效果。     

Cognitive diagnosis modelling incorporating item response times

To provide more refined diagnostic feedback with collateral information in item response times (RTs), this study proposed joint modelling of attributes and response speed using item responses and RTs simultaneously for cognitive diagnosis. For illustration, an extended deterministic input, noisy ‘and’ gate (DINA) model was proposed for joint modelling of responses and RTs. Model parameter estimation was explored using the Bayesian Markov chain Monte Carlo (MCMC) method. The PISA 2012 computer-based mathematics data were analysed first. These real data estimates were treated as true values in a subsequent simulation study. A follow-up simulation study with ideal testing conditions was conducted as well to further evaluate model parameter recovery. The results indicated that model parameters could be well recovered using the MCMC approach. Further, incorporating RTs into the DINA model would improve attribute and profile correct classification rates and result in more accurate and precise estimation of the model parameters.