神经网络和支持向量机在认知诊断中的应用

认知诊断评估的主要问题是如何准确进行被试分类和项目属性标定。本文使用概率神经网络(PNN)和支持向量机(SVM)进行被试分类和属性标定,重点讨论PNN用于诊断的理论根据。模拟研究表明:PNN方法表现最好,训练速度快且具有很好判准率和标定准确率;PNN与GDD方法在分类上表现相当,在独立结构下PNN更好;线性SVM具有较好判准率和标定准确率。软计算中此类方法可非常方便推广至多级评分测验数据分析。     

非参数认知诊断方法:多级评分的聚类分析

基于属性合分和聚类分析的思想提出了适用于多级评分的聚类分析方法,同时探讨了属性层次结构、样本容量和失误率对该方法判准率的影响。研究发现:(1)该方法在各种试验情境下均有较高的模式判准率和边际判准率;(2)判准率不依赖样本容量的大小,使其可适用于小型测评及课堂评估;(3)判准率受属性层次紧密度影响较小;(4)该方法在实践情境中表现出较好的内外部效度。     

一种优化的多级评分认知诊断模型

本研究在P-DINA模型基础上开发了一种全新的多级评分认知诊断模型——r P-DINA模型。与P-DINA模型相比,r PDINA模型理论上更具优势:它成功克服了P-DINA模型"将被试得分推向0分或满分两个极端"等不足;且r P-DINA模型较P-DINA模型更为充分地利用了多级评分数据原有特征,从而大大提高了模型的诊断正确率。Monte Carlo模拟结果表明:(1)改进后的r P-DINA模型无论是在无结构还是有结构的属性层级关系下,参数估计的精度及属性诊断正确率均明显优于P-DINA模型;(2)r P-DINA模型可以处理测验属性更多的测验情景,当测验认知属性高达9个时,其属性边际判准率及模式判准率仍高达96.4%和81.6%。     

一种基于Q矩阵理论朴素的认知诊断方法

现有的认知诊断方法均是在复杂的统计测量学知识基础上构建的, 需要经过大量的运算才可实现对被试的诊断分类。这使得相关研究者及一线教师在理解和运用某一认知诊断方法时困难重重。相比之下, 孙佳楠、张淑梅、辛涛和包钰(2011)提出的广义距离判别法(GDD)较其他认知诊断方法更简单易用且分类准确率高。本研究在改进的Q矩阵理论(丁树良, 祝玉芳, 林海菁, 蔡艳, 2009; 丁树良, 杨淑群, 汪文义, 2010)的基础上, 借鉴GDD的思路, 提出一种无需进行参数估计的朴素的认知诊断方法, 即海明距离判别法(HDD)。根据判别方式的不同将其分为R方法和B方法。采用Monte Carlo模拟的研究方法, 以模式判准率(PMR)和属性平均判准率(AAMR)作为衡量被试知识状态分类准确率的指标, 与GDD进行比较。结果表明, HDD具有更简便的操作步骤和更好的分类准确率。     

基于Q矩阵和广义距离的认知诊断方法

规则空间方法(RSM)和属性层级方法(AHM)是两种重要的认知诊断方法, 近年来受到了广泛关注。本文在属性层级方法和丁树良等人(2009, 2010)改进的Q矩阵理论的基础上, 通过定义观察反应模式与理想反应模式之间的广义距离, 给出了一种识别被试知识状态的认知诊断方法, 即广义距离判别法。通过DINA模型生成被试的作答反应矩阵进行模拟研究, 以模式判准率和属性判准率作为衡量被试知识状态分类准确率指标, 将广义距离判别法、RSM和AHM的分类A方法分别与DINA模型进行比较。结果表明, 本文提出的广义距离判别法具有更好的分类效果。     

一种多策略认知诊断方法:MSCD方法的开发

当前国内外开发的认知诊断模型基本上只能处理单策略的测验情景,并假设所有被试均采用同一种加工策略/解题策略,从而忽视了加工策略的多样性及差异性.本研究根据de la Torre和Douglas (2008)采用多个Q矩阵来表征多个加工策略的思想,并结合使用丁树良等(2009)修正的Q矩阵理论及孙佳楠,张淑梅、辛涛和包珏(2011)的广义距离判别法,开发了一种新的多策略认知诊断方法——MSCD方法.Monte Carlo模拟研究结果表明:在单策略测验情景下,传统的单策略认知诊断方法与采用MSCD方法的诊断正确率均比较理想,且差异不大;但在多策略测验情景时,传统的单策略认知诊断方法诊断正确率较低,而MSCD方法的诊断正确率却仍较理想;当加工策略增至5种时,MSCD方法仍有较高的边际判准率、模式判准率以及加工策略判准率.研究表明MSCD方法基本合理、可行.这为实现对加工策略的诊断提供了方法学支持,有利于拓展认知诊断在实际中的应用.     

基于属性层级结构的认知诊断测验的组卷

认知诊断测验组卷方法对提高被试属性掌握模式的判准率至关重要.Henson和Douglas的组卷方法(2005)得到的认知诊断测验判准率不高,没有考虑属性间的层级关系是重要原因.本文提出一种基于属性层级结构的认知诊断组卷方法:首先根据属性层级结构确定待选项目类集合,其次根据新建构的选题指标确定项目类,然后由属性区分被试的能力确定各项目类中题目的数量,并在测验Q阵中放入可达阵.模拟研究表明:新方法比H&D方法在判准率上有很大的提高;新的选题指标比H&D的指标大大缩短计算时间.     

具有认知诊断功能的区块化自适应测验的提出及验证

CD-CAT以Q矩阵理论为基础，存在着处理属性个数限制的缺点。为了解决该问题，本文提出了具有认知诊断功能的区块化自适应测验（CD-BAT）。CD-BAT将单个的CD-CAT作为区块进行处理，把前一区块的信息作为先验信息用于后一区块的估计过程，并不断更新和修正前一区块的估计结果。模拟研究表明，CD-BAT的判准率略优于CD-CAT，题库质量下降时，这种优势逐渐加大。随着CD-BAT的区块的增加，其属性判准率呈现上升趋势。     

CD-MST初始阶段模块组建方法比较

具有认知诊断功能的计算机化多阶段测验(CD-MST)是CDA和MST相结合的一种测验方式。由于CD-MST自适应频次较少,初始阶段模块组建会影响整个测验的判准率。借鉴CD-CAT初始项目选取方法,根据CDA和MST自身特点,提出了7种CD-MST初始阶段模块组建方法,分别是随机法、选题策略法、R*矩阵法、CTTID法、CDI法、CTTIDR*法和CDIR*法。采用模拟研究对不同项目质量下7种方法的判准率进行了比较。研究结果表明,当初始阶段结束时,包含R*矩阵的方法判准率显著高于其他方法,尤其是CTTIDR*法;整个测验结束时,CTTIDR*法较其他方法仍然有优势,CDIR*法和R*矩阵法结果较为接近。选题策略法在初始阶段结束时判准率较低,甚至低于随机法,整个测验结束时,判准率同CDIR*法和R*矩阵法持平。4种项目质量对判准率影响较大,HD-HV题库下判准率最高,HD-LV次之,LD-HV较差,LD-LV最差。     

基于类别水平的多级计分认知诊断Q矩阵修正：相对拟合统计量视角

多级计分认知诊断模型的开发对认知诊断的发展具有重要作用, 但对于多级计分模型下的Q矩阵修正还有待研究。本研究尝试对多级计分认知诊断Q矩阵修正进行研究, 并聚焦更具诊断价值的基于项目类别水平的Q矩阵修正。将相对拟合统计量应用于多级计分认知诊断Q矩阵修正, 并与已有方法Stepwise方法( Ma & de la Torre, 2019)进行比较。研究表明：BIC方法对多级计分认知诊断模型的Q矩阵修正具有较高的模式判准率和属性判准率, 其对Q矩阵的恢复率也高于Stepwise方法, BIC方法修正后的Q矩阵与数据更加拟合; 在复杂模型中, 相对拟合指标BIC比AIC和-2LL表现更好, 在实践中, 使用者可以选择BIC法进行测验Q矩阵修正; Q矩阵修正效果受到被试人数的影响, 增加被试人数可以提高Q矩阵修正的正确率。总之, 本研究为多级计分认知诊断Q矩阵修正提供了重要的方法支持。     

可以兼顾策略、认知状态和能力的CD-CAT选题方法

当CD-CAT测验需要同时诊断被试的解题策略、认知状态并评估被试的宏观能力时,就需要在选题过程中兼顾这三个测量目标。用两种不同方式将多策略香农熵(MSSHE)指标与Fisher信息量相结合,提出多策略情境中的DWI指标MSDWI)选题法与“先用MSSHE后用Fisher信息量”的两步选题法。基于多策略RRUM模型(MS-RRUM),将这两种方法与随机选题法在不同属性数量条件下进行模拟比较,结果表明：当属性数量为4个或6个时,两步选题法在策略判准率、认知状态判准率和能力估计三个方面都有最佳的效果。     

分离型的多级评分认知诊断模型开发及其应用研究

本文基于DINO模型开发出一种分离型的多级评分认知诊断模型(P-DINO模型),并采用Monte Carlo模拟与实证研究相结合的范式,探讨了新模型的性能与有效性。结果表明:(1)P-DINO模型参数估计精度较好,参数估计的稳健性较强。(2)采用MCMC算法可以实现该模型的参数估计,估计结果较理想。(3)测验长度的增加能有效提高模型的判准率,被试人数的增加对判准率的提高相对较小,属性个数的增加会降低判准率。(4)在抑郁症状评估中,P-DINO模型的表现要优于DINO模型与传统的抑郁症状评估。     

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。     

纵向非参数认知诊断评估

通过建立相邻时间点间被试知识状态和理想作答模式的链接,提出了4种逻辑简洁的纵向非参数认知诊断方法：LNPC、LWNPC、LGNPC和LWGNPC。模拟研究结果表明：建立的链接能提升纵向判准精度。与参数模型相比,4种方法估计精度相当,受样本容量影响小。与Long-HDD相比,4种方法判准精度较高,题目质量较低时LNPC和LWNPC仍有较好表现;实证研究表明：4种方法能够应用于实际纵向测验分析,与参数模型和Long-HDD判别一致性较高。推荐LWNPC方法。     

基于群体水平评估的认知诊断模型开发与应用

本文开发了基于群体水平评估的认知诊断模型——G-AHM,采用Monte Carlo模拟方法探讨了模型的性能与表现,并探讨其在实践中的具体应用。研究发现：（1）新模型G-AHM不仅具有较高的边际判准率,还具有较好的模式判准率,且具有较强的稳健性,说明本研究开发的新模型基本合理、可行的。（2）与已有的具有较高效度的诊断结果比较发现：从认知状态、属性掌握概率与属性掌握比例三个方面,G-AHM模型所获得的群体诊断结果都与已有结果基本一致,即可以认为G-AHM方法获得的诊断结果也具有较高的效度。因此G-AHM模型在实际中是可行、可信的;且G-AHM方法中将认知状态与群体对属性的掌握概率信息相结合,可以更好的解释及分析被试的认知水平,提供的信息更具参考价值。     

多维题组效应认知诊断模型

当前认知诊断领域还缺少对包含题组的测验进行诊断分析的研究, 即已开发的认知诊断模型无法合理有效地处理含有题组效应的测验数据, 且已开发的题组反应模型也不具有对被试知识结构或认知过程进行诊断的功能。针对该问题, 本文尝试性地将多维题组效应向量参数引入线性Logistic模型中, 同时开发了属性间具有补偿作用的和属性间具有非补偿作用的多维题组效应认知诊断模型。模拟研究结果显示新模型合理有效, 与线性Logistic模型和DINA模型对比研究后表明：(1)作答数据含有题组效应时, 忽略题组效应会导致项目参数的偏差估计并降低对目标属性的判准率; (2)新模型更具普适性, 即便当作答数据不存在题组效应时, 采用新模型进行测验分析亦能得到很好的项目参数估计结果且不影响对目标属性的判准率。整体来看, 新模型既具有认知诊断功能又可有效处理题组效应。     

基于DINA模型的Q矩阵修正方法

本研究开发了一种基于DINA模型的认知诊断测验Q矩阵修正方法—— g 法, 为侦查并修正Q矩阵中的错误提供方法学支持, 从而为保证Q矩阵的合理性提供基础, 并为进一步提高认知诊断的准确率服务。本文采用Monte Carlo模拟及与国外同类研究相比较的方法进行, 研究发现：(1)不论在何种作答失误概率(5%, 10%, 15%)情况下, 当s,g临界值为0.2, 0.25或0.3时, 本研究提出的g 法均能有效地修正错误Q矩阵; 同时, 当Q矩阵无错误时, g 法对该Q矩阵未做任何修改。表明g 法对Q矩阵是否存在错误具有较强的识别能力及修正能力。(2)与国外同类研究相比, 本研究提出的g 法具有较理想的修正率, 且与de la Torre (2008)提出d法的修正效果相当。但相比较而言, g 法较d 法更为简单。(3) g 法不仅能有效地修正错误的Q矩阵, 而且还可以进一步提高认知诊断的正确率, 尤其是对模式判准率(PMR), 诊断正确率的最高增幅高达40%, 大大改善了认知诊断的准确率。     

分类视角下认知诊断测验项目区分度指标及应用

在认知诊断中还没有指标能在无作答数据情况下直接评价项目的属性分类准确率或属性判准率。项目水平上的属性分类准确率,与项目属性向量、项目参数、先验分布和作答反应等有关。综合各个影响因素定义了项目水平上的属性期望分类准确率指标,并将其用于组卷。模拟研究显示：新指标可十分准确地评价项目的属性判准率,新指标对于项目筛选十分重要;以模式分类准确率为评价指标,基于新指标的组卷方法与经典的组卷方法表现相当。     

认知诊断测评中缺失数据的处理：随机森林阈值插补法

认知诊断测评中缺失数据的处理是理论和实际应用者非常关注的研究主题。借鉴随机森林插补法(RFI)不依赖于缺失机制假设的特点,对已有的RFI方法进行改进,提出采用个人拟合指标(RCI)确定插补阈值的新方法:随机森林阈值插补方法(RFTI)。模拟研究表明,RFTI在插补正确率上明显高于RFI方法;与RFI和EM方法相比,RFTI在被试属性模式判准率和边际判准率上表现出明显优势,尤其是非随机缺失和混合缺失机制,以及缺失比例较高的条件下,其优势更加明显。但对项目参数的估计, RFTI方法与EM方法相比不具有优势。     

一种混合计分的非参数认知诊断方法：曼哈顿距离判别法

研究提出了一种简洁的适于混合计分的非参数认知诊断方法—曼哈顿距离判别法（MDD）,将HDD纳入MDD框架,通过模拟和实证研究考察了MDD的适宜性,结果表明：（1）MDD简单易解, 适于混合计分情境,0-1计分时,HDD是MDD的一个特例;（2）MDD的判准率较高,三种判别方法差异极小;（3）MDD具有非参数方法不受知识状态影响、对样本容量无依赖,与属性个数关系不大等特点;（4）MDD在实践中的应用效果较好,为CDA走向实践、走向课堂提供了可能。