一种可融入额外信息的机器学习诊断法

研究将PNN和曼哈顿距离、贝叶斯定理相结合,提出了一种相对简洁的可融入额外信息的认知诊断法MB-PNN,通过模拟和实证研究考察了MB-PNN的有效性和适宜性,得到以下结论:(1)M-PNN的判准率高于PNN,表明将PNN中的ED修改为MD是适宜的;(2)MB-PNN的判准率较M-PNN和PNN高,表明基于多种信息的判别较基于单一信息的判别更为精准;(3)MB-PNN保留了PNN原有的非参数优势,基本不受知识状态分布和样本容量影响;(4)MB-PNN最能区分不同类型的学生,在认知诊断评估实践中更为适宜。     

多级评分聚类诊断法的影响因素

从测验和被试两个层面探讨了属性数目、属性层级关系、被试知识状态分布、属性层级误设和Q矩阵误设等因素对GRCDM的影响, 以进一步考察GRCDM的特性。研究发现：(1)GRCDM对属性数目无依赖, 随属性数目的增多判准率反而增高; (2)被试知识状态分布对GRCDM判准率高低无影响; (3)属性层级误设对GRCDM的影响与属性层级类型有关, 当属性层级为无结构型和发散型时, “属性层级关系错乱”的判准率降幅最大; (4)Q矩阵误设对GRCDM的影响因层级关系而异, 收敛型和发散型受影响较小, 无结构型和线型的判准率在属性既冗余又缺失时降幅最大。     

一种混合计分的非参数认知诊断方法：曼哈顿距离判别法

研究提出了一种简洁的适于混合计分的非参数认知诊断方法—曼哈顿距离判别法（MDD）,将HDD纳入MDD框架,通过模拟和实证研究考察了MDD的适宜性,结果表明：（1）MDD简单易解, 适于混合计分情境,0-1计分时,HDD是MDD的一个特例;（2）MDD的判准率较高,三种判别方法差异极小;（3）MDD具有非参数方法不受知识状态影响、对样本容量无依赖,与属性个数关系不大等特点;（4）MDD在实践中的应用效果较好,为CDA走向实践、走向课堂提供了可能。     

认知诊断中多分属性与二分属性的对比研究

摘 要：Karelitz（2004）和詹沛达等（2016）认为1个多分属性内部(Lk+1)个水平的关系相当于Lk个部分满足线型层级关系的二分属性。本研究的目的是通过比较多分属性模型和二分属性模型的判准率,从而验证多分属性和二分属性间是否存在以上关系。结果表明：当属性个数较少时,两个模型的模式判准率相当,随着属性个数增加,多分属性模型的模式判准率高于二分属性模型的模式判准率。结论：在一定程度上,多分属性和二分属性之间确实存在以上关系,但两者并非完全等价,二者间的差异随着属性个数增加更加明显。     

基于等级反应模型的规则空间方法

本研究基于Tatsuoka的规则空间方法, 对理想反应模式与异常反应指标进行了扩展, 推导了多级评分项目下规则空间方法的算法公式。在4种属性层级结构(发散型、收敛型、线型与无结构型)×4种“失误”作答概率(2%、5%、10%与15%)测验情境下, 以属性模式判准率、被试属性判准率、敏感性与特异性为指标, 检验了多级评分项目下规则空间方法的分类准确性。结果表明：(1) 基于多级评分项目构建的异常反应指标, 能有效地对被试进行分类与解释, 且0-1评分项目下异常反应指标及其性质都是多级评分下的特例; (2) 随着“失误”作答概率的增加, 4种属性层级结构的分类准确性都会降低; (3) 线型和收敛型的分类准确性明显好于发散型与无结构型; (4) 纯规则点的分布对规则空间方法的分类准确性有显著影响。     

基于CD-CAT的多策略RRUM模型及其选题方法开发

在有多种解题策略的认知诊断问题情境中, 用每个Q矩阵表示一种解题策略, 由此将单策略认知诊断RRUM模型拓广为多策略RRUM模型(MS-RRUM)。随后, 在应用MS-RRUM模型的CD-CAT中开发了适用于多策略情境的MAP参数估计法和多策略香农熵(MSSHE)选题法。将MSSHE选题法与随机选题法分别在不同属性数量、不同测验长度下进行比较, 结果发现前者对被试的策略和认知状态判准率都显著优于后者, 而且都很理想。这样就顺利实现了在CD-CAT做策略诊断的目标。     

一种优化的多级评分认知诊断模型

本研究在P-DINA模型基础上开发了一种全新的多级评分认知诊断模型——r P-DINA模型。与P-DINA模型相比,r PDINA模型理论上更具优势:它成功克服了P-DINA模型"将被试得分推向0分或满分两个极端"等不足;且r P-DINA模型较P-DINA模型更为充分地利用了多级评分数据原有特征,从而大大提高了模型的诊断正确率。Monte Carlo模拟结果表明:(1)改进后的r P-DINA模型无论是在无结构还是有结构的属性层级关系下,参数估计的精度及属性诊断正确率均明显优于P-DINA模型;(2)r P-DINA模型可以处理测验属性更多的测验情景,当测验认知属性高达9个时,其属性边际判准率及模式判准率仍高达96.4%和81.6%。     

基于属性层级结构的认知诊断测验的组卷

认知诊断测验组卷方法对提高被试属性掌握模式的判准率至关重要.Henson和Douglas的组卷方法(2005)得到的认知诊断测验判准率不高,没有考虑属性间的层级关系是重要原因.本文提出一种基于属性层级结构的认知诊断组卷方法:首先根据属性层级结构确定待选项目类集合,其次根据新建构的选题指标确定项目类,然后由属性区分被试的能力确定各项目类中题目的数量,并在测验Q阵中放入可达阵.模拟研究表明:新方法比H&D方法在判准率上有很大的提高;新的选题指标比H&D的指标大大缩短计算时间.     

分类视角下认知诊断测验项目区分度指标及应用

在认知诊断中还没有指标能在无作答数据情况下直接评价项目的属性分类准确率或属性判准率。项目水平上的属性分类准确率,与项目属性向量、项目参数、先验分布和作答反应等有关。综合各个影响因素定义了项目水平上的属性期望分类准确率指标,并将其用于组卷。模拟研究显示：新指标可十分准确地评价项目的属性判准率,新指标对于项目筛选十分重要;以模式分类准确率为评价指标,基于新指标的组卷方法与经典的组卷方法表现相当。     

题目属性向量平衡策略的认知诊断测验设计

为组卷制定的题目属性向量平衡（IAVB）策略强调试卷必须体现认知模型,并将题目属性向量而不是以单个属性作为考察单位。该策略克服严格属性平衡(AB)策略仅适用于独立结构的不足,且在每个题目考察属性个数（大致）相同的条件下,以模式判准率（PMR）为衡量标准,该策略优于非IAVB策略。特别地,若属性层级结构为独立结构时,IAVB策略最优,严格属性平衡策略次之,两种策略均未采用的,则最差。在题目属性数一定条件下,IAVB矩阵提高PMR更显著。     

可以兼顾策略、认知状态和能力的CD-CAT选题方法

当CD-CAT测验需要同时诊断被试的解题策略、认知状态并评估被试的宏观能力时,就需要在选题过程中兼顾这三个测量目标。用两种不同方式将多策略香农熵(MSSHE)指标与Fisher信息量相结合,提出多策略情境中的DWI指标MSDWI)选题法与“先用MSSHE后用Fisher信息量”的两步选题法。基于多策略RRUM模型(MS-RRUM),将这两种方法与随机选题法在不同属性数量条件下进行模拟比较,结果表明：当属性数量为4个或6个时,两步选题法在策略判准率、认知状态判准率和能力估计三个方面都有最佳的效果。     

神经网络和支持向量机在认知诊断中的应用

认知诊断评估的主要问题是如何准确进行被试分类和项目属性标定。本文使用概率神经网络(PNN)和支持向量机(SVM)进行被试分类和属性标定,重点讨论PNN用于诊断的理论根据。模拟研究表明:PNN方法表现最好,训练速度快且具有很好判准率和标定准确率;PNN与GDD方法在分类上表现相当,在独立结构下PNN更好;线性SVM具有较好判准率和标定准确率。软计算中此类方法可非常方便推广至多级评分测验数据分析。     

一种多级评分的认知诊断模型：P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料, 大大限制了认知诊断在实际中的应用, 也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展, 开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型, 同时采用MCMC算法实现模型参数的估计, 并对该模型性能进行研究。结果表明：(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下, 参数估计的精度均较高, 参数估计的稳健性较强, 说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计, 且参数估计的精度较高。(3)整体来看, 无结构型属性层级关系和结构型属性层级关系下, P-DINA模型在项目参数的估计精度上两者基本相当; 但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下：模型诊断的属性个数越多, 参数 估计的精度越差、属性诊断的正确率(MMR和PMR)越低, 但参数 的估计精度越好; 若想保证属性模式判准率在80%以上, 建议诊断的属性个数不宜超过7个。总之, 本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。     

分离型的多级评分认知诊断模型开发及其应用研究

本文基于DINO模型开发出一种分离型的多级评分认知诊断模型(P-DINO模型),并采用Monte Carlo模拟与实证研究相结合的范式,探讨了新模型的性能与有效性。结果表明:(1)P-DINO模型参数估计精度较好,参数估计的稳健性较强。(2)采用MCMC算法可以实现该模型的参数估计,估计结果较理想。(3)测验长度的增加能有效提高模型的判准率,被试人数的增加对判准率的提高相对较小,属性个数的增加会降低判准率。(4)在抑郁症状评估中,P-DINO模型的表现要优于DINO模型与传统的抑郁症状评估。     

基于Q矩阵和广义距离的认知诊断方法

规则空间方法(RSM)和属性层级方法(AHM)是两种重要的认知诊断方法, 近年来受到了广泛关注。本文在属性层级方法和丁树良等人(2009, 2010)改进的Q矩阵理论的基础上, 通过定义观察反应模式与理想反应模式之间的广义距离, 给出了一种识别被试知识状态的认知诊断方法, 即广义距离判别法。通过DINA模型生成被试的作答反应矩阵进行模拟研究, 以模式判准率和属性判准率作为衡量被试知识状态分类准确率指标, 将广义距离判别法、RSM和AHM的分类A方法分别与DINA模型进行比较。结果表明, 本文提出的广义距离判别法具有更好的分类效果。     

CD-MST初始阶段模块组建方法比较

具有认知诊断功能的计算机化多阶段测验(CD-MST)是CDA和MST相结合的一种测验方式。由于CD-MST自适应频次较少,初始阶段模块组建会影响整个测验的判准率。借鉴CD-CAT初始项目选取方法,根据CDA和MST自身特点,提出了7种CD-MST初始阶段模块组建方法,分别是随机法、选题策略法、R*矩阵法、CTTID法、CDI法、CTTIDR*法和CDIR*法。采用模拟研究对不同项目质量下7种方法的判准率进行了比较。研究结果表明,当初始阶段结束时,包含R*矩阵的方法判准率显著高于其他方法,尤其是CTTIDR*法;整个测验结束时,CTTIDR*法较其他方法仍然有优势,CDIR*法和R*矩阵法结果较为接近。选题策略法在初始阶段结束时判准率较低,甚至低于随机法,整个测验结束时,判准率同CDIR*法和R*矩阵法持平。4种项目质量对判准率影响较大,HD-HV题库下判准率最高,HD-LV次之,LD-HV较差,LD-LV最差。     

重参数化的多分属性诊断分类模型及其判准率影响因素

多分属性比传统的二分属性提供更多更详细的诊断反馈信息, 符合对知识技能的多水平要求, 具有较好的应用前景。本文首先介绍了多分属性和多分Q矩阵的概念; 之后重参数化了3个分别满足连接、分离和补偿缩合规则的多分属性诊断分类模型并研究了其判准率影响因素, 结果发现它们的判准率(1)均随多分属性数量的增加而降低, 建议实际使用中不宜高于5个; (2)均随多分属性的最高水平数增加而降低, 建议实际使用中不宜高于4水平; (3)均随多分属性间统计相关性增加而增加, 但影响不大; (4)受多分属性层级结构的影响较大; (4)受被试量影响不大; (5)均随题目数量增加而增加且影响较大。最后, 针对“多分属性与多级评分的关系”和“多分属性与二分属性之间的关系”这两个问题进行了讨论。以期为实证研究者提供相关的理论支持和使用建议。     

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。     

纵向非参数认知诊断评估

通过建立相邻时间点间被试知识状态和理想作答模式的链接,提出了4种逻辑简洁的纵向非参数认知诊断方法：LNPC、LWNPC、LGNPC和LWGNPC。模拟研究结果表明：建立的链接能提升纵向判准精度。与参数模型相比,4种方法估计精度相当,受样本容量影响小。与Long-HDD相比,4种方法判准精度较高,题目质量较低时LNPC和LWNPC仍有较好表现;实证研究表明：4种方法能够应用于实际纵向测验分析,与参数模型和Long-HDD判别一致性较高。推荐LWNPC方法。     

具有认知诊断功能的区块化自适应测验的提出及验证

CD-CAT以Q矩阵理论为基础，存在着处理属性个数限制的缺点。为了解决该问题，本文提出了具有认知诊断功能的区块化自适应测验（CD-BAT）。CD-BAT将单个的CD-CAT作为区块进行处理，把前一区块的信息作为先验信息用于后一区块的估计过程，并不断更新和修正前一区块的估计结果。模拟研究表明，CD-BAT的判准率略优于CD-CAT，题库质量下降时，这种优势逐渐加大。随着CD-BAT的区块的增加，其属性判准率呈现上升趋势。