纵向非参数认知诊断评估

通过建立相邻时间点间被试知识状态和理想作答模式的链接,提出了4种逻辑简洁的纵向非参数认知诊断方法：LNPC、LWNPC、LGNPC和LWGNPC。模拟研究结果表明：建立的链接能提升纵向判准精度。与参数模型相比,4种方法估计精度相当,受样本容量影响小。与Long-HDD相比,4种方法判准精度较高,题目质量较低时LNPC和LWNPC仍有较好表现;实证研究表明：4种方法能够应用于实际纵向测验分析,与参数模型和Long-HDD判别一致性较高。推荐LWNPC方法。     

非补偿的非参数化多策略认知诊断方法：NCNPMSC方法开发

心理与教育认知诊断测验中常常存在一个题目包含多种解题策略的情况,参数化的多策略认知诊断模型需要足够的样本量以保证模型参数估计的准确性,而学校和班级规模的诊断测验难以满足参数化模型的样本量要求。本研究开发了一种新的简洁高效的非参数化多策略认知诊断分类（NCNPMSC）方法,该方法不需要进行参数估计,即使样本量为1人也能实现诊断分类。本文通过两个模拟研究和实证数据分析证明了NCNPMSC方法进行多策略诊断分类的合理性和可行性,为多策略认知诊断提供了新的方法支持。     

非参数认知诊断方法下诊断结果的概率化表征

非参数认知诊断分类方法非常适合课堂评估,其诊断结果采用0-1形式而缺乏概率化表征,不能精细地区分被试属性掌握程度的差异或变化,还缺乏可用于评价真实测验分类结果的信度和效度指标。要刻画被试属性掌握程度的差异,首要的问题是要为非参数认知诊断方法提供一种可以量化属性掌握概率的方法。针对此问题,基于二项分布和玻尔兹曼分布提出非参数认知诊断方法下诊断结果的概率化表征方法,并用于构建分类准确性和分类一致性指标。模拟研究与实测数据分析结果显示：概率化表征方法与非参数认知诊断方法的分类结果高度一致;概率化表征方法与认知诊断模型所得的属性掌握概率十分接近;概率化表征方法所得的属性（模式）掌握概率可用于计算属性（模式）分类准确性和分类一致性指标,在实际测验情景下可作为信度和效度指标,评价诊断结果的重测一致率和判准率。     

考虑题目选项信息的非参数认知诊断计算机自适应测验

选择题中的作答选项能提供额外诊断信息, 为充分利用选项信息, 研究提出认知诊断计算机自适应测验(CD-CAT)中两种处理选择题选项信息的非参数选题策略和变长终止规则。模拟研究的结果发现：(1)定长条件下两种非参数选题策略的分类准确性整体要高于参数选题策略; (2)两种非参数选题策略较参数选题策略具有更加均衡的题库使用情况; (3)非参数选题策略在两种新的变长终止规则下具有更高的分类准确率; (4)两种非参数选题策略均适用于选择题CD-CAT情境, 使用者可任选其一进行测验分析。     

一种混合计分的非参数认知诊断方法：曼哈顿距离判别法

研究提出了一种简洁的适于混合计分的非参数认知诊断方法—曼哈顿距离判别法（MDD）,将HDD纳入MDD框架,通过模拟和实证研究考察了MDD的适宜性,结果表明：（1）MDD简单易解, 适于混合计分情境,0-1计分时,HDD是MDD的一个特例;（2）MDD的判准率较高,三种判别方法差异极小;（3）MDD具有非参数方法不受知识状态影响、对样本容量无依赖,与属性个数关系不大等特点;（4）MDD在实践中的应用效果较好,为CDA走向实践、走向课堂提供了可能。     

多项选择题认知诊断潜能的最大化

多项选择题是认知诊断中常用的测验项目形式, 其正确答案选项和经过特殊编制的干扰项都能提供诊断信息。为了提取干扰项的信息, 需要采用不同于传统认知诊断模型的心理计量模型。分类介绍能使干扰项提供诊断信息的多项选择题编制方法, 分析这类多项选择题的认知诊断模型, 认为未来应加强干扰项编制方法和能提取干扰项信息的认知诊断模型的选择和开发等方面的研究。     

选项具有诊断信息的多选题认知诊断测验编制

编制选项具有诊断信息的多选题是提高多选题认知诊断测验诊断效果的有效方法.研究从认知诊断的目标出发,根据认知诊断测验质量的评价标准,结合多选题的特点,探讨选项具有诊断信息的多选题认知诊断测验编制的原则.同时,结合多选题的特点和多选题采用称名计分方式的需要,对编制选项具有诊断信息的多选题提出两点要求.根据多选题认知诊断测验编制的原则和要求,给出具有可操作性的多选题认知诊断测验编制的步骤.模拟研究结果表明：根据所提出的原则和要求编制的多选题认知诊断测验具有较好的诊断效果,说明这些原则和要求合理、可行.由于这些原则、要求和步骤具有较强的可操作性,因此它对于编制多选题认知诊断测验具有一定的指导意义.     

认知诊断中基于条件期望的距离判别方法

分类是认知诊断评估的一个核心问题。基于观察反应模式与理想反应模式之间的距离的判别方法, 以确定性的理想反应模式为类中心, 而这没有考虑误差, 故未充分利用总体分布信息。为了更充分地利用总体分布信息、提高诊断分类效果和拓展诊断评估的适用性, 本研究提出给定知识状态条件下项目反应模式的条件期望向量为类中心的欧氏距离判别方法, 同时提出认知诊断模型下项目反应函数估计方法以获得这个条件期望向量。模拟研究表明：认知诊断模型下的项目反应函数估计方法得到的条件期望向量返真性较高, 获得的分布信息较准确; 在观察反应模式与理想反应模式差异大的情形下, 基于条件期望向量为类中心的欧氏距离判别方法优于基于理想反应模式为类中心的分类方法(广义距离方法和非参数方法）。研究可为认知诊断分类和等值方法提供一个参考。     

纵向汉明距离判别法：对潜在属性的发展追踪

研究通过在纵向诊断数据分析中引入计算简单、耗时少的汉明距离判别法(HDD),提出了纵向HDD (Long-HDD)。与HDD相比,Long-HDD额外使用汉明距离刻画个体在相邻时间点上对属性掌握的相依性,以利用前一时间点信息提高当前时间点的分类准确性。三个模拟研究的结果主要表明：在分析纵向诊断数据时,与参数化模型相比,Long-HDD的分类准确性几乎不受样本量影响,在样本量较小时表现更优;且其计算耗时更少,更有利于提供及时性诊断反馈。实证研究结果表明Long-HDD可用于分析实践测评数据,且其追踪诊断结果与参数化模型的存在一致性。     

使用Bootstrap方法计算认知诊断评估中的信度

测验信度是衡量测验质量的一个重要指标,认知诊断评估中同样需要重视信度问题。现有认知诊断中计算信度的方法均有一个前提假设:被试在前后两次测验的后验概率分布和边际概率完全相同。该假设过强,未考虑两次测验间存在的随机误差。基于Bootstrap抽样,提出了两类属性信度和模式信度的指标,分别是积差相关法和修正的一致性法。通过模拟研究比较了新方法和现有方法在不同属性个数、属性间相关性和题目数量下的表现,并基于英语能力认证考试ECPE和分数减法的实证数据验证了新方法的可行性。最后,对信度估计的影响因素进行了讨论。     

Nested diagnostic classification models for multiple-choice items

This study proposes and evaluates a diagnostic classification model framework for multiple-choice items. Models in the proposed framework have a two-level nested structure which allows for binary scoring (for correctness) and polytomous scoring (for distractors) at the same time. One advantage of these models is that they can provide distractor information while maintaining the statistical properties of the correct response option. We evaluated parameter recovery through a simulation study using Hamiltonian Monte Carlo algorithms in Stan. We also discussed three approaches to implementing the proposed modelling framework for different purposes and testing scenarios. We illustrated those approaches and compared them with a binary model and a traditional nominal model through an operational study.     

认知诊断模型资料拟合检验方法和统计量

认知诊断模型界定了测验题目和所考察属性之间的关系, 通过被试的作答反应获取被试对属性或知识技能的掌握情况。认知诊断模型资料拟合检验可以从项目拟合、模型绝对拟合、模型相对拟合和个人拟合方等方面进行。通过对认知诊断拟合检验方法和统计量的详细介绍和评价, 可为认知诊断实践提供借鉴和参考。未来研究可在更丰富的研究条件下对各统计量的性能进行评价和对比, 完善已有的拟合检验方法, 提出新的拟合统计量。     

使用验证性补偿多维IRT模型进行认知诊断评估

随着人们对测验反馈结果精细化的需求逐渐提高, 具有认知诊断功能的测量方法逐渐受到人们的关注。在认知诊断模型(CDMs)闪耀着光芒的同时, 另一类能够在连续量尺上提供精细反馈的多维IRT模型(MIRTMs)似乎受到些许冷落。为探究MIRTMs潜在的认知诊断功能, 本文以补偿模型为视角, 聚焦于分别属于MIRTMs的多维两参数logistic模型(M2PLM)和属于CDMs的线性logistic模型(LLM); 之后为使两者具有可比性, 可对补偿M2PLM引入验证性矩阵(Q矩阵)来界定题目与维度之间的关系, 进而得到验证性的补偿M2PLM (CC-M2PLM), 并通过把潜在特质按切点划分为跨界属性, 以期使CC-M2PLM展现出其本应具有的认知诊断功能; 预研究表明logistic量尺上的0点可作为相对合理的切点; 然后, 通过模拟研究对比探究CC-M2PLM和LLM的认知诊断功能, 结果表明CC-M2PLM可用于分析诊断测验数据, 且认知诊断功能与直接使用LLM的效果相当; 最后, 以两则实证数据为例来说明CC-M2PLM在实际诊断测验分析中的可行性。     

认知诊断计算机化自适应测验的选题策略

随着认知诊断计算机化自适应测验(cognitive diagnostic computerized adaptive testing, CD-CAT)理论与实践的发展, 兼顾知识状态与能力的双目标CD-CAT逐渐受到重视。选题策略是CAT的核心, 通过梳理传统CD-CAT和双目标CD-CAT选题策略的研究, 并对它们的特点、关系及表现进行介绍和评析。最后, 基于认知诊断模型与CAT实践发展指出未来应加强一般化认知模型、复杂测验条件认知诊断模型下选题策略的研究; 应开发双目标诊断测验的项目和测验特征指标; 还应加强非参数选题方法和CD-CAT的实践应用研究。     

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。     

基于类别水平的多级计分认知诊断Q矩阵修正：相对拟合统计量视角

多级计分认知诊断模型的开发对认知诊断的发展具有重要作用,但对于多级计分模型下的Q矩阵修正还有待研究。本研究尝试对多级计分认知诊断Q矩阵修正进行研究,并聚焦更具诊断价值的基于项目类别水平的Q矩阵修正。将相对拟合统计量应用于多级计分认知诊断Q矩阵修正,并与已有方法 Stepwise方法(Ma&de la Torre,2019)进行比较。研究表明:BIC方法对多级计分认知诊断模型的Q矩阵修正具有较高的模式判准率和属性判准率,其对Q矩阵的恢复率也高于Stepwise方法, BIC方法修正后的Q矩阵与数据更加拟合;在复杂模型中,相对拟合指标BIC比AIC和-2LL表现更好,在实践中,使用者可以选择BIC法进行测验Q矩阵修正; Q矩阵修正效果受到被试人数的影响,增加被试人数可以提高Q矩阵修正的正确率。总之,本研究为多级计分认知诊断Q矩阵修正提供了重要的方法支持。     

Cognitive diagnosis models for multiple strategies

Cognitive diagnosis models (CDMs) have been used as psychometric tools in educational assessments to estimate students’ proficiency profiles. However, most CDMs assume that all students adopt the same strategy when approaching problems in an assessment, which may not be the case in practice. This study develops a generalized multiple-strategy CDM for dichotomous response data. The proposed model provides a unified framework to accommodate various condensation rules (e.g., conjunctive, disjunctive, and additive) and different strategy selection approaches (i.e., probability-matching, over-matching, and maximizing). Model parameters are estimated using the marginal maximum likelihood estimation via expectation-maximization algorithm. Simulation studies showed that the parameters of the proposed model can be adequately recovered and that the proposed model was relatively robust to some types of model misspecifications. A set of real data was analysed as well to illustrate the use of the proposed model in practice.