基于等级反应模型的规则空间方法

本研究基于Tatsuoka的规则空间方法, 对理想反应模式与异常反应指标进行了扩展, 推导了多级评分项目下规则空间方法的算法公式。在4种属性层级结构(发散型、收敛型、线型与无结构型)×4种“失误”作答概率(2%、5%、10%与15%)测验情境下, 以属性模式判准率、被试属性判准率、敏感性与特异性为指标, 检验了多级评分项目下规则空间方法的分类准确性。结果表明：(1) 基于多级评分项目构建的异常反应指标, 能有效地对被试进行分类与解释, 且0-1评分项目下异常反应指标及其性质都是多级评分下的特例; (2) 随着“失误”作答概率的增加, 4种属性层级结构的分类准确性都会降低; (3) 线型和收敛型的分类准确性明显好于发散型与无结构型; (4) 纯规则点的分布对规则空间方法的分类准确性有显著影响。     

基于属性层级结构的认知诊断测验的组卷

认知诊断测验组卷方法对提高被试属性掌握模式的判准率至关重要.Henson和Douglas的组卷方法(2005)得到的认知诊断测验判准率不高,没有考虑属性间的层级关系是重要原因.本文提出一种基于属性层级结构的认知诊断组卷方法:首先根据属性层级结构确定待选项目类集合,其次根据新建构的选题指标确定项目类,然后由属性区分被试的能力确定各项目类中题目的数量,并在测验Q阵中放入可达阵.模拟研究表明:新方法比H&D方法在判准率上有很大的提高;新的选题指标比H&D的指标大大缩短计算时间.     

基于Q矩阵和广义距离的认知诊断方法

规则空间方法(RSM)和属性层级方法(AHM)是两种重要的认知诊断方法, 近年来受到了广泛关注。本文在属性层级方法和丁树良等人(2009, 2010)改进的Q矩阵理论的基础上, 通过定义观察反应模式与理想反应模式之间的广义距离, 给出了一种识别被试知识状态的认知诊断方法, 即广义距离判别法。通过DINA模型生成被试的作答反应矩阵进行模拟研究, 以模式判准率和属性判准率作为衡量被试知识状态分类准确率指标, 将广义距离判别法、RSM和AHM的分类A方法分别与DINA模型进行比较。结果表明, 本文提出的广义距离判别法具有更好的分类效果。     

一种多级评分的认知诊断模型：P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料, 大大限制了认知诊断在实际中的应用, 也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展, 开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型, 同时采用MCMC算法实现模型参数的估计, 并对该模型性能进行研究。结果表明：(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下, 参数估计的精度均较高, 参数估计的稳健性较强, 说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计, 且参数估计的精度较高。(3)整体来看, 无结构型属性层级关系和结构型属性层级关系下, P-DINA模型在项目参数的估计精度上两者基本相当; 但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下：模型诊断的属性个数越多, 参数 估计的精度越差、属性诊断的正确率(MMR和PMR)越低, 但参数 的估计精度越好; 若想保证属性模式判准率在80%以上, 建议诊断的属性个数不宜超过7个。总之, 本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。     

重参数化的多分属性诊断分类模型及其判准率影响因素

多分属性比传统的二分属性提供更多更详细的诊断反馈信息, 符合对知识技能的多水平要求, 具有较好的应用前景。本文首先介绍了多分属性和多分Q矩阵的概念; 之后重参数化了3个分别满足连接、分离和补偿缩合规则的多分属性诊断分类模型并研究了其判准率影响因素, 结果发现它们的判准率(1)均随多分属性数量的增加而降低, 建议实际使用中不宜高于5个; (2)均随多分属性的最高水平数增加而降低, 建议实际使用中不宜高于4水平; (3)均随多分属性间统计相关性增加而增加, 但影响不大; (4)受多分属性层级结构的影响较大; (4)受被试量影响不大; (5)均随题目数量增加而增加且影响较大。最后, 针对“多分属性与多级评分的关系”和“多分属性与二分属性之间的关系”这两个问题进行了讨论。以期为实证研究者提供相关的理论支持和使用建议。     

一种多级评分的广义认知诊断模型

认知诊断是近些年教育测量研究中的热点,大多数的认知诊断模型仅适用于0～1评分的情况.本文提出一种有多个潜变量多个滑动参数的多级评分认知诊断模型——GP-D1NA,只要由评分标准和知识状态能确定理想反应模式,就可以利用此方法进行认知诊断分析.在该方法中,我们给出项目滑动矩阵的概念,将被试的观测得分均看成由某个理想得分的滑动,并采用EM算法估计滑动矩阵.在模拟研究中,采用每掌握一个属性得1分的评分标准,结果表明线性型、收敛型、发散型、无结构型和独立型五种属性层级结构均有较高的判准率.     

基于类别水平的多级计分认知诊断Q矩阵修正：相对拟合统计量视角

多级计分认知诊断模型的开发对认知诊断的发展具有重要作用, 但对于多级计分模型下的Q矩阵修正还有待研究。本研究尝试对多级计分认知诊断Q矩阵修正进行研究, 并聚焦更具诊断价值的基于项目类别水平的Q矩阵修正。将相对拟合统计量应用于多级计分认知诊断Q矩阵修正, 并与已有方法Stepwise方法( Ma & de la Torre, 2019)进行比较。研究表明：BIC方法对多级计分认知诊断模型的Q矩阵修正具有较高的模式判准率和属性判准率, 其对Q矩阵的恢复率也高于Stepwise方法, BIC方法修正后的Q矩阵与数据更加拟合; 在复杂模型中, 相对拟合指标BIC比AIC和-2LL表现更好, 在实践中, 使用者可以选择BIC法进行测验Q矩阵修正; Q矩阵修正效果受到被试人数的影响, 增加被试人数可以提高Q矩阵修正的正确率。总之, 本研究为多级计分认知诊断Q矩阵修正提供了重要的方法支持。     

认知诊断中多分属性与二分属性的对比研究

摘 要：Karelitz（2004）和詹沛达等（2016）认为1个多分属性内部(Lk+1)个水平的关系相当于Lk个部分满足线型层级关系的二分属性。本研究的目的是通过比较多分属性模型和二分属性模型的判准率,从而验证多分属性和二分属性间是否存在以上关系。结果表明：当属性个数较少时,两个模型的模式判准率相当,随着属性个数增加,多分属性模型的模式判准率高于二分属性模型的模式判准率。结论：在一定程度上,多分属性和二分属性之间确实存在以上关系,但两者并非完全等价,二者间的差异随着属性个数增加更加明显。     

认知诊断评价中测验结构的优化设计

Q矩阵是认知诊断评价的基础和核心要素, 它反映了测验的构念和内容设计, 直接影响着测验诊断分类的效果。本文采用Monte Carlo模拟, 研究了6种属性层级关系下, 不同的Q矩阵设计对于认知诊断效果的影响。用模式判准率的均值和标准差分别从分类准确性和稳定性的角度来评价诊断效果。实验结果表明：(1) 不同属性层级关系下, 分类准确性会随着测验长度的增加而提高, 但当测验长度增加到一定程度时, 会出现“天花板效应”; (2) Q矩阵中R*的个数(NR*)会影响测验的分类准确性及稳定性：NR*越大, 测验的分类稳定性越高, 当测验长度为属性个数的整数倍, 且NR*为测验长度相对属性个数的最大奇数倍时分类准确性最高; (3) Q矩阵中除R*以外的项目考察的属性个数会随着属性层级关系的不同对测验的分类准确性和稳定性产生不同的影响。根据实验结果, 本研究提出了进行诊断评价时Q矩阵优化设计的一些建议。     

属性不等权重的多级评分属性层级方法

本文给出基于属性不等权重的等级反应模型(Grade Response Model, GRM)的属性层级方法(Attribute Hierarchy Method, AHM), 简记为属性不等权重的GRM-AHM。在属性层级结构下, 本文利用贝叶斯网与最小二乘两种方法, 提出了被试掌握属性的条件概率与属性权重的计算方法, 发现并解决了属性在不同的项目内权重有可能不相等的问题。本研究进一步将认知诊断推广到多级评分的情形。试验证明, 属性不等权重的GRM-AHM具有较高的判准率。     

基于可达阵的一种Q矩阵标定方法

Q矩阵标定是实施认知诊断评估的前提,已有Q矩阵修正方法并不太适合测验中已知属性向量的题目数较少的情形。根据拓展Q矩阵理论中可达阵R列与简化Q阵列存在布尔“或”关系,在一定认知假设下,率先提出可达阵R与简化Q阵的潜在反应列存在布尔“与”关系,并由此提出基于可达阵的Q矩阵标定方法。研究显示：在已知一个可达阵下,当可达阵项目的猜测或失误参数在.20以下且待标定项目的项目参数约在.30以下时,新方法所得Q矩阵元素返真率基本在.90以上,并且真实Q矩阵与估计Q矩阵下被试分类准确率差异很小;对于含5个属性的独立结构,新方法要求的随机样本的样本量较小;实证研究也印证了模拟研究的结论。新方法只需专家标定少量题目的Q矩阵,即已经标定的Q矩阵对应属性层级结构的可达阵。     

非参数认知诊断方法下诊断结果的概率化表征

非参数认知诊断分类方法非常适合课堂评估,其诊断结果采用0-1形式而缺乏概率化表征,不能精细地区分被试属性掌握程度的差异或变化,还缺乏可用于评价真实测验分类结果的信度和效度指标。要刻画被试属性掌握程度的差异,首要的问题是要为非参数认知诊断方法提供一种可以量化属性掌握概率的方法。针对此问题,基于二项分布和玻尔兹曼分布提出非参数认知诊断方法下诊断结果的概率化表征方法,并用于构建分类准确性和分类一致性指标。模拟研究与实测数据分析结果显示：概率化表征方法与非参数认知诊断方法的分类结果高度一致;概率化表征方法与认知诊断模型所得的属性掌握概率十分接近;概率化表征方法所得的属性（模式）掌握概率可用于计算属性（模式）分类准确性和分类一致性指标,在实际测验情景下可作为信度和效度指标,评价诊断结果的重测一致率和判准率。     

基于作答数据的模型参数和Q矩阵联合估计

Q矩阵在认知诊断的模型参数估计和诊断分类中起着重要作用。本文通过研究Liu等人的方法, 设计了同时估计项目参数和Q矩阵的联合估计算法。在DINA模型下, 对项目参数未知时开展模拟研究。研究假设项目为20个, 考察的属性个数分别是3、4和5, 初始Q矩阵中分别存在3、4和5个属性界定错误的项目。结果表明, 联合估计算法能在错误的初始Q矩阵基础上以很高的概率得到正确的Q矩阵。另外, 当专家认定测验的属性个数存在错误时, 该方法推导的Q矩阵和模型参数能提供很好的鉴别Q矩阵错误的信息。     

使用似然比D2统计量的题目属性定义方法

题目属性的定义是实施认知诊断评价的关键步骤, 通过有丰富经验的领域专家对题目的属性进行定义是当前的主要方法, 然而该方法受到许多主观经验因素的影响。寻找客观的题目属性定义或验证方法可以为主观定义过程提供策略支持或对结果进行改进, 因此已经引起研究者们的关注。本研究构建了一种简单高效的题目属性定义方法, 研究使用似然比D2统计量从作答数据中估计题目属性的方法, 实现属性掌握模式、题目参数和题目属性向量的联合估计。模拟研究结果表明, 使用似然比D2统计量可以有效地识别题目的属性向量, 该方法一方面可以实现新编制题目属性向量的在线估计, 另一方面可以验证已经定义的题目属性向量的准确性。     

Evaluation of Model Fit in Cognitive Diagnosis Models

Cognitive diagnosis models (CDMs) estimate student ability profiles using latent attributes. Model fit to the data needs to be ascertained in order to determine whether inferences from CDMs are valid. This study investigated the usefulness of some popular model fit statistics to detect CDM fit including relative fit indices (AIC, BIC, and CAIC), and absolute fit indices (RMSEA2, ABS(fcor) and MAX(χ²_jj′)). These fit indices were assessed under different CDM settings with respect to Q-matrix misspecification and CDM misspecification. Results showed that relative fit indices selected the correct DINA model most of the times and selected the correct G-DINA model well across most conditions. Absolute fit indices rejected the true DINA model if the Q-matrix was misspecified in any way. Absolute fit indices rejected the true G-DINA model whenever the Q-matrix was under-specified. RMSEA2 could be artificially low when the Q-matrix was over-specified.     

一种简单有效的Q矩阵修正新方法

Q矩阵的正确性是影响题目参数估计和被试分类准确性的重要因素。针对Q矩阵修正问题, 首先提出了一种简单有效的新方法(ORDP)。然后, 模拟研究通过改变被试知识状态的分布、样本容量(N)、测验长度(L)、Q矩阵错误率(M)、项目质量(Iq)和属性层级结构, 比较了ORDP与已有方法(R、RMSEA和HD)的表现。研究表明：(1) 当知识状态服从均匀分布时, ORDP方法在所有层级结构下最优; 当知识状态服从多元正态分布时, RMSEA和ORDP表现没有明显差异, 除独立结构外, RMSEA方法均稍优于ORDP方法; (2) 各方法在多元正态分布下的修正效果不及均匀分布时的修正结果; (3) N、L、M、Iq和属性层级结构对4种方法的表现均有明显影响; (4) 基于Tatsuoka (1984)分数减法数据的修正结果表明, 采用ORDP方法修正的Q矩阵与数据拟合最优。     

一种基于Q矩阵理论朴素的认知诊断方法

现有的认知诊断方法均是在复杂的统计测量学知识基础上构建的, 需要经过大量的运算才可实现对被试的诊断分类。这使得相关研究者及一线教师在理解和运用某一认知诊断方法时困难重重。相比之下, 孙佳楠、张淑梅、辛涛和包钰(2011)提出的广义距离判别法(GDD)较其他认知诊断方法更简单易用且分类准确率高。本研究在改进的Q矩阵理论(丁树良, 祝玉芳, 林海菁, 蔡艳, 2009; 丁树良, 杨淑群, 汪文义, 2010)的基础上, 借鉴GDD的思路, 提出一种无需进行参数估计的朴素的认知诊断方法, 即海明距离判别法(HDD)。根据判别方式的不同将其分为R方法和B方法。采用Monte Carlo模拟的研究方法, 以模式判准率(PMR)和属性平均判准率(AAMR)作为衡量被试知识状态分类准确率的指标, 与GDD进行比较。结果表明, HDD具有更简便的操作步骤和更好的分类准确率。     

一种简单有效的Q矩阵估计方法开发：基于非参数化方法视角

摘要：Q矩阵是认知诊断的基础,错误的Q矩阵会影响参数估计和被试诊断正确率,开发一种简单而有效的Q矩阵估计方法有助于Q矩阵的正确界定。相对于参数化的Q矩阵估计方法,本研究将海明距离（Hamming Distance,HD）用于Q矩阵估计,开发出一种简单有效的非参数化的Q矩阵估计方法。采用Monte Carlo模拟方法与实证研究相结合的研究范式,对该方法的科学性与合理性及其效果进行研究,研究结果发现（1）基于海明距离的Q矩阵估计法具有较高的估计正确率,并且该方法不受被试样本容量影响。（2）该方法简单易懂,运算时间短,是一种简单而有效的Q矩阵估计方法。（3）新方法对于Tatsuka（1990）分数减法测验的Q矩阵的估计准确率尚可,说明新方法在实践中具有较好的潜在应用前景与应用价值。     

Q矩阵包含错误的诊断测验分类准确性比较

Q矩阵是认知诊断测验的重要组成部分之一,围绕Q矩阵构建的诊断模型对Q矩阵中包含的错误较敏感。贝叶斯网分类模型是基于网络结点之间的关系构建的模型,将朴素贝叶斯网作为诊断模型,与DINA模型进行比较。模拟实验结果表明：Q矩阵中是否包含可达矩阵和错误界定的项目数量对DINA模型影响较大,对贝叶斯网模型影响较小;项目数量对DINA和贝叶斯网模型影响都较大;样本大小对贝叶斯网模型影响较大,对DINA模型影响较小。模拟研究结果显示,当Q矩阵中不包含可达阵、包含5个以上错误项目或样本数较大时,贝叶斯网分类模型优于DINA模型;而当Q矩阵中包含可达阵和5个(以下)错误项目时,DINA模型优于贝叶斯分类模型。