一种混合计分的非参数认知诊断方法：曼哈顿距离判别法

研究提出了一种简洁的适于混合计分的非参数认知诊断方法—曼哈顿距离判别法（MDD）,将HDD纳入MDD框架,通过模拟和实证研究考察了MDD的适宜性,结果表明：（1）MDD简单易解, 适于混合计分情境,0-1计分时,HDD是MDD的一个特例;（2）MDD的判准率较高,三种判别方法差异极小;（3）MDD具有非参数方法不受知识状态影响、对样本容量无依赖,与属性个数关系不大等特点;（4）MDD在实践中的应用效果较好,为CDA走向实践、走向课堂提供了可能。     

基于选项层面的认知诊断非参数方法

充分挖掘选择题(Multiple-Choice, MC)的诊断信息受到了较多关注, 将干扰项信息考虑在内可以提升诊断精度。为了弥补参数模型基于大样本才能获得可靠估计的不足, 以及适用于班级水平的小样本诊断测验情境, 本研究提出了非参数的多选题诊断方法。模拟和实证研结果表明：(1)当MC测验中题目参数不存在较大差异时, ${{d}_{\text{ph}-\text{MC}}}$法在多数情况下表现优于参数类诊断模型。(2)当MC测验中题目参数存在较大差异时, ${{d}_{ph-MC}}$法的表现最优。(3)实证研究中非参数方法和参数类模型的分类一致性程度较高, ${{d}_{\text{ph}-\text{MC}}}$距离法估计得到的考生属性总体掌握程度与总分相关最高。最后, 基于MC诊断测验的特点提出了若干研究方向。     

基于项目自动生成的认知诊断测验开发

认知诊断、项目自动生成是现代心理测量领域的重要发展领域,二者的结合更是心理测量领域亟待开展的重要课题。本研究以小学数学问题解决认知诊断项目自动生成为例,探讨认知诊断领域的项目生成技术及算法。研究发现：(1)计算机自生成的项目参数与原模板参数具有较高的一致性。(2)同一项目模板下生成的不同试题的测量学特征基本不变。(3)同一批被试在自动生成的两份试卷的前、后测的能力( )值高度相关(r=0.811),前、后两次对被试诊断结果的一致性高达86.5%。这表明本文所设计的认知诊断测验项目的自动生成技术及其算法基本可行,小学数学问题解决认知诊断项目的自动生成效果较好。这也为其它认知诊断领域的项目自动生成提供了技术借鉴和支持。     

纵向非参数认知诊断评估

通过建立相邻时间点间被试知识状态和理想作答模式的链接,提出了4种逻辑简洁的纵向非参数认知诊断方法：LNPC、LWNPC、LGNPC和LWGNPC。模拟研究结果表明：建立的链接能提升纵向判准精度。与参数模型相比,4种方法估计精度相当,受样本容量影响小。与Long-HDD相比,4种方法判准精度较高,题目质量较低时LNPC和LWNPC仍有较好表现;实证研究表明：4种方法能够应用于实际纵向测验分析,与参数模型和Long-HDD判别一致性较高。推荐LWNPC方法。     

认知诊断CAT中项目曝光控制方法的比较

项目曝光率关系到题库建设和测验安全,是计算机化自适应测验(Computerized Adaptive Testing, CAT)需要考虑的重要问题。在认知诊断 CAT 情形下,首先基于传统 CAT 中 a-分层方法的思想提出按项目信息量对题库分层的分层多阶段(Stratified Multistage, SM)选题方法;然后将 SM 方法与项目合格(Item Eligibility, IE)方法相结合得到SMIE方法。在此基础上,开展模拟研究比较SM、IE、SMIE、最大修正优先指标(Maximum Modified Priority Index, MMPI)方法、限制阈值(Restrictive Threshold, RT)方法和限制进度(Restrictive Progressive, RPG)方法的选题表现。总体上,它们的测量精度从高到低依次为IE、SM、SMIE、RT、RPG和MMPI方法;项目曝光分布均匀性的优劣次序为MMPI、RPG、SMIE、RT、SM和IE方法;SMIE和RT方法能较好地平衡测量精度和项目曝光均匀性要求。     

使用Bootstrap方法计算认知诊断评估中的信度

测验信度是衡量测验质量的一个重要指标,认知诊断评估中同样需要重视信度问题。现有认知诊断中计算信度的方法均有一个前提假设:被试在前后两次测验的后验概率分布和边际概率完全相同。该假设过强,未考虑两次测验间存在的随机误差。基于Bootstrap抽样,提出了两类属性信度和模式信度的指标,分别是积差相关法和修正的一致性法。通过模拟研究比较了新方法和现有方法在不同属性个数、属性间相关性和题目数量下的表现,并基于英语能力认证考试ECPE和分数减法的实证数据验证了新方法的可行性。最后,对信度估计的影响因素进行了讨论。     

认知诊断分类中心的确定

期望反应模式是认知诊断分类的类中心,确定了诊断范围中属性及其层级关系后,类中心的数目由测验Q矩阵决定.类中心应该是完备的,即理论上有多少个知识状态就应该有多少个类中心,这涉及评分方式、Q矩阵设计、Q矩阵评价与修改、认知诊断测验如何实施等问题的讨论.重点给出多级评分认知诊断测验不同属性层级对应的完备Q矩阵设计的例子和罗列了Wang等人（2013）的Q矩阵修改的方法.     

一种多策略认知诊断方法:MSCD方法的开发

当前国内外开发的认知诊断模型基本上只能处理单策略的测验情景,并假设所有被试均采用同一种加工策略/解题策略,从而忽视了加工策略的多样性及差异性.本研究根据de la Torre和Douglas (2008)采用多个Q矩阵来表征多个加工策略的思想,并结合使用丁树良等(2009)修正的Q矩阵理论及孙佳楠,张淑梅、辛涛和包珏(2011)的广义距离判别法,开发了一种新的多策略认知诊断方法——MSCD方法.Monte Carlo模拟研究结果表明:在单策略测验情景下,传统的单策略认知诊断方法与采用MSCD方法的诊断正确率均比较理想,且差异不大;但在多策略测验情景时,传统的单策略认知诊断方法诊断正确率较低,而MSCD方法的诊断正确率却仍较理想;当加工策略增至5种时,MSCD方法仍有较高的边际判准率、模式判准率以及加工策略判准率.研究表明MSCD方法基本合理、可行.这为实现对加工策略的诊断提供了方法学支持,有利于拓展认知诊断在实际中的应用.     

基于群体水平评估的认知诊断模型开发与应用

本文开发了基于群体水平评估的认知诊断模型——G-AHM,采用Monte Carlo模拟方法探讨了模型的性能与表现,并探讨其在实践中的具体应用。研究发现：（1）新模型G-AHM不仅具有较高的边际判准率,还具有较好的模式判准率,且具有较强的稳健性,说明本研究开发的新模型基本合理、可行的。（2）与已有的具有较高效度的诊断结果比较发现：从认知状态、属性掌握概率与属性掌握比例三个方面,G-AHM模型所获得的群体诊断结果都与已有结果基本一致,即可以认为G-AHM方法获得的诊断结果也具有较高的效度。因此G-AHM模型在实际中是可行、可信的;且G-AHM方法中将认知状态与群体对属性的掌握概率信息相结合,可以更好的解释及分析被试的认知水平,提供的信息更具参考价值。     

基于Q矩阵和广义距离的认知诊断方法

规则空间方法(RSM)和属性层级方法(AHM)是两种重要的认知诊断方法, 近年来受到了广泛关注。本文在属性层级方法和丁树良等人(2009, 2010)改进的Q矩阵理论的基础上, 通过定义观察反应模式与理想反应模式之间的广义距离, 给出了一种识别被试知识状态的认知诊断方法, 即广义距离判别法。通过DINA模型生成被试的作答反应矩阵进行模拟研究, 以模式判准率和属性判准率作为衡量被试知识状态分类准确率指标, 将广义距离判别法、RSM和AHM的分类A方法分别与DINA模型进行比较。结果表明, 本文提出的广义距离判别法具有更好的分类效果。     

A Polytomous Model of Cognitive Diagnostic Assessment for Graded Data

Pursuing the line of the difference models in IRT (Thissen &; Steinberg, 1986 Thissen, D., &; Steinberg, L. (1986). A taxonomy of item response models. Psychometrika, 51:567–577. doi:10.1007/BF02295596.[Crossref], [Web of Science ®] , [Google Scholar]), this article proposed a new cognitive diagnostic model for graded/polytomous data based on the deterministic input, noisy, and gate (Haertel, 1989 Haertel, E. H. (1989). Using restricted latent class models to map the skill structure of achievement items. Journal of Educational Measurement, 26, 333–352. doi:10.1111/j.1745-3984.1989.tb00336.x.[Crossref], [Web of Science ®] , [Google Scholar]; Junker &; Sijtsma, 2001 Junker, B. W., &; Sijtsma, K. (2001). Cognitive assessment models with few assumptions, and connections with nonparametric item response theory. Applied Psychological Measurement, 25, 258–272. doi:10.1177/01466210122032064.[Crossref], [Web of Science ®] , [Google Scholar]), which is named the DINA model for graded data (DINA-GD). We investigated the performance of a full Bayesian estimation of the proposed model. In the simulation, the classification accuracy and item recovery for the DINA-GD model were investigated. The results indicated that the proposed model had acceptable examinees' correct attribute classification rate and item parameter recovery. In addition, a real-data example was used to illustrate the application of this new model with the graded data or polytomously scored items.     

基于项目区分度的双目标CD-CAT选题策略

针对双目标CD-CAT,将六种项目区分度（鉴别力D、一般区分度GDI、优势比OR、2PL的区分度a、属性区分度ADI、认知诊断区分度CDI）分别与IPA方法结合,得到新的选题策略。模拟研究比较了它们的表现,还考察了区分度分层在控制项目曝光的表现。结果发现：新方法都能明显提高知识状态的判准率和能力估计精度;分层选题均能很好地提高题库利用率。总体上,OR加权能显著提高测量精度;OR分层选题在保证测量精度条件下显著提高项目曝光均匀性。     

Bootstrap区间估计在认知诊断模型误设中的应用

认知诊断模型选择是认知诊断评估中重要研究问题之一。在实际应用中实践者并不知道真正拟合数据的模型,通常会用模型拟合指标检验模型与数据的拟合程度。从测量结果质量来看,除保证模型与数据拟合之外,还需要重点评价模型诊断结果的信度和效度等。考虑到以往研究大都采用基于信息量的拟合指标去判定模型与数据的匹配性,本研究提出综合考虑模型拟合指标与信度指标用于模型选择或评价模型误设。考虑实验因素为真实模型或分析模型（DINA模型、G-DINA模型、R-RUM模型）、样本量、题量和属性个数,在五因素（3×3×2×2×2）实验设计条件下,比较Bootstrap区间估计的属性分类一致性信度平均数与标准误和常用的拟合统计量-2LL、AIC、BIC对正确模型的选择率。结果表明：-2LL在题目数量多的情况下表现较好,而AIC、BIC在被试量较大的情况下表现较好,在不同的研究条件下,-2LL、AIC、BIC的模型选择率很不稳定,而用Bootstrap法估计的属性分类一致性信度平均数和标准误在不同研究条件的模型选择率较稳定,总体表现较好。     

非参数认知诊断方法下诊断结果的概率化表征

非参数认知诊断分类方法非常适合课堂评估,其诊断结果采用0-1形式而缺乏概率化表征,不能精细地区分被试属性掌握程度的差异或变化,还缺乏可用于评价真实测验分类结果的信度和效度指标。要刻画被试属性掌握程度的差异,首要的问题是要为非参数认知诊断方法提供一种可以量化属性掌握概率的方法。针对此问题,基于二项分布和玻尔兹曼分布提出非参数认知诊断方法下诊断结果的概率化表征方法,并用于构建分类准确性和分类一致性指标。模拟研究与实测数据分析结果显示：概率化表征方法与非参数认知诊断方法的分类结果高度一致;概率化表征方法与认知诊断模型所得的属性掌握概率十分接近;概率化表征方法所得的属性（模式）掌握概率可用于计算属性（模式）分类准确性和分类一致性指标,在实际测验情景下可作为信度和效度指标,评价诊断结果的重测一致率和判准率。     

属性不等权重的多级评分属性层级方法

本文给出基于属性不等权重的等级反应模型(Grade Response Model, GRM)的属性层级方法(Attribute Hierarchy Method, AHM), 简记为属性不等权重的GRM-AHM。在属性层级结构下, 本文利用贝叶斯网与最小二乘两种方法, 提出了被试掌握属性的条件概率与属性权重的计算方法, 发现并解决了属性在不同的项目内权重有可能不相等的问题。本研究进一步将认知诊断推广到多级评分的情形。试验证明, 属性不等权重的GRM-AHM具有较高的判准率。     

基于CAT的在线标定:设计与方法

项目增补是题库建设和维护的重要手段, 而标定新题参数是项目增补的重要内容。在线标定设计和在线标定方法分别研究新题的施测方式和参数估计方法, 是计算机化自适应测验(computerized adaptive testing, CAT)情景下项目增补的核心技术。重点厘清在线标定设计与在线标定方法的发展思路和脉络, 并对它们的特点、联系和表现进行介绍和评价。未来应基于其他信息指标进一步研究在线标定设计, 可基于联合估计和误差校正的思路探究在线标定方法, 应加强研究认知诊断CAT和多维CAT的在线标定技术, 深入开展项目增补方法的实证研究。