选项具有诊断信息的多选题认知诊断测验编制

编制选项具有诊断信息的多选题是提高多选题认知诊断测验诊断效果的有效方法.研究从认知诊断的目标出发,根据认知诊断测验质量的评价标准,结合多选题的特点,探讨选项具有诊断信息的多选题认知诊断测验编制的原则.同时,结合多选题的特点和多选题采用称名计分方式的需要,对编制选项具有诊断信息的多选题提出两点要求.根据多选题认知诊断测验编制的原则和要求,给出具有可操作性的多选题认知诊断测验编制的步骤.模拟研究结果表明：根据所提出的原则和要求编制的多选题认知诊断测验具有较好的诊断效果,说明这些原则和要求合理、可行.由于这些原则、要求和步骤具有较强的可操作性,因此它对于编制多选题认知诊断测验具有一定的指导意义.     

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物, 认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing, CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题, 也有在认知诊断中遇到的特殊问题：由于认知诊断中涉及属性这一概念, CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异, 分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。     

新一代测验理论-认知诊断理论的源起与特征

认知诊断理论被视为新一代测验理论的核心,是认知心理学与现代测量学相结合的产物。对认知诊断的研究已成为当前国外心理学研究的一个重要热点,并引起国内学者的广泛关注。本文从认知诊断的源起、概念、特征,及研究的基础、框架、意义和难点等七个方面对认知诊断的理论与技术作了一个简要述评,以期推进我国心理学界认知诊断的研究工作。     

认知诊断测验蓝图的设计

通常认为由属性和项目关联阵（即Q矩阵）的列对应的项目充任认知诊断测验中行为样本,其实这种做法不能有效防止理想反应模式的误判。如在测验之前便可确定欲测之属性及层级关系,找到可达阵,可证明可达阵的各个列对应的项目类在认知诊断测验中必不可少,否则在理想反应模式下就一定有一些被试会被误判。本文给出充分必要Q矩阵的概念,以区别Tatsuoka(1995,2009) 讨论过的充分Q矩阵概念。充分必要Q矩阵才能有效指导测验的编制。     

基于项目自动生成的认知诊断测验开发

认知诊断、项目自动生成是现代心理测量领域的重要发展领域,二者的结合更是心理测量领域亟待开展的重要课题。本研究以小学数学问题解决认知诊断项目自动生成为例,探讨认知诊断领域的项目生成技术及算法。研究发现：(1)计算机自生成的项目参数与原模板参数具有较高的一致性。(2)同一项目模板下生成的不同试题的测量学特征基本不变。(3)同一批被试在自动生成的两份试卷的前、后测的能力( )值高度相关(r=0.811),前、后两次对被试诊断结果的一致性高达86.5%。这表明本文所设计的认知诊断测验项目的自动生成技术及其算法基本可行,小学数学问题解决认知诊断项目的自动生成效果较好。这也为其它认知诊断领域的项目自动生成提供了技术借鉴和支持。     

认知诊断评价中测验结构的优化设计

Q矩阵是认知诊断评价的基础和核心要素, 它反映了测验的构念和内容设计, 直接影响着测验诊断分类的效果。本文采用Monte Carlo模拟, 研究了6种属性层级关系下, 不同的Q矩阵设计对于认知诊断效果的影响。用模式判准率的均值和标准差分别从分类准确性和稳定性的角度来评价诊断效果。实验结果表明：(1) 不同属性层级关系下, 分类准确性会随着测验长度的增加而提高, 但当测验长度增加到一定程度时, 会出现“天花板效应”; (2) Q矩阵中R*的个数(NR*)会影响测验的分类准确性及稳定性：NR*越大, 测验的分类稳定性越高, 当测验长度为属性个数的整数倍, 且NR*为测验长度相对属性个数的最大奇数倍时分类准确性最高; (3) Q矩阵中除R*以外的项目考察的属性个数会随着属性层级关系的不同对测验的分类准确性和稳定性产生不同的影响。根据实验结果, 本研究提出了进行诊断评价时Q矩阵优化设计的一些建议。     

认知诊断测验的自动组卷方法

认知诊断评估的重要一环是构建符合约束(统计约束与非统计约束)的诊断测验。其中构建测验的认知诊断自动测验组卷(cognitive diagnosis automated test assembly, CD-ATA)方法十分关键,受到广泛关注。文章通过梳理有关CD-ATA的研究,从组卷方法的类别、开发思路、组卷过程、方法对比及选用进行阐述与评析。最后,在已有方法基础上指出未来可从融合测验设计、非参数组卷、平行测验组卷、开发组卷软件、开展实证研究五个方面进行研究与探讨。     

具有认知诊断功能的计算机化自适应测验的研究与实现

构造具有认知诊断功能的计算机化自适应测验（Computerized Adaptive Testing,CAT）,关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的联系,以图的深度优先算法为基础设计选题策略;而在能力估计精细化阶段,每个被试所测项目,不仅与其能力估计值相匹配,且只与其所掌握的属性相关。本文采用蒙特卡罗模拟针对三种不同的属性结构进行试验,结果良好     

规则空间模型在瑞文智力测验中的认知诊断分析

规则空间模型是一种基于统计模式识别和分类的认知诊断方法,此方法可以根据被试的作答反应,分析诊断被试的认知属性掌握情况。以往智力测验只是报告测验分数,对被试能力解释较为简单,缺乏必要的认知诊断分析。本文根据瑞文标准推理测验的难度层级特点,分析其所包含属性及其连接关系,并运用规则空间模型将所有被试划分在48种典型反应模式中,而且大部分被试都会集在几个典型反应模式中。本文对这些典型反应模式进一步分析被试的认知状态,并为教育辅导与人员选拔安排提供建议。     

G-DINA认知诊断模型在语言测验中的验证

G-DINA模型是DINA 模型的一般化模型,具有补偿性和饱和性两个主要特征。G-DINA模型的补偿性特征契合了语言测验的综合性和多元性,G-DINA模型的饱和性特征则可以比较理想地应对语言技能的抽象性和难区分性。此项研究以代表性的语言测验类型阅读测验为案例,应用G-DINA模型对1029名被试的PISA英语阅读测验结果进行实证分析,证明了两个假设：补偿饱和型认知诊断模型对多元抽象的语言测验的适应程度较高;G-DINA这一新生认知诊断模型可以被用来诊断较为复杂抽象的语言测验,且经得起统计学和语言学理论的双重考验。     

多项选择题认知诊断潜能的最大化

多项选择题是认知诊断中常用的测验项目形式, 其正确答案选项和经过特殊编制的干扰项都能提供诊断信息。为了提取干扰项的信息, 需要采用不同于传统认知诊断模型的心理计量模型。分类介绍能使干扰项提供诊断信息的多项选择题编制方法, 分析这类多项选择题的认知诊断模型, 认为未来应加强干扰项编制方法和能提取干扰项信息的认知诊断模型的选择和开发等方面的研究。     

一种多策略认知诊断方法:MSCD方法的开发

当前国内外开发的认知诊断模型基本上只能处理单策略的测验情景,并假设所有被试均采用同一种加工策略/解题策略,从而忽视了加工策略的多样性及差异性.本研究根据de la Torre和Douglas (2008)采用多个Q矩阵来表征多个加工策略的思想,并结合使用丁树良等(2009)修正的Q矩阵理论及孙佳楠,张淑梅、辛涛和包珏(2011)的广义距离判别法,开发了一种新的多策略认知诊断方法——MSCD方法.Monte Carlo模拟研究结果表明:在单策略测验情景下,传统的单策略认知诊断方法与采用MSCD方法的诊断正确率均比较理想,且差异不大;但在多策略测验情景时,传统的单策略认知诊断方法诊断正确率较低,而MSCD方法的诊断正确率却仍较理想;当加工策略增至5种时,MSCD方法仍有较高的边际判准率、模式判准率以及加工策略判准率.研究表明MSCD方法基本合理、可行.这为实现对加工策略的诊断提供了方法学支持,有利于拓展认知诊断在实际中的应用.     

层级一致性指标的多级评分拓展

在认知诊断评估实践中,属性层级合理性的验证非常重要,而现有指标仅停留在0-1计分测验,无法适应考试形式和评分方式多样化的实践需求。研究将0-1计分层级一致性指标（MHCI）拓展至多级计分的层级一致性指标（GHCI）,模拟和实证研究结果表明：（1）GHCI具有和MHCI相同的本质含义,考虑了父项目和子项目得分的多种可能性,从而将MHCI纳入GHCI体系;（2）在多级或混合计分情境,MHCI会有信息损失,容易发生低估,且易受转换比例的影响;（3）GHCI在模拟和实践情境均具较好的适宜性,拟合截断值的设置可依属性层级而定。     

诊断认知策略的几何类比推理测验题的特征及其编制研究

该文在新一代测验理论的视角下,以几何类比推理测验为研究对象,以认知策略的诊断为目的,研究更能引发被试的规则构建策略或选项剔除策略的项目的特征。研究结果表明,项目中元素数量是影响被试使用规则构建策略或选项剔除策略的关键因素,元素数量越多时越倾向于用规则构建策略,而元素数量越少时倾向于用选项剔除策略。研究结果可直接用于测验设计,使得测验能更多在某一策略的框假下分析描述被试特征。     

一种多级评分的认知诊断模型：P-DINA模型的开发

当前绝大多数认知诊断计量模型仅适用于0-1评分数据资料, 大大限制了认知诊断在实际中的应用, 也限制了认知诊断的进一步推广和发展。本文对具有较好发展前景的DINA模型进行拓展, 开发出适合多种评分(含0-1二级评分和多级评分)数据资料的P-DINA模型, 同时采用MCMC算法实现模型参数的估计, 并对该模型性能进行研究。结果表明：(1)本文开发的P-DINA模型无论是在无结构型属性层级关系下还是在结构型属性层级关系下, 参数估计的精度均较高, 参数估计的稳健性较强, 说明开发的P-DINA模型基本合理、可行。(2)P-DINA模型可采用MCMC算法实现参数估计, 且参数估计的精度较高。(3)整体来看, 无结构型属性层级关系和结构型属性层级关系下, P-DINA模型在项目参数的估计精度上两者基本相当; 但在被试属性判准率(MMR和PMR)上无结构型属性层级关系表现的稍差一些。(4)无结构型属性阶层关系下：模型诊断的属性个数越多, 参数 估计的精度越差、属性诊断的正确率(MMR和PMR)越低, 但参数 的估计精度越好; 若想保证属性模式判准率在80%以上, 建议诊断的属性个数不宜超过7个。总之, 本研究为拓展认知诊断在教育学和心理学中的应用提供了一种新方法、新模型。     

基于分部评分模型思路的多级评分认知诊断模型开发

基于分部评分模型的思路, 本文提出了一般化的分部评分认知诊断模型(General Partial Credit Diagnostic Model, GPCDM), 与国际上已有的基于分部评分模型思路的多级评分模型GDM (von Davier, 2008)和PC-DINA (de la Torre, 2012)相比, GPCDM的Q矩阵定义更加灵活, 项目参数的约束条件更少。Monte Carlo实验研究表明, GPCDM模型的参数估计精度指标RMSE介于[0.015, 0.043], 表明估计精度尚可; TIMSS (2007)实证数据应用研究表明, 与GDM和PC-DINA模型相比, GPCDM与该数据的拟合度更好, 并且使用GPCDM分析该数据的诊断效果也更优。总之, 本研究提供了一种约束条件更少、功能更为强大的多级评分认知诊断模型。     

基于认知设计系统的几何类比推理测验的编制及认知模型分析

认知诊断是一种新的测量范式。本研究首先根据Mulholland,Pellegrino＆Glaser和Whitely＆Schneider关于类比推理的研究结果,采用认知设计系统编制了几何类比推理测试题,并对所编制的测试题的质量进行验证,然后采用口语报告法分析解决几何类比推理所涉及的认知模型,结果表明：1）编制的几何类比推理测试题的质量比较好;2）学生解决类比推理所涉及的认知属性主要为置换、翻转、旋转、数量、大小、颜色与条纹和形状。     

Bootstrap区间估计在认知诊断模型误设中的应用

认知诊断模型选择是认知诊断评估中重要研究问题之一。在实际应用中实践者并不知道真正拟合数据的模型,通常会用模型拟合指标检验模型与数据的拟合程度。从测量结果质量来看,除保证模型与数据拟合之外,还需要重点评价模型诊断结果的信度和效度等。考虑到以往研究大都采用基于信息量的拟合指标去判定模型与数据的匹配性,本研究提出综合考虑模型拟合指标与信度指标用于模型选择或评价模型误设。考虑实验因素为真实模型或分析模型（DINA模型、G-DINA模型、R-RUM模型）、样本量、题量和属性个数,在五因素（3×3×2×2×2）实验设计条件下,比较Bootstrap区间估计的属性分类一致性信度平均数与标准误和常用的拟合统计量-2LL、AIC、BIC对正确模型的选择率。结果表明：-2LL在题目数量多的情况下表现较好,而AIC、BIC在被试量较大的情况下表现较好,在不同的研究条件下,-2LL、AIC、BIC的模型选择率很不稳定,而用Bootstrap法估计的属性分类一致性信度平均数和标准误在不同研究条件的模型选择率较稳定,总体表现较好。     

多级评分认知诊断模型述评

认知诊断评估旨在探讨个体内部的知识掌握结构,并提供关于学生优缺点的详细诊断信息,以促进个体的全面发展。当前研究者已开发了大量0-1评分的认知诊断模型,但对于多级评分认知诊断模型的研究还比较少。本文对已有的多级评分认知诊断模型进行了归纳,介绍了模型的假设,计量特征以及适用范围,为实际应用者和研究者在多级评分认知诊断模型的比较和选用上提供借鉴和参考。最后,对未来关于多级评分诊断模型的研究方向进行了展望。