一种高效的CD-CAT在线标定新方法：基于熵的信息增益与EM视角

项目增补(Item Replenishing)对认知诊断计算机自适应测验(CD-CAT)题库的维护有着至关重要的作用, 而在线标定是一种重要的项目增补方式。基于数据挖掘中特征选择(Feature Selection)的思路, 提出一种高效的基于熵的信息增益的在线标定方法(记为IGEOCM), 该方法利用被试在新旧题上的作答联合估计新题的Q矩阵和项目参数。研究采用Monte Carlo模拟实验验证所开发新方法的效果, 并同时与已有的在线标定方法SIE、SIE-R-BIC和RMSEA-N进行比较。结果表明：新开发的IGEOCM在各实验条件下均具有较好的项目标定精度和项目估计效率, 且整体上优于已有的SIE等方法; 同时, IGEOCM标定新题所需的时间低于SIE等方法。总之, 研究为CD-CAT题库中项目的增补提供了一种更为高效、准确的方法。     

认知诊断计算机化自适应测验中在线标定方法的开发

项目增补对认知诊断计算机化自适应测验(CD-CAT)中的题库维护至关重要。在传统CAT中, 在线标定方法经常用于估计新题的项目参数。然而直到现在, 在CD-CAT领域还没有任何关于在线标定的论文公开发表。为将传统CAT中3种有代表性的在线标定方法(Method A、OEM和 MEM)推广至CD-CAT (CD-Method A、CD-OEM和CD-MEM)建立分析基础, 并采用模拟方法对这3种方法进行比较。研究表明：CD-Method A方法在项目参数的返真性方面优于其它两种方法; 自适应标定设计较随机标定设计可以提高项目参数的返真质量。     

基于CAT的在线标定:设计与方法

项目增补是题库建设和维护的重要手段, 而标定新题参数是项目增补的重要内容。在线标定设计和在线标定方法分别研究新题的施测方式和参数估计方法, 是计算机化自适应测验(computerized adaptive testing, CAT)情景下项目增补的核心技术。重点厘清在线标定设计与在线标定方法的发展思路和脉络, 并对它们的特点、联系和表现进行介绍和评价。未来应基于其他信息指标进一步研究在线标定设计, 可基于联合估计和误差校正的思路探究在线标定方法, 应加强研究认知诊断CAT和多维CAT的在线标定技术, 深入开展项目增补方法的实证研究。     

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高, 要标定大量项目的属性相当费时费力, 专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上, 本文在计算机化自适应认知诊断测验过程中, 植入原始题, 对项目属性标定的问题进行探讨, 重点研究原始题属性标定的方法及其影响因素, 除了MMLE方法和MLE方法外, 还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法—— 交差方法。Monte Carlo模拟结果显示, MMLE方法较MLE方法好; 在知识状态估计精度较高时, 自适应植入原始题较随机植入原始题有一定的优势; 随着知识状态估计精度提高和原始题作答次数增加, 交差方法与MLE方法基本相当, 只是在发散型和无结构型表现欠佳, 但是交差方法不需要预先设定项目参数值。     

多值评分CD-CAT的选题策略研究

认知诊断计算机化自适应测验（Cognitive diagnosis computerized adaptive testing, CD-CAT）为心理和教育评估测验的发展提供了新的视角。目前,关于CD-CAT的研究主要是基于二值评分的模型展开,但是,在实际应用领域,存在很多多值评分数据。高效的选题方法是CD-CAT程序成功的核心要素,本研究提出了两种新的多值评分CD-CAT(polytomous CDCAT, PCD-CAT)的选题方法,期望后验方差（expected posterior variance, EPV）和最大期望距离（maximum expected distance,MED）。通过模拟实验比较了EPV和MED在PCD-CAT的效果。实验结果表明,与传统的选题方法相比,EPV和MED具有更高的测验精度和测验效率。最后,通过一个PISA数据分析检验了PCD-CAT在实际应用中的效果及其优势。     

兼顾测验效率和题库使用率的CD-CAT选题策略

CD–CAT中已有选题策略较注重测验效率,而对题库使用率不够重视。针对此问题,基于DINA模型,引入两种新的选题策略KLED和RHA,同时对HA进行模拟研究。结果显示：PWKL与KLED只在测验效率上具有优势;KLED若按属性向量分层,题库使用率有所提高,KLED比ED更容易推广到其他有显式表达的诊断模型场合;HA、RHA和RP–PWKL可较好兼顾测验效度和题库使用率,但RP-PWKL需设置项目的最大曝光率阈值。两种新选题方法在定长和变长CD-CAT都具有一定的应用价值。     

定长CD-CAT中两种新的题目曝光控制方法

提出了两种适用于定长CD-CAT的题目曝光控制方法（HIRP、HIRT）,这些方法在保证较高分类准确率的同时还有较合理的题目曝光率,新方法由二分化方法和RP及RT方法进行结合并适当调整而得到。模拟研究比较了其与RP、RT、SM、SMIE、RHA和SDBS的表现,结果表明: （1）HIRP的分类准确率和题目曝光率均好于SM、SMIE和SDBS;（2）HIRT的题目曝光率较RP、SM、SMIE、RHA和SDBS稍差,但分类准确率更高;（3）HIRP的分类准确率低于RT和RP,但题目曝光控制要更好。     

基于项目区分度的双目标CD-CAT选题策略

针对双目标CD-CAT,将六种项目区分度（鉴别力D、一般区分度GDI、优势比OR、2PL的区分度a、属性区分度ADI、认知诊断区分度CDI）分别与IPA方法结合,得到新的选题策略。模拟研究比较了它们的表现,还考察了区分度分层在控制项目曝光的表现。结果发现：新方法都能明显提高知识状态的判准率和能力估计精度;分层选题均能很好地提高题库利用率。总体上,OR加权能显著提高测量精度;OR分层选题在保证测量精度条件下显著提高项目曝光均匀性。     

两种新的计算机化自适应测验在线标定方法

在线标定技术由于具有诸多优点而被广泛应用于计算机化自适应测验(CAT)的新题标定。Method A是想法最直接、算法最简单的CAT在线标定方法, 但它具有明显的理论缺陷--在标定过程中将能力估计值视为能力真值。将全功能极大似然估计方法(FFMLE)与“利用充分性结果”估计方法(ECSE)的误差校正思路融入Method A (新方法分别记为FFMLE-Method A和ECSE-Method A), 从理论上对能力估计误差进行校正, 进而克服Method A的标定缺陷。模拟研究的结果表明：(1)在大多数实验条件下, 两种新方法较Method A总体上可以改进标定精度, 且在测验长度为10的短测验上的改进幅度最大; (2)当CAT测验长度较短或中等(10或20题)时, 两种新方法的表现与性能最优的MEM已非常接近。当测验长度较长(30题)时, ECSE-Method A的总体表现最好、优于MEM; (3)样本量越大, 各种方法的标定精度越高。     

题库结构对原始题在线属性标定准确性之影响研究

目前已有研究证明可达阵在认知诊断测验编制中起重要作用,但迄今为止并没有引起普遍注意。本文主要讨论当题库缺少某些可达阵对应的项目类,对原始题的属性向量在线标定的准确性的影响。本文对含6个属性的独立型结构进行了模拟试验,结果显示：如果题库不充要,原始题的属性标定准确性受到影响,题库中非可达阵中项目对标定有一定的弥补作用。间接印证了可达阵在认知诊断题库起到非常重要的作用。     

基于可达阵的一种Q矩阵标定方法

Q矩阵标定是实施认知诊断评估的前提,已有Q矩阵修正方法并不太适合测验中已知属性向量的题目数较少的情形。根据拓展Q矩阵理论中可达阵R列与简化Q阵列存在布尔“或”关系,在一定认知假设下,率先提出可达阵R与简化Q阵的潜在反应列存在布尔“与”关系,并由此提出基于可达阵的Q矩阵标定方法。研究显示：在已知一个可达阵下,当可达阵项目的猜测或失误参数在.20以下且待标定项目的项目参数约在.30以下时,新方法所得Q矩阵元素返真率基本在.90以上,并且真实Q矩阵与估计Q矩阵下被试分类准确率差异很小;对于含5个属性的独立结构,新方法要求的随机样本的样本量较小;实证研究也印证了模拟研究的结论。新方法只需专家标定少量题目的Q矩阵,即已经标定的Q矩阵对应属性层级结构的可达阵。     

小学四、五年级数学诊断性测验的编制——基于规则空间模型的方法

基于规则空间模型, 以小学四、五年级数学诊断性测验的编制为例, 探索了认知诊断理论背景下诊断性测验的编制方法。研究发现, 基于规则空间模型编制的诊断性测验具备优良的信效度, 尤其在结构效度上具有突出优势。应用该测验对1059名四、五年级学生进行诊断测验的结果显示:在整体上, 学生对整数、初级运算与应用掌握得较为巩固, 对量、统计、规律、高级运算掌握较差;在发展趋势上, 量、统计、规律、高级运算是四、五年级之间进步最快的属性。     

一种简单有效的Q矩阵估计方法开发：基于非参数化方法视角

摘要：Q矩阵是认知诊断的基础,错误的Q矩阵会影响参数估计和被试诊断正确率,开发一种简单而有效的Q矩阵估计方法有助于Q矩阵的正确界定。相对于参数化的Q矩阵估计方法,本研究将海明距离（Hamming Distance,HD）用于Q矩阵估计,开发出一种简单有效的非参数化的Q矩阵估计方法。采用Monte Carlo模拟方法与实证研究相结合的研究范式,对该方法的科学性与合理性及其效果进行研究,研究结果发现（1）基于海明距离的Q矩阵估计法具有较高的估计正确率,并且该方法不受被试样本容量影响。（2）该方法简单易懂,运算时间短,是一种简单而有效的Q矩阵估计方法。（3）新方法对于Tatsuka（1990）分数减法测验的Q矩阵的估计准确率尚可,说明新方法在实践中具有较好的潜在应用前景与应用价值。     

哪个测验Q矩阵更合理:基于DINA模型测验Q矩阵合理性侦查指标及其比较与应用

本研究对多个测验Q矩阵的相对合理性的比较与选用开展研究,采用Monte Carlo模拟与实证研究相结合的范式,探讨R_square、HCI、-2LL、AIC、BIC、residual、ABS_residual及本研究新开发的BIC2等八项指标在测验Q矩阵合理性侦查效果及其比较。研究发现:八项指标中,除BIC和BIC2两项指标的对测验Q矩阵相对合理性的平均正确识别率在95%以上,其余指标的平均正确识别率不足90%,整体而言,考虑样本容量及参数个数双重加权的BIC和BIC2两项指标的表现总体上优于其它几项指标;各项指标在不同Q矩阵错误类型下其正确识别率也不尽相同。     

认知诊断CAT中项目曝光控制方法的比较

项目曝光率关系到题库建设和测验安全,是计算机化自适应测验(Computerized Adaptive Testing, CAT)需要考虑的重要问题。在认知诊断 CAT 情形下,首先基于传统 CAT 中 a-分层方法的思想提出按项目信息量对题库分层的分层多阶段(Stratified Multistage, SM)选题方法;然后将 SM 方法与项目合格(Item Eligibility, IE)方法相结合得到SMIE方法。在此基础上,开展模拟研究比较SM、IE、SMIE、最大修正优先指标(Maximum Modified Priority Index, MMPI)方法、限制阈值(Restrictive Threshold, RT)方法和限制进度(Restrictive Progressive, RPG)方法的选题表现。总体上,它们的测量精度从高到低依次为IE、SM、SMIE、RT、RPG和MMPI方法;项目曝光分布均匀性的优劣次序为MMPI、RPG、SMIE、RT、SM和IE方法;SMIE和RT方法能较好地平衡测量精度和项目曝光均匀性要求。     

基于DINA模型的Q矩阵修正方法

本研究开发了一种基于DINA模型的认知诊断测验Q矩阵修正方法—— g 法, 为侦查并修正Q矩阵中的错误提供方法学支持, 从而为保证Q矩阵的合理性提供基础, 并为进一步提高认知诊断的准确率服务。本文采用Monte Carlo模拟及与国外同类研究相比较的方法进行, 研究发现：(1)不论在何种作答失误概率(5%, 10%, 15%)情况下, 当s,g临界值为0.2, 0.25或0.3时, 本研究提出的g 法均能有效地修正错误Q矩阵; 同时, 当Q矩阵无错误时, g 法对该Q矩阵未做任何修改。表明g 法对Q矩阵是否存在错误具有较强的识别能力及修正能力。(2)与国外同类研究相比, 本研究提出的g 法具有较理想的修正率, 且与de la Torre (2008)提出d法的修正效果相当。但相比较而言, g 法较d 法更为简单。(3) g 法不仅能有效地修正错误的Q矩阵, 而且还可以进一步提高认知诊断的正确率, 尤其是对模式判准率(PMR), 诊断正确率的最高增幅高达40%, 大大改善了认知诊断的准确率。     

认知诊断计算机化自适应测验中的项目增补

项目的增补对认知诊断计算机化自适应测验(CD-CAT)题库的开发与维护至关重要。借鉴单维项目反应理论(IRT)中联合极大似然估计方法(JMLE)的思路, 提出联合估计算法(JEA), 仅依赖被试在旧题和新题上的作答反应联合地、自动地估计新题的属性向量和新题的项目参数。研究结果表明：当项目参数相对较小且样本量相对较大时, JEA算法在新题属性向量和新题项目参数估计精度方面表现不错; 而且样本大小、项目参数大小以及项目参数初值都影响着JEA算法的表现。     

认知诊断测验蓝图的设计

通常认为由属性和项目关联阵（即Q矩阵）的列对应的项目充任认知诊断测验中行为样本,其实这种做法不能有效防止理想反应模式的误判。如在测验之前便可确定欲测之属性及层级关系,找到可达阵,可证明可达阵的各个列对应的项目类在认知诊断测验中必不可少,否则在理想反应模式下就一定有一些被试会被误判。本文给出充分必要Q矩阵的概念,以区别Tatsuoka(1995,2009) 讨论过的充分Q矩阵概念。充分必要Q矩阵才能有效指导测验的编制。     

基于作答数据的模型参数和Q矩阵联合估计

Q矩阵在认知诊断的模型参数估计和诊断分类中起着重要作用。本文通过研究Liu等人的方法, 设计了同时估计项目参数和Q矩阵的联合估计算法。在DINA模型下, 对项目参数未知时开展模拟研究。研究假设项目为20个, 考察的属性个数分别是3、4和5, 初始Q矩阵中分别存在3、4和5个属性界定错误的项目。结果表明, 联合估计算法能在错误的初始Q矩阵基础上以很高的概率得到正确的Q矩阵。另外, 当专家认定测验的属性个数存在错误时, 该方法推导的Q矩阵和模型参数能提供很好的鉴别Q矩阵错误的信息。     

一种非参数化的Q矩阵估计方法：ICC-IR方法开发

摘要：相对于参数化的方法,本研究根据题目测量模式关系开发出ICC指标,并提出基于理想得分的ICC指标法进行Q矩阵估计。Monte Carlo模拟研究与实证研究发现（1）基于理想得分ICC指标法估计Q矩阵具有很好的效果,当属性个数越少、基础题个数越多,估计效果越好。（2）相对于以往方法——D2统计量的方法,ICC-IR法效果更好,并且是一种非参数化的方法,计算简单快捷。（3）实证数据分析表明,ICC-IR法估计的Q矩阵在模型拟合度上也优于D2统计量方法。