探索语言水平测验的认知诊断改造和深度分析： 以广州市英语学业考试为例

本研究探索在通用认知诊断模型和相关检验方法的基础上对现有语言水平测验进行诊断改造和分析,分三步进行探索：1）探索对语言水平测试不同的属性和Q矩阵构建途径;2）探索对语言水平测试基于通用模型的建模和效度验证;3）探索对语言水平测试建模后续的深入分析。研究发现：属性分布和总分分布划分的学生水平一致性较高;学生对属性掌握存在性别差异且属性间的难易层级不同;属性模式分布进一步验证了语言属性间关联程度较高以及通用认知诊断模型和相关检验方法对语言测验的适用性。三步式的建模分析可作为对语言水平测验进行认知诊断改造的参考。     

Balancing fit and parsimony to improve Q-matrix validation

The Q-matrix identifies the subset of attributes measured by each item in the cognitive diagnosis modelling framework. Usually constructed by domain experts, the Q-matrix might contain some misspecifications, disrupting classification accuracy. Empirical Q-matrix validation methods such as the general discrimination index (GDI) and Wald have shown promising results in addressing this problem. However, a cut-off point is used in both methods, which might be suboptimal. To address this limitation, the Hull method is proposed and evaluated in the present study. This method aims to find the optimal balance between fit and parsimony, and it is flexible enough to be used either with a measure of item discrimination (the proportion of variance accounted for, PVAF) or a coefficient of determination (pseudo-R²). Results from a simulation study showed that the Hull method consistently showed the best performance and shortest computation time, especially when used with the PVAF. The Wald method also performed very well overall, while the GDI method obtained poor results when the number of attributes was high. The absence of a cut-off point provides greater flexibility to the Hull method, and it places it as a comprehensive solution to the Q-matrix specification problem in applied settings. This proposal is illustrated using real data.     

一种简单有效的Q矩阵修正新方法

Q矩阵的正确性是影响题目参数估计和被试分类准确性的重要因素。针对Q矩阵修正问题, 首先提出了一种简单有效的新方法(ORDP)。然后, 模拟研究通过改变被试知识状态的分布、样本容量(N)、测验长度(L)、Q矩阵错误率(M)、项目质量(Iq)和属性层级结构, 比较了ORDP与已有方法(R、RMSEA和HD)的表现。研究表明：(1) 当知识状态服从均匀分布时, ORDP方法在所有层级结构下最优; 当知识状态服从多元正态分布时, RMSEA和ORDP表现没有明显差异, 除独立结构外, RMSEA方法均稍优于ORDP方法; (2) 各方法在多元正态分布下的修正效果不及均匀分布时的修正结果; (3) N、L、M、Iq和属性层级结构对4种方法的表现均有明显影响; (4) 基于Tatsuoka (1984)分数减法数据的修正结果表明, 采用ORDP方法修正的Q矩阵与数据拟合最优。     

基于类别水平的多级计分认知诊断Q矩阵修正：相对拟合统计量视角

多级计分认知诊断模型的开发对认知诊断的发展具有重要作用, 但对于多级计分模型下的Q矩阵修正还有待研究。本研究尝试对多级计分认知诊断Q矩阵修正进行研究, 并聚焦更具诊断价值的基于项目类别水平的Q矩阵修正。将相对拟合统计量应用于多级计分认知诊断Q矩阵修正, 并与已有方法Stepwise方法( Ma & de la Torre, 2019)进行比较。研究表明：BIC方法对多级计分认知诊断模型的Q矩阵修正具有较高的模式判准率和属性判准率, 其对Q矩阵的恢复率也高于Stepwise方法, BIC方法修正后的Q矩阵与数据更加拟合; 在复杂模型中, 相对拟合指标BIC比AIC和-2LL表现更好, 在实践中, 使用者可以选择BIC法进行测验Q矩阵修正; Q矩阵修正效果受到被试人数的影响, 增加被试人数可以提高Q矩阵修正的正确率。总之, 本研究为多级计分认知诊断Q矩阵修正提供了重要的方法支持。     

A General Method of Empirical Q-matrix Validation

In contrast to unidimensional item response models that postulate a single underlying proficiency, cognitive diagnosis models (CDMs) posit multiple, discrete skills or attributes, thus allowing CDMs to provide a finer-grained assessment of examinees’ test performance. A common component of CDMs for specifying the attributes required for each item is the Q-matrix. Although construction of Q-matrix is typically performed by domain experts, it nonetheless, to a large extent, remains a subjective process, and misspecifications in the Q-matrix, if left unchecked, can have important practical implications. To address this concern, this paper proposes a discrimination index that can be used with a wide class of CDM subsumed by the generalized deterministic input, noisy “and” gate model to empirically validate the Q-matrix specifications by identifying and replacing misspecified entries in the Q-matrix. The rationale for using the index as the basis for a proposed validation method is provided in the form of mathematical proofs to several relevant lemmas and a theorem. The feasibility of the proposed method was examined using simulated data generated under various conditions. The proposed method is illustrated using fraction subtraction data.     

认知诊断模型Q矩阵修正：完整信息矩阵的作用

Q矩阵是CDM的核心元素之一,反映了测验的内部结构和内容设计,通常由领域专家根据经验进行主观界定,因此需要对可能存在的错误进行修正。本研究提出了一种新的Q矩阵修正方法——基于完整经验交叉相乘信息矩阵的Wald-XPD方法。采用Monte Carlo模拟检验了新方法的表现,并与同类方法进行了比较。研究表明：新开发的Wald-XPD方法在Q矩阵恢复率、保留正确标定属性的比例以及修正错误标定属性的比例这3个主要指标上均有较好的表现,且整体上优于其他方法,尤其是在修正错误标定的属性方面。通过实证数据展示了Wald-XPD方法在Q矩阵修正中的良好表现。总之,本研究为Q矩阵修正提供了有效的方法。     

使用似然比D2统计量的题目属性定义方法

题目属性的定义是实施认知诊断评价的关键步骤, 通过有丰富经验的领域专家对题目的属性进行定义是当前的主要方法, 然而该方法受到许多主观经验因素的影响。寻找客观的题目属性定义或验证方法可以为主观定义过程提供策略支持或对结果进行改进, 因此已经引起研究者们的关注。本研究构建了一种简单高效的题目属性定义方法, 研究使用似然比D2统计量从作答数据中估计题目属性的方法, 实现属性掌握模式、题目参数和题目属性向量的联合估计。模拟研究结果表明, 使用似然比D2统计量可以有效地识别题目的属性向量, 该方法一方面可以实现新编制题目属性向量的在线估计, 另一方面可以验证已经定义的题目属性向量的准确性。     

基于作答数据的模型参数和Q矩阵联合估计

Q矩阵在认知诊断的模型参数估计和诊断分类中起着重要作用。本文通过研究Liu等人的方法, 设计了同时估计项目参数和Q矩阵的联合估计算法。在DINA模型下, 对项目参数未知时开展模拟研究。研究假设项目为20个, 考察的属性个数分别是3、4和5, 初始Q矩阵中分别存在3、4和5个属性界定错误的项目。结果表明, 联合估计算法能在错误的初始Q矩阵基础上以很高的概率得到正确的Q矩阵。另外, 当专家认定测验的属性个数存在错误时, 该方法推导的Q矩阵和模型参数能提供很好的鉴别Q矩阵错误的信息。     

一种简单有效的Q矩阵估计方法开发：基于非参数化方法视角

摘要：Q矩阵是认知诊断的基础,错误的Q矩阵会影响参数估计和被试诊断正确率,开发一种简单而有效的Q矩阵估计方法有助于Q矩阵的正确界定。相对于参数化的Q矩阵估计方法,本研究将海明距离（Hamming Distance,HD）用于Q矩阵估计,开发出一种简单有效的非参数化的Q矩阵估计方法。采用Monte Carlo模拟方法与实证研究相结合的研究范式,对该方法的科学性与合理性及其效果进行研究,研究结果发现（1）基于海明距离的Q矩阵估计法具有较高的估计正确率,并且该方法不受被试样本容量影响。（2）该方法简单易懂,运算时间短,是一种简单而有效的Q矩阵估计方法。（3）新方法对于Tatsuka（1990）分数减法测验的Q矩阵的估计准确率尚可,说明新方法在实践中具有较好的潜在应用前景与应用价值。     

基于可达阵的一种Q矩阵标定方法

Q矩阵标定是实施认知诊断评估的前提,已有Q矩阵修正方法并不太适合测验中已知属性向量的题目数较少的情形。根据拓展Q矩阵理论中可达阵R列与简化Q阵列存在布尔“或”关系,在一定认知假设下,率先提出可达阵R与简化Q阵的潜在反应列存在布尔“与”关系,并由此提出基于可达阵的Q矩阵标定方法。研究显示：在已知一个可达阵下,当可达阵项目的猜测或失误参数在.20以下且待标定项目的项目参数约在.30以下时,新方法所得Q矩阵元素返真率基本在.90以上,并且真实Q矩阵与估计Q矩阵下被试分类准确率差异很小;对于含5个属性的独立结构,新方法要求的随机样本的样本量较小;实证研究也印证了模拟研究的结论。新方法只需专家标定少量题目的Q矩阵,即已经标定的Q矩阵对应属性层级结构的可达阵。     

一种非参数化的Q矩阵估计方法：ICC-IR方法开发

摘要：相对于参数化的方法,本研究根据题目测量模式关系开发出ICC指标,并提出基于理想得分的ICC指标法进行Q矩阵估计。Monte Carlo模拟研究与实证研究发现（1）基于理想得分ICC指标法估计Q矩阵具有很好的效果,当属性个数越少、基础题个数越多,估计效果越好。（2）相对于以往方法——D2统计量的方法,ICC-IR法效果更好,并且是一种非参数化的方法,计算简单快捷。（3）实证数据分析表明,ICC-IR法估计的Q矩阵在模型拟合度上也优于D2统计量方法。     

非参数认知诊断方法下诊断结果的概率化表征

非参数认知诊断分类方法非常适合课堂评估,其诊断结果采用0-1形式而缺乏概率化表征,不能精细地区分被试属性掌握程度的差异或变化,还缺乏可用于评价真实测验分类结果的信度和效度指标。要刻画被试属性掌握程度的差异,首要的问题是要为非参数认知诊断方法提供一种可以量化属性掌握概率的方法。针对此问题,基于二项分布和玻尔兹曼分布提出非参数认知诊断方法下诊断结果的概率化表征方法,并用于构建分类准确性和分类一致性指标。模拟研究与实测数据分析结果显示：概率化表征方法与非参数认知诊断方法的分类结果高度一致;概率化表征方法与认知诊断模型所得的属性掌握概率十分接近;概率化表征方法所得的属性（模式）掌握概率可用于计算属性（模式）分类准确性和分类一致性指标,在实际测验情景下可作为信度和效度指标,评价诊断结果的重测一致率和判准率。     

一种高效的CD-CAT在线标定新方法：基于熵的信息增益与EM视角

项目增补(Item Replenishing)对认知诊断计算机自适应测验(CD-CAT)题库的维护有着至关重要的作用, 而在线标定是一种重要的项目增补方式。基于数据挖掘中特征选择(Feature Selection)的思路, 提出一种高效的基于熵的信息增益的在线标定方法(记为IGEOCM), 该方法利用被试在新旧题上的作答联合估计新题的Q矩阵和项目参数。研究采用Monte Carlo模拟实验验证所开发新方法的效果, 并同时与已有的在线标定方法SIE、SIE-R-BIC和RMSEA-N进行比较。结果表明：新开发的IGEOCM在各实验条件下均具有较好的项目标定精度和项目估计效率, 且整体上优于已有的SIE等方法; 同时, IGEOCM标定新题所需的时间低于SIE等方法。总之, 研究为CD-CAT题库中项目的增补提供了一种更为高效、准确的方法。     

认知诊断模型中项目水平模型比较统计量的健壮性

使用模拟研究方法比较了以往研究中提出的基于观察信息矩阵、三明治矩阵的Wald（分别表示为W_Obs、W_Sw）、似然比（Likelihood Ratio）统计量以及新提出的基于经验交叉相乘信息矩阵的Wald统计量（W_XPD）在模型——数据失拟条件下进行项目水平上模型比较时的表现。结果显示：（1）W_Sw的一类错误控制率有很强的健壮性。（2）W_XPD在Q矩阵错误设定的大多数条件下的表现优于W_Sw。结论：模型—数据拟合良好时可以使用W_Sw进行项目水平上的模型比较,当模型与数据失拟时W_XPD可能是更好的选择。     

认知诊断模型中项目水平模型比较统计量的健壮性

使用模拟研究方法比较了以往研究中提出的基于观察信息矩阵、三明治矩阵的Wald（分别表示为W_Obs、W_Sw）、似然比（Likelihood Ratio）统计量以及新提出的基于经验交叉相乘信息矩阵的Wald统计量（W_XPD）在模型——数据失拟条件下进行项目水平上模型比较时的表现。结果显示：（1）W_Sw的一类错误控制率有很强的健壮性。（2）W_XPD在Q矩阵错误设定的大多数条件下的表现优于W_Sw。结论：模型—数据拟合良好时可以使用W_Sw进行项目水平上的模型比较,当模型与数据失拟时W_XPD可能是更好的选择。     

On the Consistency of Q-Matrix Estimation: A Rejoinder

This rejoinder responds to the commentary by Liu (Psychometrika, 2015) entitled “On the consistency of Q-matrix estimation: A commentary” on the paper “A general method of empirical Q-matrix validation” by de la Torre and Chiu (Psychometrika, 2015). It discusses and addresses three concerns raised in the commentary, namely the estimation accuracy when a provisional Q-matrix is used, the consistency of the Q-matrix estimator, and the computational efficiency of the proposed method.     

不同链接函数下多级评分认知诊断模型的比较及应用研究

认知诊断测验因具有传统测验所不具备的诊断功能而日益受到重视。当前多级评分认知诊断模型开发中,研究者采用不同的链接函数（Link Function）开发出不同的多级评分认知诊断模型。本研究基于局部或相邻类别链接函数(Local or Adjacent Categories Link Function)的思想,开发出多级评分认知诊断模型LC-DINA研究采用Monte Carlo模拟研究与实证应用研究相结合的方法,将新开发模型与已有模型进行比较并应用于国际数学与科学评估（TIMMS）中,为实际应用者提供了借鉴。     

多级评分聚类诊断法的影响因素

从测验和被试两个层面探讨了属性数目、属性层级关系、被试知识状态分布、属性层级误设和Q矩阵误设等因素对GRCDM的影响, 以进一步考察GRCDM的特性。研究发现：(1)GRCDM对属性数目无依赖, 随属性数目的增多判准率反而增高; (2)被试知识状态分布对GRCDM判准率高低无影响; (3)属性层级误设对GRCDM的影响与属性层级类型有关, 当属性层级为无结构型和发散型时, “属性层级关系错乱”的判准率降幅最大; (4)Q矩阵误设对GRCDM的影响因层级关系而异, 收敛型和发散型受影响较小, 无结构型和线型的判准率在属性既冗余又缺失时降幅最大。     

一种基于Q矩阵理论朴素的认知诊断方法

现有的认知诊断方法均是在复杂的统计测量学知识基础上构建的, 需要经过大量的运算才可实现对被试的诊断分类。这使得相关研究者及一线教师在理解和运用某一认知诊断方法时困难重重。相比之下, 孙佳楠、张淑梅、辛涛和包钰(2011)提出的广义距离判别法(GDD)较其他认知诊断方法更简单易用且分类准确率高。本研究在改进的Q矩阵理论(丁树良, 祝玉芳, 林海菁, 蔡艳, 2009; 丁树良, 杨淑群, 汪文义, 2010)的基础上, 借鉴GDD的思路, 提出一种无需进行参数估计的朴素的认知诊断方法, 即海明距离判别法(HDD)。根据判别方式的不同将其分为R方法和B方法。采用Monte Carlo模拟的研究方法, 以模式判准率(PMR)和属性平均判准率(AAMR)作为衡量被试知识状态分类准确率的指标, 与GDD进行比较。结果表明, HDD具有更简便的操作步骤和更好的分类准确率。     

基于假设检验的项目相合性指标研究

在认知诊断评估中,评价认知模型与作答数据的拟合非常重要。已有的层级相合性指标(HCI)仅能用于评价连接规则下模型与数据的拟合情况,有必要研究分离规则下相合性指标。HCI假设某项目上正确作答,便推断其子项目上的错误作答为失拟。由于作答反应的随机性,提出基于假设检验的项目相合性指标。该指标可用于区分连接规则和分离规则的作答数据、评价Q矩阵质量和衡量作答数据中的噪音、还可为评价认知模型和选择认知诊断模型提供参考。