重参数化多分属性DINA模型的多级评分拓广——基于等级反应模型

多分属性认知诊断模型（CDMs）比传统的二分属性CDMs提供更详细的诊断反馈信息,但现有大部分多分属性CDMs并不具备直接分析多级（或混合）评分数据的功能。本文基于等级反应模型对重参数化多分属性DINA模型进行多级评分拓广,开发一个可处理多级评分数据的等级反应多分属性DINA模型。首先通过实证数据分析呈现新模型的现实可应用性;然后通过模拟研究探究新模型的参数估计返真性。结果表明,新模型满足同时处理多分属性和多级评分数据的现实需求;且具备良好的心理计量学性能,但对测验质量有一定要求（e.g., 题目质量较高且测验Qp矩阵具有完备性等）。     

矩阵完成问题的项目生成研究

依据Embretson提出的认知设计系统方法,设计并编制了矩阵完成问题的项目生成系统,实际生成了矩阵完成问题测验。探讨矩阵测验与瑞文测验的关系,以及认知模型对矩阵问题的难度和区分度的预测能力。结果表明所设计的认知模型对矩阵项目的性能参数有一定的预测能力,生成的矩阵测验与瑞文测验有基本相同的心理测量属性。可以使用该系统生成的矩阵项目来测量被试的抽象推理能力。     

多维题组效应认知诊断模型

当前认知诊断领域还缺少对包含题组的测验进行诊断分析的研究, 即已开发的认知诊断模型无法合理有效地处理含有题组效应的测验数据, 且已开发的题组反应模型也不具有对被试知识结构或认知过程进行诊断的功能。针对该问题, 本文尝试性地将多维题组效应向量参数引入线性Logistic模型中, 同时开发了属性间具有补偿作用的和属性间具有非补偿作用的多维题组效应认知诊断模型。模拟研究结果显示新模型合理有效, 与线性Logistic模型和DINA模型对比研究后表明：(1)作答数据含有题组效应时, 忽略题组效应会导致项目参数的偏差估计并降低对目标属性的判准率; (2)新模型更具普适性, 即便当作答数据不存在题组效应时, 采用新模型进行测验分析亦能得到很好的项目参数估计结果且不影响对目标属性的判准率。整体来看, 新模型既具有认知诊断功能又可有效处理题组效应。     

IRT框架下追踪数据的测量不变性分析——————以4至5岁儿童认知能力测验为例

本研究以4岁~5岁儿童认知能力测验为例,在IRT框架下探讨了如何进行追踪数据的测量不变性分析。分析模型采用项目间多维项目反应理论模型(between-item MIRT model)和项目内（within-item MIRT model）多维two-tier model,被试为来自全国的882名48个月的儿童,工具为自编4岁~5岁儿童认知能力测验。经测验水平 分析和项目水平分析,结果表明：(1)本文对追踪数据的测量不变性分析方法合理有效; (2)该测验在两个时间点上满足部分测量不变性要求,测验的潜在结构稳定; (3)“方位题”的区分度和难度参数都发生变化,另有4题难度参数出现浮动; (4)儿童在4岁~5岁期间认知能力总体呈快速发展趋势,能力增长显著。     

计算机化多维测验中作答时间和作答精度数据的联合分析

随着心理与教育测量研究的发展和科技的进步,计算机化(大规模)测验逐渐受到人们的关注。为探究在计算机化多维测验中如何利用作答时间数据来辅助评估多维潜在能力,以及为我国义务教育阶段教育质量监测提供数据分析方法上的理论支持。本研究以2012年和2015年国际学生能力评估(PISA)计算机化数学测验数据为例,提出了一种可同时利用作答时间和作答精度数据的联合作答与时间的多维Rasch模型。根据新模型对PISA数据的分析结果,表明引入作答时间数据,不仅有助于提高模型参数的估计精度,还有助于数据分析者利用被试的作答时间信息来做进一步的决策和干预(e.g., 对异常作答行为或预备知识的诊断)。     

概率性输入,噪音“与”门(PINA)模型

当前认知诊断测验的主要目的是对被试进行合理分类,进而采用类别变量去描述被试对某技能或知识(即认知属性)的掌握情况,但该粗糙的分类方法不能精细地区分不同被试之间的差异。对此,采用掌握概率这一连续变量去描述被试对某认知属性的掌握情况是一种值得尝试的做法。本文首先基于高阶潜在特质(简称"潜质")模型给出了认知属性掌握概率的量化定义,之后与多成分潜质模型相结合提出了概率性输入,噪音"与"门(PINA)模型;其次,采用MCMC算法实现了对PINA的参数估计,结果表明参数估计程序对各参数的估计返真性均较好;最后,以ECPE数据为例来说明PINA在实际测验分析中具有可行性。     

认知诊断测验蓝图的设计

通常认为由属性和项目关联阵（即Q矩阵）的列对应的项目充任认知诊断测验中行为样本,其实这种做法不能有效防止理想反应模式的误判。如在测验之前便可确定欲测之属性及层级关系,找到可达阵,可证明可达阵的各个列对应的项目类在认知诊断测验中必不可少,否则在理想反应模式下就一定有一些被试会被误判。本文给出充分必要Q矩阵的概念,以区别Tatsuoka(1995,2009) 讨论过的充分Q矩阵概念。充分必要Q矩阵才能有效指导测验的编制。     

用于项目生成的认知模型的构建与比较——以矩阵完成问题为例

项目生成是一种新的测验编制技术,它可以弥补传统测验编制技术的缺陷.使用该技术编制测验,要进行大量的前期工作,如必须要了解和归纳所编测验中项目的所有刺激特征,据此建立认知模型,再将认知模型与心理计量模型联合,构建能预测新生成项目难度的数学模型等.该研究以矩阵完成问题为例,在带约束的两参数Logistic模型的基础上,通过对构建的几个认知模型的比较,挑选合适的认知模型为矩阵完成问题的项目生成研究服务.研究结果表明,自建的认知模型能够满足矩阵问题项目生成的要求.     

Tatsuoka Q矩阵理论的修正

K.K.Tatsuoka和她同事开发的规则空间模型(RSM)是一种在国内外有较大影响的认知诊断模型,但是Tatsuoka的RSM中Q矩阵理论存在缺陷和错误,这些失误使得RSM中用布尔描述函数(BDF)计算被试理想项目反应模式(IRP)的方法缺乏理论依据.这里揭示了Tatsuoka的Q矩阵理论的缺陷和错误并引进既不使用BDF又便于应用的计算IRP的方法;接着还介绍一种由可达阵计算简化Q阵的方法,该方法显示了可达阵在构造认知诊断测验的重要性.这些结果对丰富Q矩阵理论及正确使用RSM进行认知诊断有一定的意义.     

教育认知诊断测验与认知模型一致性的评估

构建正确的认知模型是成功进行认知诊断的关键之一,如果认知诊断测验不能完整准确地代表这个认知模型,这个测验的效度就存在问题.属性及其层级可以表示一个认知模型.在认知模型正确基础上,给出了一个计量公式以衡量认知诊断测验能够多大程度上代表认知模型;对于不止包含一个知识状态的等价类及其形成原因进行了分析,对Cui等人的属性层级相合性指标(HCI)提出修改建议,以更好地探查数据与专家给出的认知模型的一致性.     

A note on computing Louis’ observed information matrix identity for IRT and cognitive diagnostic models

Using Louis’ formula, it is possible to obtain the observed information matrix and the corresponding large-sample standard error estimates after the expectation–maximization (EM) algorithm has converged. However, Louis’ formula is commonly de-emphasized due to its relatively complex integration representation, particularly when studying latent variable models. This paper provides a holistic overview that demonstrates how Louis’ formula can be applied efficiently to item response theory (IRT) models and other popular latent variable models, such as cognitive diagnostic models (CDMs). After presenting the algebraic components required for Louis’ formula, two real data analyses, with accompanying numerical illustrations, are presented. Next, a Monte Carlo simulation is presented to compare the computational efficiency of Louis’ formula with previously existing methods. Results from these presentations suggest that Louis’ formula should be adopted as a standard method when computing the observed information matrix for IRT models and CDMs fitted with the EM algorithm due to its computational efficiency and flexibility.     

面向“为学习而测评”的纵向认知诊断模型

基于“为学习而测评”的理念,以促进学生学习为目的,客观量化学习现状并提供诊断反馈的测评模式日益受到重视。相比于横断认识诊断测评,纵向认知诊断测评更有利于实现促进学生发展的目标。为使国内学者系统性地了解纵向认知诊断模型,首先,依据建模逻辑将已有纵向认知诊断模型划分为基于潜在转换分析的和基于高阶潜在结构模型的两类,并逐一介绍和说明两类模型的理论基础和应用情景;然后,通过模拟研究为读者呈现如何使用纵向认知诊断模型进行数据分析及如何解读相应的诊断结果。最后,提炼出四个可进一步研究的议题。     

引入眼动注视点的联合-交叉负载多模态认知诊断建模

多模态数据为实现对认知结构的精准诊断及其他认知特征(如, 认知风格)的全面反馈提供了可能性。为实现对题目作答精度、作答时间(RT)和视觉注视点数(FC)的联合分析, 本文基于联合-交叉负载建模法提出3个多模态认知诊断模型。实证研究及模拟研究结果表明: (1)联合分析比分离分析更适用于多模态数据; (2)新模型可直接利用RT和FC中信息提高潜在能力或潜在属性的估计准确性; (3)新模型的参数估计返真性较好; (4)忽略交叉负载所导致的负面结果比冗余考虑交叉负载所导致的更严重。     

Higher-order latent trait models for cognitive diagnosis

Higher-order latent traits are proposed for specifying the joint distribution of binary attributes in models for cognitive diagnosis. This approach results in a parsimonious model for the joint distribution of a high-dimensional attribute vector that is natural in many situations when specific cognitive information is sought but a less informative item response model would be a reasonable alternative. This approach stems from viewing the attributes as the specific knowledge required for examination performance, and modeling these attributes as arising from a broadly-defined latent trait resembling theϑ of item response models. In this way a relatively simple model for the joint distribution of the attributes results, which is based on a plausible model for the relationship between general aptitude and specific knowledge. Markov chain Monte Carlo algorithms for parameter estimation are given for selected response distributions, and simulation results are presented to examine the performance of the algorithm as well as the sensitivity of classification to model misspecification. An analysis of fraction subtraction data is provided as an example. This research was funded by National Institute of Health grant R01 CA81068. We would like to thank William Stout and Sarah Hartz for many useful discussions, three anonymous reviewers for helpful comments and suggestions, and Kikumi Tatsuoka and Curtis Tatsuoka for generously sharing data.     

Latent variable selection in multidimensional item response theory models using the expectation model selection algorithm

The aim of latent variable selection in multidimensional item response theory (MIRT) models is to identify latent traits probed by test items of a multidimensional test. In this paper the expectation model selection (EMS) algorithm proposed by Jiang et al. (2015) is applied to minimize the Bayesian information criterion (BIC) for latent variable selection in MIRT models with a known number of latent traits. Under mild assumptions, we prove the numerical convergence of the EMS algorithm for model selection by minimizing the BIC of observed data in the presence of missing data. For the identification of MIRT models, we assume that the variances of all latent traits are unity and each latent trait has an item that is only related to it. Under this identifiability assumption, the convergence of the EMS algorithm for latent variable selection in the multidimensional two-parameter logistic (M2PL) models can be verified. We give an efficient implementation of the EMS for the M2PL models. Simulation studies show that the EMS outperforms the EM-based L₁ regularization in terms of correctly selected latent variables and computation time. The EMS algorithm is applied to a real data set related to the Eysenck Personality Questionnaire.     

认知诊断模型资料拟合检验方法和统计量

认知诊断模型界定了测验题目和所考察属性之间的关系, 通过被试的作答反应获取被试对属性或知识技能的掌握情况。认知诊断模型资料拟合检验可以从项目拟合、模型绝对拟合、模型相对拟合和个人拟合方等方面进行。通过对认知诊断拟合检验方法和统计量的详细介绍和评价, 可为认知诊断实践提供借鉴和参考。未来研究可在更丰富的研究条件下对各统计量的性能进行评价和对比, 完善已有的拟合检验方法, 提出新的拟合统计量。     

基于分部评分模型思路的多级评分认知诊断模型开发

基于分部评分模型的思路, 本文提出了一般化的分部评分认知诊断模型(General Partial Credit Diagnostic Model, GPCDM), 与国际上已有的基于分部评分模型思路的多级评分模型GDM (von Davier, 2008)和PC-DINA (de la Torre, 2012)相比, GPCDM的Q矩阵定义更加灵活, 项目参数的约束条件更少。Monte Carlo实验研究表明, GPCDM模型的参数估计精度指标RMSE介于[0.015, 0.043], 表明估计精度尚可; TIMSS (2007)实证数据应用研究表明, 与GDM和PC-DINA模型相比, GPCDM与该数据的拟合度更好, 并且使用GPCDM分析该数据的诊断效果也更优。总之, 本研究提供了一种约束条件更少、功能更为强大的多级评分认知诊断模型。     

A dual process item response theory model for polytomous multidimensional forced-choice items

The use of multidimensional forced-choice (MFC) items to assess non-cognitive traits such as personality, interests and values in psychological tests has a long history, because MFC items show strengths in preventing response bias. Recently, there has been a surge of interest in developing item response theory (IRT) models for MFC items. However, nearly all of the existing IRT models have been developed for MFC items with binary scores. Real tests use MFC items with more than two categories; such items are more informative than their binary counterparts. This study developed a new IRT model for polytomous MFC items based on the cognitive model of choice, which describes the cognitive processes underlying humans' preferential choice behaviours. The new model is unique in its ability to account for the ipsative nature of polytomous MFC items, to assess individual psychological differentiation in interests, values and emotions, and to compare the differentiation levels of latent traits between individuals. Simulation studies were conducted to examine the parameter recovery of the new model with existing computer programs. The results showed that both statement parameters and person parameters were well recovered when the sample size was sufficient. The more complete the linking of the statements was, the more accurate the parameter estimation was. This paper provides an empirical example of a career interest test using four-category MFC items. Although some aspects of the model (e.g., the nature of the person parameters) require additional validation, our approach appears promising.     

基于混合模型（Mixed-CDMs）视角的CD-CAT及其应用研究

传统CD-CAT通常选择一个认知诊断模型（cognitive diagnosis model, CDM）标定题库参数,但在实际应用中一个CDM很难完全拟合题库中所有的题目。G-DINA模型是一般化的饱和模型,可以通过Wald统计量检验在题目水平上,比较简约模型（DINA、DINO、ACDM、LLM和RRUM）是否能够代替饱和模型（G-DINA）,并为每个题目选择一个相对最优的CDM,从而充分发挥各个CDM的优势,从而在一个题库中有的题目采用简约CDM,而有的题目采用饱和CDM,本文把这种思路称为混合模型（Mixed-CDMs）思路。基于此,本文探讨了基于混合模型的CD-CAT,并通过两个模拟研究及其应用研究验证了该方法的效果。研究结果表明基于混合模型建立的CD-CAT具有理想的效果,从而为CD-CAT在实际使用中提供了新思路和新方法。