基于属性层级结构的认知诊断测验的组卷

认知诊断测验组卷方法对提高被试属性掌握模式的判准率至关重要.Henson和Douglas的组卷方法(2005)得到的认知诊断测验判准率不高,没有考虑属性间的层级关系是重要原因.本文提出一种基于属性层级结构的认知诊断组卷方法:首先根据属性层级结构确定待选项目类集合,其次根据新建构的选题指标确定项目类,然后由属性区分被试的能力确定各项目类中题目的数量,并在测验Q阵中放入可达阵.模拟研究表明:新方法比H&D方法在判准率上有很大的提高;新的选题指标比H&D的指标大大缩短计算时间.     

高考数学试卷多维项目反应理论的分析及应用

高考数学学科试卷的试题综合性较强,一道试题通常考查多种能力属性,而基于单维性假设下的经典测量理论和传统的项目反应理论无法完成该种情形下试卷测量性能分析和考生作答表现分析.本文以MIRT理论为基础,使用CONQUEST软件为工具进行分析,可以获得试卷内部不同能力维度之间的相关以及考生不同维度的能力参数,为提升命题质量和改进教学提供了依据,表明MIRT具有很好的应用前景.由于MIRT理论的复杂性以至于目前分析软件的不足制约其进一步的深入应用,这是今后应该深入研究的问题.     

不定长CAT区分度分层终止规则研究

该文通过对CAT测验信息量计算公式分析,给出了CAT较好的分层终止规则。实验数据表明,该分层终止规则能大大地提高考试的保密性和测验效率。     

IRT模型参数估计的新方法——MCMC算法

本研究主要探讨MCMC算法在IRT模型参数估计中的实现及其估计精度.通过模拟多种实验条件(人少题少、人题适中、人多题多、被试数及其参数固定情况下项目数变化、项目数及其参数固定情况下人数变化),考察两参数和叁参数Logistic模型的MCMC算法对其参数估计的精度,并与国际通用测量程序-Bilog程序(E-M算法)进行比较研究.模拟实验研究表明,上述各种实验条件下,MCMC算法均可用于IRT模型参数估计,且其估计的精度均较Bilog程序(E-M算法)高,值得推广.     

引入曝光因子的计算机化自适应测验选题策略

在计算机化自适应测验(CAT)的研究中, 制定既高效又安全的选题策略是一个追求目标。用极大项目信息量准则(MIC)选题使得测验效率高、能力估计准确, 缺点是项目调用很不均匀, 影响考试的安全; 按a分层法通过控制试题曝光率以提高考试的安全性, 但该方法可能会使测验效率略有下降, 且该方法在各层内部无法实现对区分度的调整。本文针对上述两种选题策略的优缺点, 对0-1评分下的CAT, 通过引入曝光因子、分阶段自动调整区分度的影响以及提高选题准确性等手段, 对MIC和a-STR进行改进, 引入了两类新的选题策略。计算机模拟实验显示, 新的选题方法效果比较理想。     

多级评分计算机化自适应测验动态综合选题策略

多级评分可以提供更多关于被试的信息, 是计算机化自适应测验的一个发展方向, 选题策略是计算机化自适应测验的研究重点。对于多级评分的等级反应模型, 本文拟用区间估计的思想改进近期提出的几种选题策略, 并且将两级评分b-STR和a-STR推广到多级评分以改进最大信息量选题策略。Monte Carlo模拟实验表明在达到或接近原有选题策略测验精度的基础上, 本文提出的几种新选题策略有的能够有效降低测验长度, 有的可以极大降低项目曝光率。     

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物, 认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing, CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题, 也有在认知诊断中遇到的特殊问题：由于认知诊断中涉及属性这一概念, CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异, 分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。     

认知诊断CAT选题策略及初始题选取方法

计算机化认知诊断自适应测验(CD_CAT)是将认知诊断的基本理论、方法与计算机化自适应测验相结合的产物,是现代测量学发展的新领域。对于计算机化自适应测验（CAT）中的选题策略研究一直是国内外学者关注的问题,然而对于计算机化认知诊断自适应测验的选题策略研究却很少报导,而对于计算机化认知诊断自适应测验的初始题选取方法的研究却更少。本研究采用计算机模拟程序对HO-DINA模型下CD_CAT的五种选题策略及二种初始题选取方法进行研究。研究表明：不同初始题选取方法及选题策略均会影响对被试诊断的准确性及能力估计的精度;总体来看,对于二种初始题选取方法,本研究提出的“T阵法”优于传统的随机法;对于五种选题策略,SL_GDI法最优;初始题选取方法及选题策略的搭配中,“T阵法”和SL_GDI法的搭配最佳。     

粗糙集在项目认知属性标定中的应用

认知诊断是新一代测量理论的核心, 对形成性教学评估具有重要意义。项目认知属性标定是认知诊断中一项基础而重要的工作,现有的项目认知属性辅助标定方法的研究工作很少, 并且在应用上存在诸多局限。课堂评估是认知诊断应用的理想场所,但课堂评估中项目的选取具有随意性, 教师难以在短时间内准确标识项目认知属性。本研究首次提出采用粗糙集方法对项目认知属性进行标定, 该方法无需太多被试和项目, 亦无需已知项目参数, 且能当场诊断出结果, 适于采用纸笔测验的课堂评估。通过Monte Carlo模拟研究表明：采用粗糙集方法能迅速地对项目认知属性进行标定, 并具有较高的标定准确率; 而且, 项目认知属性越少、或被试估计判准率越高、或失误率越小则项目认知属性标定的准确率越高。粗糙集方法的引入, 对拓展认知诊断的应用范围, 真正实现其辅助性教学功能, 具有重要作用。     

认知诊断中基于条件期望的距离判别方法

分类是认知诊断评估的一个核心问题。基于观察反应模式与理想反应模式之间的距离的判别方法, 以确定性的理想反应模式为类中心, 而这没有考虑误差, 故未充分利用总体分布信息。为了更充分地利用总体分布信息、提高诊断分类效果和拓展诊断评估的适用性, 本研究提出给定知识状态条件下项目反应模式的条件期望向量为类中心的欧氏距离判别方法, 同时提出认知诊断模型下项目反应函数估计方法以获得这个条件期望向量。模拟研究表明：认知诊断模型下的项目反应函数估计方法得到的条件期望向量返真性较高, 获得的分布信息较准确; 在观察反应模式与理想反应模式差异大的情形下, 基于条件期望向量为类中心的欧氏距离判别方法优于基于理想反应模式为类中心的分类方法(广义距离方法和非参数方法）。研究可为认知诊断分类和等值方法提供一个参考。