CD-MST初始阶段模块组建方法比较

具有认知诊断功能的计算机化多阶段测验(CD-MST)是CDA和MST相结合的一种测验方式。由于CD-MST自适应频次较少,初始阶段模块组建会影响整个测验的判准率。借鉴CD-CAT初始项目选取方法,根据CDA和MST自身特点,提出了7种CD-MST初始阶段模块组建方法,分别是随机法、选题策略法、R*矩阵法、CTTID法、CDI法、CTTIDR*法和CDIR*法。采用模拟研究对不同项目质量下7种方法的判准率进行了比较。研究结果表明,当初始阶段结束时,包含R*矩阵的方法判准率显著高于其他方法,尤其是CTTIDR*法;整个测验结束时,CTTIDR*法较其他方法仍然有优势,CDIR*法和R*矩阵法结果较为接近。选题策略法在初始阶段结束时判准率较低,甚至低于随机法,整个测验结束时,判准率同CDIR*法和R*矩阵法持平。4种项目质量对判准率影响较大,HD-HV题库下判准率最高,HD-LV次之,LD-HV较差,LD-LV最差。     

认知诊断计算机化自适应测验的题库使用均匀性初探

项目曝光控制是认知诊断计算机化自适应测验(CD-CAT)中亟需解决的重要问题之一。采用蒙特卡洛模拟方法对CD-CAT中五种常用选题策略(随机化方法、KL信息量方法、香农熵方法、后验加权的KL信息量方法和综合后验加权和距离加权的KL信息量方法)的题库使用情况进行探讨。结果发现:四种非随机化选题策略的题库使用均匀性较差、测验重叠率高,从而导致测验安全性较差;香农熵方法的判准率总是最高。今后可以将传统CAT中的项目曝光控制技术融入到CD-CAT选题策略中。     

计算机化自适应测验在认知诊断中的应用

作为认知诊断与计算机化自适应测验相结合的产物, 认知诊断计算机化自适应测验(Cognitive Diagnostic Computerized Adaptive Testing, CD-CAT)是对被试知识状态的自适应。它既有传统CAT所面临的普遍性问题, 也有在认知诊断中遇到的特殊问题：由于认知诊断中涉及属性这一概念, CD-CAT与传统CAT有很大的差别。本文紧紧围绕属性引起的差异, 分别从认知诊断模型、题库建设、起始规则、选题策略、被试知识状态估计和终止规则等几部分详细介绍CD-CAT的研究进展和存在的问题。     

认知诊断计算机化自适应测验的选题策略

随着认知诊断计算机化自适应测验(cognitive diagnostic computerized adaptive testing, CD-CAT)理论与实践的发展, 兼顾知识状态与能力的双目标CD-CAT逐渐受到重视。选题策略是CAT的核心, 通过梳理传统CD-CAT和双目标CD-CAT选题策略的研究, 并对它们的特点、关系及表现进行介绍和评析。最后, 基于认知诊断模型与CAT实践发展指出未来应加强一般化认知模型、复杂测验条件认知诊断模型下选题策略的研究; 应开发双目标诊断测验的项目和测验特征指标; 还应加强非参数选题方法和CD-CAT的实践应用研究。     

多级计分认知诊断计算机化自适应测验的新选题方法

认知诊断计算机化自适应测验（Cognitive Diagnosis Computerized Adaptive Testing, CD-CAT）是认知诊断评估和计算机化自适应测验两者的结合,兼具认知诊断和自适应测验的特点。目前,针对CD-CAT的研究几乎都集中在0-1二级计分的数据。然而,在教育和心理评估的实际应用中,存在大量的多级计分的数据。因此,本研究探讨了多级计分CD-CAT（Polytomous CD-CAT, PCD-CAT）的实现技术,并提出了2种新的选题方法。通过模拟实验比较了新选题方法和传统选题方法在PCD-CAT的效果,结果表明：在定长PCD-CAT条件下,2种新选题方法的模式分类准确率是最高的,而在非定长PCD-CAT条件下,2种新方法的测验效率也是最高的。     

计算机化自适应测验选题策略述评

计算机化自适应测验(computerized adaptive testing, CAT)是基于测量理论和计算机技术的一种测验模式。它根据考生的作答反应自适应地选择测验项目。选题策略是CAT的重要组成部分之一, 关系到测量效率、测验安全和测验信、效度等重要问题。根据CAT是否具有非统计约束对传统CAT和认知诊断CAT的选题策略进行了分类介绍, 未来研究应进一步提高选题策略的综合表现、深入探讨多级评分项目和认知诊断CAT的选题策略。     

认知诊断计算机化自适应测验中新的选题策略:结合项目区分度指标

当前国内外大部分认知诊断计算机化自适应测验(CD-CAT)主要采用PWKL作为选题策略进行研究。PWKL结合后验分布信息对KL指标进行加权,提高了判准率,但该方法仅利用个体层面信息加权,忽视了项目本身能够提供的信息,属于单源指标。本研究结合认知诊断中的项目区分度信息,对PWKL进行修正,提出了4种新的多源选题策略:GIDPWKL、AIDPWKL、CIDPWKL和KLEDPWKL方法,并在加入曝光控制下与PWKL和互信息法(MIM)进行比较。模拟研究结果表明:(1)在定长测验情景下的绝大多数实验结果表明,测验长度越短,新方法的判准率越高。平均属性/模式判准率最高的是GIDPWKL,之后是AIDPWKL,而CIDPWKL、KLEDPWKL和MIM方法的优势随实验条件不同而不同。(2)在定长测验情景下的绝大多数实验结果表明,题目质量越高,新方法的优势越明显。(3)Q矩阵结构的复杂性会影响不同选题策略的表现。(4)在变长测验情景下,4种新方法和MIM的平均测验长度均要低于PWKL方法,表现最好的是GIDPWKL方法。因此,若实际测验情景与本研究的模拟情景相似,推荐GIDPWKL方法。     

具有认知诊断功能的计算机化自适应测验的研究与实现

构造具有认知诊断功能的计算机化自适应测验（Computerized Adaptive Testing,CAT）,关键在于设计不同于传统CAT的选题策略。本文采用先认知诊断后估计能力的方法,在诊断阶段用状态转换图描述特定认知领域中所有知识状态及这些状态之间的联系,以图的深度优先算法为基础设计选题策略;而在能力估计精细化阶段,每个被试所测项目,不仅与其能力估计值相匹配,且只与其所掌握的属性相关。本文采用蒙特卡罗模拟针对三种不同的属性结构进行试验,结果良好     

多值评分CD-CAT的选题策略研究

认知诊断计算机化自适应测验（Cognitive diagnosis computerized adaptive testing, CD-CAT）为心理和教育评估测验的发展提供了新的视角。目前,关于CD-CAT的研究主要是基于二值评分的模型展开,但是,在实际应用领域,存在很多多值评分数据。高效的选题方法是CD-CAT程序成功的核心要素,本研究提出了两种新的多值评分CD-CAT(polytomous CDCAT, PCD-CAT)的选题方法,期望后验方差（expected posterior variance, EPV）和最大期望距离（maximum expected distance,MED）。通过模拟实验比较了EPV和MED在PCD-CAT的效果。实验结果表明,与传统的选题方法相比,EPV和MED具有更高的测验精度和测验效率。最后,通过一个PISA数据分析检验了PCD-CAT在实际应用中的效果及其优势。     

计算机化自适应诊断测验中原始题的属性标定

认知诊断测验项目开发成本较高, 要标定大量项目的属性相当费时费力, 专家完成这一任务也比较困难。对于在计算机化自适应诊断测验中的项目属性的标定尚未见到报导。在已有的为诊断测验开发的小型题库基础上, 本文在计算机化自适应认知诊断测验过程中, 植入原始题, 对项目属性标定的问题进行探讨, 重点研究原始题属性标定的方法及其影响因素, 除了MMLE方法和MLE方法外, 还建立了一种新的可用于所有非补偿认知诊断模型的属性标定的方法—— 交差方法。Monte Carlo模拟结果显示, MMLE方法较MLE方法好; 在知识状态估计精度较高时, 自适应植入原始题较随机植入原始题有一定的优势; 随着知识状态估计精度提高和原始题作答次数增加, 交差方法与MLE方法基本相当, 只是在发散型和无结构型表现欠佳, 但是交差方法不需要预先设定项目参数值。     

On initial item selection in cognitive diagnostic computerized adaptive testing

There has recently been much interest in computerized adaptive testing (CAT) for cognitive diagnosis. While there exist various item selection criteria and different asymptotically optimal designs, these are mostly constructed based on the asymptotic theory assuming the test length goes to infinity. In practice, with limited test lengths, the desired asymptotic optimality may not always apply, and there are few studies in the literature concerning the optimal design of finite items. Related questions, such as how many items we need in order to be able to identify the attribute pattern of an examinee and what types of initial items provide the optimal classification results, are still open. This paper aims to answer these questions by providing non‐asymptotic theory of the optimal selection of initial items in cognitive diagnostic CAT. In particular, for the optimal design, we provide necessary and sufficient conditions for the Q ‐matrix structure of the initial items. The theoretical development is suitable for a general family of cognitive diagnostic models. The results not only provide a guideline for the design of optimal item selection procedures, but also may be applied to guide item bank construction.     

CD-CAT初始阶段项目选取方法

CD-CAT是CDA同CAT的相结合的产物,适用于课堂教学,是教师补救教学、学生自我学习的重要工具。作为CD-CAT重要组成部分的初始阶段项目选取方法是影响测验判准率的重要因素。本文基于现有研究和CDA的项目区分度提出了四种新的初始阶段项目选取方法:CTTID法、CDI法、CTTIDR*法和CDIR*法。通过模拟研究发现,在定长的CD-CAT下,题库质量是HD-HV下,初始阶段结束时,CTTIDR*法的PCCR比现有的T阵法高了.2999,比PWKL高了.1707,其它题库下趋势相同。整个测验结束时CTTIDR*法的判准率仍然是最高的。在变长的CD-CAT下,最大后验概率大于.7、.8、.9下,CTTIDR*法的被试平均测验长度比T阵法分别缩短了2.6170、2.2347、1.7470道题。     

多级评分的认知诊断计算机化适应测验

本文在0-1评分的CD-CAT基础上, 拓展出了适合多级评分CD-CAT (psCD-CAT)的认知诊断模型及选题策略, 为实现多级评分CD-CAT提供了方法支持。Monte Carlo模拟实验结果表明：本文拓展的多级评分CD-CAT具有较理想的属性诊断正确率及测验效率和题库安全性, 可以用于多级评分数据的CD-CAT; 模拟实验还表明, 整体来看PS-PWKL和PS-HKL两种选题策略具有较高属性判准率、题库安全性和高测验效率, 且均优于PS-KL选题策略。总之, 本研究对于进一步拓展CD-CAT在实践中的应用提供了认知诊断模型与选题策略等。     

基于CD-CAT的多策略RRUM模型及其选题方法开发

在有多种解题策略的认知诊断问题情境中, 用每个Q矩阵表示一种解题策略, 由此将单策略认知诊断RRUM模型拓广为多策略RRUM模型(MS-RRUM)。随后, 在应用MS-RRUM模型的CD-CAT中开发了适用于多策略情境的MAP参数估计法和多策略香农熵(MSSHE)选题法。将MSSHE选题法与随机选题法分别在不同属性数量、不同测验长度下进行比较, 结果发现前者对被试的策略和认知状态判准率都显著优于后者, 而且都很理想。这样就顺利实现了在CD-CAT做策略诊断的目标。     

四种新的基于属性平衡的CD-CAT选题策略开发研究

基于属性平衡的CD-CAT选题策略能够保证每个认知属性被相当数量的题目测量,从而提高被试属性判准率,传统的基于属性平衡的选题策略包括MMGDI法和MGCDI法。本文针对传统的基于属性测量次数平衡选题策略进行改进,提出4种新的基于属性平衡的选题策略：RMGDI、RMCDI、SE-RMGDI、SE-RMCDI,前两种为基于属性测量次数平衡,后两种为基于属性测量精度平衡的选题策略。模拟研究表明：（1）定长CD-CAT条件下,短测验中,MMGDI表现最好,而长测验中,SE-RMGDI和SE-RMCDI的表现优于传统的属性平衡选题策略。（2）不定长CD-CAT条件下,RMGDI在判准率指标上表现优于传统的属性平衡选题策略,4种新的属性平衡策略在测量效率和综合指标上的表现均优于传统的选题策略。     

自适应分组认知诊断测验设计及其选题策略

应用OMST在线装配模式,提出自适应分组认知诊断测验（CD-AMGT）。由于知识状态的先决关系是偏序关系,而且构成格（lattice),利用知识状态当前估计值在格中的上下确界对被试真实知识状态的可能范围进行界定,由此装配下一分组,分组中结合PWKL策略或SHE策略进行选题以兼顾诊断精度、效率和安全性。模拟实验表明,CD-AMGT与PWKL、SHE对比,当题目类型丰富时,以分类准确率略微降低为代价,其题库使用均匀性和计算用时均表现出较大优势。     

认知诊断CAT中具有非统计约束选题方法的比较

项目曝光控制和内容约束关系到测验安全、测验的信度和效度, 是计算机化自适应测验(Computerized Adaptive Testing, CAT)中两类重要的非统计约束条件。本文在认知诊断CAT中针对内容约束和项目曝光控制要求, 运用5种方法选择测验项目。它们分别是：(1) Monte Carlo方法与项目合格方法相结合, 记为MC-IE; (2) Monte Carlo方法与最大优先指标方法相结合, 记为MC-MPI; (3) Monte Carlo方法与限制阈值方法相结合, 记为MC-RT; (4) Monte Carlo方法与限制进度指标方法相结合, 记为MC-RPG以及(5) Monte Carlo方法与最大后验概率方法相结合, 记为MC-PP。然后通过在线性、收敛、发散、无结构和独立五种属性结构下构建题库并运用重参化融融统和模型模拟被试反应比较它们的选题表现。研究发现, (1) 相同选题方法在不同属性结构下项目曝光率的分布类似, 测量精度按线性、收敛、发散、无结构和独立结构的顺序依次降低; (2) 相同属性结构下, 不同方法的测量精度高低依次为MC-PP、MC-IE、MC-RT、MC-MPI和MC-RPG方法; 项目曝光均匀性优劣依次为MC-RPG、MC-MPI、MC-RT、MC-IE和MC-PP方法。统一量纲值表明, MC-RPG方法的综合表现最好, MC-MPI方法的表现次之。     

CAT选题策略分类概述

选题是计算机化自适应测验（CAT）测试过程的关键环节,选题策略的目标是要达到较高的测量精度,同时也实现试题曝光率控制及其他测验目标的实现.本文根据选题策略的基本原理和衍生发展,将众多CAT选题策略分为五大选题策略系列：Fisher函数系列、K-LI函数系列、α分层系列、贝叶斯系列、b匹配系列;并根据测验目标（测验精度、试题曝光率控制、内容平衡、多条件约束）对这些选题策略进行了细分,并对CAT选题策略的选择思路进行归纳.