计算机适应性测验条件下认知设计项目预测参数的影响

自动化项目生成(Automatic Item Generation)中的项目参数是基于认知项目设计的刺激特征集预测的, 在不确定性来源上较之用经验数据标定的参数更为复杂。文章通过实证研究分析了在计算机适应性测验条件下基于认知设计系统法生成的抽象推理测验(ART)项目预测参数对能力参数估计的精确性。研究表明, 项目预测参数比相应标定参数分布更为趋中。这种回归效应既影响到能力参数估计误差大小, 也导致适应性测验过程中项目选择的差异。在控制了项目选择差异之后, 能力参数估计误差较之基于项目标定参数的能力估计误差大, 但差别并不明显。两者相应的能力估计值相关很高, 对应能力值之间的差异很小, 且几乎贯彻整个能力分布区间。     

基于项目自动生成的认知诊断测验开发

认知诊断、项目自动生成是现代心理测量领域的重要发展领域,二者的结合更是心理测量领域亟待开展的重要课题。本研究以小学数学问题解决认知诊断项目自动生成为例,探讨认知诊断领域的项目生成技术及算法。研究发现：(1)计算机自生成的项目参数与原模板参数具有较高的一致性。(2)同一项目模板下生成的不同试题的测量学特征基本不变。(3)同一批被试在自动生成的两份试卷的前、后测的能力( )值高度相关(r=0.811),前、后两次对被试诊断结果的一致性高达86.5%。这表明本文所设计的认知诊断测验项目的自动生成技术及其算法基本可行,小学数学问题解决认知诊断项目的自动生成效果较好。这也为其它认知诊断领域的项目自动生成提供了技术借鉴和支持。     

代数应用题项目生成的结构分析方法

自动化项目生成是近年来兴起的测量领域, 是一种以项目认知加工理论为基础的原则性项目设计(principled item design)模式。其中, 如何在项目认知模型基础上, 通过任务结构分析的方式系统全面的鉴别和提取任务特征是一个关键环节。基于已有文献中代数应用题的命题分析法、网络语言分析法、关系-函数分析法、任务分析地图等四种结构分析方法, 研究探索了能够服务于自动化项目生成的代数应用题任务结构分析方法。该分析表明, 前三种方法分别对应于个体解题过程需要形成的三种中介表征, 即问题陈述背后的命题表征、事件时空关系的情境模型、以及变量间数量关系的问题模型, 第四种方法从过程角度分析了问题解决的认知需求。然而, 要实现项目生成的特征提取需求, 尚需对现有四种方法所揭示问题特征的心理现实性、特征提取的系统性和完备性、任务领域的适用范围、以及不同方法的整合等问题开展进一步研究。     

基于认知理论的测验编制技术—项目生成

传统测验重视统计技术,不重视测量结构的心理学意义,使得它的功能局限于筛选,不能提供更多的信息。由于认知心理学理论、心理计量学以及计算机技术的发展,使得基于认知理论指导下的项目生成技术逐渐成熟。该文从项目生成的概念、方法,及研究的意义和难点等方面对项目生成技术作了一个简要述评,以期推进我国认知心理学与心理测量学相结合的研究工作。     

用于项目生成的认知模型的构建与比较——以矩阵完成问题为例

项目生成是一种新的测验编制技术,它可以弥补传统测验编制技术的缺陷.使用该技术编制测验,要进行大量的前期工作,如必须要了解和归纳所编测验中项目的所有刺激特征,据此建立认知模型,再将认知模型与心理计量模型联合,构建能预测新生成项目难度的数学模型等.该研究以矩阵完成问题为例,在带约束的两参数Logistic模型的基础上,通过对构建的几个认知模型的比较,挑选合适的认知模型为矩阵完成问题的项目生成研究服务.研究结果表明,自建的认知模型能够满足矩阵问题项目生成的要求.     

不同认知成分在图形推理测验项目难度预测中的作用

理解项目难度变异的来源是实现计算机自动化项目生成的第一步。通过文献综述, 总结出影响图形推理测验项目难度的四个方面的因素, 再通过操控构图元素熟悉性、属性的抽象性、知觉组织的和谐性以及规则类型与数目这些因素, 编制8套图形推理测验, 共包含112个与高级瑞文推理类似的项目。采用铆测验等值设计, 在每套测验中嵌入10个高级瑞文推理测验项目为铆题, 通过网络施测于6323名被试。使用BILOG MG估算项目参数, 并使用IRTEQ进行测验等值, 将后七套测验上所有项目的项目参数都转换到第一套测验的单位系统上。以项目难度为因变量, 项目题干特征变量为预测变量进行回归分析, 结果发现这四个因素均对项目难度有显著预测作用。优势分析的结果显示记忆负荷(即规则类型与数目的组合)是项目难度的最重要的预测变量, 其他依次为属性的抽象性、知觉组织的和谐性和构图元素熟悉性。     

矩阵完成问题的项目生成研究

依据Embretson提出的认知设计系统方法,设计并编制了矩阵完成问题的项目生成系统,实际生成了矩阵完成问题测验。探讨矩阵测验与瑞文测验的关系,以及认知模型对矩阵问题的难度和区分度的预测能力。结果表明所设计的认知模型对矩阵项目的性能参数有一定的预测能力,生成的矩阵测验与瑞文测验有基本相同的心理测量属性。可以使用该系统生成的矩阵项目来测量被试的抽象推理能力。     

项目反应理论等级反应模型项目信息量

信息函数作为项目反应理论中的一个重要概念,在进行项目和测验分析的工作中,以及在指导测验编制的工作中,有着非常重要的应用价值。信息函数的应用在计算机化自适应测验中更是重中之重,也受到最大关注。然而,关于多级记分项目信息函数特性的研究还比较少。本研究模拟了被试特质水平参数数据和项目参数数据,其中被试特质水平参数生成了121个被试特质水平参数点,项目参数生成了4批不同区分度参数数据,每批数据有126个不同难度等级参数组合模式的项目,每个项目有5个难度等级。通过数据分析后发现,等级反应模型项目提供最大信息量所对应的被试特质水平,是与该项目几个相互临近的难度等级组相适应,既不是只与其中一个难度等级对应,也不一定是与所有难度等级对应。本研究称这种规律为“临近难度等级占优”。这个发现无疑对测验质量分析和测验编制工作,包括计算机化自适应测验编制,具有重要的指导意义     

当前考试理论研究的进展

近二十年以来,考试理论(Testing Theories)的研究取得了长足进展,这种进展表现在两个方面一方面,在上个世纪六十年代由Lord提出的项目反应理论(Item Response Theory,IRT)得到了很大的扩展,出现了多维度项目反应理论(multi-dimensional IRT)、非参数项目反应理论(Nonparametric IRT)以及认知诊断理论(Cognitively Diagnostic Theory)等;另一方面,项目反应理论在考试实践中得到了广泛的应用,使考试实践产生了革命性的变化,出现了计算机自适应考试(Computerized Adaptive Testing,CAT).     

自我报告测量中项目前后关系效应的研究

本文指出了自我报告法中项目前后关系效应的普遍存在性及其危害性。讨论了用信息加工的观点对项目前后关系效应所作的认知上的理论解释,以及测量工具中促使产生这种项目前后关系效应的关键特征。同时也讨论了项目序列位置的作用。     

Evaluating the contribution of different item features to the effect size of the gender difference in three-dimensional mental rotation using automatic item generation

In complex three-dimensional mental rotation tasks males have been reported to score up to one standard deviation higher than females. However, this effect size estimate could be compromised by the presence of gender bias at the item level, which calls the validity of purely quantitative performance comparisons into question. We hypothesized that the effect of gender bias at the level of distinct item design features could lead to either an over- or underestimation of reported effect sizes of the gender difference in three-dimensional mental rotation. Using automatic item generation we conducted a series of psychometric experiments in which we independently manipulated one out of four different item design features that have exhibited a gender bias in the previous studies (study 1). This was done in a between-subjects design. The results indicated that gender bias caused by item design features linked to the perceptual stadium of mental rotation led to an overestimation of the effect size of the gender difference while item design features associated with the encoding and transformational stadium resulted in an underestimation of the effect size of the gender difference. In study 2 we tested the hypothesis that the gender difference still remains while controlling for the item design features causing gender bias. The results suggest that a significant portion of the gender difference may be attributable to perceptual and encoding processes involved in mental rotation.     

Generating items during testing: Psychometric issues and models

On-line item generation is becoming increasingly feasible for many cognitive tests. Item generation seemingly conflicts with the well established principle of measuring persons from items with known psychometric properties. This paper examines psychometric principles and models required for measurement from on-line item generation. Three psychometric issues are elaborated for item generation. First, design principles to generate items are considered. A cognitive design system approach is elaborated and then illustrated with an application to a test of abstract reasoning. Second, psychometric models for calibrating generating principles, rather than specific items, are required. Existing item response theory (IRT) models are reviewed and a new IRT model that includes the impact on item discrimination, as well as difficulty, is developed. Third, the impact of item parameter uncertainty on person estimates is considered. Results from both fixed content and adaptive testing are presented.This article is based on the Presidential Address Susan E. Embretson gave on June 26, 1999 at the 1999 Annual Meeting of the Psychometric Society held at the University of Kansas in Lawrence, Kansas. —Editor     

等级反应模型下项目特征曲线等值法在大型考试中的应用

在中国最大的资格考试之一的经济专业资格考试中,为保证不同年度间考试的可比性、进行题库建设和为计算机自适应考试做准备,应用项目反应理论中等级反应模型下的项目特征曲线等值法,采用铆测验等值设计,实现了4个年度考试资料的项目参数和能力参数的等值,并成功地组建了经济专业题库。在此基础上,利用等值技术对不同年份试卷的划界分数进行了比较,为经济考试的合格标准制定、确保考试的公平性提供了实证依据。     

项目难度与分值对自定步调学习时间的影响

为了探讨项目难度与分值对自定步调学习时间的影响及学习时间分配的内在机制。实验1a和实验1b分别检验项目难度与分值对自定步调学习时间的影响,发现学习者倾向于将更多学习时间分配到困难或高分值的项目上;实验2设置”难1分项目-中5分项目-易5分项目”和“难1分项目-中1分项目-易5分项目”两种情境,在前者中发现难1分项目与中5分项目的自定步调学习时间显著多于易5分项目,后者中发现难1分项目的自定步调学习时间显著多于中1分项目和易5分项目,表明了学习者在自定步调学习中存在权衡过程。     

兼顾测验效率和题库使用率的CD-CAT选题策略

CD–CAT中已有选题策略较注重测验效率,而对题库使用率不够重视。针对此问题,基于DINA模型,引入两种新的选题策略KLED和RHA,同时对HA进行模拟研究。结果显示：PWKL与KLED只在测验效率上具有优势;KLED若按属性向量分层,题库使用率有所提高,KLED比ED更容易推广到其他有显式表达的诊断模型场合;HA、RHA和RP–PWKL可较好兼顾测验效度和题库使用率,但RP-PWKL需设置项目的最大曝光率阈值。两种新选题方法在定长和变长CD-CAT都具有一定的应用价值。