建构反应题中能力估计准确性的影响因素:评分者人数和项目个数的交互作用

采用康春花、孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型探讨了评分者人数和项目个数对被试能力估计准确性的影响。模拟研究的结果表明:(1)随着项目个数的增加,估计值与真值之间的相关也不断增加;(2)评分者人数和项目个数在平均绝对偏差(MAB)和误差均方根(RMSE)上的主效应均显著,两者间的交互效应也显著;(3)简单效应分析发现,当项目较少时,3个评分者条件下的能力估计准确性最好; 随着项目个数的增加,4个评分者的估计误差迅速下降,且表现变为最好。     

一种混合计分的非参数认知诊断方法：曼哈顿距离判别法

研究提出了一种简洁的适于混合计分的非参数认知诊断方法—曼哈顿距离判别法（MDD）,将HDD纳入MDD框架,通过模拟和实证研究考察了MDD的适宜性,结果表明：（1）MDD简单易解, 适于混合计分情境,0-1计分时,HDD是MDD的一个特例;（2）MDD的判准率较高,三种判别方法差异极小;（3）MDD具有非参数方法不受知识状态影响、对样本容量无依赖,与属性个数关系不大等特点;（4）MDD在实践中的应用效果较好,为CDA走向实践、走向课堂提供了可能。     

等级反应多水平评分者漂移模型的构建

对于评定耗时较长的测验来说,时间因素对评分精确性的影响不容忽视,因此,评分者漂移方面的研究备受关注。研究基于康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型建构出可用于检测评分者漂移的等级反应多水平评分者漂移模型,并通过模拟研究对模型性能进行验证。结果表明：模型能够精确估计项目和能力参数;且与固定效应模型相比,评分者随机效应模型能更有效地检测出评分者漂移效应,随机效应模型的有效性和稳定性更佳。     

等级反应多水平侧面模型及其在主观题评分中的应用

探讨了康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型(GR-MLFM)在包含被试及评分者层面预测变量(完整模型)下的返真性和适用性。结果表明:(1)GR-MLFM完整模型具有逻辑上和数理上的合理性,可用于主观题的评分情境,能较好地检测出评分者效应、影响因素及其影响程度;(2)在数学问题解决的评分实践中,评分员存在两种类型的评分倾向(宽松和严格效应),但绝大多数评分员的宽严度不明显;评分者的责任心可正向预测其严格程度,自信心可正向预测其宽松程度,而情绪稳定性和评分经验的预测作用不显著。     

多级评分聚类诊断法的影响因素

从测验和被试两个层面探讨了属性数目、属性层级关系、被试知识状态分布、属性层级误设和Q矩阵误设等因素对GRCDM的影响, 以进一步考察GRCDM的特性。研究发现：(1)GRCDM对属性数目无依赖, 随属性数目的增多判准率反而增高; (2)被试知识状态分布对GRCDM判准率高低无影响; (3)属性层级误设对GRCDM的影响与属性层级类型有关, 当属性层级为无结构型和发散型时, “属性层级关系错乱”的判准率降幅最大; (4)Q矩阵误设对GRCDM的影响因层级关系而异, 收敛型和发散型受影响较小, 无结构型和线型的判准率在属性既冗余又缺失时降幅最大。     

采用MLTM作测量与认知结合研究的进一步探讨

1　引言　　LLTM (LinearLogisticTestModels)可以从刺激特征方面解释项目难度和被试作答概率以及被试的能力值 ,特别是把以往单纯的难度参数变成了线性组合 ,从而可以多方面多维度地解释难度参数。但LLTM的测验项目还是跟以往的测验一样 ,只有一次测验 ,也只有一个笼统的能力值 ,这样就不能更加深入地解释被试的能力 ,尤其是不能就认知加工过程来解释被试的能力值和不同心理特质。如对于具有同一能力值的被试 ,在任何项目上其答对概率都是一样的 ,这就不能了解他们的个体差异。而如果把被试的认知加工过程分解成几个心理成分 ,构建子…     

采用LLTM作测量与认知结合研究的初步探讨

心理测量学与认知心理学相结合是新型测验理论和测验设计的核心思想。这两者的结合需要理论证实的认知加工模型和基于现代测验理论之上的测量模型,本文以空间认知能力的加工过程为例,通过心理学的实证研究,探索了心理测量学与认知心理学相结合的切入点及理论模型。     

层级一致性指标的多级评分拓展

在认知诊断评估实践中,属性层级合理性的验证非常重要,而现有指标仅停留在0-1计分测验,无法适应考试形式和评分方式多样化的实践需求。研究将0-1计分层级一致性指标（MHCI）拓展至多级计分的层级一致性指标（GHCI）,模拟和实证研究结果表明：（1）GHCI具有和MHCI相同的本质含义,考虑了父项目和子项目得分的多种可能性,从而将MHCI纳入GHCI体系;（2）在多级或混合计分情境,MHCI会有信息损失,容易发生低估,且易受转换比例的影响;（3）GHCI在模拟和实践情境均具较好的适宜性,拟合截断值的设置可依属性层级而定。     

用于项目生成的认知模型的构建与比较——以矩阵完成问题为例

项目生成是一种新的测验编制技术,它可以弥补传统测验编制技术的缺陷.使用该技术编制测验,要进行大量的前期工作,如必须要了解和归纳所编测验中项目的所有刺激特征,据此建立认知模型,再将认知模型与心理计量模型联合,构建能预测新生成项目难度的数学模型等.该研究以矩阵完成问题为例,在带约束的两参数Logistic模型的基础上,通过对构建的几个认知模型的比较,挑选合适的认知模型为矩阵完成问题的项目生成研究服务.研究结果表明,自建的认知模型能够满足矩阵问题项目生成的要求.     

测验理论的新发展:多维项目反应理论

多维项目反应理论是基于因子分析和单维项目反应理论两大背景下发展起来的一种新型测验理论。根据被试在完成一项任务时多种能力之间是如何相互作用的,多维项目反应模型可以分为补偿性模型和非补偿性模型两类。本文在系统介绍了当前普遍使用的补偿性模型的基础上,指出后续研究者应关注多维项目反应理论中多级评分和高维空间的多维模型、补偿性和非补偿性模型的融合、参数估计程序的开发和多维测验等值四个方面的研究。