建构反应题中能力估计准确性的影响因素:评分者人数和项目个数的交互作用

采用康春花、孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型探讨了评分者人数和项目个数对被试能力估计准确性的影响。模拟研究的结果表明:(1)随着项目个数的增加,估计值与真值之间的相关也不断增加;(2)评分者人数和项目个数在平均绝对偏差(MAB)和误差均方根(RMSE)上的主效应均显著,两者间的交互效应也显著;(3)简单效应分析发现,当项目较少时,3个评分者条件下的能力估计准确性最好; 随着项目个数的增加,4个评分者的估计误差迅速下降,且表现变为最好。     

一种混合计分的非参数认知诊断方法：曼哈顿距离判别法

研究提出了一种简洁的适于混合计分的非参数认知诊断方法—曼哈顿距离判别法（MDD）,将HDD纳入MDD框架,通过模拟和实证研究考察了MDD的适宜性,结果表明：（1）MDD简单易解, 适于混合计分情境,0-1计分时,HDD是MDD的一个特例;（2）MDD的判准率较高,三种判别方法差异极小;（3）MDD具有非参数方法不受知识状态影响、对样本容量无依赖,与属性个数关系不大等特点;（4）MDD在实践中的应用效果较好,为CDA走向实践、走向课堂提供了可能。     

初中生风险决策表现的认知建模分析:自尊及性别的影响

选取山东省某初中308名学生,采用爱荷华博弈任务,使用“效用-固着”模型对决策包含的动机、认知、反应心理过程进行认知建模分析,探究自尊水平和性别对初中生风险决策表现的影响。结果发现,初中生的风险决策表现不佳,对损失不敏感。在控制年级的影响后,分层回归分析表明:(1)自尊水平和性别对决策的动机过程的影响存在交互作用,男生无论自尊高低对收益都较为关注,女生中高自尊者更加关注收益。(2)决策成绩不存在显著的性别差异,但男生更多选择有着较高损失值的不利选项,而女生更多选择损失频率较低的有利选项。(3)自尊的影响主要体现在动机和认知过程,高自尊水平者在动机过程中更多表现出对损失的规避,在认知过程中更多地考虑维持之前的决策选择。     

等级反应多水平评分者漂移模型的构建

对于评定耗时较长的测验来说,时间因素对评分精确性的影响不容忽视,因此,评分者漂移方面的研究备受关注。研究基于康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型建构出可用于检测评分者漂移的等级反应多水平评分者漂移模型,并通过模拟研究对模型性能进行验证。结果表明：模型能够精确估计项目和能力参数;且与固定效应模型相比,评分者随机效应模型能更有效地检测出评分者漂移效应,随机效应模型的有效性和稳定性更佳。     

等级反应多水平侧面模型及其在主观题评分中的应用

探讨了康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型(GR-MLFM)在包含被试及评分者层面预测变量(完整模型)下的返真性和适用性。结果表明:(1)GR-MLFM完整模型具有逻辑上和数理上的合理性,可用于主观题的评分情境,能较好地检测出评分者效应、影响因素及其影响程度;(2)在数学问题解决的评分实践中,评分员存在两种类型的评分倾向(宽松和严格效应),但绝大多数评分员的宽严度不明显;评分者的责任心可正向预测其严格程度,自信心可正向预测其宽松程度,而情绪稳定性和评分经验的预测作用不显著。     

多级评分聚类诊断法的影响因素

从测验和被试两个层面探讨了属性数目、属性层级关系、被试知识状态分布、属性层级误设和Q矩阵误设等因素对GRCDM的影响, 以进一步考察GRCDM的特性。研究发现：(1)GRCDM对属性数目无依赖, 随属性数目的增多判准率反而增高; (2)被试知识状态分布对GRCDM判准率高低无影响; (3)属性层级误设对GRCDM的影响与属性层级类型有关, 当属性层级为无结构型和发散型时, “属性层级关系错乱”的判准率降幅最大; (4)Q矩阵误设对GRCDM的影响因层级关系而异, 收敛型和发散型受影响较小, 无结构型和线型的判准率在属性既冗余又缺失时降幅最大。     

采用MLTM作测量与认知结合研究的进一步探讨

1　引言　　LLTM (LinearLogisticTestModels)可以从刺激特征方面解释项目难度和被试作答概率以及被试的能力值 ,特别是把以往单纯的难度参数变成了线性组合 ,从而可以多方面多维度地解释难度参数。但LLTM的测验项目还是跟以往的测验一样 ,只有一次测验 ,也只有一个笼统的能力值 ,这样就不能更加深入地解释被试的能力 ,尤其是不能就认知加工过程来解释被试的能力值和不同心理特质。如对于具有同一能力值的被试 ,在任何项目上其答对概率都是一样的 ,这就不能了解他们的个体差异。而如果把被试的认知加工过程分解成几个心理成分 ,构建子…     

贝叶斯修正的AHP—熵值法在教育测评中的应用

指标权重确定方法在教育测评中起到关键作用,将直接影响测评结果。层次分析法(Analytic Hierarchy Process, AHP)和熵值法是教育测评中最为常用的权重确定方法,但分别存在主观性较强和样本依赖性强的问题。此外,常用的主客观综合赋权法忽视了专家水平对指标权重的影响。而贝叶斯修正的AHP-熵值法的权重计算方法则通过利用专家自身权重对AHP法所得权重进行贝叶斯修正,然后与熵值法结合以得到组合权重。研究在综合分析贝叶斯修正的AHP-熵值法的优势及计算方法基础上,以内地西藏班教育质量测评为例,通过对多种方法进行比较,发现该方法计算出的结果可行、可操作且有效。     

采用LLTM作测量与认知结合研究的初步探讨

心理测量学与认知心理学相结合是新型测验理论和测验设计的核心思想。这两者的结合需要理论证实的认知加工模型和基于现代测验理论之上的测量模型,本文以空间认知能力的加工过程为例,通过心理学的实证研究,探索了心理测量学与认知心理学相结合的切入点及理论模型。     

认知诊断计算机自适应测验中平衡属性收敛的新方法

提出两种认知诊断计算机自适应测验下平衡属性收敛的新方法（MABI、RTA）,模拟研究系统探讨和比较了此二者与已有方法（ABI、IABI和RABI）的表现。结果发现：（1）新方法较不考虑属性收敛的方法有更高的准确率以及更均衡的题目使用率;（2）新方法较ABI和RABI有稍低的准确性,但有更平衡的题目使用率;（3）新方法与IABI的准确性和题目使用率在不同选题策略下各有合优势。总之,两种新方法较好地兼顾测量准确性、题目使用率以及题库曝光情况。