建构反应题中能力估计准确性的影响因素:评分者人数和项目个数的交互作用

采用康春花、孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型探讨了评分者人数和项目个数对被试能力估计准确性的影响。模拟研究的结果表明:(1)随着项目个数的增加,估计值与真值之间的相关也不断增加;(2)评分者人数和项目个数在平均绝对偏差(MAB)和误差均方根(RMSE)上的主效应均显著,两者间的交互效应也显著;(3)简单效应分析发现,当项目较少时,3个评分者条件下的能力估计准确性最好; 随着项目个数的增加,4个评分者的估计误差迅速下降,且表现变为最好。     

初中生风险决策表现的认知建模分析:自尊及性别的影响

选取山东省某初中308名学生,采用爱荷华博弈任务,使用“效用-固着”模型对决策包含的动机、认知、反应心理过程进行认知建模分析,探究自尊水平和性别对初中生风险决策表现的影响。结果发现,初中生的风险决策表现不佳,对损失不敏感。在控制年级的影响后,分层回归分析表明:(1)自尊水平和性别对决策的动机过程的影响存在交互作用,男生无论自尊高低对收益都较为关注,女生中高自尊者更加关注收益。(2)决策成绩不存在显著的性别差异,但男生更多选择有着较高损失值的不利选项,而女生更多选择损失频率较低的有利选项。(3)自尊的影响主要体现在动机和认知过程,高自尊水平者在动机过程中更多表现出对损失的规避,在认知过程中更多地考虑维持之前的决策选择。     

等级反应多水平评分者漂移模型的构建

对于评定耗时较长的测验来说,时间因素对评分精确性的影响不容忽视,因此,评分者漂移方面的研究备受关注。研究基于康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型建构出可用于检测评分者漂移的等级反应多水平评分者漂移模型,并通过模拟研究对模型性能进行验证。结果表明：模型能够精确估计项目和能力参数;且与固定效应模型相比,评分者随机效应模型能更有效地检测出评分者漂移效应,随机效应模型的有效性和稳定性更佳。     

等级反应多水平侧面模型及其在主观题评分中的应用

探讨了康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型(GR-MLFM)在包含被试及评分者层面预测变量(完整模型)下的返真性和适用性。结果表明:(1)GR-MLFM完整模型具有逻辑上和数理上的合理性,可用于主观题的评分情境,能较好地检测出评分者效应、影响因素及其影响程度;(2)在数学问题解决的评分实践中,评分员存在两种类型的评分倾向(宽松和严格效应),但绝大多数评分员的宽严度不明显;评分者的责任心可正向预测其严格程度,自信心可正向预测其宽松程度,而情绪稳定性和评分经验的预测作用不显著。     

贝叶斯修正的AHP—熵值法在教育测评中的应用

指标权重确定方法在教育测评中起到关键作用,将直接影响测评结果。层次分析法(Analytic Hierarchy Process, AHP)和熵值法是教育测评中最为常用的权重确定方法,但分别存在主观性较强和样本依赖性强的问题。此外,常用的主客观综合赋权法忽视了专家水平对指标权重的影响。而贝叶斯修正的AHP-熵值法的权重计算方法则通过利用专家自身权重对AHP法所得权重进行贝叶斯修正,然后与熵值法结合以得到组合权重。研究在综合分析贝叶斯修正的AHP-熵值法的优势及计算方法基础上,以内地西藏班教育质量测评为例,通过对多种方法进行比较,发现该方法计算出的结果可行、可操作且有效。     

认知诊断计算机自适应测验中平衡属性收敛的新方法

提出两种认知诊断计算机自适应测验下平衡属性收敛的新方法（MABI、RTA）,模拟研究系统探讨和比较了此二者与已有方法（ABI、IABI和RABI）的表现。结果发现：（1）新方法较不考虑属性收敛的方法有更高的准确率以及更均衡的题目使用率;（2）新方法较ABI和RABI有稍低的准确性,但有更平衡的题目使用率;（3）新方法与IABI的准确性和题目使用率在不同选题策略下各有合优势。总之,两种新方法较好地兼顾测量准确性、题目使用率以及题库曝光情况。     

层级一致性指标的多级评分拓展

在认知诊断评估实践中,属性层级合理性的验证非常重要,而现有指标仅停留在0-1计分测验,无法适应考试形式和评分方式多样化的实践需求。研究将0-1计分层级一致性指标（MHCI）拓展至多级计分的层级一致性指标（GHCI）,模拟和实证研究结果表明：（1）GHCI具有和MHCI相同的本质含义,考虑了父项目和子项目得分的多种可能性,从而将MHCI纳入GHCI体系;（2）在多级或混合计分情境,MHCI会有信息损失,容易发生低估,且易受转换比例的影响;（3）GHCI在模拟和实践情境均具较好的适宜性,拟合截断值的设置可依属性层级而定。     

定长CD-CAT中两种新的题目曝光控制方法

提出了两种适用于定长CD-CAT的题目曝光控制方法（HIRP、HIRT）,这些方法在保证较高分类准确率的同时还有较合理的题目曝光率,新方法由二分化方法和RP及RT方法进行结合并适当调整而得到。模拟研究比较了其与RP、RT、SM、SMIE、RHA和SDBS的表现,结果表明: （1）HIRP的分类准确率和题目曝光率均好于SM、SMIE和SDBS;（2）HIRT的题目曝光率较RP、SM、SMIE、RHA和SDBS稍差,但分类准确率更高;（3）HIRP的分类准确率低于RT和RP,但题目曝光控制要更好。     

基于等级反应模型的多水平多侧面评分者模型

国内外考试改革和大型测评实践越来越强调主观题的作用,则评分者信度研究又重新成为一个备受关注的议题。研究在Wang和Liu（2007）的广义多水平侧面模型基础上,提出并探讨了等级反应多水平侧面模型。结果表明：在评分者固定效应和随机效应两种实验条件下,各偏差值的均值与标准差均较小,说明模型在当前实验条件下,各参数估计值的返真性和稳健性均较好,可以检测出评分者效应,由此,后续可进一步加入评分者效应的影响因素,使其发展为可同时检测评分者效应及其影响因素的完整模型。     

锚测验难度水平代表性对垂直量尺化的影响研究

考察了锚测验难度水平对其来源测验水平的代表性对垂直量尺化的影响。采用模拟研究的方法,比较了锚测验难度等于来源测验、位于高低年级测验水平难度区间的第25百分位处及区间第50百分位处时,年级能力分布和垂直量尺特性上的参数返真结果,发现锚题难度水平高于其来源测验非但不会导致垂直量尺化结果变差,在有的情境下反而可能会提高其准确性。研究揭示人们构建垂直量尺时,可以根据内容和其他统计特征的需要对锚测验的难度水平做出适当调整