认知诊断模型中项目水平模型比较统计量的健壮性

使用模拟研究方法比较了以往研究中提出的基于观察信息矩阵、三明治矩阵的Wald（分别表示为W_Obs、W_Sw）、似然比（Likelihood Ratio）统计量以及新提出的基于经验交叉相乘信息矩阵的Wald统计量（W_XPD）在模型——数据失拟条件下进行项目水平上模型比较时的表现。结果显示：（1）W_Sw的一类错误控制率有很强的健壮性。（2）W_XPD在Q矩阵错误设定的大多数条件下的表现优于W_Sw。结论：模型—数据拟合良好时可以使用W_Sw进行项目水平上的模型比较,当模型与数据失拟时W_XPD可能是更好的选择。     

HO-GDINA模型的EM算法参数估计

Generalized DINA Model(G-DINA)为认知诊断模型提供了一个一般性的理论框架,而高阶诊断模型不仅能描述被试的总体水平,还能描述被试对属性的掌握情况(微观的认知状态)以及被试掌握属性与能力的关系,提供更丰富的信息。如果能把这两者结合起来,可能对实际诊断工作的操作有较大帮助。文章首先对考虑高阶结构的整合性模型——HO-GDINA模型的形式进行讨论,探讨其参数估计EM算法的实现,并用模拟过程对模型的估计精度进行研究,结果验证了HO-GDINA的EM算法的正确性,并且说明该算法对该模型有较高估计精确度。然后用饱和模型在约束条件下的特殊形式HO-DINA模型对"分数减法"这一经典数据进行EM算法参数估计和具体分析,展示了HO-GDINA在实际情况中的具体使用,并与de la Torre之前用MCMC估计算法得到的研究结果做比较,基本一致,进一步表明HO-GDINA模型的参数估计EM算法在实际情境中的特殊形式下仍然适用。     

高考生学校决策问卷的编制

目的：编制高考考生学校决策问卷。方法：对400名大学一年级新生入学一周后进行了测量,通过项目分析、探索性因素分析、验证性因素分析、信度分析等方法对量表的结构效度、和信度进行了检验。结果：问卷的总体内部一致性系数为0.911（n=392,p〈0.01）。探索性因素分析发现,所有项目因子载荷都在0.570-0.833之间,四个因子解释方差比率总计69.55%。验证性因素分析显示NNFI、CFI、RMSEA指数分别为0.95,0.96,0.090。结论：高考生学校决策问卷具有较好的信度和效度,是评定高考生学校决策的有效工具。     

初中生风险决策表现的认知建模分析:自尊及性别的影响

选取山东省某初中308名学生,采用爱荷华博弈任务,使用“效用-固着”模型对决策包含的动机、认知、反应心理过程进行认知建模分析,探究自尊水平和性别对初中生风险决策表现的影响。结果发现,初中生的风险决策表现不佳,对损失不敏感。在控制年级的影响后,分层回归分析表明:(1)自尊水平和性别对决策的动机过程的影响存在交互作用,男生无论自尊高低对收益都较为关注,女生中高自尊者更加关注收益。(2)决策成绩不存在显著的性别差异,但男生更多选择有着较高损失值的不利选项,而女生更多选择损失频率较低的有利选项。(3)自尊的影响主要体现在动机和认知过程,高自尊水平者在动机过程中更多表现出对损失的规避,在认知过程中更多地考虑维持之前的决策选择。     

认知诊断模型Q矩阵修正：完整信息矩阵的作用

Q矩阵是CDM的核心元素之一,反映了测验的内部结构和内容设计,通常由领域专家根据经验进行主观界定,因此需要对可能存在的错误进行修正。本研究提出了一种新的Q矩阵修正方法——基于完整经验交叉相乘信息矩阵的Wald-XPD方法。采用Monte Carlo模拟检验了新方法的表现,并与同类方法进行了比较。研究表明：新开发的Wald-XPD方法在Q矩阵恢复率、保留正确标定属性的比例以及修正错误标定属性的比例这3个主要指标上均有较好的表现,且整体上优于其他方法,尤其是在修正错误标定的属性方面。通过实证数据展示了Wald-XPD方法在Q矩阵修正中的良好表现。总之,本研究为Q矩阵修正提供了有效的方法。     

认知诊断模型的标准误与置信区间估计：并行自助法

认知诊断模型的标准误(Standard Error, SE; 或方差—协方差矩阵)与置信区间(Confidence Interval, CI)在模型参数估计不确定性的度量、项目功能差异检验、项目水平上的模型比较、Q矩阵检验以及探索属性层级关系等领域有重要的理论与实践价值。本研究提出了两种新的SE和CI计算方法：并行参数化自助法和并行非参数化自助法。模拟研究发现：模型完全正确设定时, 在高质量及中等质量项目条件下, 这两种方法在计算模型参数的SE和CI时均有好的表现; 模型参数存在冗余时, 在高质量及中等质量项目条件下, 对于大部分允许存在的模型参数而言, 其SE和CI有好的表现。通过实证数据展示了新方法的价值及计算效率提升效果。     

改进的认知诊断模型项目功能差异检验方法——基于观察信息矩阵的Wald统计量

Hou,de la Torre和Nandakumar(2014)提出可以使用Wald统计量检验DIF,但其结果的一类错误率存在过度膨胀的问题。本研究中提出了一个使用观察信息矩阵进行计算的改进后的Wald统计量。结果表明:(1)使用观察信息矩阵计算的这一改进后的Wald统计量在DIF检验中具有良好的一类错误控制率,尤其是在项目具有较高区分能力的时候,解决了以往研究中一类错误率过度膨胀的问题。(2)随着样本量的增加以及DIF量的增大,使用观察信息矩阵计算Wald统计量的统计检验力也在增加。     

认知诊断模型中项目水平模型比较统计量的健壮性

使用模拟研究方法比较了以往研究中提出的基于观察信息矩阵、三明治矩阵的Wald（分别表示为W_Obs、W_Sw）、似然比（Likelihood Ratio）统计量以及新提出的基于经验交叉相乘信息矩阵的Wald统计量（W_XPD）在模型——数据失拟条件下进行项目水平上模型比较时的表现。结果显示：（1）W_Sw的一类错误控制率有很强的健壮性。（2）W_XPD在Q矩阵错误设定的大多数条件下的表现优于W_Sw。结论：模型—数据拟合良好时可以使用W_Sw进行项目水平上的模型比较,当模型与数据失拟时W_XPD可能是更好的选择。     

认知诊断模型资料拟合检验方法和统计量

认知诊断模型界定了测验题目和所考察属性之间的关系, 通过被试的作答反应获取被试对属性或知识技能的掌握情况。认知诊断模型资料拟合检验可以从项目拟合、模型绝对拟合、模型相对拟合和个人拟合方等方面进行。通过对认知诊断拟合检验方法和统计量的详细介绍和评价, 可为认知诊断实践提供借鉴和参考。未来研究可在更丰富的研究条件下对各统计量的性能进行评价和对比, 完善已有的拟合检验方法, 提出新的拟合统计量。     

认知诊断测验中基于信息矩阵的多群组DIF检验

基于改进的Wald统计量,将适用于两群组的DIF检测方法拓展至多群组的项目功能差异（DIF）检验;改进的Wald统计量将分别通过计算观察信息矩阵（Obs）和经验交叉相乘信息矩阵（XPD）而得到。模拟研究探讨了此二者与传统计算方法在多个群组下的DIF检验情况,结果表明：（1）Obs和XPD的一类错误率明显低于传统方法,DINA模型估计下Obs和XPD的一类错误率接近理论水平;（2）样本量和DIF量较大时,Obs和XPD具有与传统Wald统计量大体相同的统计检验力。