用于处理不努力作答的标准化残差系列方法和混合多层模型法的比较

文章采用模拟研究, 分别在混合多层模型假设满足和违背的情境下, 比较了混合多层模型方法与标准化残差系列方法在识别不努力作答和参数估计方面的表现。结果显示：(1)不存在不努力作答或其严重性低时, 各方法表现接近; (2)不努力作答严重性高时, 固定参数迭代标准化残差法普遍更优, 混合多层模型法仅在假设满足且两种作答反应时差异大的条件下表现较好。建议实际应用中优先选择固定参数迭代标准化残差法。     

Mix-DINA——基于混合分布的多策略认知诊断模型

个体在完成多种类型认知任务时普遍使用了多种策略,且不同策略解题难度存在差异。但常见的测量模型忽视了这一事实,研究基于混合分布项目反应模型开发了Mix-DINA模型。其主要优点是:(1)可同时报告被试的知识状态与策略使用倾向;(2)不同策略对应题目参数自由估计,使之更符合主流心理学观点。研究通过模拟数据验证了自编Mix-DINA模型估计程序分析各类多策略作答时的有效性,结果显示Mix-DINA模型在分析单策略作答时也具有一定的稳健性。最后讨论了研究的局限,对多策略认知诊断的进一步研究给出了建议。     

回归混合模型：方法进展与软件实现

近来以个体为分析对象的方法日益受到研究者的重视, 其中潜类别和潜剖面模型最为流行。研究者在潜类别和潜剖面模型建模时往往需要进一步探讨协变量与潜分组之间的关系(即带有协变量的潜类别模型)。例如, 哪些变量预测个体类别归属, 以及个体的类别归属对结果变量的预测。本文对近年来研究者提出的各种方法进行了回顾和比较。包括当结果变量是分类变量的LTB法; 当结果变量是连续变量时的BCH和稳健三步法。在此基础上, 文章为应用研究者提供了Mplus软件示例, 并在最后对当前研究存在的问题和未来研究趋势进行了简要评价。     

心理与教育测验中异常反应侦查新技术：变点分析法

变点分析法(change point analysis, CPA)近些年才引入心理与教育测量学, 相较于传统方法, CPA不仅可以侦查异常作答被试, 还能自动精确地定位变点位置, 高效清洗作答数据。其原理在于：判断作答序列中是否存在可将该序列划分为具有不同统计学属性两部分的点(即变点), 并且需使用被试拟合统计量(person-fit statistic, PFS)来量化两个子序列之间的差异。未来可将单变点分析拓展至多变点, 结合反应时等信息, 构建非参数化指标以及将现有指标拓展至多级计分或多维测验, 以提高CPA的适用广度及效力。     

网络成瘾的潜在结构:连续的还是分类的?

变量的潜在结构是连续的还是分类的不应被随意指定,错误的设定可能导致不正确的结论。本研究的目的在于从实证的角度探索网络成瘾的潜在结构。研究采用了来自中国杭州的2511名初中生对Young网络成瘾量表的有效作答数据,比较了Rasch模型、潜在类别模型和混合Rasch模型与数据的拟合情况。结果表明:2个潜在类别的混合Rasch模型可以最好地反映网络成瘾的潜在结构,说明网络成瘾包含两个存在着质的差异的群体,并且每个群体内的个体间存在量的差异。研究进一步比较了基于混合Rasch模型的分类与传统划界分数分类的区别,结果表明:Young的网络成瘾标准可能具有很小的误判率和较高的漏判率;基于Young网络成瘾测验的修订需要考虑有针对性地增加部分题目。     

应聘者在人格测验中作假的反应过程:基于工作赞许性的眼动证据

应聘者在人格测验中的作假是人事选拔领域关注的重点问题。研究试图通过眼动追踪技术探讨应聘者在人格测验中作假的反应过程。首先让50名被试对44道大五人格量表(BFI-44)题目进行工作赞许性评定。然后采用被试内模拟实验设计,在诚实和作假两种情境下由另外50名被试在计算机上作答BFI-44,使用Tobbi 120眼动仪记录被试作答人格测验时对每道题目的作答反应、反应潜伏期和眼动指标。结果显示,在作假情境下,应聘者在5个人格维度上都会作假。在作答受工作赞许题目或不受工作赞许的题目时,作假反应潜伏期更短,眼动注视点更少,更多集中在极端选项上;在作答无工作赞许性的题目时,作假反应潜伏期更长,更多集中在中间选项上。据此结果,提出了一个基于工作赞许性的"混合加工模型"构想,解释应聘情境中人格测验作假反应过程。     

多维项目反应理论补偿性模型参数估计:基于广义回归神经网络集合

运用广义回归神经网络(GRNN)方法对小样本多维项目反应理论(MIRT)补偿性模型的项目参数进行估计,尝试解决传统参数估计方法样本数量要求较大的问题。MIRT双参数Logistic补偿模型被设置为二级计分的二维模型。首先,模拟二维能力参数、项目参数值与考生作答矩阵。其次,把通过主成分分析得到的前两个因子在每个题目上的载荷作为区分度的初始值以及题目通过率作为难度的初始值,这两个指标的初始值作为神经网络的输入。集成100个神经网络,其输出值的均值作为MIRT的项目参数估计值。最后,设置2×2种(能力相关水平:0.3和0.7; 两种估计方法:GRNN和MCMC方法)实验处理,对GRNN和MCMC估计方法的返真性进行比较。结果表明,小样本的情况下,基于GRNN集成方法的参数估计结果优于MCMC方法。     

纳入式分类分析法在潜在剖面模型的后续多元回归中的应用

纳入式分类分析法能克服传统的分类分析法对后续一元回归模型参数的低估,发挥潜在类别模型的后续分析简化变量间交互作用的功能。本文进一步将纳入式分类分析法拓展至潜在剖面模型后续的多元统计分析中。通过蒙特卡洛模拟实验,比较各种纳入变量的方法思路与后续分析模型在四种常见的多元回归模型中参数估计的表现。结果发现,纳入式分类分析法所需纳入的变量取决于后续分析中与因变量、潜类别变量的关系,且后续分析使用含交互作用的模型更为稳健。     

考生作答数据反馈对Angoff标准设定结果的影响

以大规模学业成就水平测验为背景,采用组间设计,按类别将专家分为五组,在反馈数据环节随机给予每个专家组未调整的考生真实作答数据和经过上调、下调0.5或1个标准差的调整数据后,采用单因素方差分析与项目反应理论两参数模型考查专家组在标准设定Angoff方法中如何参考使用题目作答数据。结果表明,反馈考生题目作答数据对Angoff标准划定结果有明显影响:反馈未经调整的真实考生题目作答数据影响较大;反馈调整后的高于真实考生题目作答数据影响相对较小,反馈低于真实考生题目作答数据影响相对较大。     

如何描述发展趋势的差异：潜变量混合增长模型

在追踪研究中,研究者不仅关心某一特质随时间的发展趋势,而且关注个体之间发展趋势的差异及其存在差异的原因。在总体发展同质的情形下,多层线性模型和潜变量增长曲线模型为解决这一问题提供了切实有效的方法。但是如果所研究的总体本身不同质,就需要一种能够描述总体中不同质子总体的不同发展特点的方法。该文简要介绍了一种能够描述不同群体不同发展趋势特征的统计模型——潜变量混合增长模型,并通过一个实际例子介绍了这一方法的应用过程,同时说明了潜变量混合增长模型与多层线性模型和潜变量增长曲线模型之间的关系     

多阶段混合增长模型的影响因素：距离与形态

通过模拟研究, 考察潜类别距离和发展形态等因素对多阶段混合增长模型的模型选择和参数估计的影响：(1)潜类别距离越大, 模型选择和分类效果越好。(2)混合模型的选择, 应以一定样本量(至少200)为前提, 首先考虑BIC选出正确的分类模型, 再通过熵值、ARI等选择分类确定性较高的模型。(3)多阶段的发展形态对正确模型的选择和分类的确定性均有一定程度影响。(4)潜类别距离和样本量越大, 参数估计精度越高。(5)在判断分类准确性的指标中, ARI的选择更偏向于真实的模型。     

基于Q矩阵和广义距离的认知诊断方法

规则空间方法(RSM)和属性层级方法(AHM)是两种重要的认知诊断方法, 近年来受到了广泛关注。本文在属性层级方法和丁树良等人(2009, 2010)改进的Q矩阵理论的基础上, 通过定义观察反应模式与理想反应模式之间的广义距离, 给出了一种识别被试知识状态的认知诊断方法, 即广义距离判别法。通过DINA模型生成被试的作答反应矩阵进行模拟研究, 以模式判准率和属性判准率作为衡量被试知识状态分类准确率指标, 将广义距离判别法、RSM和AHM的分类A方法分别与DINA模型进行比较。结果表明, 本文提出的广义距离判别法具有更好的分类效果。     

解释性项目反应理论模型：理论与应用

解释性项目反应理论模型(Explanatory Item Response Theory Models, EIRTM)是指基于广义线性混合模型和非线性混合模型构建的项目反应理论(Item Response Theory, IRT)模型。EIRTM能在IRT模型的基础上直接加入预测变量, 从而解决各类测量问题。首先介绍EIRTM的相关概念和参数估计方法, 然后展示如何使用EIRTM处理题目位置效应、测验模式效应、题目功能差异、局部被试依赖和局部题目依赖, 接着提供实例对EIRTM的使用进行说明, 最后对EIRTM的不足之处和应用前景进行讨论。     

作答时间与反应依赖关系建模：基于双因子模型视角

在心理与教育测验中,测验的计算机化越来越普遍,使得被试作答的过程性数据的搜集也越来越便利。分层模型的提出为作答时间与反应的联合分析提供了一个基本的建模框架,且逐渐成为当前最流行的方法。虽然分层模型被广泛使用,但仅仅通过参数间的关系还不能很好地解释作答时间和反应之间的关系。因此,一些研究者提出了一系列改进模型,但仍然存在一些不足。基于双因子模型的新视角,文中将测验的作答时间与反应分别视为测量被试速度和能力的两个局部因子,而作答时间与反应又视为综合测量了被试的速度与准确率权衡的一般能力或全局因子。基于此,文中提出双因子分层模型,以探讨作答时间与反应的依赖关系。模拟研究发现Mplus程序能有效估计双因子分层模型的各参数,而忽视作答时间与反应依赖关系的分层模型的参数估计结果存在明显的偏差。在实例数据分析中,相较于分层模型,双因子分层模型的各模型拟合指数表现更好。此外,不同被试在不同项目上的作答时间与反应存在不同的依赖关系,从而对被试的作答准确率与时间产生不同的影响。     

不同参数分布形态下GIRM方法和传统GT方法的对比研究

GIRM(Generalizability in Item Response Modeling)是一种将概化理论GT和项目反应理论IRT相结合后计算概化理论中方差分量的一种方法.当GIRM方法下θp和βi的抽样分布与GIRM方法中的MCMC先验分布一致时,GIRM方法对方差分量估计具有较高的准确性.为了进一步检验GIRM方法对IRT参数分布形态的敏感性,研究在将MCMC先验分布固定的情况下,探讨不同IRT参数分布形态下GIRM方法的适用性,并将所得结果与传统GT方法相比较.结果表明:(1)在各种参数分布形态下,采用GIRM方法估计IRT模型的参数是可行的;(2)GIRM方法在被试能力参数为标准正态分布时对σ2(p)估计的准确性高于传统GT方法,但在均匀分布和偏态分布下略差于传统GT方法;(3) GIRM方法在题目难度参数为偏态分布情况下对σ2(i)的估计准确性显著差于传统GT方法;(4)两种方法对于σ2(pie)估计的准确性在任何参数分布形态下都大致相当,优劣并无统一规律.     

基于等级反应模型的规则空间方法

本研究基于Tatsuoka的规则空间方法, 对理想反应模式与异常反应指标进行了扩展, 推导了多级评分项目下规则空间方法的算法公式。在4种属性层级结构(发散型、收敛型、线型与无结构型)×4种“失误”作答概率(2%、5%、10%与15%)测验情境下, 以属性模式判准率、被试属性判准率、敏感性与特异性为指标, 检验了多级评分项目下规则空间方法的分类准确性。结果表明：(1) 基于多级评分项目构建的异常反应指标, 能有效地对被试进行分类与解释, 且0-1评分项目下异常反应指标及其性质都是多级评分下的特例; (2) 随着“失误”作答概率的增加, 4种属性层级结构的分类准确性都会降低; (3) 线型和收敛型的分类准确性明显好于发散型与无结构型; (4) 纯规则点的分布对规则空间方法的分类准确性有显著影响。     

潜在剖面模型的后续分析——比较分类分析法改进后的偏差

传统的分类分析法虽然是潜在类别模型常用的后续分析方法,但容易导致后续模型中潜在类别与其他变量之间关系的低估。现阶段已发展出多种改进的方法:一步法、基于模型的方法、Bartlett法,改进的分类分析法(包括ML三步法、BCH法、纳入式分类分析法)。本文对这些方法研究进行综述总结,进一步针对心理学研究数据的特点,使用模拟实验探讨适用于潜在剖面模型的分类分析方法,结果发现:传统方法低估潜在类别变量与因变量的关系;ML三步法只有在潜在类别概率分布平均时估计精确;BCH法估计最接近真值,但在低分类区分度、大效果量时出现概率估计为负值的情况;纳入法虽有轻微的高估,但在各种模拟条件下参数估计最为稳健。这些方法受分类区分度、类别概率均匀性以及潜在类别变量与附属变量关系的效果量所影响。     

基于选项层面的认知诊断非参数方法

充分挖掘选择题(Multiple-Choice, MC)的诊断信息受到了较多关注, 将干扰项信息考虑在内可以提升诊断精度。为了弥补参数模型基于大样本才能获得可靠估计的不足, 以及适用于班级水平的小样本诊断测验情境, 本研究提出了非参数的多选题诊断方法。模拟和实证研结果表明：(1)当MC测验中题目参数不存在较大差异时, ${{d}_{\text{ph}-\text{MC}}}$法在多数情况下表现优于参数类诊断模型。(2)当MC测验中题目参数存在较大差异时, ${{d}_{ph-MC}}$法的表现最优。(3)实证研究中非参数方法和参数类模型的分类一致性程度较高, ${{d}_{\text{ph}-\text{MC}}}$距离法估计得到的考生属性总体掌握程度与总分相关最高。最后, 基于MC诊断测验的特点提出了若干研究方向。     

项目反应理论新进展：基于3PLM和GRM的混合模型

IRT中的计量模型较多,不同计量模型适合不同特点的数据资料,实际工作者应根据实际情况选择适当的IRT模型来分析数据。我国是个考试、测评大国,测评的题型丰富多样,在实际应用IRT时,一个模型往往很难反应所有数据资料本身的特点,这时可考虑应用多个IRT模型（即“混合模型”）来分析,以达到对数据的最佳拟合。本文对混合模型的思想方法及原理、参数估计的实现、以及模型性能进行了研究,发现：（1）本文自主开发的混合模型参数估计程序Mix_Tu具有较高的返真性,且与国际知名测量软件Parscale相当。（2）在“项目异常”情况下,Mix_Tu程序对参数b和c的估计受数据异常程度的影响要大于Parscale程序,而对参数a的估计受数据异常程度的影响要小于Parscale程序,而在参数theta上两个程序相当。（3）在“被试异常”情况下,Mix_Tu程序对所有参数的估计受数据异常程度的影响均要小于Parscale程序,Mix_Tu程序表现的更为稳健。     

形成性测量模型：结构方程模型的新视角

形成性测量模型(Formative Model, FM)是指标变异导致潜变量变异的模型, 反映性测量模型(Reflective Model, RM)是潜变量变异导致指标变异的模型。FM在模型界定、识别和估计、信效度评价以及模型应用等方面均与RM存在极大的不同。模型界定错误会使参数估计发生偏差, 影响统计结论的有效性, 应当审慎考虑指标和潜变量之间的关系, 选择恰当的测量模型。进一步揭示两者的区别和误用带来的偏差, 完善FM的识别和估计、信效度评价方法、对变量含义的解释以及高阶FM的理论解释和模型估计是未来的研究方向。