Tatsuoka Q矩阵理论的修正

K.K.Tatsuoka和她同事开发的规则空间模型(RSM)是一种在国内外有较大影响的认知诊断模型,但是Tatsuoka的RSM中Q矩阵理论存在缺陷和错误,这些失误使得RSM中用布尔描述函数(BDF)计算被试理想项目反应模式(IRP)的方法缺乏理论依据.这里揭示了Tatsuoka的Q矩阵理论的缺陷和错误并引进既不使用BDF又便于应用的计算IRP的方法;接着还介绍一种由可达阵计算简化Q阵的方法,该方法显示了可达阵在构造认知诊断测验的重要性.这些结果对丰富Q矩阵理论及正确使用RSM进行认知诊断有一定的意义.     

基于等级反应模型的规则空间方法

本研究基于Tatsuoka的规则空间方法, 对理想反应模式与异常反应指标进行了扩展, 推导了多级评分项目下规则空间方法的算法公式。在4种属性层级结构(发散型、收敛型、线型与无结构型)×4种“失误”作答概率(2%、5%、10%与15%)测验情境下, 以属性模式判准率、被试属性判准率、敏感性与特异性为指标, 检验了多级评分项目下规则空间方法的分类准确性。结果表明：(1) 基于多级评分项目构建的异常反应指标, 能有效地对被试进行分类与解释, 且0-1评分项目下异常反应指标及其性质都是多级评分下的特例; (2) 随着“失误”作答概率的增加, 4种属性层级结构的分类准确性都会降低; (3) 线型和收敛型的分类准确性明显好于发散型与无结构型; (4) 纯规则点的分布对规则空间方法的分类准确性有显著影响。     

小学四、五年级数学诊断性测验的编制——基于规则空间模型的方法

基于规则空间模型, 以小学四、五年级数学诊断性测验的编制为例, 探索了认知诊断理论背景下诊断性测验的编制方法。研究发现, 基于规则空间模型编制的诊断性测验具备优良的信效度, 尤其在结构效度上具有突出优势。应用该测验对1059名四、五年级学生进行诊断测验的结果显示:在整体上, 学生对整数、初级运算与应用掌握得较为巩固, 对量、统计、规律、高级运算掌握较差;在发展趋势上, 量、统计、规律、高级运算是四、五年级之间进步最快的属性。     

基于可达阵的一种Q矩阵标定方法

Q矩阵标定是实施认知诊断评估的前提,已有Q矩阵修正方法并不太适合测验中已知属性向量的题目数较少的情形。根据拓展Q矩阵理论中可达阵R列与简化Q阵列存在布尔“或”关系,在一定认知假设下,率先提出可达阵R与简化Q阵的潜在反应列存在布尔“与”关系,并由此提出基于可达阵的Q矩阵标定方法。研究显示：在已知一个可达阵下,当可达阵项目的猜测或失误参数在.20以下且待标定项目的项目参数约在.30以下时,新方法所得Q矩阵元素返真率基本在.90以上,并且真实Q矩阵与估计Q矩阵下被试分类准确率差异很小;对于含5个属性的独立结构,新方法要求的随机样本的样本量较小;实证研究也印证了模拟研究的结论。新方法只需专家标定少量题目的Q矩阵,即已经标定的Q矩阵对应属性层级结构的可达阵。     

基于RSM对Q矩阵相同的无锚题测验的等值

传统锚题-非等组设计下的测验等值,等值要求的满足具有主观性,并且由于锚题失效或难以获得等因素的影响,则该方法的使用受到了限制。因此,本研究基于规则空间模型的Q矩阵理论,生成两个Q矩阵相同但无锚题的测验的共同受测者,使用共同组设计,利用同时性估计的方法对测验进行等值,并考虑了作答失误率和测验结构对等值稳定性的影响。结果表明:共同组设计同时估计方法的等值稳定性取得了优于或等于锚题-非等组同时估计方法;失误率的增大也会导致等值稳定性的下降;并且不同的测验结构也对等值稳定性产生了影响,其中直线型和收敛型结构稳定性较好,发散型和无结构型较差。     

运用规则空间模型识别解题中的认知错误

运用规则空间模型识别学生解题中的认知错误,该模型将认知心理学,项目反应理论和数据库的代数理论相结合,将被试的二值反应模式映射为笛卡尔乘积空间的一组序偶,然后计算被试和错误规则在该空间的代表性位置之间的马氏距离,并通过贝叶斯决策准则划分被试的错误类型,根据６４４名中学生对３０个数学题目的反应,识别出其中８６％的学生可以被划分人１８种认知错误类型中。     

基于DINA模型的Q矩阵修正方法

本研究开发了一种基于DINA模型的认知诊断测验Q矩阵修正方法—— g 法, 为侦查并修正Q矩阵中的错误提供方法学支持, 从而为保证Q矩阵的合理性提供基础, 并为进一步提高认知诊断的准确率服务。本文采用Monte Carlo模拟及与国外同类研究相比较的方法进行, 研究发现：(1)不论在何种作答失误概率(5%, 10%, 15%)情况下, 当s,g临界值为0.2, 0.25或0.3时, 本研究提出的g 法均能有效地修正错误Q矩阵; 同时, 当Q矩阵无错误时, g 法对该Q矩阵未做任何修改。表明g 法对Q矩阵是否存在错误具有较强的识别能力及修正能力。(2)与国外同类研究相比, 本研究提出的g 法具有较理想的修正率, 且与de la Torre (2008)提出d法的修正效果相当。但相比较而言, g 法较d 法更为简单。(3) g 法不仅能有效地修正错误的Q矩阵, 而且还可以进一步提高认知诊断的正确率, 尤其是对模式判准率(PMR), 诊断正确率的最高增幅高达40%, 大大改善了认知诊断的准确率。     

认知诊断模型Q矩阵修正：完整信息矩阵的作用

Q矩阵是CDM的核心元素之一,反映了测验的内部结构和内容设计,通常由领域专家根据经验进行主观界定,因此需要对可能存在的错误进行修正。本研究提出了一种新的Q矩阵修正方法——基于完整经验交叉相乘信息矩阵的Wald-XPD方法。采用Monte Carlo模拟检验了新方法的表现,并与同类方法进行了比较。研究表明：新开发的Wald-XPD方法在Q矩阵恢复率、保留正确标定属性的比例以及修正错误标定属性的比例这3个主要指标上均有较好的表现,且整体上优于其他方法,尤其是在修正错误标定的属性方面。通过实证数据展示了Wald-XPD方法在Q矩阵修正中的良好表现。总之,本研究为Q矩阵修正提供了有效的方法。     

一种简单有效的Q矩阵修正新方法

Q矩阵的正确性是影响题目参数估计和被试分类准确性的重要因素。针对Q矩阵修正问题, 首先提出了一种简单有效的新方法(ORDP)。然后, 模拟研究通过改变被试知识状态的分布、样本容量(N)、测验长度(L)、Q矩阵错误率(M)、项目质量(Iq)和属性层级结构, 比较了ORDP与已有方法(R、RMSEA和HD)的表现。研究表明：(1) 当知识状态服从均匀分布时, ORDP方法在所有层级结构下最优; 当知识状态服从多元正态分布时, RMSEA和ORDP表现没有明显差异, 除独立结构外, RMSEA方法均稍优于ORDP方法; (2) 各方法在多元正态分布下的修正效果不及均匀分布时的修正结果; (3) N、L、M、Iq和属性层级结构对4种方法的表现均有明显影响; (4) 基于Tatsuoka (1984)分数减法数据的修正结果表明, 采用ORDP方法修正的Q矩阵与数据拟合最优。     

多级属性Q矩阵的验证与估计

多级属性是将诊断测验中传统的二值(即两种水平, 通常定义为0和1)属性定义为多值(多个水平可以为0, 1, …), 它不但可以描述学生对于知识属性是否掌握, 而且可以描述学生在属性上的掌握程度, 这样使得诊断测验能提供给被试更丰富的知识掌握详情。本文将适用于二级属性Q矩阵的统计量(S统计量)拓展到多级属性下的Q矩阵验证和估计, 在两种常见的条件下, 设计了两种估计算法：联合估计算法和在线估计算法。模拟实验结果表明：联合估计算法适用于对专家界定的初始Q矩阵进行验证, 当初始Q矩阵中包含较少的错误时, 通过联合估计算法有很大可能恢复正确的Q矩阵; 在线估计算法适用于对“新项目”进行属性向量和项目参数的在线标定, 基于一定数量的“基础项目”, 在线估计算法对于新项目的估计也能达到较满意的成功率。实证数据分析则进一步展示了该方法的使用。     

测验理论的新发展:多维项目反应理论

多维项目反应理论是基于因子分析和单维项目反应理论两大背景下发展起来的一种新型测验理论。根据被试在完成一项任务时多种能力之间是如何相互作用的,多维项目反应模型可以分为补偿性模型和非补偿性模型两类。本文在系统介绍了当前普遍使用的补偿性模型的基础上,指出后续研究者应关注多维项目反应理论中多级评分和高维空间的多维模型、补偿性和非补偿性模型的融合、参数估计程序的开发和多维测验等值四个方面的研究。     

依恋理论与社会网络理论的进展

个体在生命发展过程中,为了其生存、健康和安全,需要与他人进行交往,建立一定的社会关系.本文系统地介绍了目前重要的两大类社会关系理论——依恋理论和社会网络理论的观点、测量方法及其发展过程.其中社会网络理论介绍了三个有代表性的理论:社会网络矩阵观点、护卫模型理论、情感关系模型理论.最后对依恋理论与社会网络理论之间的关系,以及今后的发展方向进行了论述和探讨.     

心理理论发展研究的一种新范式——矩阵博弈

心理理论指对他人心理状态的理解,是一种毕生发展的能力。但之前的研究在研究对象和研究内容上存在一些缺陷。本文介绍了一种新范式——矩阵博弈(matrix game),对利用其研究心理理论进行了可行性分析,同时指出了两者相结合的理论基础和实证证据。未来研究可利用矩阵博弈来研究更广年龄范围人群心理理论的发展轨迹,并借助fMRI等技术来测查矩阵博弈中心理理论推理的脑机制。     

IRT_Δb法和修正LR法对矩阵取样DIF检验的有效性

矩阵取样测验包含多个题册,单个题册的总分不能直接作为匹配变量用于 DIF 检测。本研究首先基于模拟数据,同时采用 I RT_Δb法,以及用 I RT模型估计的考生能力作为匹配变量修订后的 L R法对矩阵取样测验进行DIF检测,分析二者进行DIF检测的有效性及其相关影响因素;并根据已有的LR法DIF判断标准划定出I RT_Δb法分类标准;最后使用实证数据加以验证。结果显示：矩阵取样测验中, I RT_Δb法和修正LR法均能较好地区分DIF量不同的题目;样本量、题册中DIF题目的比例和考生群体间真实能力的差异对两种方法的检验力、犯I类错误的概率和分类结果都有较大影响。     

矩阵完成问题的项目生成研究

依据Embretson提出的认知设计系统方法,设计并编制了矩阵完成问题的项目生成系统,实际生成了矩阵完成问题测验。探讨矩阵测验与瑞文测验的关系,以及认知模型对矩阵问题的难度和区分度的预测能力。结果表明所设计的认知模型对矩阵项目的性能参数有一定的预测能力,生成的矩阵测验与瑞文测验有基本相同的心理测量属性。可以使用该系统生成的矩阵项目来测量被试的抽象推理能力。     

现代测量理论下四大认知诊断模型述评

该文介绍并比较了现代测量理论下四大认知诊断模型的思想方法、模型结构及各自的特点性能等。LLTM是一个较早的认知诊断模型,它实现了认知与测量的结合;规则空间模型实现了对认知结构的诊断,并创造性地提出了Q矩阵理论;统一模型与融合模型是同一类模型：两者均沿用了规则空间模型的Q矩阵方法,但克服了规则空间模型中的一些不足;融合模型被认为是二十一世纪初创立的一个很成功的认知诊断模型。     

融合反应时的多级评分IRT模型开发及其应用研究

当前大多数融合反应时的IRT模型仅适用于0-1评分数据资料,极大的限制了IRT反应时模型在实际中的应用。本文在传统的二级计分反应时IRT模型基础上,拟开发一种多级评分反应时模型。在层次建模框架下,分别采用拓广分部评分模型(GPCM)和对数正态模型构建融合反应时的多级评分IRT模型(本文记为JRT-GPCM),并采用全息贝叶斯MCMC算法实现新模型的参数估计。为验证新开发的JRT-GPCM模型的可行性及其在实践中的应用,本文开展了两项研究:研究1为模拟实验研究,研究2为新模型在大五人格-神经质分量表中的应用。研究1结果表明,JRT-GPCM模型的估计精度较高,且具有较好的稳健性。研究2表明,被试的潜在特质与作答速度具有一定的正相关,且本研究结果支持Ferrando和Lorenzo-Seva(2007)提出的“距离-困难度假设”,即当被试的潜在特质与项目的难度阈限距离越远,那么被试会花费更多的时间对项目进行作答。总之,本研究为拓展反应时信息在心理测量及教育中的应用提供新的方法支持。     

项目反应理论新进展：基于3PLM和GRM的混合模型

IRT中的计量模型较多,不同计量模型适合不同特点的数据资料,实际工作者应根据实际情况选择适当的IRT模型来分析数据。我国是个考试、测评大国,测评的题型丰富多样,在实际应用IRT时,一个模型往往很难反应所有数据资料本身的特点,这时可考虑应用多个IRT模型（即“混合模型”）来分析,以达到对数据的最佳拟合。本文对混合模型的思想方法及原理、参数估计的实现、以及模型性能进行了研究,发现：（1）本文自主开发的混合模型参数估计程序Mix_Tu具有较高的返真性,且与国际知名测量软件Parscale相当。（2）在“项目异常”情况下,Mix_Tu程序对参数b和c的估计受数据异常程度的影响要大于Parscale程序,而对参数a的估计受数据异常程度的影响要小于Parscale程序,而在参数theta上两个程序相当。（3）在“被试异常”情况下,Mix_Tu程序对所有参数的估计受数据异常程度的影响均要小于Parscale程序,Mix_Tu程序表现的更为稳健。     

一种广义的认知诊断Q矩阵修正新方法

本文提出了一种新的Q矩阵修正方法——两阶段法,该方法不仅适用于简化认知诊断模型,也适合于饱和的认知诊断模型,在实践应用中更具灵活性。模拟研究和实证研究表明：第一,两阶段方法整体上优于国际上知名的 法( de la Torre, et al., 2016);第二,两阶段方法受被试人数和Q矩阵的错误率影响较小,尤其在小样本时仍有相对理想的正确率;第三,实证数据研究表明,两阶段法修正后的Q矩阵与数据拟合更好,并且修正的Q矩阵能明显提高认知诊断测验的信度。