基于作答时间数据的改变点分析在检测加速作答中的探索——已知和未知项目参数

相对于传统的离散作答数据, 作答时间作为连续数据, 可以提供更多信息。改变点分析(change point analysis)技术在心理和教育领域是一个比较新的技术。本文一方面对改变点分析在心理测量领域的应用进行了一个综合的总结和分析; 另一方面, 将基于作答数据的两种改变点分析统计量推广到作答时间数据, 将改变点分析技术应用到测验异常作答模式：加速作答speededness的检测上。采用两种检验方法：似然比检验和Wald检验, 分别在已知和未知项目参数的条件下, 实现异常作答模式的检测。结果表明, 所采用的方法对于加速作答行为的检测具有很高的检验力, 同时能够很好的控制I类错误率。实证数据分析进一步表明本文中所使用的方法具有应用价值。     

结合选择题与主观题信息的两阶段作弊甄别方法

为提高对高分作弊者和低抄袭比例作弊者的检验力，模拟600名考生的作答，设置3种抄袭比例（60%，80%和100%）和3种抄袭源能力（能力百分等级为60%，80%和100%），设计两阶段作弊甄别法，第一阶段使用lz指数筛选个人拟合差的异常考生，第二阶段针对这些异常考生使用ω指数进行精确甄别。结果表明该法对高分作弊者和低抄袭比例作弊者的检验力优于仅使用答案抄袭检测法。     

作答时间与反应依赖关系建模：基于双因子模型视角

在心理与教育测验中,测验的计算机化越来越普遍,使得被试作答的过程性数据的搜集也越来越便利。分层模型的提出为作答时间与反应的联合分析提供了一个基本的建模框架,且逐渐成为当前最流行的方法。虽然分层模型被广泛使用,但仅仅通过参数间的关系还不能很好地解释作答时间和反应之间的关系。因此,一些研究者提出了一系列改进模型,但仍然存在一些不足。基于双因子模型的新视角,文中将测验的作答时间与反应分别视为测量被试速度和能力的两个局部因子,而作答时间与反应又视为综合测量了被试的速度与准确率权衡的一般能力或全局因子。基于此,文中提出双因子分层模型,以探讨作答时间与反应的依赖关系。模拟研究发现Mplus程序能有效估计双因子分层模型的各参数,而忽视作答时间与反应依赖关系的分层模型的参数估计结果存在明显的偏差。在实例数据分析中,相较于分层模型,双因子分层模型的各模型拟合指数表现更好。此外,不同被试在不同项目上的作答时间与反应存在不同的依赖关系,从而对被试的作答准确率与时间产生不同的影响。     

考生作答数据反馈对Angoff标准设定结果的影响

以大规模学业成就水平测验为背景,采用组间设计,按类别将专家分为五组,在反馈数据环节随机给予每个专家组未调整的考生真实作答数据和经过上调、下调0.5或1个标准差的调整数据后,采用单因素方差分析与项目反应理论两参数模型考查专家组在标准设定Angoff方法中如何参考使用题目作答数据。结果表明,反馈考生题目作答数据对Angoff标准划定结果有明显影响:反馈未经调整的真实考生题目作答数据影响较大;反馈调整后的高于真实考生题目作答数据影响相对较小,反馈低于真实考生题目作答数据影响相对较大。     

基于假设检验的项目相合性指标研究

在认知诊断评估中,评价认知模型与作答数据的拟合非常重要。已有的层级相合性指标(HCI)仅能用于评价连接规则下模型与数据的拟合情况,有必要研究分离规则下相合性指标。HCI假设某项目上正确作答,便推断其子项目上的错误作答为失拟。由于作答反应的随机性,提出基于假设检验的项目相合性指标。该指标可用于区分连接规则和分离规则的作答数据、评价Q矩阵质量和衡量作答数据中的噪音、还可为评价认知模型和选择认知诊断模型提供参考。     

计算机化多维测验中作答时间和作答精度数据的联合分析

随着心理与教育测量研究的发展和科技的进步,计算机化(大规模)测验逐渐受到人们的关注。为探究在计算机化多维测验中如何利用作答时间数据来辅助评估多维潜在能力,以及为我国义务教育阶段教育质量监测提供数据分析方法上的理论支持。本研究以2012年和2015年国际学生能力评估(PISA)计算机化数学测验数据为例,提出了一种可同时利用作答时间和作答精度数据的联合作答与时间的多维Rasch模型。根据新模型对PISA数据的分析结果,表明引入作答时间数据,不仅有助于提高模型参数的估计精度,还有助于数据分析者利用被试的作答时间信息来做进一步的决策和干预(e.g., 对异常作答行为或预备知识的诊断)。     

问卷调查中被试不认真作答的控制与识别

问卷调查是心理与教育领域十分常见的数据收集方法, 而被试的不认真作答可能导致问卷数据失真。回顾已有研究发现:(a)不认真作答可以从外在作答模式和内在产生原因两个方向进行定义; (b)不认真作答的常见事前控制方法主要包括降低任务难度以及提高被试作答动机两大类; (c)事后识别方法主要包括嵌入识别量表、作答模式识别、反应时识别三大类。今后的研究中应基于作答机制的研究优化与开发控制方法, 检验作答识别方法的跨情境适用性并开发新方法, 并对局部不认真的识别与处理进行更深入的探讨。     

联合作答精度和作答时间的概率态认知诊断模型

对多模态数据的联合分析是改进结果评价、健全综合评价的主要途径。针对概率态认知诊断模型(CDM)仅能分析题目作答精度(RA)的局限,本文基于联合-层级建模框架和联合-交叉负载建模框架提出三个可联合分析RA和题目作答时间(RT)的概率态联合CDM。模拟研究和实证研究结果表明：(1)新模型参数估计返真性良好,额外引入RT有助于提高参数估计精度并提供有关个体加工速度的测量;(2)基于联合-交叉负载建模框架构建的模型对测验情境的兼容性优于基于联合-层级建模框架构建的模型;(3)概率态属性比确定态属性更精细地反映个体对属性的掌握情况。     

分类视角下认知诊断测验项目区分度指标及应用

在认知诊断中还没有指标能在无作答数据情况下直接评价项目的属性分类准确率或属性判准率。项目水平上的属性分类准确率,与项目属性向量、项目参数、先验分布和作答反应等有关。综合各个影响因素定义了项目水平上的属性期望分类准确率指标,并将其用于组卷。模拟研究显示：新指标可十分准确地评价项目的属性判准率,新指标对于项目筛选十分重要;以模式分类准确率为评价指标,基于新指标的组卷方法与经典的组卷方法表现相当。     

问题解决任务中行动序列的二分类建模：单/两参数行动序列模型

行动序列作为一种典型的过程数据,可反映被试解决问题的详细步骤。鉴于行动或状态转移可区分正误,本文基于二分类Logistic建模提出两个复杂度相对较低的行动序列模型——单/两参数行动序列模型(1P-/2P-ASM);两者差异在于是否允许自由估计问题状态的区分度。通过实证研究和模拟研究对比探究两个新模型与基于多分类Logistic建模的序列作答模型(SRM)的表现。研究结果主要发现：(1)两个ASM能够获得与SRM几乎一致的问题解决能力估计值;(2)两个ASM的计算耗时明显低于SRM的;(3) 2P-ASM比1P-ASM的综合表现更优。总之,两个模型复杂度相对低的ASM均能够实现对行动序列的有效分析,有益于行动序列数据分析的落地。     

量表数据中不努力作答的识别和清理

在对不努力作答(IER)概念和方法综述的基础上,通过一个心理量表的真实测试数据,介绍了如何综合采用不同的方法甄别IER。主要包括：(1)探索不同指标对不努力作答模式的敏感性,探讨了应用多种指标的必要性以及如何选取的问题;(2)分析IER对测验工具指标计算结果的消极影响;(3)总结不努力作答数据清洗方法及注意事项,为提升量表数据质量提供了数据清理方面的建议。     

用于处理不努力作答的标准化残差系列方法和混合多层模型法的比较

文章采用模拟研究, 分别在混合多层模型假设满足和违背的情境下, 比较了混合多层模型方法与标准化残差系列方法在识别不努力作答和参数估计方面的表现。结果显示：(1)不存在不努力作答或其严重性低时, 各方法表现接近; (2)不努力作答严重性高时, 固定参数迭代标准化残差法普遍更优, 混合多层模型法仅在假设满足且两种作答反应时差异大的条件下表现较好。建议实际应用中优先选择固定参数迭代标准化残差法。     

引入眼动注视点的联合-交叉负载多模态认知诊断建模

多模态数据为实现对认知结构的精准诊断及其他认知特征(如, 认知风格)的全面反馈提供了可能性。为实现对题目作答精度、作答时间(RT)和视觉注视点数(FC)的联合分析, 本文基于联合-交叉负载建模法提出3个多模态认知诊断模型。实证研究及模拟研究结果表明: (1)联合分析比分离分析更适用于多模态数据; (2)新模型可直接利用RT和FC中信息提高潜在能力或潜在属性的估计准确性; (3)新模型的参数估计返真性较好; (4)忽略交叉负载所导致的负面结果比冗余考虑交叉负载所导致的更严重。     

人工智能方法在探究小学生作业作弊行为及其关键预测因子中的应用

小学生作业作弊是心理学领域忽略已久的研究重点,机器学习是数智时代新兴的人工智能科学。笔者对2, 098名2至6年级小学生进行问卷调查,采用机器学习法,考察个体认知、道德判断、同伴行为,及性别、年级、成绩等因素对小学生作业作弊行为的影响。结果表明：集成机器学习模型对小学生作业作弊预测准确率(AUC均值)达80.46%;对作业作弊预测效应最强的4个因素依次为个体对作业作弊的接受程度、观察到同伴作弊的普遍性和频率,及其自身成绩。     

心理与教育测验中异常作答处理的新技术:混合模型方法

混合模型方法(Mixture Model Method)是近年来提出的,对心理与教育测验中的异常作答进行处理的方法。与反应时阈值法,反应时残差法等传统方法相比,混合模型方法可以同时完成异常作答的识别和模型参数估计,并且,在数据污染严重的情况下仍具有较好的表现。该方法的原理为根据正常作答和异常作答的特点,针对分类潜变量(即作答层面的分类)的不同类别,在作答反应和(或)反应时部分建立不同的模型,从而实现对分类潜变量,以及模型中其他题目和被试参数的估计。文章详细介绍了目前提出的几种混合模型方法,并将其与传统方法比较分析。未来研究可在模型前提假设违背,含有多种异常作答等情况下探索混合模型方法的稳健性和适用性,通过固定部分题目参数,增加选择流程等方式提高混合模型方法的使用效率。     

Mix-DINA——基于混合分布的多策略认知诊断模型

个体在完成多种类型认知任务时普遍使用了多种策略,且不同策略解题难度存在差异。但常见的测量模型忽视了这一事实,研究基于混合分布项目反应模型开发了Mix-DINA模型。其主要优点是:(1)可同时报告被试的知识状态与策略使用倾向;(2)不同策略对应题目参数自由估计,使之更符合主流心理学观点。研究通过模拟数据验证了自编Mix-DINA模型估计程序分析各类多策略作答时的有效性,结果显示Mix-DINA模型在分析单策略作答时也具有一定的稳健性。最后讨论了研究的局限,对多策略认知诊断的进一步研究给出了建议。     

多级计分测验中基于残差统计量的被试拟合研究

本文提出一种多级计分项目下的个人拟合统计量R, 考察它在检测6种常见的异常作答模式(作弊、猜测、随机、粗心、创新作答、混合异常)下的表现, 并与标准化对数似然统计量l_zp进行比较。结果表明：(1) 在异常作答覆盖率较低并且异常作答类型为作弊和猜测时, R的检测率显著高于l_zp; (2) 随着测验长度和被试异常程度的增加, 两种统计量的检测率都会上升; (3) 在一些条件下, R与l_zp检测效果接近。实证数据分析进一步展示了R统计量的使用方法和过程, 结果也表明R统计量具有较好的应用前景。     

计算机化自适应测验中原始题项目参数的估计

计算机化自适应测验(Computerized Adaptive Testing, 简称CAT)其安全性面临着新的挑战, 小题库的安全更受威胁。如何建设一个大型、优质的题库成为CAT研究中一个非常重要的课题。目前CAT题库的建设存在一些问题, 如成本高且保密性较差。尤其是等值技术较复杂且锚题重复使用容易造成泄露。如能在实施CAT过程中插入未经过参数估计的项目(原始题), 同时对原始题项目参数进行估计, 这对建设大型、优质的CAT题库来说其意义是不言而喻的。本文基于1PLM和2PLM对此进行研究, 提出了原始题在线估计的新方法以及推导出了求区分度参数a迭代初值的计算公式。研究结果表明：无论是模拟研究还是实证研究, 原始题被作答的次数对项目参数估计结果都会产生不同的影响, 并且原始题作答人数越多项目参数估计精度也越高。     

项目反应时间的对数偏正态模型

近年来,项目反应时间数据的建模是心理和教育测量领域的热门方向之一。针对反应时间的对数正态模型和Box-Cox正态模型的不足,本文在van der Linden的分层模型框架下基于偏正态分布建立一个反应时间的对数线性模型,并成功给出模型参数估计的马尔科夫链蒙特卡罗（Markov Chain Monte Carlo, MCMC）算法。模拟研究和实例分析的结果均表明,与对数正态模型和Box-Cox正态模型相比,对数偏正态模型表现出更加优良的拟合效果,具有更强的灵活性和适用性。     

大学生作弊:是道德自我欺骗吗?

以往关于考试作弊的研究大都着眼于相关因素,还很缺乏对主体意识结构的分析。本研究以自我欺骗为理论框架,以大学生为被试,通过一个行为实验及与实验有关问题的分析,从意识与潜意识两个层面对大学生的作弊行为进行了探究。结果表明研究样本的31.63%的大学生的作弊属于道德自我欺骗,即作弊时意识与潜意识持有一个相互矛盾的错误信念,具体说就是,在意识里并没有意识到作弊是不道德的,但同时在潜意识里却认为它是不道德的。