高中英语阅读测验中题组模型的选择与应用

本研究通过高中英语阅读测验实测数据,对比分析双参数逻辑斯蒂克模型 (2PL-IRT)和加入不同数量题组的双参数逻辑斯蒂克模型 (2PL-TRT), 探究题组数量对参数估计及模型拟合的影响。结果表明：(1) 2PL-IRT模型对能力介于-1.50到0.50的被试,能力参数估计偏差较大;(2)将题组效应大于0.50的题组作为局部独立题目纳入模型,会导致部分题目区分度参数的低估和大部分题目难度参数的高估;(3)题组效应越大,将其当作局部独立题目纳入模型估计项目参数的偏差越大。     

多维题组效应Rasch模型

首先, 本文诠释了“题组”的本质即一个存在共同刺激的项目集合。并基于此, 将题组效应划分为项目内单维题组效应和项目内多维题组效应。其次, 本文基于Rasch模型开发了二级评分和多级评分的多维题组效应Rasch模型, 以期较好地处理项目内多维题组效应。最后, 模拟研究结果显示新模型有效合理, 与Rasch题组模型、分部评分模型对比研究后表明：(1)测验存在项目内多维题组效应时, 仅把明显的捆绑式题组效应进行分离而忽略其他潜在的题组效应, 仍会导致参数的偏差估计甚或高估测验信度; (2)新模型更具普适性, 即便当被试作答数据不存在题组效应或只存在项目内单维题组效应, 采用新模型进行测验分析也能得到较好的参数估计结果。     

多级评分认知诊断题组模型

具有多级评分和题组结构的测验形式被广泛应用，本文提出多级评分认知诊断题组模型（PCDTM），能处理带题组的多级评分测验数据。研究表明：（1）PCDTM模型合理有效，在各条件中均能得到良好的参数估计结果；（2）随着样本量、题目质量、题目数量增加，PCDTM的参数估计精度提高；（3）忽视题组效应，被试判准率和题目参数精度降低，甚至发生混乱；（4）PCDTM对实证数据的拟合更优，生态效果更好。建议使用该模型时，样本量不低于1000，题目数量不少于20题。     

多维题组效应认知诊断模型

当前认知诊断领域还缺少对包含题组的测验进行诊断分析的研究, 即已开发的认知诊断模型无法合理有效地处理含有题组效应的测验数据, 且已开发的题组反应模型也不具有对被试知识结构或认知过程进行诊断的功能。针对该问题, 本文尝试性地将多维题组效应向量参数引入线性Logistic模型中, 同时开发了属性间具有补偿作用的和属性间具有非补偿作用的多维题组效应认知诊断模型。模拟研究结果显示新模型合理有效, 与线性Logistic模型和DINA模型对比研究后表明：(1)作答数据含有题组效应时, 忽略题组效应会导致项目参数的偏差估计并降低对目标属性的判准率; (2)新模型更具普适性, 即便当作答数据不存在题组效应时, 采用新模型进行测验分析亦能得到很好的项目参数估计结果且不影响对目标属性的判准率。整体来看, 新模型既具有认知诊断功能又可有效处理题组效应。     

Q矩阵包含错误的诊断测验分类准确性比较

Q矩阵是认知诊断测验的重要组成部分之一,围绕Q矩阵构建的诊断模型对Q矩阵中包含的错误较敏感。贝叶斯网分类模型是基于网络结点之间的关系构建的模型,将朴素贝叶斯网作为诊断模型,与DINA模型进行比较。模拟实验结果表明：Q矩阵中是否包含可达矩阵和错误界定的项目数量对DINA模型影响较大,对贝叶斯网模型影响较小;项目数量对DINA和贝叶斯网模型影响都较大;样本大小对贝叶斯网模型影响较大,对DINA模型影响较小。模拟研究结果显示,当Q矩阵中不包含可达阵、包含5个以上错误项目或样本数较大时,贝叶斯网分类模型优于DINA模型;而当Q矩阵中包含可达阵和5个(以下)错误项目时,DINA模型优于贝叶斯分类模型。     

题组反应理论及其在中学英语考试中的应用研究

题组作为众多测验中的一种常见题型,由于项目间存在一定程度的依赖性而违背了局部独立性假设,若用项目反应模型进行参数估计将会出现较大的偏差.题组反应理论将被试与题组的交互作用纳入到模型中,解决了项目间相依性的问题.笔者对题组反应理论的发展、基本原理及其相关研究进行了综述,并将其应用在中学英语考试中.与项目反应理论相对比,结果发现：（1）题组反应模型与项目反应模型在各参数估计值的相关系数较强,尤其是能力参数和难度参数;（2）在置信区间宽度的比较上,题组反应模型在各个参数上均窄于项目反应模型,即题组反应模型的估计精度优于项目反应模型.     

题组项目功能差异（DIF）检验方法的应用探索

篇章形式的阅读测验是一种典型的题组测验,在进行项目功能差异（DIF）检验时需要采用与之匹配的DIF检验方法.基于题组反应模型的DIF检验方法是真正能够处理题组效应的DIF检验方法,能够提供题组中每个项目的DIF效应测量,是题组DIF检验方法中较有理论优势的一种,主要使用的方法是Rasch题组DIF检验方法.该研究将Rasch题组DIF检验方法引入篇章阅读测验的DIF检验中,对某阅读成就测验进行题组DIF检验,结果显示,该测验在内容维度和能力维度的部分子维度上出现了具有显著DIF效应的项目,研究从测验公平的角度对该测验的进一步修改及编制提出了一定的建议.研究中进一步将Rasch题组DIF检验方法与基于传统Rasch模型的DIF检验方法以及变通的题组DIF检验方法的结果进行比较,研究结果体现了进行题组DIF检验的必要性与优越性.研究结果表明,在篇章阅读测验中,能够真正处理题组效应的题组DIF检验方法更加具有理论优势且对于阅读测验的编制与质量的提高具有更重要的意义.     

多维题组反应模型:多维随机系数多项Logistic模型的应用拓展

本文将多维随机系数多项Logistic模型(MRCMLM)拓展应用到多维题组领域,得到适用于多维目标能力和多维题组效应的多维题组反应模型(MTRM),该模型具有高度灵活性和适用性。本文通过两个模拟研究和一个应用研究探究MTRM参数估计精度和模型适用性,以及与two-tier模型的差异,结果发现:(1)能力维度间相关和项目评分等级是影响模型参数估计的重要因素;(2)MTRM对项目参数估计准确性和稳定性高于two-tier模型,对题组效应大小估计更为准确。(3)MTRM在考虑项目内多维题组情况下模型拟合度更高,为测验分析提供了更广泛的模型结构选择,具有显著的应用价值。     

解释性项目反应理论模型：理论与应用

解释性项目反应理论模型(Explanatory Item Response Theory Models, EIRTM)是指基于广义线性混合模型和非线性混合模型构建的项目反应理论(Item Response Theory, IRT)模型。EIRTM能在IRT模型的基础上直接加入预测变量, 从而解决各类测量问题。首先介绍EIRTM的相关概念和参数估计方法, 然后展示如何使用EIRTM处理题目位置效应、测验模式效应、题目功能差异、局部被试依赖和局部题目依赖, 接着提供实例对EIRTM的使用进行说明, 最后对EIRTM的不足之处和应用前景进行讨论。     

基于多维题组反应模型的项目功能差异检验探究

本文将多维题组反应模型（MTRM）应用到多维题组测验的项目功能差异（DIF）检验中,通过模拟研究和应用研究探究MTRM在DIF检验中的准确性、有效性和影响因素,并与忽略题组效应的多维随机系数多项Logistic模型（MRCMLM）进行对比。结果表明：（1）随着样本量的增大,MTRM对有效DIF值检出率增高,错误率降低,在不同条件下结果的稳定性更高;（2）与MRCMLM相比,基于MTRM的DIF检验模型检验率更高,受到其他因素的影响更小;（3）当测验中题组效应较小时,MTRM与MRCMLM结果差异较小,但是MTRM模型拟合度更高。     

变通的题组项目功能差异检验方法在篇章阅读测验中的应用

篇章形式的阅读测验在语文学科考试与语言能力测试中占有越来越重要的地位。篇章阅读测验是一种典型的题组测验, 因此需要采用能够处理题组效应的统计方法进行分析。在进行项目功能差异(DIF)检验时, 也需要采用与之匹配的DIF检验方法。目前能够处理题组效应的DIF检验方法主要包括变通的题组DIF检验方法和基于题组反应模型的DIF检验方法, 基于题组反应模型的DIF检验方法由于实现过程繁琐, 目前只停留在理论探讨阶段。本研究将变通的题组DIF检验方法及其效应值指标引入篇章阅读测验的DIF检验中, 能够解决篇章阅读测验中DIF检验与测量的问题, 效应值指标能够为如何处理有DIF效应的题组项目提供重要依据。本研究首先选用非题组DIF检验方法与变通的题组DIF检验方法对一份试卷进行DIF检验, 两种方法的比较结果体现了进行题组DIF检验的必要性与优越性, 然后选用变通的题组DIF检验方法中有代表性的四种方法对某阅读成就测验进行题组DIF检验。研究结果表明, 在篇章阅读测验中, 能够处理题组效应的DIF检验方法较传统的DIF检验方法具有较大的优越性。     

对归纳推理贝叶斯模型的检验

作者用实验比较检验特征归纳的贝叶斯模型、关联相似性模型、基于特征的归纳推理模型和相似性覆盖模型这四种模型。以大学生为被试的实验结果表明：1）在强关联强度一致时,被试的归纳推理基本符合贝叶斯模型和关联相似性模型的预测,在弱关联强度一致时,不符合这四种模型预测;2）在关联强度不一致时,关联强度效应不符合贝叶斯模型的预测;3）在关联强度一致时,贝叶斯模型和关联相似性模型的预测结果是一致的,不能区分两个模型。实验结果较多地支持贝叶斯模型和关联相似性模型。     

迫选测验中题组环境对展开模型能力估计精度的影响

研究使用蒙特卡洛模拟研究方法,探讨使用展开模型对迫选测验数据进行分析时,题组环境变化是否会对能力参数估计精度产生影响。研究发现:(1)题组中项目数大于3个时,部分排序迫选测验的估计精度更高,完全排序测验受其影响较小;(2)加入33%左右的正负陈述配对题组,相比不包含或包含50%比例该类型题组时估计精度更高;(3)展开模型在维度相互独立时估计精度更高,题组中项目数较少时更易受维度相关的影响。以上研究发现可为迫选测验编制或开发自适应迫选人格测验提供支持。     

不同概率表征的贝叶斯推理试题形式结构的同质性研究

研究从先验概率、概率表征、推理任务等方面探讨了经典贝叶斯推理研究中存在的不足,试图在＂知识和试题双重模型＂框架下,探索现实和标准贝叶斯试题的形式结构的同质性,结果表明：1）自然频次表征比百分比表征的贝叶斯推算题正确率高,这是因为试题的形式结构不同,与概率表征无关;2）贝叶斯判断题与贝叶斯推算题的试题形式结构存在显著差异;3）贝叶斯推算题中,概率词表征与其它两种表征的试题形式结构存在显著差异,其实质是贝叶斯判断。     

项目功能差异对于认知诊断测验估计准确性的影响

为探讨项目功能差异对于认知诊断测验估计准确性的影响,采用模拟研究的方式在3种DIF题目所占比例,3种DIF量下,检测了4种认知诊断测验中存在的DIF对于被试能力估计准确性和题目参数估计准确性的影响。结果发现:(1)DIF对于目标组被试能力估计准确性影响较大;(2)含有DIF的题目所占比例和DIF量增大,都会降低目标组被试能力估计的准确性;(3)非一致性DIF对于被试能力估计准确性的影响大于一致性DIF;(4)只有含有DIF题目的题目参数估计准确性会下降;(5)随着DIF量增大,含有DIF题目的题目参数估计准确性下降增多,但不受含DIF题目所占比例的影响。     

基于贝叶斯网模型的多级计分诊断测验分类及比较研究

贝叶斯网模型提供了一种方便和直观的框架结构来表示变量间的关系,非常适合在诊断测验中对教育评估的内容进行建模。本研究将两种贝叶斯网分类模型与序列多级计分诊断模型S-GDINA进行综合比较。考察两种贝叶斯网分类模型与S-GDINA在Q矩阵正确界定和包含一定比例(25%、 30%)的错误时,两者对被试的分类性能;并将贝叶斯网分类模型应用到实证数据中,展示贝叶斯网分类模型在实证数据中的分类过程和分类性能。研究结果表明：当Q矩阵由专家正确界定时,朴素贝叶斯分类模型的分类效果与S-GDINA模型相差不大,同样可以达到很好的分类效果,树增广的朴素贝叶斯分类模型的分类性能也能达到良好。实证结果进一步表明,将贝叶斯网分类模型应用于教育测量领域中的诊断分类工具是有其优势和可行的,尤其是当测验数据对于所选用诊断模型的拟合较差、测验的Q矩阵中包含错误或测验数据中包含较多的噪音时。     

贝叶斯结构方程模型及其研究现状

在心理学研究中结构方程模型(Structural Equation Modeling, SEM)被广泛用于检验潜变量间的因果效应, 其估计方法有频率学方法(如, 极大似然估计)和贝叶斯方法两类。近年来由于贝叶斯统计的流行及其在结构方程建模中易于处理小样本、缺失数据及复杂模型等方面的优势, 贝叶斯结构方程模型发展迅速, 但其在国内心理学领域的应用不足。主要介绍了贝叶斯结构方程模型的方法基础和优良特性, 及几类常用的贝叶斯结构方程模型及其应用现状, 旨在为应用研究者介绍新的研究工具。     

多维项目反应理论补偿性模型参数估计:基于广义回归神经网络集合

运用广义回归神经网络(GRNN)方法对小样本多维项目反应理论(MIRT)补偿性模型的项目参数进行估计,尝试解决传统参数估计方法样本数量要求较大的问题。MIRT双参数Logistic补偿模型被设置为二级计分的二维模型。首先,模拟二维能力参数、项目参数值与考生作答矩阵。其次,把通过主成分分析得到的前两个因子在每个题目上的载荷作为区分度的初始值以及题目通过率作为难度的初始值,这两个指标的初始值作为神经网络的输入。集成100个神经网络,其输出值的均值作为MIRT的项目参数估计值。最后,设置2×2种(能力相关水平:0.3和0.7; 两种估计方法:GRNN和MCMC方法)实验处理,对GRNN和MCMC估计方法的返真性进行比较。结果表明,小样本的情况下,基于GRNN集成方法的参数估计结果优于MCMC方法。     

含题组的测验等值

题组越来越多地出现在各类考试中, 采用标准的IRT模型对有题组的测验等值, 可能因忽略题组的局部相依性导致等值结果的失真。为解决此问题, 我们采用基于题组的2PTM模型及IRT特征曲线法等值, 以等值系数估计值的误差大小作为衡量标准, 以Wilcoxon符号秩检验为依据, 在几种不同情况下进行了大量的Monte Carlo模拟实验。实验结果表明, 考虑了局部相依性的题组模型2PTM绝大部分情况下都比2PLM等值的误差小且有显著性差异。另外, 用6种不同等值准则对2PTM等值并评价了不同条件下等值准则之间的优劣。     

二参数逻辑斯蒂模型项目参数的估计精度

项目参数的估计精度对于测验的编制尤其是题库的建立十分重要。目前,国内外对项目参数估计精度的研究,大部分是基于在已知项目参数真值的情况下,运用各种参数估计方法产生新的估计值,再和真值进行偏度(BIAS)和均方根差(RMSE)的比较,从而说明该种估计方法的有效性。但是这种方法不能提供不同的参数真值之间的估计误差的变化规律。为了弥补这一缺陷,本文尝试从项目参数估计信息函数的角度出发研究项目参数的估计精度问题。本研究以二参数Logistic模型作为研究对象,首先定义了项目参数的估计信息函数,然后基于完全随机实验设计,通过模拟研究的方法探索影响项目参数的估计精度的因素,实验共设计了(2×3×2)种情形。研究结果表明：(1)项目参数(a,b)的估计精度均随着被试样本量的增大而提高;(2)被试的能力分布对难度参数的估计精度影响较大,对区分度参数的估计精度影响相对较小;(3)难度参数和区分度参数的估计精度都分别受到参数a和参数b的共同作用。