高考历史试卷的多元概化理论研究

运用多元概化理论及其方法,本研究分析了上海市高考历史试卷(2006年),结果发现:(1)在试卷结构,各部分试题具有较好的测量信度,但在赋分比例存在问题;(2)在主观题评分,评阅者对分数影响微弱,说明分数能较为真实地反映不同考生之间的学科知识和能力差异。此外,研究还为将来提高高考命题和评阅质量提供合理化建议。     

概化理论G研究方差分量及其变异量估计影响因素

概化理论是关于行为测量可靠性的统计理论。G研究是进行概化理论分析的关键步骤,其主要目的是进行方差分量及其变异量估计。总结了影响概化理论G研究方差分量及其变异量估计的多种因素,包括估计方法、数据分布、研究设计、样本容量、模型效应和数据形态等,并指出了相关研究存在的六方面不足,如缺乏估计方法的综合比较、较少考察非正态分布数据、较少考虑不平衡或缺失数据等。     

模型参数点估计的可靠性：以CDM为例

心理学研究中,不恰当的模型参数估计框架或收敛准则严重影响模型参数点估计的可靠性,进而影响到研究结论的可靠性。本研究提出了基于MLE-EM的CDM模型参数估计新框架,以及新收敛判断方法。通过模拟研究与实证数据分析的方式,探索了新参数估计框架和新收敛判断方法的表现,并与已有模型参数估计框架及收敛判断方法进行了比较。结果显示,新的模型参数估计框架及收敛准则的表现优于已有的模型参数估计框架及收敛准则,能有效提高模型参数点估计的可靠性。     

阅读理解测试的信度研究:来自概化分析的视角

阅读理解测试通常为多个题目共用一个语篇材料,属于典型的题组题型,传统的基于单题的信度估计方法将会高估测试的信度。研究采用概化理论模型,通过比较传统信度系数以及不同的概化理论测量设计模型,探讨不同方法对阅读理解测量精度估计的差别;同时,通过改变语篇和题目的数量来观察概化系数和可靠性指数等指标的变化,为改进考试设计和命题提供参考信息。结果表明,忽略语篇的单变量概化设计以及基于题目的 系数会在概化系数上高估0.0404,将语篇作为多变量的交叉设计会在概化系数上高估0.0480,基于语篇的系数与单变量嵌套设计的概化系数一致。另外,增加阅读理解中的语篇量或题目量都可以提高测量的精度,但增加语篇量在提高阅读理解测试的测量精度上更为高效。     

概化理论研究及应用前景

1972年,Cronbach和他的同事们提出概化理论之后,概化理论在行为与心理测量领域得到了广泛的应用,较之经典测量理论,它的优势逐渐地显露：(1)测量的多种误差来源可以在同一个分析中分别估计;(2)可以指导决策者选择最优测量方案;(3)提供可靠性系数：概化系数(G系数)和依存性指标(φ系数)用于不同的决策任务;(4)排除了严格平行测验的假设。概化理论以它的精确性和可藏性受到了信度测量领域研究者们的青睐,本文旨在对概化理论的基本框架、产生、发展及应用前景进行详细论述。     

2007-2010年心理学专业基础综合考试的多元概化理论研究

摘 要 本研究使用多元概化理论分析2007-2010年心理学专业基础综合考试。结果表明：1.从考查的学科内容看,心理统计与测量、普通心理学的测量精度较高,而发展与教育心理学、实验心理学的测量精度偏低;2.从设置的题型看,多选题的测量精度偏低,其他题型的测量精度较高;减少单选题数量、增加多选题数量可在保障全卷测量精度的基础上大幅提高多选题的测量精度;3.全卷测量精度很高,不同年度的试卷在学科内容和题型结构上可看成是“平行”试卷。     

HSK主观考试评分的Rasch实验分析

主观评分中存在的不一致性导致主观评分的信度降低。多面Rasch模型基于项目反应理论,可以应用于评分员效应的识别和消除,从而提高主观评分的信度。该文介绍多面Rasch模型的理论和应用框架,设计了基于该模型的HSK主观考试评分质量控制应用框架,利用HSK作文评分数据进行了实验验证。     

中国少数民族考生与外国考生HSK成绩的公平性分析

该研究利用项目功能差异(Differential Item Functioning,简称DIF)理论,对HSK考生中不同两个群体——外国人和中国国内的少数民族,进行题目的反应分析。考查HSK的题目是否存在不利于某一群体。具体做法：采用MH和SIBTEST方法检测DIF,利用标准化的离散分析方法和SIBTEST的项目束分析法鉴别DIF的真伪,并寻找造成DIF的原因。由数据分析的结果可知,HSK(初、中等)A卷对对外国考生和中国国内的少数民族考生存在一些有DIF的题目。     

概化理论在作文评分中的应用研究

概化理论是现代心理测量理论之一,该文简要地介绍了该理论的基本思想并用此理论对作文评分的误差控制问题进行了应用性探讨。研究中请６位评分员对２０名学生每人三种文体的作文用分项评分法进行评定。然后用ＧＥＮＯＶＡ软件的估计了作文评分中的评分员效应和题目效应,并对各种误差构成进行了分析比较。结果表明：在作文评分中,评分员勺最大,题目效应不明显。同时还发现,不同文体对评分误差有重要影响。论文文的评分误差最大,     

概化理论预算限制下最佳样本量估计

概化理论广泛应用于各种心理测评实践中。当有预算限制时,概化理论需要考虑如何设计一个测量可靠性相对较高且可行性也相对较强的测量程序,这就要求通过某些途径估计最佳样本量。拉格朗日乘法是概化理论预算限制下最佳样本量估计较为成熟的方法。探讨了概化理论预算限制下最佳样本量估计的一些影响因素,如受总预算舍入的影响等,也提出了一些后续改善的建议,如推导出拉格朗日乘法的统一公式等     

事业单位公开招聘考试新题型预试研究

事业单位的人才突出专业性,招考必须采用不同于公务员考试等大型考试的新题型,该研究探索事业单位考试新题型的有效性.方法:按照事业单位构成比例,选取220位事业单位在职人员进行模拟考试,考后请考生填写调查表.结果表明:新题型总体对于考生来说难度适中,区分度比较高,个别题型如文稿校对难度偏大以致区分度降低；所有新题型的α系数中等,符合大型考试特点；管理岗和专业技术岗的新题型因素分析分别得到三个因素,但其构成有别；专业技术岗和管理岗考生成绩相当,但都好于工勤岗；新题型无法区分考生的资历.因此,新题型是有效的,可用于事业单位招聘考试,但进一步的完善是必要的.     

用概化理论分析胜任特征核检表评价的影响因素

构建15种概化理论分析模型,探讨胜任特征核检表评价的主要影响因素.研究数据为小学校长胜任特征核检表评价数据.研究通过比较不同模型的概化系数变化量,发现评价者所属组别和评价者所属地域为主要影响因素,根据所得主要影响因素之间的关系,提出用于评价数据的最佳概化理论分析模型.概化模型分析所得结果基本符合实际评价情况,说明用概化理论分析评价的影响因素具有可操作性.     

测验链接中的锚题代表性研究

本文旨在以“锚题代表性”这一研究命题切入,探索在非等组锚测验设计下,作为实现测验链接的重要载体,锚题和相关的测验试卷/水平之间究竟应该有什么关系。本文首先指出锚题代表性这一概念在等值和垂直量尺化领域中具有不同的含义,并给出其在垂直量尺化中的含义。通过考察测验链接中有关锚题代表性的既有研究,系统总结相关研究成果,本文概括出了当前锚题构建实践的可能优化方案,分析了锚题代表性研究的未来方向。     

用多元概化理论对普通话的测试

用多元概化理论 (MGT)研究了国家语委编制的普通话测验。在G研究中 ,利用香港人普通话测试的数据 ,估计了引起分数变异的各种来源的方差与协方差分量。在D研究中 ,首先估计了该测验 3个部分的全域分数和各自的概化系数等技术指标 ,然后估计了全域合成分数及其概化系数、信噪比等指标。结果表明 ,该测验的信度从总体上讲是较高的 ,把三个部分的全域分数进行合成也是合理的 ,但从细节上看其第 3部分的信度较低。另外 ,当评分者个数为 3、试题数量为 2 8时 ,测验的第 1、2部分的信度已经较高 ,因此 ,在实测时减少这两部分的题量并不会有太大问题     

认知行为实验研究中最佳素材容量的选择与确定：多元概化理论应用

心理学实验首先必须保证结果的有效性和可靠性。实验素材容量是影响实验结果的关键因素之一。本文的目的是通过运用多元概化理论分析几个典型认知行为实验的素材容量对实验结果精度的影响, 从而探讨最佳的实验素材容量的确定问题。研究结果发现, 在IAT测验上, 相容与不相容任务的素材容量为50时最佳, 可靠性指数为0.92; 在图-词干扰范式中, 素材容量以48时为最佳, 可靠性指数为0.95; 对线索提示范式, 50%有效提示中, 有效与无效提示最佳素材容量为35, 可靠性指数是0.97。研究表明, 多元概化理论可以很好地用于确定认知行为实验中素材的最佳容量。     

基于概化理论的方差分量变异量估计

概化理论广泛应用于心理与教育测量实践中, 方差分量估计是进行概化理论分析的关键。方差分量估计受限于抽样, 需要对其变异量进行探讨。采用蒙特卡洛(Monte Carlo)数据模拟技术, 在正态分布下讨论不同方法对基于概化理论的方差分量变异量估计的影响。结果表明: Jackknife方法在方差分量变异量估计上不足取; 不采取Bootstrap方法的“分而治之”策略, 从总体上看, Traditional方法和有先验信息的MCMC方法在标准误及置信区间这两个变异量估计上优势明显。     

校正的Bootstrap方法对概化理论方差分量及其变异量估计的改善

Bootstrap方法是一种有放回的再抽样方法, 可用于概化理论的方差分量及其变异量估计。用Monte Carlo技术模拟四种分布数据, 分别是正态分布、二项分布、多项分布和偏态分布数据。基于p×i设计, 探讨校正的Bootstrap方法相对于未校正的Bootstrap方法, 是否改善了概化理论估计四种模拟分布数据的方差分量及其变异量。结果表明：跨越四种分布数据, 从整体到局部, 不论是“点估计”还是“变异量”估计, 校正的Bootstrap方法都要优于未校正的Bootstrap方法, 校正的Bootstrap方法改善了概化理论方差分量及其变异量估计。     

多元概化理论在评定量表编制中的作用——以音像教材测评数据分析为例

目前多元概化理论已开始在考试、评价领域得到应用,但是很少有研究者关注其对评定量表编制的作用.本文认为多元概化理论的G研究可以估计各种效应带来的变异,能够据此(1)考察评定量表各维度和总体信度;(2)确定评定量表各维度的权重;D研究可以评估各种测量方案的信度,能够据此(3)确定评定项目的数量.这三个方面都是编制评定量表必不可少的环节,本文采用音像教材的测评数据,用实证方法展示多元概化理论对评定量表编制的指导作用.     

大学生镜像书写及其机制探讨

本研究选择60名右利大学生(男女各半)为被试,在笔划水平上对十四种不同书写方式下快速书写时所出现的自发性镜像书写进行了研究。所有被试随机分为人数相等的实验、对照两组,组内男女各半。对实验组加以注意干扰。书写内容是十个阿拉伯数字(0—9)及十三个汉字组成的一句话。本研究结果表明:注意干扰、感觉的反馈调节,书写内容的特点是影响镜像书写出现的重要因素。作者在分析国内外有关镜像书写工作的基础上,进一步提出了“稳态系统”理论。     

研究生入学考试写作评分的概化理论研究与多面Rasch分析

为了评价和改进硕士研究生入学考试一般能力测试的写作评分,研究者采用概化理论和多面Rasch分析对113位考生的写作样本的评分误差来源、评分信度等进行了探讨.概化理论研究显示,评分者和题目对评分准确性影响不大,以两道写作题的考试设计而言,评分者为2人即可保证评分信度在0.75以上.多面Rasch分析显示,评分者宽严度的估计值及其误差均在可接受的范围内,评分者之间在宽严度上不存在显著差异,且评分者自身在评分时总体上比较稳定.但个别评分者在特定考生特定题目上表现出特殊偏向.概化理论和多面Rasch分析丰富了写作评分研究的量化指标,证实了硕士研究生入学考试一般能力测试的写作评分具有较高的信度.