概化理论方差分量估计的跨分布分析

方差分量估计是进行概化理论分析的关键。采用MonteCarlo模拟技术,探讨心理与教育测量数据分布对概化理论各种方法估计方差分量的影响。数据分布包括正态、二项和多项分布,估计方法包括Traditional、Jackknife、Bootstrap和MCMC方法。结果表明:(1)Traditional方法估计正态分布和多项分布数据的方差分量相对较好,估计二项分布数据需要校正,Jackknife方法准确地估计了三种分布数据的方差分量,校正的Bootstrap方法和有先验信息的MCMC方法(MCMCinf)估计三种分布数据的方差分量结果较好;(2)心理与教育测量数据分布对四种方法估计概化理论方差分量有影响,数据分布制约着各种方差分量估计方法性能的发挥,需要加以区分地使用。     

基于概化理论的方差分量变异量估计

概化理论广泛应用于心理与教育测量实践中, 方差分量估计是进行概化理论分析的关键。方差分量估计受限于抽样, 需要对其变异量进行探讨。采用蒙特卡洛(Monte Carlo)数据模拟技术, 在正态分布下讨论不同方法对基于概化理论的方差分量变异量估计的影响。结果表明: Jackknife方法在方差分量变异量估计上不足取; 不采取Bootstrap方法的“分而治之”策略, 从总体上看, Traditional方法和有先验信息的MCMC方法在标准误及置信区间这两个变异量估计上优势明显。     

考试评分缺失数据的概化理论分析

考试评分缺失数据较为常见,如何有效利用现有数据进行统计分析是个关键性问题。在考试评分中,题目与评分者对试卷得分的影响不容忽视。根据概化理论原理,按考试评分规则推导出含有缺失数据双侧面交叉设计（p×i×r）方差分量估计公式,用Matlab7.0软件模拟多组缺失数据,验证此公式的有效性。结果发现：（1）推导出的公式较为可靠,估计缺失数据的方差分量偏差相对较小,即便数据缺失率达到50％以上,公式仍能对方差分量进行较为准确地估计;（2）题目数量对概化理论缺失数据方差分量的估计影响最大,评分者次之,当题目和评价者数量分别为6和5时,公式能够趋于稳定地估计;（3）学生数量对各方差分量的估计影响较小,无论是小规模考试还是大规模考试,概化理论估计缺失数据的多个方差分量结果相差不大。     

校正的Bootstrap方法对概化理论方差分量及其变异量估计的改善

Bootstrap方法是一种有放回的再抽样方法, 可用于概化理论的方差分量及其变异量估计。用Monte Carlo技术模拟四种分布数据, 分别是正态分布、二项分布、多项分布和偏态分布数据。基于p×i设计, 探讨校正的Bootstrap方法相对于未校正的Bootstrap方法, 是否改善了概化理论估计四种模拟分布数据的方差分量及其变异量。结果表明：跨越四种分布数据, 从整体到局部, 不论是“点估计”还是“变异量”估计, 校正的Bootstrap方法都要优于未校正的Bootstrap方法, 校正的Bootstrap方法改善了概化理论方差分量及其变异量估计。     

概化理论方差分量及其变异量估计:跨分布的模拟研究

为考察概化理论中方差分量及其变异量估计的准确性,采用模拟研究的方法,探究Traditional法、Jackknife法、Bootstrap法和MCMC法在p×i×h和p×(i:h)2种双侧面设计和正态、二项、多项、偏态分布4种数据类型下的表现。结果显示:(1)4种方法均能准确估计方差分量;(2)估计方差分量的标准误时,若数据正态分布,Traditional法最优,非正态分布时Bootstrap法最优;(3)估计方差分量的90%置信区间时,Bootstrap法在不同分布的数据下表现稳定,但容易受到侧面水平数的影响。综合来说,若数据呈正态分布,建议选用Traditional法; 若数据呈非正态分布,建议选用Bootstrap法。     

概化理论G研究方差分量及其变异量估计影响因素

概化理论是关于行为测量可靠性的统计理论。G研究是进行概化理论分析的关键步骤,其主要目的是进行方差分量及其变异量估计。总结了影响概化理论G研究方差分量及其变异量估计的多种因素,包括估计方法、数据分布、研究设计、样本容量、模型效应和数据形态等,并指出了相关研究存在的六方面不足,如缺乏估计方法的综合比较、较少考察非正态分布数据、较少考虑不平衡或缺失数据等。     

非正态分布下概化理论方差分量变异量估计

方差分量估计是概化理论的必用技术,但受限于抽样,需要对其变异量进行探讨。采用Monte Carlo数据模拟技术,探讨非正态数据分布对四种方法估计概化理论方差分量变异量的影响。结果表明：（1）不同非正态数据分布下,各种估计方法的“性能”表现出差异性;（2）数据分布对方差分量变异量估计有影响,适合于非正态分布数据的方差分量变异量估计方法不一定适合于正态分布数据。     

用结构方程建模(SEM)估计概化理论(GT)中的评分者信度

评分者的信度分析 ,已从经典测量理论的方法 (Kendall和谐系数 )发展为基于现代测量理论 (如GT)的方法 ,但由于GT中方差分量估计的工具和途径有限 ,使该方法的推广受到限制。本文介绍了结构方程建模 (SEM )估计GT中方差分量的必要性及原理 ,并通过对某省直国家机关公务员录用考试结构化面试的评分者信度分析 ,阐述用SEM估计概化理论中不同设计下的评分者信度研究     

在GLMM框架下统一GT与IRT

本文首次提出使用广义线性混合模型(Generalized Linear Mixed Model, GLMM)对概化理论(GT)和项目反应理论(IRT)进行统合,即在一次统计中就能同时获得GT和IRT所需要的估计结果。模拟研究结果显示：相比于传统的GT方差分量估计方法——期望均值平方(Expected Mean Squares, EMS),GLMM可以获得更准确的方差分量、G系数和Φ系数,而且GLMM获得的题目难度参数估计精度优于传统Rasch模型。实证研究展示GLMM在实际心理测量数据分析中的应用。     

不同参数分布形态下GIRM方法和传统GT方法的对比研究

GIRM(Generalizability in Item Response Modeling)是一种将概化理论GT和项目反应理论IRT相结合后计算概化理论中方差分量的一种方法.当GIRM方法下θp和βi的抽样分布与GIRM方法中的MCMC先验分布一致时,GIRM方法对方差分量估计具有较高的准确性.为了进一步检验GIRM方法对IRT参数分布形态的敏感性,研究在将MCMC先验分布固定的情况下,探讨不同IRT参数分布形态下GIRM方法的适用性,并将所得结果与传统GT方法相比较.结果表明:(1)在各种参数分布形态下,采用GIRM方法估计IRT模型的参数是可行的;(2)GIRM方法在被试能力参数为标准正态分布时对σ2(p)估计的准确性高于传统GT方法,但在均匀分布和偏态分布下略差于传统GT方法;(3) GIRM方法在题目难度参数为偏态分布情况下对σ2(i)的估计准确性显著差于传统GT方法;(4)两种方法对于σ2(pie)估计的准确性在任何参数分布形态下都大致相当,优劣并无统一规律.     

用多元概化理论对普通话的测试

用多元概化理论 (MGT)研究了国家语委编制的普通话测验。在G研究中 ,利用香港人普通话测试的数据 ,估计了引起分数变异的各种来源的方差与协方差分量。在D研究中 ,首先估计了该测验 3个部分的全域分数和各自的概化系数等技术指标 ,然后估计了全域合成分数及其概化系数、信噪比等指标。结果表明 ,该测验的信度从总体上讲是较高的 ,把三个部分的全域分数进行合成也是合理的 ,但从细节上看其第 3部分的信度较低。另外 ,当评分者个数为 3、试题数量为 2 8时 ,测验的第 1、2部分的信度已经较高 ,因此 ,在实测时减少这两部分的题量并不会有太大问题     

The measurement of reliability of social relations components from round‐robin designs

The social relations model (SRM) is a useful tool for measuring relationship effects, defined as the unique perceptions or behaviors of 2 people. The sources of variance in SRM studies are persons (actors and partners), groups, and items; the relationship effect is defined as the actor–partner interaction. By removing variance because of persons and groups, a measure of a “pure” relationship effect is obtained. In this article, generalizability theory (G Theory) is applied to estimate the reliability of SRM components from round‐robin data structures. Using G Theory, reliability formulas for actor, partner, group, and relationship are developed and interpretations for the reliability estimates are provided. The authors also discuss how these formulas can be used in both planning and interpreting results from relationship research.     

Analyzing Consensus to Personality Judgments: A Variance Components Approach

ABSTRACT Although peer raters of personality traits do tend to agree, the strength of their consensus is often modest. This article focuses on methods for analyzing determinants of consensus. Variance components methods adapted from generalizability theory have some untapped potential for understanding gradations in consensus. The methods allow explicit analysis of how social categories of targets might affect judgments of raters from the same or different social categories. Limitations of the variance components approach are also discussed. The methods are illustrated with artificial data.     

概化理论不同评分方案缺失数据方差分量估计

包含评分者侧面的测验通常不符合任意一种概化理论设计,因此从概化理论的角度来看这类测验下的数据应属于缺失数据,而决定缺失结构的就是测验的评分方案。用R软件模拟出三种评分方案下的数据,并比较传统法、评价法和拆分法在各评分方案下的估计效果,结果表明：（1）传统法估计准确性较差;（2）评分者一致性较高时,适宜用评价法进行估计;（3）拆分法的估计结果最准确,仅在固定评分者评分方案下需注意评分者与考生数量之比,该比值小于等于0.0047 时估计结果较为准确。