大五人格测验在中国应用的信度概化分析

对过去20年(1994~2013年)间国内有关大五人格测验的研究文献进行信度概化分析。结果表明:(1)检索到的文献中约68.15%存在"信度引入"现象;(2)未加权估计中,A和O的均值最低,N和C的均值最高,国内所得结果均略低于国外(O除外),而后者的变异性略大(E除外);采用α系数效果量方法,在随机效应模型中,N的估计值最高,O和A的估计值最低;(3)回归分析显示,分数均值、量表来源和南北地域差异是N维度信度的预测变量;量表来源、文章专业类型、测验版本和测验记分对E维度信度具有预测作用;样本量、文章专业类型和量表来源是O维度信度的预测变量;量表来源、文章专业类型、项目数和样本类型对A维度信度具有预测作用;量表来源、项目数、文章专业类型和测验记分是C维度信度的预测变量。     

表现性评价中评分者信度估计方法的比较研究--从相关法、百分比法到概化理论

随着素质教育的推进．表现性评价受到越来越多的重视。影响表现性评价结果信度的一个重要因素是评分者之间的不一致。文章使用模拟数据,在对比评分者一致性的相关法、一致性百分比法和概化系数等各种估计方法的基础上,提出概化理论在表现性评价中评分者信度问题上的应用是理论和实践发展的有益方向。     

一个基于综合印象评分法的作文分事后调整模型

对大学英语四、六级考试作文评分进行了详细的描述,重点介绍了作文分的事后调整的原理和方法,并且给出了一个基于线性等值原理的数学推导。认为其数学模型主要是一个运用了“极大似然估计法”和“正态分”概念的统计模型。“评分标准的制定”、“用参照样卷来校准阅卷员对作文评分标准的掌握尺度”以及“阅卷员的培训和考核”构成了大学英语四、六级考试作文信度的基石;而作文分调整中基于“随机分发作文卷”、“客观题分数与作文分相关”以及“评分前后一致性”的统计方法则对出现系统性误差的阅卷员的评分结果进行了事后的校正。还提出如果拥有往次考试总体作文分均值数据,使用“加权移动平均法”可以实现对作文分的跨考次平衡。     

质性研究中编码者信度的多种方法考察

质性研究中检验编码者信度的方法有归类一致性指数、编码信度系数、相关系数、中位数检验、概化系数等。基于教师胜任力访谈数据集,对编码者信度考察结果表明,归类一致性指数和编码信度系数受相同编码数影响而不稳定,相关系数受数据类型制约,中位数检验受研究设计影响,概化系数则受编码者和编码项目的数量影响。研究中须合理选用。     

《中国大学生心理健康量表》的编制

本研究在文献研究、咨询案例分析、专家访谈和讨论、开放式问卷调查的基础上,采用实证法,编制了大学生心理健康量表,制定了全国大学生常模,并对其信度和效度进行了检验。结果表明:该量表具有良好的信度与效度,可以用于我国大学生心理健康水平的的检测。     

《中国大学生人格量表》的编制*

在建立中国人人格大七结构模型以及成熟的人格量表基础上,本研究通过实证研究建立了适用于大学生群体的人格量表。统计结果表明,由68个项目、7个维度构成的中国大学生人格量表(CCSPS)与中国人人格的7因素模型有着良好的拟合,而且信度和效度检验均符合心理测量学要求;此外,在55098名被试上建立了CC-SPS的常模。研究结果表明CCSPS针对中国大学生群体可靠的人格测量工具。     

对文件筐测验(I-B)在选拔高层经理人员中的实证研究

以中国联通辽宁省分公司地市级副总经理选拔中收集到的数据,通过尝试采用文件筐测验的新型计分技术,分析研究了文件筐测验的信度和敛度。结果表明,新型计分技术可以有效改进传统计分技术的一些缺点,体现了文件筐测验未来的计分发展方向;新型计分技术基础上的评分一致性信度较高;在与由笔试、结构化面试和无领导小组讨论综合确定的选拔结果的比较中,文件筐测验获得了较高的同时效度。同时．研究也对文件筐测验结构效度方面存在的问题进行了分析,并对文件筐测验的进一步研究提出了建议。     

Psychometric properties of the mobility inventory for agoraphobia: convergent, discriminant, and criterion-related validity

Aims of this study were (a) to summarize the psychometric literature on the Mobility Inventory for Agoraphobia (MIA), (b) to examine the convergent and discriminant validity of the MIA's Avoidance Alone and Avoidance Accompanied rating scales relative to clinical severity ratings of anxiety disorders from the Anxiety Disorders Interview Schedule (ADIS), and (c) to establish a cutoff score indicative of interviewers’ diagnosis of agoraphobia for the Avoidance Alone scale. A meta-analytic synthesis of 10 published studies yielded positive evidence for internal consistency and convergent and discriminant validity of the scales. Participants in the present study were 129 people with a diagnosis of panic disorder. Internal consistency was excellent for this sample, α = .95 for AAC and .96 for AAL. When the MIA scales were correlated with interviewer ratings, evidence for convergent and discriminant validity for AAL was strong (convergent r with agoraphobia severity ratings = .63 vs. discriminant rs of .10–.29 for other anxiety disorders) and more modest but still positive for AAC (.54 vs. .01–.37). Receiver operating curve analysis indicated that the optimal operating point for AAL as an indicator of ADIS agoraphobia diagnosis was 1.61, which yielded sensitivity of .87 and specificity of .73.     

Is Originality in the Eye of the Beholder? Comparison of Scoring Techniques in the Assessment of Divergent Thinking

Divergent thinking (DT) tests are among the most popular techniques for measuring creativity. However, the validity evidence for DT tests, as applied in educational settings, is inconsistent partly due to different scoring methods. This study explored the reliability and validity issues of various techniques for administering and scoring two DT tests. Results show distinct differences among several methods for scoring these DT tests and suggest that the percentage scoring method (i.e., dividing originality scores by fluency scores) may be the most appropriate scoring strategy. The potential impact on educational research and practice is discussed in detail.