结构化面试中的评分一致性问题初探

面试由于其直观、灵活的方式及良好的效度而被广泛应用于各类组织机构的人员招聘与录用中。但在多个评分员对一个应试者的面试中 ,评分员间的评分一致性问题是一个关键问题。本文以中央国家机关某部二组评分员对应试者的评分为研究对象 ,对国家公务员录用考试结构化面试中的评分员评分一致性问题进行了初步的探讨与分析。得到的结论如下 :1 .从总体上看 ,两组评分员的成员间在对应聘同一职位的不同应试者的评分在评分标准上是基本一致的 ;2 .不同的评分维度 (测评要素 )对评分员的评分一致性有不同的影响 ;3 .应试者在面试时的表现也会影响评分员的评分一致性 ;4.评分员有关面试的知识和经验水平对评分一致性也有重要的影响。     

胜任特征模型评价的一致性研究

本研究通过比较评价者内部和评价者之间对军事指挥院校学员胜任特征评价的一致性,探讨应用胜任特征模型进行评价时,其评价结果的一致性问题。结果表明：(1)应用胜任特征模型进行评价时,来自同一个评价源的评价者之间和来自不同评价源的评价者之间均具有较好的评价一致性;(2)同事评价者之间对胜任特征评价的一致性高于上级评价者之间评价的一致性;(3)评价者内部一致性越高,并不能改善评价者间的一致性;(4)胜任特征模型在不同的情景中应用时具有较好的稳定性。     

评分者内部一致性的研究和应用

在行为科学的研究和实践中,研究者常常需要将个体层次的评价,整合到群体层次的评价,对于这种自下而上整合模式的一致性问题,国内一些学者常常错误地使用评分者内部信度作为评分者内部一致性的指标。评分者内部一致性和评分者内部信度不仅在理论基础上存在差异,而且在实践中也存在前者很高(或很低),而后者却很低(或很高)的不一致情况。文章阐述了学术界对评分一致性这一问题的提出、争论和取得一致观点的发展脉络,以期学者们对这一问题能够有深入的思索,避免在今后的研究中出现类似的错误。     

大学生职业决策自我效能测评的研究

本研究参照Betz和Taylor"职业生涯决策自我效能量表",依据对学生进行的访谈资料和学生开放式问卷调查结果,编制出"大学生职业决策自我效能量表".本研究抽取武汉地区14所大学30个专业1000名毕业年级的大学生作为研究样本,进行正式施测.统计分析结果表明(1)该量表的项目特性良好;(2)该量表都具有较好的内部一致性信度;(3)该量表均具有较强的辨别效度;(4)该量表作为整体判断使用较好.     

等级反应多水平侧面模型及其在主观题评分中的应用

探讨了康春花,孙小坚和曾平飞(2016)提出的等级反应多水平侧面模型(GR-MLFM)在包含被试及评分者层面预测变量(完整模型)下的返真性和适用性。结果表明:(1)GR-MLFM完整模型具有逻辑上和数理上的合理性,可用于主观题的评分情境,能较好地检测出评分者效应、影响因素及其影响程度;(2)在数学问题解决的评分实践中,评分员存在两种类型的评分倾向(宽松和严格效应),但绝大多数评分员的宽严度不明显;评分者的责任心可正向预测其严格程度,自信心可正向预测其宽松程度,而情绪稳定性和评分经验的预测作用不显著。     

内隐完美主义效应及其与外显完美主义的关系

研究运用内隐联想测验对内隐完美主义进行了测验研究,同时用结构方程模型对内隐完美主义与外显完美主义的关系进行了探讨,结果表明:(1)内隐完美主义效应是存在的,个体无意识中有一种追求完美的倾向;(2)内隐完美主义测验的内部一致性比较高;(3)内隐完美主义和外显完美主义是相对独立的结构.     

评价中心测评的评分误差分析研究

本研究应用概化理论对评价中心中的评分误差控制问题进行了系统的分析探讨,得出了以下研究结论：(1)总体上,在评价中心(以LGD为例)测评中,评价员对研究设计的测评维度的评分基本反映了被试的真实能力水平,测量误差较小;(2)评价员对合作能力、应变能力和总体印象等维度的评价标准的理解具有较高的一致性,但对决策能力等维度的评价标准的理解存在一定的偏差;(3)在评价中心(以LGD为例)测评中,采用4名评价员能达到预期的测量目标,符合测评应用的经济性、有效性原则。     

大学生学习责任心问卷的编制

目的:编制大学生学习责任心问卷。方法:通过访谈和开放式问卷调查法,编制了大学生学习责任心问卷,并对其进行探索性因素分析和验证性因素分析。结果:(1)探索性因素分析表明:大学生的学习责任心由学习责任认知、学习责任情感、学习责任意志、学习责任动机、学生角色责任行为以及学生能力责任行为6个维度组成;(2)验证性因素分析表明:所提取的6个维度与构想的模型拟合较好,该问卷具有较好的结构效度。(3)问卷的内部一致性系数为0.917,各维度的内部一致性系数在0.712~0.850之间;问卷的分半信度为0.808,各维度的分半信度在0.607~0.845之间。结论:大学生学习责任心问卷具有较好的信度和效度,可作为测量大学生学习责任心的有效工具。     

职业经理人素质测评系统研究

在职业经理人素质结构理论模型的基础上,研制了职业经理人素质测评系统。对486名被试进行了测试．统计分析的结果表明：(1)81,3％的测验项目其区分度在O．30以上,显示出了良好的鉴别力;(2)重测信度、内在一致性信度系数表现都较好;(3)内容效度、结构效度和实证效度都较好;(4)验证性因素分析表明,由基本潜能、核心能力及个性构成的职业经理人素质结构模型与实测数据拟合良好;(5)在实际经营管理活动中表现水平不同的被试的测验结果具有显著性差异。     

非参数认知诊断方法:多级评分的聚类分析

基于属性合分和聚类分析的思想提出了适用于多级评分的聚类分析方法,同时探讨了属性层次结构、样本容量和失误率对该方法判准率的影响。研究发现:(1)该方法在各种试验情境下均有较高的模式判准率和边际判准率;(2)判准率不依赖样本容量的大小,使其可适用于小型测评及课堂评估;(3)判准率受属性层次紧密度影响较小;(4)该方法在实践情境中表现出较好的内外部效度。     

不同情绪诱导条件下的自我参照效应

结合心境一致性效应和自我参照效应的经典研究范式,以情绪形容词作为学习材料,考察了情绪诱导对自我参照效应的影响。研究结果表明:(1)词的正负性对无意记忆的效果存在影响;(2)情绪形容词作为学习材料,可以引起自我参照效应;(3)情绪诱导状态影响后续的记忆加工,存在心境一致性效应;(4)情绪诱导对相异情绪特性的情绪形容词的自我参照加工均具有抑制作用。     

大学生的恋爱宽恕:问卷编制与特点研究

为编制大学生恋爱宽恕问卷并对大学生恋爱宽恕的特点进行研究,采用自编初始问卷对上海某高校的213名在校大学生进行预测,利用完善后的正式问卷对上海和南京两地的556名在校大学生展开正式施测,通过项目分析、探索性因素分析、相关分析、信效度分析等方法对数据进行处理,并利用编制的问卷对大学生的恋爱宽恕特点进行研究。结果显示:(1)编制的《大学生恋爱宽恕问卷》包含报复、回避、宽恕和消极沉思四个维度,可以解释方差总变异的69.08%;(2)内部一致性系数、分半信度、重测信度、结构效度和外部效度均显示编制的问卷具有良好的信效度指标;(3)编制的问卷能够较好地契合宽恕的定义;(4)大学生恋爱宽恕存在性别差异,其中女大学生的宽恕倾向高于男生;(5)面对恋爱中的伤害,中国大学生更多地采用消极深思的应对方式,而较少采用报复的方式。可见,大学生恋爱宽恕问卷信效度均达到了测量学的要求,中国大学生的恋爱宽恕与西方有所不同。     

概化理论在作文评分中的应用研究

概化理论是现代心理测量理论之一,该文简要地介绍了该理论的基本思想并用此理论对作文评分的误差控制问题进行了应用性探讨。研究中请６位评分员对２０名学生每人三种文体的作文用分项评分法进行评定。然后用ＧＥＮＯＶＡ软件的估计了作文评分中的评分员效应和题目效应,并对各种误差构成进行了分析比较。结果表明：在作文评分中,评分员勺最大,题目效应不明显。同时还发现,不同文体对评分误差有重要影响。论文文的评分误差最大,     

LP方法及其与三种常用DIF检测方法的比较

本研究基于项目反应理论,提出了一种检验力高且犯Ⅰ类错误率小的检测DIF的新方法：LP法（Likelihood Procedure）,且以2PLM下对题目进行DIF检验为例介绍此法。本文通过与MH方法、Lord卡方检验法和Raju面积测量法三种常用的检验DIF的方法比较研究LP法的有效性,同时探讨样本容量、测验长度、目标组和参照组能力分布的差异、DIF值大小等相关因素对LP法有效性可能产生的影响。通过模拟研究,得到以下结论：(1)LP法比MH法及Lord卡方法更灵敏且更稳健;(2) LP法比Raju面积测量法更合理;(3)LP法的检验力随着被试样本容量或DIF值的增大而增大;（4）当参照组与目标组的能力无差异时,LP法在各种条件下的检验力比参照组与目标组的能力有差异时的检验力高;（5）LP法对一致性DIF和非一致性DIF都有良好的检验力,且LP法对一致性DIF的检验力比对非一致性DIF的检验力高。LP法可以简便的扩展并运用到多维度、多级评分项目上。     

小学儿童社会创造性的内部一致性及其领域特征

随机选取194名3-6年级小学儿童,采用生活情境访谈、《创造性思维测验》和《威廉斯创造力倾向测验》,考察小学儿童社会创造性的内部一致性及其与一般创造性思维和创造性人格倾向的关系。结果发现:(1)儿童的社会创造性具有较高的内部一致性;(2)社会创造性的独创性、流畅性、变通性、好奇性、挑战性、冒险性与一般的独创性、流畅性、挑战性倾向均呈显著正相关;(3)典型相关分析表明,社会创造性中的流畅性、变通性等与一般创造性思维,社会创造性中的好奇性、挑战性、冒险性等与一般的创造性人格倾向具有稳定的对应关系,适当性和有效性可能是社会创造性的特殊成分。     

企业高层管理者胜任特征模型评价的研究

该文采用BEI行为事件访谈技术探讨了我国通信业高层管理者的胜任特征模型 ,研究结果表明 :(1)优秀组与普通组在访谈字数的长度上无明显差异 ,而胜任特征编码的频次与访谈长度上有显著性相关 ,编码指标采用平均分数具有更好的稳定性 ;(2 )采用概化理论计算不同编码者的编码一致性 ,结果表明 ,胜任特征评价法具有较好的编码者一致性 ;(3)效标群体的分析结果证实 ,我国通信业高层管理者的胜任特征模型包括 :影响力、组织承诺、信息寻求、成就欲、团队领导、人际洞察力、主动性、客户服务意识、自信和发展他人     

大学生心理压力应对方式特点的研究

本研究采用自编的大学生压力应对方式闯卷,考察了全国各地2007名大学生心理压力应对方式的特点。结果表明：(1)大学生压力应对方式问卷具有良好的内容效度和预测能力,内部一致性和测量稳定性理想;(2)大学生的压力应对方式总体上以心理调节机制为主,自我防御和外部疏导机制使用较少;(3)在压力的应对方式上,大一学生以外部求助、压抑、幻想和调整情绪方式为主,大二、大三学生以自我防御方式和总结经验为主,大四学生则较多采用心理调节机制的方式;(4)女生的应对方式比男生更积极,农村来源的大学生倾向于压抑自己和总结经验,城市来源的学生更喜欢宣泄压力,独生子女的应对方式以消极防御机制居多。     

幼儿教师胜任力研究之二:情景判断测验的编制

采用行为事件访谈获得幼儿教师工作事件,通过开放式调查获得教师对这些事件的真实行为反应,并采用德尔菲法对事件和行为反应进行筛选,经验证性因素分析,最终得到由34个情景共103个行为反应项的幼儿教师胜任力情景判断测验。测验的信、效度检验表明:(1)测验各维度的内部一致性信度在0.72~0.85之间,全测验为0.95;(2)验证性因素分析表明测验的结构效度符合测量学要求,效标关联效度交叉验证表明,测验具有较好的效标关联效度。     

高中生内隐、外显成就动机与学业拖延的关系

采用内隐联想测验和问卷法探讨高中生内隐、外显成就动机与学业拖延的关系。结果表明:(1)内隐、外显成就动机是相互独立的动机系统,但两者以显著的交互作用共同影响学业拖延;(2)不同动机组合的学生,拖延情况有显著差异:高内隐、高外显组的拖延最少,高内隐、低外显组的拖延最多;(3)动机越不一致,拖延越严重,动机一致性能够减少拖延;(4)成绩中等偏下的学生在学习过程的补救和总结上有更多的拖延。因此,学生只有具备了高内隐、高外显的一致性动机,才会出现最少的拖延。     

自上而下注意控制的脑成像研究进展

自上而下的注意控制是调节人类各种认知活动的一种重要执行功能,本文从三个方面总结了该领域内脑成像研究的新进展：(1)自上而下注意控制的脑机制;(2)不同种类的注意控制脑机制的一致性;(3)自上而下的注意控制对其它皮层中神经活动的影响。