人事测评论文

《人事测评论文》由会员分享，可在线阅读，更多相关《人事测评论文（3页珍藏版）》请在装配图网上搜索。

1、无领导小组讨论的多侧面Rasch模型应用摘要：无领导小组讨论(Leaderless Group Discussion, LGD)是组织招聘使 用频率较高的测评方法。据统计，无领导小组讨论在国外的评价中心技术中使用 率为59%,而在国内的使用率则达到85%。其评分偏差易受维度、测题、评分标准、 统计信效度、评委因素等设计与实施的影响。针对如何准确衡量测评组织者的测评有效性这个问题，本研究对某大学77 名被试进行了 LGD测评，测评结果用编号1-77表示。评委由6人组成，其中评委A、 B、C经评分培训(培训包括了各种评分误差现象的授课说明及试评)，而评委D、 E、F未培训。所有评委与被试互不相识，

2、评委组织被试参加测评，并根据被试 表现对语言表达能力、分析归纳能力、组织协调能力、应变与压力承受能力、行 为表现及风度五维度实行10点量表评分。采用项目反应理论(IRT)的多侧面Rasch模型(MFRM),分析评价中心技术中无 领导小组讨论(LGD)的测评结果，探讨被试能力水平、评委评分宽严度、评分内 部一致性、维度难度和评定等级等问题，进而讨论各种偏差。通过MFR M分析人事 测评结果，可深入了解被试能力的真实差异、甄别维度难度、探查测评误差源， 从而完善测评试题编制、评估或诊断评委合格性、提高测评维度与测评目的匹配 性，为拓展项目反应理论在人事测评中的应用提供独特视角。关键词：无领导小组讨

3、论；多侧面Rasch模型；项目反应理论；人事测评一、研究背景及意义由于无领导小组讨论的评分偏差受多方面因素的影响，且以往大量关于LGD 测评的实证研究侧重使用CTT方法，到目前为止还较少有研究应用M FRM分析LGD实 证的偏差问题，因此本研究将MFRM引入LGD测评分析，一方面拓宽LGD测评统计研 究的局限性，进一步检验M FRM的合理性，另一方面为深化评价中心技术的多种测 评研究提供更广泛的参考价值。二、研究方法本研究对某大学77名被试进行了 LGD测评，测评结果用编号1-77表示。所有 被试随机分为11组，每组7人,评委由6人组成，其中评委A、B、C经评分培训(培训 包括了各种评分误差现

4、象的授课说明及试评)，而评委D、E、F未培训。所有评委 与被试互不相识，评委组织被试参加测评，并根据被试表现对语言表达能力、分 析归纳能力、组织协调能力、应变与压力承受能力、行为表现及风度五维度实行 10点量表评分。采用MFRM的计算机统计程序FACETS软件，该软件由Linacre编制，版本 为3.70.1。研究建构被试、评委和评分维度三个侧面。每个输出侧面(Face ts) 结果包括观测平均值(Obsvd Average)、符合度统计量(Fit Stat is tics)等统计 指标，其中符合度统计量分为加权拟合统计量(Infit)和未加权拟合统计量 (Outfit)。通过这些指标考察被试

5、能力值、评委评分宽严度、评分内部一致性、 维度难度和评定等级，并具体探讨各种偏差。三、结果分析1、被试能力的结果分析有研究认为Infit在0.51.5(Linacre, 2012)为可接受范围，但更精确的Infit 值域为0.8-1.2。可接受范围越窄越能体现测评的规则性和权威度，并增强测评 者对各侧面的监控力度。当Infit大于1.2为非拟合,评委评分明显大于模型预测 值，评分一致性差；相反,Infit小于0.8为过度拟合,即评委评分明显小于模型预 测值，评分过于一致,并未区分不同的评分等级。经MFRM分析,77名被试的能力值范围是2.72 Logits至4.58 Logits,平均能力为

6、0.46 Logits。被试能力的Infit值高于1.2的有21名，占总被试的27%，表明不同评 委对这21名被试评分各有差异，评分有偏差；Infit值低于0.5的有34名，占总 被试的44%,表明这些评委对其评分过于一致，需要校正某些异常分数。分隔指数 为7.46,分隔信度为0.98,表明被试能力水平存在显著差异。2、评委宽严度和评分内部一致性结果分析宽严度数值越高,代表评委评分严格;反之，评委评分宽松。6位评委的宽严度 跨度为1.57Logits,其中评委C最严格，宽严度为0.65Logits;评委E最宽松，宽严 度为-0.92 Logits;评委D的宽严度低于0,说明其评分也偏宽松。其中

7、培训组的评 委A、B、C之间的宽严度跨度为0.22Logits,而未培训组的评委D、E、F之间的宽 严度跨度为1.08 Logits。评分差距较未培训组评委评分差距小，这在一定程度上 反映培训组评委评分较为一致，表明培训作用显著。评委C的Infit值小于0. 8,该评委对各被试的评分小于模型预期数值，说明 该评委采取保守策略，不轻易评定高分，呈现过度一致性；而评委F的Infi t值为 1.60,该评委评分超过模型预期的变化幅度，其内部一致性较低。而其他的评委 Infit值为0.840.99,表明内部一致性较好，即他们对自身宽严度标准掌握较 好。3、各维度评分结果分析维度评分结果表明被试维度难度

8、。组织协调能力难度最大，行为表现及风度 难度最小。Infit值显示所有维度大致吻合模型期望，只有语言表达能力略低于 0&仍在可接受范围。对维度难度进行卡方检验，结果表明，x 2(4)=324.0, p0.01,即不同维度难度存在显著差异。4、评定等级分析评委们并未使用第10等级，同时大多数评委过分使用第48等级。其中评分 为第6等级的次数最多，第5等级次之,可见评委评分呈现一定的集中趋势。能力 值随评定等级增加而提高说明6位评委评分大致给予与被试能力相符的分数，评 分准确度较高。由评定等级变化概率曲线图可知，等级2和3没有明显划分的独立峰值，且等 级13与等级47峰值接近。5、偏差分析5.1评

9、委与被试的偏差分析经汇总，评委与被试偏差显著次数为79次,约占462个交互作用组合的17%, 其中正负向的偏差各占50%。统计结果表明各评委都发生评分偏差，其中评委F发 生评分显著偏差次数最多,共发生了21次显著偏差，占所有偏差总数的26.6%。5.2评委与维度的偏差分析评委与维度的显著次数为9次，约占30个交互，作用组合的30%。评委C对维度 评分没有发生显著偏差，评委E评价组织协调能力和行为表现及风度维度显著偏 宽,培训组A、B、C评委发生偏差的次数仅占2/9。偏差次数最多的维度是组织协 调能力，说明评委在此维度容易出现评分偏差。5.3评委、被试与维度的偏差分析异常分数只出现于对个别被试个

10、别维度的评定，可见评分总体上较合理。其 中异常分数较多出现在对被试组织协调能力、应变与压力承受能力、行为表现及 风度的判断。所有被试中,评委对51号被试评分异常分数最多。另外，统计所有评 委评分异常分数发现评委F评分异常次数最多,而培训组评委A、B、C异常分数少 甚至没有。四、讨论本研究运用MFRM模型分析无领导小组讨论数据，利用F ACETS软件将被试、评委、 维度三个侧面置于共同的Log its量尺上，在分离各侧面之间的相互作用情况下单 独获得被试的能力、评委宽严度、评分内部一致性和维度难度的估算值,使被试 能力值独立于评委各种偏差和维度难度，更接近真实能力。1、同一能力水平的被试，会因评

11、委界定评分标准的特异性而获得差异悬殊的分 数。2、评委因素影响评分，评委在不同的环境会表现各种偏差；评委宽严度在一定程 度影响被试得分,评委越严厉，被试获得高分的可能性则越低；评分内部一致 性是衡量同一评委对所有被试评分稳定性的指标；结果还发现培训组的评委 宽严度比未培训组评委宽严度集中，表明了培训的有效性。3、组织协调能力估计的难度最大，行为表现及风度维度估计难度最小。不同维度 难度差异显著说明维度难度设置能较好地区分被试的能力,展示不同被试的行为 和能力差异。五、结论目前大多数评价中心测评的理论和实践研究多基于经典测量理论，本研究应 用项目反应理论的多侧面Rasch模型,对无领导小组讨论测

12、评中被试能力值的真 实水平、评委宽严度和评分内部一致性、测评维度的难度与评定等级等特征进入 更深入、细致的分析，探讨被试能力水平值差异、评委有效性、测评维度差异及 各种偏差情况，并提出相应的应对措施。研究结果表明项目反应理论在研究评价 中心的主观性测评具有优势，本研究可推广到评价中心技术其他测评形式研究和 应用。参考文献：1 边文霞.人力资源管理.人事测评技术20142 卞冉，高钦，车宏生.评价中心的构想效度谜题:测量维度还是活动？心理科学 进展，(2013). 21(2), 358 - 3713 何广陵，袁翎.(1998).选拔人才的一种有效方法“无领导小组讨论”. 中国公务员，(2), 334 郭朝晖.(2011).无领导小组讨论，如何检验评委可信度. 中国人才，(5), 55 - 57.