在线咨询
电话咨询
微信咨询
TOP

“你家的测评测得准不准啊?”

作者:益才    发布时间:2022-08-15

最近,接到一个HR小姐姐的电话咨询,“我们公司下半年计划做干部人才盘点,计划采购第三方人才素质测评工具,你们家的测评准不准啊。。。。。。?”

已经八月,上海还是烈日炎炎,闷热的还是像“蒸桑拿”。而不少企业都紧锣密鼓地进入了年终人才盘点的倒计时,人才测评作为识别人才的重要工具自然不会缺席,但是,你真的了解测评吗?

相信很多HR小伙伴们都用过人才测评。有些人测完,看完测评报告觉得很符合自己,测的很准啊,有些人却觉得太不靠谱了。为什么同样是测评,大家对它的看法如此极端化?

现在,益才咨询顾问从以下几个方面跟你谈谈。

  • 测验是怎么编制的?

  • 什么是测验的效度?

  • 什么会影响测验的准确性?

  • 图片


图片

一、测验是怎么编制的?

伴随着人才测评被广泛运用,人才测评的方法和技术也在不断创新。在人才测评的各项方法和技术中,心理测验因其科学性、客观性、标准性、经济性、高效性等诸多优点,始终担任着重要的角色。

图片


当然,只有一个设计良好的,拥有足够的信度和效度的测验,其测量的结果才有意义。那么,在心理测验在开发和应用的过程中如何确保测验的信度和效度就成了一个大问题。你正在使用的测试其结果准不准?

通常而言,益才咨询心理测验的编制大致流程:理论模型建构à行为样本收集à题本编制à试测à项目分析与修订à再测à结果验证à常模编制à量表优化等诸多流程,并通过对收集到的大量的数据进行统计分析,以检验测验的心理测量学指标是否符合设定的要求。

图片


心理测验量表的建构首先需要有理论基础作为支撑,例如目前很多人格测验的编制是基于大五人格理论的。有了理论建构,就相当于确定了心理测验的开发方向。接下来就需要为心理测验所包括的各个维度收集行为样本资料,以为编写测验项目提供素材。

测验项目编制好后,就需要通过试测来收集初始量表的测量数据。有了试测的数据,就可以进行项目分析,以筛选出符合要求的测验项目,形成正式量表。

正式量表确定后,还需进行大规模的测试,通过对获取的数据进行统计分析,以验证量表的理论结构,并制定量表的常模。

完成以上步骤后,一个心理测验量表才算编制告一段落。随着测评数据的不断积累,益才咨询顾问会根据测验数据对量表进行持续优化,优化更新常模,不断提高量表的信效度。

图片



二、什么是测验的效度?

什么是效度,效度(Validity)是指测验有效地测量到其所要测量的目标的程度。因此,效度是衡量测验准确性的指标。每个测验根据一定的目的都会提出相应的测量目标,最后的测验结果能否准确地测出所要测的目标是测验组织者最关心的问题,也是衡量测验有效性的主要依据。

对任何测量来说,效度都是极为重要的。在心理测量中,效度问题更为突出。在一般的物理测量中,测量者可以用一定的量具直接测量所要测的对象,测量结果偏离测量目标的现象较少发生,即测量效度一般都很高。心理测量的情况与以上情况不同,心理测量的对象主要是智力、能力倾向、人格等内部心理特质,只能通过间接测量的方法,即通过测量外部行为表现(包括言语、动作、表情等行为)去推断其内部的心理活动和心理特点,在这种间接测量中,完全有可能偏离原定的测量目标,因此必须考虑测量的效度问题。

效度是一个相对的概念。效度的相对性表现在两个方面:一是任何测验的效度是对一定的目标来说的,因此测验只有用于与测验目标一致的目的和场合才会有效;二是测验效度通常用相关系数表示,它只有程度上的不同,而没有“全有”或“全无”的区别。在测量理论中,效度被定义为在一组测量中,与测量目标有关的真实方差(即由测量的变因引起的有效方差)与总方差(实得方差)的比值。

效度的类型

效度可以从不同角度加以考察,因而可以得到不同类型的效度。常见的效度即效标关联效度、内容效度

1.效标关联效度(Criterion-related Validity)效标关联效度又叫实证效度,是以测验分数和效标之间的相关系数来表示的一种效度指标。所谓效标是指足以显示测验所欲测量的目标的变量,是用以检验效度的参照标准。例如,员工的年度绩效可用作员工招聘时素质测评的效标,两者的相关便是素质测评的效度指标,益才咨询在众多人才测评实践中,根据客户需求验证测评产品的效度,不断提升内外部招聘的精准度,提升招聘效能。

效标关联效度可根据效标资料是否与测验分数同时获得,分为同时效度(Concurrent Validity)和预测效度(Predictive Validity)两类。同时效度指效标资料可以与测验分数同时获得,例如智力测验以学生当时的学业成绩为效标,由于学业成绩是现成的,所以这种效度称为同时效度。上面提到的素毛质测评的效度则是一种预测效度,因为效标资料在测评以后相隔一段时间后才能获得。

效标(Criterion)是影响效标效度客观性和有效性的一个最重要的因素,因此效标的选择至关重要,一个好的效标必须具备以下条件:

(1)有效性。即效标能最有效地反映测验的目标。

(2)可靠性。即效标必须具有较高的信度,稳定可靠,不随时间等因素而变化。

(3)可操作性。即效标可以客观地加以测量,可用数据或等级来表示。

(4)经济性。即在保证有效性和可靠性的前提下,效标测量的方法越简单方便越好。智力测验常用学习成绩、教师的评定等做效标;能力倾向测验可采用特殊课程或特殊训练的成绩做效标;员工素质测验常以年度绩效做效标;学业测验常用教师的评定、历次测验的平均分、权威性测验成绩等做效标。

2.内容效度(Content Validity)

内容效度是指测验试题取样的适当性,也就是测验试题对想要测量的整个内容的代表性。例如,学业测验所要测量的整个内容就是教学大纲所规定的全部内容。当然这么多内容不可能在一次测验中全部测到,只能选择其中的一部分编成试题加以测量,这选择到的内容可看做整个内容(总体)的一个样本,这个样本对总体的代表性如何将影响测量结果与实际水平(即对整个内容的掌握水平)的一致性,因此内容效度是影响测验结果准确性的又一个重要指标。尤其在学业测验中更注重内容效度,因为这种测验的内容范围容易确定。检查学业测验的内容效度,一看试题的覆盖面;二看是否反映教学内容的重点;三看是否测量了各种教育目标,即是否对识记、理解和应用等各层次目标都有一定数量的试题加以测量。


效度的评估

(一)效标关联效度的评估方法

效标关联效度有多种评估方法,下面介绍3种常用的方法。

1.相关法相关法是估计效标关联效度最常用的方法,它是求测验分数与效标资料间的相关,这一相关系数称为效度系数。当测验分数和效标资料都是连续变量时,计算效度系数用积差相关法。当测验分数为连续变量、效标资料为等级评定时,可用贾斯朋(Juspen)多系列相关。

2.区分法

区分法是检验测验分数能否有效地区分由效标所定义的团体的一种方法。例如,一批通过中考进入高中的学生,通过一学期学习后,根据期终考试成绩将他们分为高分组和低分组,然后分别计算高分组和低分组原来的中考平均成绩,并进行t检验,看两组平均成绩有无显著差异。为了更好地检验测验的效度,除了进行平均数差异的显著性检验外,还应该分析高分组与低分组分数分布的重叠量。分布的重叠量可通过计算高分组内得分低于低分组平均数的人数百分比和低分组内得分高于高分组平均数的人数百分比得出,百分比越高,说明两组差异越小,即效度较差。

图片

3.命中率法

命中率法是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。使用命中率法,可将测验分数和效标资料分为两类:一为成功,一为失败。若被试测验成功,效标资料中属失败,则称失误;若测验成功,效标资料中亦属成功,则称命中;若测验失败,效标资料中亦失败,则称命中;若测验失败,效标资料中属成功,则称失误。

图片

例如,测验分数和效标资料分类情况如下:

图片


总命中率与正命中率一般情况下不完全一致。正命中率高低常随划分测验分数成功与失败的临界分数的高低而变化。显然,临界分数越高,正命中率也越高;反之,临界分数越低,则正命中率也越低。


(二)内容效度的评估方法

评估内容效度的最常用的方法是请专家判断。就教育测验来说,一般由有关学科专家和有经验的教师在系统分析教学大纲、教科书和测验试题的基础上,对试题与原定内容范围的符合性做出判断。由于这种评估方法是一种逻辑分析,所以这种效度又叫逻辑效度。逻辑效度一般没有数量指标,有时不同的判断者对同一测验的内容效度会做出不一致的判断。为了提高判断的客观性,在判断之前,仔细定义内容总体,详细划分细纲目,分析试题所测的内容和认知目标,制定评定量表等都是很必要的。

逻辑效度一般没有数量指标,有时不同的判断者对同一测验的内容效度会做出不一致的判断。为了提高判断的客观性,在判断之前,仔细定义内容总体,详细划分细纲目,分析试题所测的内容和认知目标,制定评定量表等都是很必要的。内容效度还可用求复本相关的方法来估计。如果两个独立取自同样内容范围的测验复本之间有高相关,这就可以作为评估测验内容效度的一个依据;若相关低,则说明两个测验中至少有一个缺乏内容效度。另外,再测法也可用于内容效度的评估:先让一组被试在学习有关课程内容之前进行测验,当被试学习了这些课程内容之后用同样的测验试卷再测,若再测成绩好,说明测验确实测量了课堂所教的内容,即内容效度好。


三、什么会影响测验的准确性?

(一)测验本身的因素测验取材的代表性、测验长度、试题类型、难度、区分度以及编排方式等都会影响效度。要保证测验具有较高的效度,要做好以下几点:


(1)测验材料必须对整个内容具有代表性。

(2)测题设计时应尽量避免容易引起随机误差的题型。

(3)测题难度要适中,具有较高的区分度。

(4)测验长度要恰当,即要有一定的测题量。

(5)测题的排放按先易后难的顺序。

(二)测验实施过程中的因素测验实施过程中的许多因素也会影响效度

例如,主试的指导语是否统一、正确,测验场所有无噪音和其他干扰因素,测验时间限制是否一致,等等。如果以上测验条件不标准化,就会使测验效度降低。

图片


(三)被试方面的因素被试的兴趣、动机、情绪、态度和身体健康状况以及是否合作等,都会影响测验结果的可靠性和准确性。