兴趣测评是生涯辅导工作者最常用的测评工具,大家用的多了,也会提出如下疑问,这个工具到底有多准?基于兴趣测评给出了建议到底能否帮助到来访者?
为了帮助大家解答这些问题,今天“生活中的六边形”专栏给大家带来《Psychological bulletin》的一篇文章《How accurate are interest inventories? A quantitative review of career choice hit rates.》(兴趣测评多准确?一篇关于生涯选择命中率的量化综述),作者是来自伊利诺伊大学香槟分校的研究者A. Hanna和J. Rounds。
信效度——衡量测评可靠性的规准
在描述一个测评工具是否可靠时,我们通常会关注两类指标,一类是信度,另一类则是效度。具体而言,信度是指测验结果的稳定性和一致性,通常包括内部一致性信度、重测信度、分半信度等。信度越高,表明测评结果越可信。
通常我们对测评工具的信度要求至少在0.7以上,一般都要求在0.8以上。
而效度是指所测量到的结果反映所想要考察内容的程度,测量结果与要考察的内容越吻合,则效度越高;反之,则效度越低。效度通常分为内容效度、建构效度和校标关联效度。具体意涵这里就不展开,这里简单举一个例子来说明什么是校标关联效度。
兴趣测评的效度
关于生涯测评,大家最关心的莫过于它所提供的结果到底能否很好的预测来访者的生涯选择。而命中率(hit rate)则用来描述生涯选择准确与否。命中率介于0~100%之间,命中率越高,则说明兴趣测评的效度就越高。
A. Hanna和J. Rounds这篇研究回顾了近百年来美国关于兴趣测评命中率的研究,最终选用了带有458个独立样本的166个独立分析,样本量接近38万,并采用元分析(meta-analyze)方法对这些数据进行的分析。
研究发现,兴趣测评预测生涯选择的命中率达到了50.8%(95%置信区间为[48.2,53.4])。这表明兴趣测评可以很好的预测个体的生涯选择。
除此之外,文章还分析了性别、不同测评工具、量表类型、生涯阶段、命中计算方式等对命中率的影响,其中有一个基于劳动力市场信息的对比分析则需要提出来跟大家说明。

这个表格该如何理解呢?首先,六类型的命中率都超过了4成,最高为研究型(I),命中率为56.1%;最低为艺术型(A),命中率为42.7%。除此之外,当假设六类型劳动力均等时,我们预测任意一个人的职业类型的正确率为100%÷6≈16.7%。
但根据DeCeanne等人(2017) 年的研究,各类型工作机会并不相等,其呈现的各类型劳动力分布已经在表中呈现,即作为的劳动力基础比率(Base rate employment)。
而命中率与劳动力基础比率的差值则反映了通过兴趣测评,我们可以提供预测一个人工作类型正确率的程度。
具体而言,实用型(R)的劳动力基础比率为30.3%,当我们随机任意一个个体从事实用型(R)职业的正确率也是30.3%,若其兴趣测评显示首码为实用型,那么预测正确率就提高为54.8%,提高了24.5%。
单独使用兴趣测评的不足
尽管兴趣测评本身的预测力已经很不错,但其使用还是有不少限制,例如当来访者面临“高兴趣-低能力”和“低兴趣-高能力”这两个象限的生涯选择时,仅仅依靠兴趣测评无法提供帮助。
因此,现在也有越来越多的研究者和实务工作者开始发展多项测评的综合解释,从而更好的帮助到来访者进行生涯探索和选择。后续我们会给大家分享相关的内容。
参考文献
DeCeanne, A., Lewis, P., & Rounds, J. (2017, April). A RIASEC snapshot of the modern U.S. workforce. Poster presentation at the 32nd Annual Conference of the Society for Industrial and Organizational Psychology, Orlando, FL.
Hanna, A., & Rounds, J. (2020). How accurate are interest inventories? A quantitative review of career choice hit rates. Psychological bulletin, 146(9), 765.