1.“4R”柯式评估
根据前期调研,国内外运用最广泛的培训效果评估方法是美国学者柯克帕特里克在1959年提出的培训效果评估模型,称为“柯氏评估模型”,亦称“四级评估模型”。该评估模型是从反应评估、学习评估、行为评估和成果评估四个层次对培训效果进行评价,评估学员对培训的满意程度,测定学员的学习获得程度,考察学员的知识运用程度,并计算培训后产生的工作绩效,将这种系统、科学的评估与面向智库服务的馆员培训及图书馆绩效管理结合起来,使培训活动成为图书馆职业发展的“业务伙伴”,可为图书馆事业发展提供人才保证与智力支撑。
2.馆员培训效果评估的层次及阶段
根据柯氏评估模型将馆员培训效果分为四个递进的层次: 反应层、学习层、行为层、效果层,将此评估应用到智库馆员的培训实践中, 馆员的培训可以分为以下四个阶段:馆员对培训的认可度(反应层),馆员在培训中获得的知识和技能(学习层)、训练后馆员在工作中的变化(行为层)以及培训给图书馆带来的收益(结果层)[2]。在这四个层次上对培训效果进行评估,该模型的主要内容及具体含义是:
(1)反应层评估。反应层评估是指参训馆员对培训项目的整体情况,包括对培训地点、设施、方法、内容和培训后的收获等方面的看法。在培训结束时进行反应层评估,可通过问卷调查、访谈等形式收集参训馆员对培训效果和实用性进行评价的相关情况, 这个层次的评价结果可以作为改进培训内容、培训方法、训练进度等方面的建议,以及作为综合评估的参考,但不能视为最终的评价结果。
(2)学习层评估。学习层评估是目前最常见、最常用的一种评价方式,是测量参训馆员对培训的原理、技能、态度等相关内容的理解和掌握程度。这个层次的评估可采用笔试、实践操作和工作模拟等方法进行考核,培训组织者可通过以上方式了解参训馆员培训前后的不同表现,以获悉参训馆员在知识和技能的掌握方面获得多大程度的提高。
(3)行为层评估。行为层评估是考查培训效果的最重要指标。行为层评估是指在培训结束后的一段时间里内,由参训馆员的上级、同事及下属等,检查参训馆员在工作态度、工作方式、工作效率等是否发生了行为上的变化,以及他(她)们是否在工作中运用了培训所获得的知识和技能。这个层次的评估主要包括受训者的主观感觉,培训前后下属和同事对其行为变化的对比记录,以及受训者的自我评价等。
(4)效果层评估。效果层评估即判断培训及采取的相应措施,在多大程度上达到了所期望的结果。这一层次的评估可通过一系列指标来衡量,如工作效率、馆员出勤率、馆员离职率、馆员工作积极性以及用户满意度等。通过对这些指标的分析,管理层能及时了解培训产生的效果和收益。
这四个层次和阶段的评估是渐进的、互补的、协调的、统一的, 形成了一个有机整体。通过这四个层次的评估,可以对培训的实际效果实现多方位、精准化评价和分析。目前,大多数大学图书馆已经认识到培训评估的重要性,但在具体实施上只涉及到了柯氏评估模型的“反应层”(第一阶段)和“学习层”(第二阶段)的评估,对于“行为层”(第三阶段)与“结果层”(第四阶段)进行评估做得比较少,还没有形成科学规范的评估体系,且较难进行有效评估,评价结果不令人满意。“行为层”与“结果层”评估可通过观察、访谈、数据分析等方法来进行,使评估有序进行的关键在于评估体系如何构建,评估标准如何制定和使用,培训组织者可根据实际情况制定评估标准, 并应用于评估实践,本文重点探讨行为层评估体系的构建。