产品文章|太难了!培训经理在年底不得不面对的问题来了……(附免费试用)
“培训究竟有什么用?”
逼近年关,培训人迎来终极大拷问。这种拷问来自两个方面,一方面老板审批了培训预算,希望能看到多于投资的回报;另一方面员工手头工作都完不成,还要腾出时间理解根本听不进去或听进去了也用不上的课程。
培训犹如鸡肋。
怎样才能证明培训有用,这是培训人需要长期思考的课题。
在实际操作中,培训人经常陷入两难的境地:
培训效果不好衡量,能找的可行方法较少;
难以证明绩效的提升和培训有关,无法将培训效果剥离出来;
培训预算较少,还要让培训有亮点,且能让利益各方认同等等。
其实,这些难点基本上都可以从柯氏四级评估方法中找到一些启发。事实上,柯氏四级评估不仅仅是相对严谨的评估工具,更是学习项目和课程设计的绝佳方式,是与公司高层对话、与业务部门达成伙伴关系的强有力工具。
柯氏四级的演变
说到柯氏四级评估,不得不提及它的创始人唐纳德·柯克帕特里克(Donald. L. Kirkpatrick)博士。
上个世纪50年代,柯克帕特里克在美国威斯康辛大学管理学院任教,当时校方会在每堂课最后使用评估量表,大部分问题是关于如何评价讲师,但是很少涉及课程内容。这让柯克帕特里克觉得不妥。
后来柯克帕特里克继续深造,受此事启发完成其博士论文答辩,论文题目是《评估公司主管的人际关系管理培训项目》。
1959年,ASTD的主编找到柯克帕特里克,邀请他写一篇关于其所从事的评估工作的文章。柯克帕特里克按照四个层级,写了四篇文章,并陆续发表。
此时,柯克帕特里克并没有将自己的理论命名为“柯氏四级”,而是在此后的几十年间,柯克帕特里克在给福特汽车公司等公司培训、公开演讲之后,培训圈里逐渐形成了“柯氏四级”的名称。直到1994年,他的著作《评估培训项目:四级评估》出版,“柯氏四级评估”才正式有了权威来源和理论输出。
旧版的柯氏评估模型,已经构建了柯氏四级评估模型的方向和思路。第一级是学员对培训的满意程度,第二级是学员对所学知识、技能、态度的掌握程度,第三级是学员是否将所学应用到实际工作中以及运用了多少,第四级是培训和相应的后续强化措施带来的业务结果。
经过不断实践和演变,柯克帕特里克及其子女经过几十年的持续研究,出版了一系列评估专业书籍,使得柯氏评估模型不断迭代和完善,终于形成了今天的柯氏四级评估模型。
和旧模型相比,新模型有以下更新:
第一级,除了学员满意度之外,新增了学习参与度、相关性这两个指标;
第二级,在原来的Knowledge(知识)、Skill(技能)、Attitude(态度)这三个衡量指标的基础上,新增了Confidence(信心)、Commitment(承诺)两个指标,即从KSA到KSACC。
第三级,细化促进行为改变的措施,形成支持(包括强化、鼓励、激励)、责任(监督)这些必需驱动力,并指出可通过在岗辅导进行监督与调整。
第四级,对原有“业务结果”做了拆解和细化,形成领先指标、期待的业务结果两个维度。
综合来看,全新的柯式四级评估模型弥补了原有评估方面高难度实操带来的空白,更加贴近实际,更能让培训效果评估在企业落地。
那么柯式四级的每一层的具体内容是什么呢?
Level 1:反应评估(Reaction)
反映评估即评估学员的满意程度。在培训结束时,征求学员对培训的反应和感受。
问题主要包括:
对讲师培训技巧的反应;
对课程内容设计的反应;
对教材挑选及内容、质量的反应;
以及是否在将来的工作中,能够用到所培训的知识和技能。
学员最了解他们完成工作所需要的是什么。如果学员对课程的反应是消极的,就应该分析是课程设计与开发的问题还是实施带来的问题。
这一阶段的评估还未涉及培训的效果,学员是否能将学到的知识技能应用到工作中去还不能确定。但学员的兴趣,受到的激励,对培训的关注度对任何培训项目都是重要的信息。同时,在对培训进行积极的回顾与评价时,学员能够更好地总结他们所学习的内容。
Level 2:学习评估(Learning)
学习评估即测量学员的学习获得程度。这一阶段的主要目的是确定学员在培训结束时,是否在知识、技能、态度等方面得到了提高。
这一阶段的评估要求通过对学员参加培训前和培训后知识技能测试的结果进行比较,以了解他们是否学习到新的知识,同时也是对培训设计中设定的培训目标进行核对,这一评估的结果也可体现出讲师工作是否有效。
Level 3:行为评估(Behavior)
行为评估即考察学员的知识运用程度。
这一阶段的评估要确定学员在通过培训而发生的行为改进的程度。尽管这一阶段的评估数据较难获得,但意义重大。
只有学员真正将所学的东西应用到工作中,才达到了培训的目的。只有这样,才能为开展新的培训打下基础。需要注意的是,这一阶段的评估只有在学员回到工作中时才能实施。
Level 4:成果评估(Result)
成果评估即计算培训创造的经济效益。
这一阶段的评估要考察的不再是学员的情况,而是从部门和组织的角度,了解培训带来的组织效益。如提高产品质量,提高生产效率,客户的投诉减少了等等。
这一阶段评估的费用、时间和难度都是最大的,但对企业的意义也是最重大的。
以上培训评估的四个层次,实施从易到难,费用从低到高。大多数企业很难将柯氏四级形成一个完整的评估闭环,最常用的是反应评估或者学习效果的评估。但如果能将柯式四级应用在培训的不同的阶段,可以将评估效果最大化。
如何运用柯氏四级评估模型
柯克帕特里克出版的《培训审判》一书中提出,柯氏四级评估的真正含义并非“一至四级”层层递进,而是“从四到一”以终为始。即通过了解培训受益各方的期望业务结果(四级),反推达成这一业务结果需要怎样的行为改变(三级),从而制定培训中需要配置哪些学习内容(二级),最终达成受训员工的满意度(一级)。
说到此处,一定会有人提出疑问,为什么企业在实际操作的过程中却是按照从一级评估到四级评估的顺序来的?
其实并不矛盾,在整个培训的过程中,培训前需求调研、培训后数据收集及建立项目证据链等阶段都需要用到柯式四级评估模型,且每个阶段的使用顺序都不一样。
需求调研阶段
在进行学习项目设计之前,需对培训需求进行调研,确定业务部门的实际需求、对项目的期望。这一阶段柯式四级评估模型的使用顺序应该是:L4-L3-L2-L1。
考虑业务部门的需求,提炼培训期望,确定其希望达到的业务结果,并确定可以用什么样的指标进行衡量。以终为始,倒推后续的设计。培训人往往觉得学习项目的设计令人头秃,但如果使用反推法去设计,痛点便可破解。
确定了业务部门期待的业务结果、衡量指标之后,界定学员达到这些业务结果需要完成的行为改变,判断组织需为此进行何种驱动力(强化、监督)的设计。
接下来,把上述的结果、指标、行为改变、驱动力等要素,提炼成学习目标,用KSA(知识、技能、态度)的方式展示出来,设计本次项目的学习内容。
最后,才是考虑为达成上述目标,应设置的必要的学习环境,让学员更加满意。
建立培训价值证据链阶段
这一阶段按照L1-L2-L3-L4的顺序,通过收集学员反应、学习掌握程度、行为改变程度、业务结果达成程度等信息,进行数据整理与分析,来建立培训价值证据链。
也就是说,通过建立的培训价值证据链直观、形象地向业务部门或公司老板展示培训价值。
1.评估学员反应的主要方式是问卷调查。
问卷调查是在培训结束时,收集学员对于培训效果和有用性的反应,学员的反应对于重新设计或继续培训项目至关重要。
如今,全球很多组织使用的量表为反应量表、微笑量表、快乐知识量表等,易于实施且时间成本低廉。如果量表的设计得当,问卷调查也很容易分析、制表和总结。
不过,问卷调查的缺点是其数据主观,很大程度建立在学员个人意见上。学员个体差异有可能干扰评分。而且,在培训结束前,学员对课程的判断很容易受到经验丰富的培训员或培训机构领导者富有鼓动性的总结的影响,这些均可能在评估时干扰学员对该培训的原本印象,从而影响评估结果的有效性。
虽然调查问卷在操作上相对容易,但很多企业由于培训规模较大,在问卷调查的设计、发放、回收、分析仍要投入大量的人力和时间。
为了便捷高效地完成学员反应评估工作,企业可以借助一些工具,比如科学的问卷调查系统,将设计、发放、回收、分析等一系列工作形成一个完整的闭环,省去琐碎和不必要的流程,解决工作的重复性和效率低下等问题。
云学堂绚星云学习平台“调查问卷”模块
2. 学习评估是针对受训学员就知识的掌握程度和效果进行考试或操作实施的考核,不同于培训课程会采用不同的评估方法。
学习评估广泛采用的形式有测验、现场实操、课后行动改善计划等。
第二级学习评估是最难的,同时也是最重要的,相较于繁冗且耗费高的行为评估和成果评估,这是目前企业能够达成培训目标“性价比”最高的手段。
以华为为例,任正非一直强调“学以致用,训战结合,案例教学,以考代培、以考促学”。2020年,华为培训部为超过75000人次安排了集训赋能、开发了超过1.1万次课程,坚持“以考促学”,设置了超过1.2万种不同内容的考试,涵盖了80多个学习项目和440多个学习方案。
由此可以看出,企业的学习评估倚重的是学习数据,如培训场次、时长、考试成绩等。借助科学的学习管理系统,企业对考试、课程、培训项目进行学习数据跟踪与分析,并针对性地进行学习管理,同时基于该功能建立学习数据与业务表现的连接,最终指向企业绩效提升。
3. 很多人认为,行为改变的评估就是培训结束后几个月去收集学习数据,但是这种操作并不能起到评估效果。学员的行为有没有因为培训而发生改变并不是一个单点事件,而是一套完整的系统。
行为改变的评估包括两个步骤:
一是在需求调研的环节要跟利益各方,尤其是学员和上级主管达成共识,就是为了实现预期的业务结果,希望学员学习结束回归工作后产生哪些关键行为改变。
二是要配备什么样的驱动方法和措施,促进学员学以致用,进而产生相应的行为改变。
所以,行为改变评估的措施分为两大类:一类是向上的拉力,包括鼓励和奖励的措施,比如获得奖金,成为成功案例、学习榜样等。
但是员工的诉求各不相同,也许有的员工并不在乎这些奖励或鼓励措施,就要考虑第二类向下的压力,包括监督和强化,这既是二级检验KSA掌握程度的手段,也是三级行为改变的监督强化措施。
4. 业务结果包括最终的业务结果和过程的领先指标。最终的业务结果大致包括销售额、成本、利润率、客户满意度等衡量指标,为了实现最终的业务结果,要设置过程性的指标,也就是领先指标。
假设要提升销售额这一项业务结果,那就要分解出单次成交额、客户拜访量等领先指标,当这些过程性的领先指标逐一实现,反馈的信息就表明目前在实现最终业务结果的正确方向上。如果年终盘点才发现最终的业务结果未完成,则为时已晚。
很多人认为,业务结果评估是最难的环节,其实如果用柯氏的“以终为始”的理念建立了严谨的培训价值证据链,并且学员发生了预期的行为改变,那么实现四级的业务结果应该是顺理成章的。
因此,在业务结果评估之前,就要确定可衡量的指标,为整个评估工作的开展提供一个清晰的架构,最终才能达到评估的效果。
关于云学堂
云学堂(全称:江苏云学堂网络科技有限公司)作为一家科技企业,为客户提供数字化企业学习解决方案服务,其中包括:软件SaaS服务、内容解决方案服务、数字化企业学习运营服务,是企业培训领域的创新型公司。自2011年成立以来,云学堂已服务包括世界500强、中国500强在内的众多行业头部公司,获得业界一致认可与好评。
推荐阅读