7(917)590-0308
Статьи

Оценка эффективности обучения или
«Не сажайте Шарикова на reception!»

Дмитрий Иванов, 2007 г.
© "Trainings.ru"


Работу любого среднестатистического руководителя можно формально представить схемой цикла менеджмента, который состоит из следующих элементов:

Все элементы данного цикла одинаково важны для успешного достижения целей организации. В данной статье хотелось бы поговорить об этапе обучения персонала и, прежде всего о том, как оценить результативность и эффективность данного процесса.

Для того, чтобы обеспечить максимальную прозрачность и наглядность обсуждения, мы решили воспользоваться методом, который успешно применяется, например, в теоретической физике – методом мысленного эксперимента. Этот прием использует, в частности, Альберт Эйнштейн при изложении постулатов Специальной теории относительности (1905 г.)

Конечно, мы понимаем, что за прошедшие 100 с лишним лет, благодаря усилиям маркетологов и масс-медиа, люди практически разучились мыслить самостоятельно и абстрактно. Мы получаем готовые формулы решений по всем потенциально-возможным вопросам с экранов телевизоров, в формате тридцатисекундного клипа. Наши мысли привычно бегут по невидимым рельсам, заботливо проложенным для нас квалифицированными специалистами по манипуляции общественным сознанием.
Мы все это понимаем.

И, учитывая данные печальные обстоятельства, предлагаем максимально упростить наш мысленный эксперимент. Следуя в русле традиций века 21-го, мы возьмем уже готовый и хорошо известный сюжет - «Собачье сердце» Михаила Булгакова. Есть замечательный фильм по этому произведению (с аналогичным названием :) Он, конечно, заметно длиннее тридцатисекундного ролика, но для иллюстрации к нашему эксперименту вовсе не обязательно просматривать весь фильм. Достаточно просто вспомнить примерно, о чем там речь.

Итак, в нашем гипотетическом эксперименте участвуют:
Профессор Ф.Ф. Преображенский – руководитель (Генеральный директор, владелец)
Доктор Борменталь - HR-менеджер, он же «внутренний» тренер
Шариков Полиграф Полиграфыч - сотрудник


Рис. 1. Шариков Полиграф Полиграфыч

Давайте предположим что, получив в результате своего эксперимента очеловечившегося Шарика, Филипп Филипыч решает «Сделать его приемлемым членом человеческого сообщества». Собственно, во время одного из обедов, профессор Преображенский произносит именно эту фразу, так что пока мы даже не выходим за рамки сюжета.
Предположим далее, что Филипп Филипыч разделяет точку зрения Маркса о том, что «Труд является одним из факторов, способствующих превращению обезьяны в человека».   
В какой полезной деятельности можно было бы задействовать Шарикова?

Постановка цели
Вспоминая, что профессор занимается частной практикой, самый простой вариант – посадить Шарикова в приемной в качестве секретаря. Пусть отвечает на телефонные звонки («Квартира профессора Преображенского, добрый день …»), заполняет карты больных, планирует и оптимизирует график визитов и т.д.
Таким образом, занимаясь общественно полезным трудом, Шариков, возможно, быстрее разовьется в социально-зрелую личность. Это – с одной стороны. С другой стороны, т.к. на данный момент в структуре частного бизнеса профессора такого специалиста нет, можно ожидать, что введение позиции секретаря приведет к улучшению качества обслуживания клиентов.

Таким образом, модифицированная цель профессора Преображенского (как руководителя бизнеса) выглядит следующим образом: «Улучшить качество обслуживания клиентов путем введения в структуру позиции секретаря – Шарикова П.П.».
Понятно, что прежде чем Шариков сможет что-нибудь улучшить, его нужно обучить.
В общем случае, цели обучения могут формулироваться, например, следующим образом:
- передать знания
- сформировать/отработать навыки
- мотивировать
- сплотить команду
- увеличить оборот/прибыль
- улучшить качество обслуживания клиентов

Достижение цели
На данном этапе в игру вступает доктор Борменталь. Его задачи:
- передать знания
- сформировать/отработать навыки
- мотивировать сотрудника на выполнение работы

Конечно, когда мы горим о мотивации, имеется в виду только формирование первоначального импульса. Поддержание и усиление мотивации в процессе работы – это уже задача руководителя (профессора Преображенского).
Для того чтобы получить бонус в конце месяца, Борменталю нужно продемонстрировать, что процесс обучения удовлетворяет двум критериям:
- результативность
- эффективность

Результативность – выполнение поставленных целей (успешное обучение Шарикова, формирование у него знаний и навыков, необходимых для выполнения работы секретаря).
Если доктор Борменталь не отвечает за бюджет организации, то результативности для него будет вполне достаточно. Но профессору Преображенскому (как Генеральному директору и владельцу) важен не только результат, но и оптимизация средств, затраченных на получение данного результата. Филипп Филипычу нужна еще и эффективность процесса обучения, которая определяется соотношением затрат и полученного результата. С этой точки зрения тренинг может быть результативным, но не эффективным. В этом случае цели обучения достигнуты, но затраты на проведение обучения превышают экономический эффект от применения сотрудником полученных знаний и навыков.

Каким же образом профессору Преображенскому и доктору Борменталю провести оценку эффективности? 

Одна из возможных схем была предложена Дональдом Киркпатриком в 1959 г.
В соответствии с данной схемой существует 4 уровня оценки:

В 1991 году Джек Филипс (Jack Phillips) предложил добавить в систему Киркпатрика еще один уровень -  ROI (Return on investments - Возврат на инвестиции). Как следует из названия, данный уровень показывает соотношение между увеличением прибыли компании и затратами на обучение. Данная система оценки эффективности так и называется – ROI. Для руководителей и акционеров такой подход, безусловно, является привлекательным. Но противники данной модели указывают на то, что выделение фактора обучения из многочисленных факторов, влияющих на прибыль компании, весьма проблематично.

( На самом деле, разумеется, существуют и другие схемы оценки эффективности обучения. Познакомиться с ними можно, например, здесь: http://www.trainings.ru/library/articles/?id=6328 )

Возвращаясь к нашему мысленному эксперименту, давайте рассмотрим модели Киркпатрика/ROI и выясним, как и на каких уровнях мы сможем оценить эффективность процесса обучения.

1. Реакция
На данном уровне доктор Борменталь должен получить от Шарикова обратную связь:
- насколько полезным было обучение
- какие навыки Шариков планирует применять в работе
- хочет ли он продолжать обучение
- как Шариков оценивает атмосферу во время обучения
- что думает по поводу содержания тренинга
- как оценивает учебные материалы
- какое впечатление произвела на него работа тренера
- что понравилось/запомнилось
- что можно улучшить

Конечно, вся эта информация – субъективная. И если Шариков по всем пунктам поставит высокие оценки, отсюда вовсе не следует, что он хоть чему-то научился. И, тем более не следует, что он будет применять полученные знания/навыки в работе. Но позитивные оценки очень важны с точки зрения мотивации Шарикова к работе. А его комментарии относительно возможностей для улучшения помогут Борменталю оптимизировать форму и содержание тренинга.
И получение данных, и их интерпретация, на данном этапе сложностей не представляют.

2. Обучение
Как узнать, что все-таки усвоил Полиграф Полиграфыч?
Для этого доктор Борменталь может использовать следующие инструменты:
- финальные упражнения (ролевые игры)
- тестирование
- интервью
Интервью можно проводить, например, по методике STAR:

Если бы Шариков не был в недавнем прошлом собакой, у него вполне мог бы быть опыт трудовой деятельности. И, как следствие этого опыта, какие-то знания и навыки могли у него сформироваться еще до тренинга. Для устранения погрешностей такого типа Борменталю нужно провести две процедуры контроля: одну до тренинга, другую – после. Сравнив полученные результаты, доктор сможет оценить успешность на данном этапе. Таким образом, определение эффективности на уровне обучения принципиальных сложностей не представляет.

3. Поведение

4. Результат
Вот мы и добрались, наконец, до уровня, от успешности которого зависит, удалось ли доктору Борменталю выполнить задачу, которую перед ним поставил бизнес: «Улучшить качество обслуживания клиентов путем введения в структуру позиции секретаря – Шарикова П.П.»

Казалось бы,  достаточно просто зафиксировать «улучшение качества обслуживания». Для этого можно использовать, например, анкетирование клиентов, мониторинг размера очереди в приемной, определение средней продолжительности времени ожидания для клиента и т.д. Беда в том, что на эти показатели будут прямо и косвенно влиять факторы, с результатами обучения никак не связанные: настроение клиентов, погода на улице, наличие/отсутствие «пробок» на улицах Москвы, настроение самого Шарикова, проблемы в его личной жизни и т.д. И это еще не все.

Предположим теперь, что господин Шариков через какое-то время решит продолжить развитие своей карьеры, скажем, в компании FMCG. Если он успешно пройдет все этапы отбора и займет вакансию, например, торгового представителя, то через какое-то время тренинг-центр компании пригласит нового сотрудника на обучение. Неважно, что формулировки целей обучения будут уже другими. Важно другое – при оценке эффективности обучения на уровне «Результат» мы снова столкнемся с факторами, негативно влияющими на корректность решения вопроса «А на сколько улучшились бизнес-показатели компании в результате обучения господина Шарикова?» В этом случае к погрешностям, перечисленным выше, добавятся следующие:   

Итак, существует огромное количество параметров, не связанных с обучением, которые влияют на эффективность работы компании.
В общем случае, нейтрализовать влияние подобных факторов можно, наблюдая не только за Шариковым, но и за контрольной группой сотрудников, которые не проходили обучение. Теоретически, данный подход будет работать. На практике, однако, доктор Борменталь столкнется с двумя сложностями:

Борменталю придется на какое-то время либо полностью забросить занятия медициной, либо взять ассистента, который будет разбираться с результатами работы Шарикова и контрольной группы до и после обучения, сезональностью, промо-акциями и т.д. Причем, как вы понимаете, вопрос субъективизма в интерпретации результатов по-прежнему остается. А следствием субъективизма будет вопрос о валидности результатов. Т.е. действительно ли удалось измерить «чистый» личный вклад «обученного» Шарикова в увеличение прибыли компании. Или это вклад не только Шарикова.      

5. ROI
Если доктор Борменталь смог убедить Филипп Филипыча, что ему и ассистенту удалось корректно отделить прибыль компании, полученную именно в результате обучения Шарикова, от всех остальных составляющих прибыли, то определение эффективности на уровне ROI затруднений не вызовет. Затраты на обучение – величина известная. Конечно, к ним еще нужно добавить «недополученную прибыль» за то время, когда Шариков, вместо того, чтобы работать, проходил обучение. А дальше все просто - отношение прибыли к затратам и есть ROI. Проблема, опять же, только в валидности полученного результата (т.к. ненадежны результаты предыдущего уровня)

Если сформулировать все, что мы говорили об оценке эффективности обучения, коротко и ясно, получится следующее:

1. Модель Киркпатрика/ROI позволяет оценить эффективность на уровнях:

2. Модель Киркпатрика/ROI теоретически позволяет оценить эффективность на уровнях:

Но получение валидных результатов на практике представляется нам сомнительным.

Если доктор Борменталь, вместо того, чтобы работать честно, играет в игру «Посмотрите, какой я молодец», модель Киркпатрика/ROI подходит идеально:

( Подробное описание и анализ игры выходят далеко за рамки данной статьи, поэтому любопытных читателей мы с Борменталем отправляем к книге Эрика Берна «Игры, в которые играют люди».
Правда, там нет игры с аналогичным названием (это наш copyright :) но, усвоив алгоритм на примере игр, описанных Берном, Вы легко справитесь с самостоятельным разбором варианта «Посмотрите, какой я молодец»).

В заключение, хочется остановиться еще на одном параметре, оказывающем огромное влияние на эффективность обучения. Этот параметр - сам обучаемый. Программа тренинга, эффективная для одного сотрудника может быть абсолютно не эффективна для другого. В своей замечательной книге «Now, discover your strengths»  Marcus Buckingham выделяет три фактора, благодаря наличию которых человек действует максимально успешно и результативно:

Задача руководителя – подобрать таких сотрудников, у которых присутствуют все три фактора именно для данной конкретной области деятельности. И еще: иерархия ценностей каждого конкретного сотрудника должна соответствовать иерархии ценностей, принятой в компании. Таких сотрудников мы предлагаем называть «правильными».
Качественное обучение обеспечивает передачу знаний и формирование навыков.
А для того, чтобы качественное обучение превратился в эффективное, нужно чтобы еще на этапе формирования команды мы набрали в нее «правильных» людей.

«Филипп Филипыч!
Не сажайте Шарикова на reception!»

[ В начало раздела ]
Статьи


© 2007 - 2024 colloquium.ru