Оценка эффективности тренингов

Аудит систем корпоративного обучения

Одной из ключевых проблем развития систем корпоративного обучения является оценка социально-экономической эффективности их функционирования. Финансирование программ развития персонала на многих предприятиях осуществляется по остаточному принципу, что во многом связано с отсутствием у кадровых менеджеров и внешних поставщиков обучения инструментов оценки экономического эффекта обучения. Наиболее распространенные модель Киркпатрика и формула ROI (Возврат на вложенный капитал) не позволяют осуществить оценку программ обучения производственного и административного персонала, ИТР и других категорий персонала, не имеющих прямого отношения к продажам. К тому же, для руководителей предприятий не всегда очевиден экономический смысл постановки систем дистанционного обучения, проведения мероприятий по управлению знаниями и создания корпоративных университетов и учебных центров.

Основные мифы в области управления эффективностью обучения

Миф 1. Посчитать экономический эффект от обучения персонала невозможно.

Более 80% специалистов кадровых служб, которые приезжают на наши семинары, особенно представители промышленных предприятий, заявляют самой главной проблемой – невозможность экономического обоснования бюджета на обучение персонала. Доводы о том, что обучение дает системный и зачастую отложенный во времени эффект не всегда производят эффект на генерального и финансового директоров.

Другой серьезный аргумент в пользу невозможности посчитать экономический эффект обучения проводят директора торговых компаний: «А как мы поймем, что увеличение продаж после тренинга связано именно с тренингом, а не с сезонным ажиотажем, рекламной акцией и т.п.?»

Миф 2. Посчитать экономический эффект от обучения можно с помощью формулы ROI.

Использование формулы «Возврат на вложенный капитал», которая многими коллегами представляется панацеей, во многих случаях невозможно, по причине отдаленности деятельности обучаемых от формирования добавленной стоимости. Попробуйте посчитать с помощью ROI эффективность обучения секретаря, главного конструктора, бригадира на производстве. Формула проста: разницу доходов и расходов поделить на расходы. Просто все, за исключением того, как определить доход от обучения, т.е. собственно экономический эффект.

Миф 3.Компетентность персонала можно повысить только с помощью обучения.

Какие образы возникают в вашем сознании, когда вы слышите «обучение персонала»? Люди за партами? Сидят в кругу? Перед компьютером? С книгой в руках? Возможно, будет полезен тот факт, что до 70% всех знаний о своей работе сотрудники получают не из книг, компьютеров и лекций, а из общения с коллегами2. Поэтому обучение может заключаться не столько в организации семинаров, сколько в организации работы, внедрении командных форм управления, программ «обучения действием», бенчмаркинга и т.п.

Миф 4. Учить можно только персонал.

Корпоративное обучение часто связывают только с обучением сотрудников собственной организации. При этом упускается из виду, что организация, как целое, может накапливать и даже продавать знания с помощью систем дистанционного обучения, как это делает Моторола, получающая по 33 доллара на каждый вложенный, в частности за счет продажи электронного обучения курсу «Six Sigma».

Выводы:

1. Чтобы управлять эффективностью обучения персонала необходимо иметь инструменты оценки социальной и экономической эффективности а также иметь представление о незадействованных ресурсах эффективного обучения.
2. Чтобы оценить эффективность обучения персонала, необходимо иметь четкое представление об изменениях количественно измеряемых результатов труда.
3. Чтобы оценить эффективность организационного научения, необходимо иметь четкое представление о количественных показателях организационных изменений.
4. Чтобы повысить эффективность обучения, нужно обучать не только персонал, но и всю организацию.
5. Чтобы повысить эффективность обучения, нужно выявить не только возможности улучшения средств обучения, но и найти более эффективные способы обучения.

Для чего нужен аудит системы корпоративного обучения?

Основная цель – это повышение отдачи от инвестиций в развитие персонала и организации путем оценки и выявления ресурсов повышения социально-экономической эффективности корпоративного обучения.

Основными задачами аудита являются:

• Оценка и выявление ресурсов повышения компетентности персонала;
• Оценка и выявление ресурсов повышения производительности труда;
• Оценка и выявление ресурсов сокращения издержек на обучение;
• Оценка и выявление ресурсов повышения отдачи от инвестиций в развитие персонала.

Из каких этапов состоит технология аудита и что важно учесть на каждом из них?

Аудит системы корпоративного обучения представляет собой комплексную технологию, которая состоит из 5 шагов: на каждом из них важно учесть возможные трудности и нюансы.

Шаг 1. Организация проекта.

1.1 Оформление заказа на проведение аудита.

Ловушка неоправданных обещаний: пообещать заказчику автоматического увеличения доходов от обучения.

Аудит – не тренинг продаж. Его результат не прибыль, а информация о том, как обучать персонал и саму организацию более эффективно.

Ошибка низкого полета – несогласованность процедуры с первым лицом может закрыть доступ к необходимым людям и документам.

1.2 Формирование команды проекта.

Ошибка узкого полета – не включение в команду проекта значимых фигур корпоративного учебного центра может повлечь за собой сопротивление с их стороны.

1.3 Утверждение плана работ.

Шаг 2. Оценка эффективности.

2.1 Оценка социально-экономической эффективности системы обучения.

В процессе оценки экономической эффективности обучения следует учесть следующие моменты:

О системной подоплеке.

Необходимость в аудите может отойти на второй план, если на этапе оценки эффективности будет принято решение внедрять «Управление по целям», «Систему сбалансированных показателей» или «Универсальную систему показателей».

О статистике

За основу анализа эффективности системы производственного обучения целесообразно специально разрабатывать показатели.

Об оценке результативности корпоративного учебного центра

Если учебный центр или корпоративный университет выделены в отдельное структурное подразделение, его результативность целесообразно оценить независимо.

Для этого нами разработаны 9 типов критериев

• Эффективность;
• Результативность;
• Кадровая обеспеченность;
• Методическое своеобразие;
• Материальная обеспеченность;
• Финансируемость;
• И др.

Пример №1. Критерий «Кадровая обеспеченность».

2.2 Оценка социально-экономической эффективности конкретных программ обучения.

О специфике применения модели Киркпатрика

• Как на уровне «Реакция», так и на уровне «Усвоение» целесообразно использовать относительный показатель «Доля от максимально возможного».
• Если провести стандартизацию сырых данных, то можно будет сопоставлять результаты, как между программами обучения, так и по периодам проведения одной и той же программы.
• Для оценки поведения обученных (3 уровень) лучше использовать бланки, чтобы непосредственные руководители более ответственно и точно оценивали наблюдаемые изменения.

О специфике формул эффективности

• При определении изменения индивидуальной или командной выработки целесообразно учитывать показатели «чистой продукция», «нормо-часы» или «среднесписочная численность работников, т.к. натуральные показатели часто несопоставимы.
• При затруднениях с измерением выработки можно использовать измерение индивидуальной или командной трудоемкости продукции или услуг.
• Если невозможно посчитать эффект от высвобождения персонала вследствие повышения производительности труда, можно посчитать «условную экономию численности работающих»

О специфике коэффициентов

• Если мы привязываем результаты обучения к общей результативности предприятия, следует вводить в формулу «коэффициент влияния» какой процент увеличения результативности вызван именно обучением. Например, в «Спортмастере» удельный вес влияния программ обучения на повышение эффективности работы составил 21%3.
• Если мы опираемся на стоимостное выражение уровней компетентностей, как это делает «Хониуэлл»4, вводя (V – стоимостная оценка различий в результативности труда лучших и средних работников, долл.) необходимо разрабатывать профили компетенций или опираться на тарифную сетку, помножая разницу в ставках разных разрядов (до и после обучения) на среднее по предприятию соотношение доход/зарплаты.

2.3 Оценка качества конкретных программ обучения.

• Т.к. аудит опирается в основном на анализ документов, то мы разработали критерии для количественной оценки, являющиеся, по сути, компетенциями системы профессионального обучения.
• Результаты представляются в виде паутинчатой диаграммы, на которой реальный профиль сопоставляется с идеальным, нормальным и минимальным.

Пример №2. Шкала ориентированности на эффективность программ профессионального обучения.

Коэффициент ориентированности на эффективность системы профессионального обучения (Kbut). Рассчитывается путем суммирования и усреднения оценок по каждой программе. После этого полученное среднее сопоставляется с максимально возможным. Например, в течение года было проведено 10 программ. Средняя оценка по шкале составила 5,2. При том, что максимально возможное значение составляет 6 баллов, Kbsys=2,7/6*100=45%. Если в организации принят стандарт оценки эффективности на уровне +4, т.е. норма = 67%, то резерв повышения эффективности = 22%, за счет большего количества программ, после которых была проведена оценка эффективности и внесены соответствующие коррективы.

Шаг 3. Анализ потребностей в обучении.

• Для анализа потребностей в обучении целесообразно опираться на РУКОВОДЯЩИЕ УКАЗАНИЯ ПО ОБУЧЕНИЮ ISO 10015:1999.
• Для многих организаций, чтобы воспользоваться рекомендациями ИСО придется разрабатывать модели ключевых компетенций.

3.1 Анализ потребностей в организационных изменениях.

• Проведение экспертных интервью.
• Сбор и анализ документации.

3.2 Анализ потребностей в обучении персонала.

• Сбор и анализ документации.
• Проведение оценочных мероприятий.

Шаг 4. Выявление ресурсов эффективности.

• В исследовании, которое мы проводили на протяжении трех лет, нам удалось собрать и систематизировать более 100 условий и конкретных методов повышения эффективности профессионального обучения и организационного научения.
• Система факторов представляет собой следующую модель:

• Для каждого фактора разработаны контрольные карты, позволяющие выявить ресурсы эффективности на каждом уровне и на каждом этапе организации и проведения обучения.

Пример. Контрольная карта ресурсов мотивирования

Этап
Проведение обучения	Организация обучения	Организация труда
Профессиональное обучение
В начале занятия собрана информация об ожиданиях и опасениях. Сообщено о целях обучения. Выяснено отношение участников к целям обучения. Тренер проявляет энтузиазм, увлеченность и энергичность, заражает положительной энергией. Тренер хвалит за успешное выполнение сложных заданий.	Цели и темы занятий согласованы с целями организации. Цели и темы занятий согласованы с интересами персонала. Участники заблаговременно проинформированы о целях предстоящего обучения. Лучшие участники обучения поощряются грамотами.	Карьерный рост невозможен без повышения квалификации. Повышение квалификации является основанием для выдвижения в кадровый резерв. Существует система надбавок за квалификацию. Непосредственные руководители приветствуют изменения в работе обученных.
Организационное научение
На совещаниях поощряется высказывание «безумных» идей. К ошибкам относятся с юмором. Ошибки являются поводом для извлечения выводов. Цели организационного развития знакомы сотрудникам. Документ «Видение» находится в открытом доступе.	Существует система отбора желающих участвовать в кружках качества или проектных группах. Сдача проектов по бенчмаркингу является обязательным условием повышения квалификации. Ведущим мастер-классов предоставляется возможность свободно планировать рабочий график.	Работники привлекаются в качестве экспертов при проведении опросов. Существует система поощрений за рацпредложения. Инициатива поощряется путем предоставления полномочий, а не только влечет за собой увеличение ответственности. Знание миссии и ценностей обязательно для прохождения аттестации.
Корпоративное обучение
Обучение партнеров и потребителей проводится с учетом выявленных потребностей. В ходе обучения сообщается о перспективах развития организации.	Установлены графики выступлений экспертов перед различными группами работников.	В должностных инструкциях зафиксирован как обязательный пункт об обучении подчиненных и коллег. Наставничество оплачивается путем премирования.

4.1 Выявление ресурсов эффективности системы профессионального обучения.

• Оценка соответствия учебных программ специфике и нуждам предприятия.
• Оценка качества программ профессионального обучения.
• Выявление организационных ресурсов эффективности обучения.
• Выявление «педагогических» ресурсов эффективности обучения.
• Оценка материально-технических ресурсов развития системы обучения.

4.2 Диагностика системы управления знаниями.

• Анализ эффективности процессов управления знаниями.
• Выявление ресурсов развития системы управления знаниями.
• Оценка надежности сохранения и доступности корпоративных знаний.
• Выявление ресурсов выработки и трансляции корпоративных знаний.
• Оценка объема инвестиций в создание системы электронного обучения.

4.3 Оценка элементов «научающейся организации».

• Анализ эффективности процессов организационного научения.
• Выявление ресурсов развития научающейся организации.
• Оценка элементов корпоративной культуры, способствующих организационному научению.
• Оценка мероприятий по бенчмаркингу, обучению действием и коучингу.
• Оценка системы стимулирующей обратной связи.

4.4 Аудит корпоративного университета или учебного центра.

• Определение типа учебного центра.
• Анализ эффективности деятельности корпоративного учебного центра.
• Основы реинжениринга образовательных бизнес-процессов и коррекция организационной структуры Учебного центра или Корпоративного университета.
• Оценка объемов и направлений внешнего обучения.
• Выявление ресурсов для проведения корпоративных исследований.

Шаг 5. Подготовка программы оптимизации.

5.1 Представление аналитического отчета.

Отчет лучше представлять в двух вариантах: полная версия с подробными описаниями для специалистов отдела обучения, и краткая, иллюстративная (в схемах и диаграммах) для руководства.

5.2 Согласование программы оптимизации.

Вместе с описанием нынешнего состояния системы обучения отчет должен содержать рекомендации по совершенствованию процессов обучения и организационного развития:

• Изменения в положениях об обучении, должностных инструкциях, формах отчетности, и т.п.
• Проекты положений о создании корпоративного университета, внедрении программ «Action Learning».
• Проекты о постановке систем сбалансированных или универсальных показателей, разработке моделей ключевых компетенций и корпоративных стандартов (в т.ч. образовательных)

Отметим, что шаги 2, 3, 4 могут идти параллельно, т.к. необходимую информацию можно почерпнуть из документов.

Какова продолжительность аудита?

Продолжительность программы зависит от следующих параметров:

• Приоритеты заказчика;
• Количество лиц, принимающих участие в организации и проведении обучения;
• Количество категорий обучаемого персонала;
• Количество, подробность и реалистичность документов, регламентирующих или отображающих процессы обучения;
• Оперативность предоставления запрашиваемой информации.

Минимальный срок составляет 1 месяц для малых и средних предприятий. Для крупных предприятий – от 3 до 6 месяцев.

Заключение

Аудит системы корпоративного обучения позволяет выявить организационные, кадровые, материально-технические информационные ресурсы повышения отдачи от инвестиций в развитие персонала и организации на основе всесторонней и комплексной оценки всех элементов системы корпоративного обучения.

Если вы решили провести аудит системы обучения на своем предприятии, вам необходимо:

1. Заручиться согласием высшего руководства
2. Вовлечь в команду проекта ключевых руководителей и исполнителей
3. Собрать и проанализировать документацию, отражающую состояние системы обучения, а также планы развития предприятия и персонала
4. Провести экспертные интервью с ключевыми руководителями и исполнителями
5. Оценить социально-экономическую эффективность всей системы обучения и конкретных программ профессионального обучения.
6. Выявить ресурсы повышения эффективности на всех уровнях организации и проведения учебных и развивающих мероприятий.
7. Представить на обсуждение заинтересованных лиц аналитический отчет с рекомендациями по совершенствованию системы корпоративного обучения.

Результативность самого проекта аудита вы сможете определить по количеству и точности оценок и характеристик состояния существующей системе корпоративного обучения. по доле рекомендаций, нашедших практическое воплощение.

Оценка эффективности инвестиций в обучение персонала

Основная сложность оценки эффективности инвестиций в обучение персонала

Ценность знаний сотрудников для компании состоит в возможности их применения, а точнее, в результатах, которых можно добиться с их помощью. Иными словами, чтобы оценить результат проведенного тренинга, нужно установить взаимосвязь между изменением уровня знаний сотрудника и динамикой результативности его работы. Но здесь возникает ряд проблем. К примеру, очевидно, что не все свои знания сотрудник применяет на практике из-за отсутствия выработанных навыков.

Другая проблема, связанная с оценкой эффективности инвестиций в развитие персонала, — влияние на результативность труда внешних факторов, не связанных с проведенным обучением (изменение условий труда, конъюнктуры рынка и т. д.). Рассмотрим такую ситуацию. Для менеджеров по продажам был проведен тренинг на тему «Как добиться роста продаж». Через некоторое время продажи компании выросли. Но основную роль в этом сыграл не проведенный тренинг, а тот факт, что с рынка, на котором работает компания, ушел один из ее главных конкурентов. В таких условиях достаточно сложно определить, какой рост объема продаж был вызван увеличением доли рынка, а какой — проведенным тренингом. Подобные примеры лишь укрепляют финансовых директоров во мнении, что расходы на обучение персонала — неизбежное зло: учить персонал надо, но что это даст компании, неизвестно.

Выход из сложившейся ситуации

В начале 90-х годов известный эксперт в области управления персоналом Джек Филлипс разработал методику оценки эффективности инвестиций в обучение сотрудников. Суть этой методики сводится к построению причинно-следственной связи между проведенным обучением и результатом деятельности. При этом выполнение ряда последовательных шагов, предусмотренных методикой Филлипса, позволяет исключить влияние внешних факторов на динамику показателя «результативность работы сотрудников». Затем этот показатель сопоставляется с объемом вложенных средств.

Определение эффекта от проведения обучения

Нужно четко понимать, что любой тренинг — это не дань моде, а способ решения конкретных проблем. Поэтому сначала надо определить, какие проблемы, связанные с работой персонала, есть у предприятия. Предположим, в фирме сложилась ситуация, когда сотрудники финансово-экономической службы хронически перегружены и из-за этого допускают большое количество ошибок. Руководство решает, что сотрудникам нужен тренинг по тайм-менеджменту (управлению рабочим временем). Такой подход не верен, поскольку прежде, чем проводить тренинг, нужно понять, в чем причина сложившейся ситуации. Может оказаться, что проблема не в том, что сотрудники не могут грамотно управлять своим рабочим временем, а, скажем, в некорректном распределении обязанностей, неправильной организации труда или просто в нехватке работников. Проводить тренинг необходимо после того как руководство убедится, что он поможет решить эту проблему.

Чтобы исключить влияние внешних факторов, необходимо также максимально конкретизировать показатель «эффективность работы сотрудника». Поясню, что я имею в виду. Для главного бухгалтера одним из показателей эффективности деятельности может стать «сумма пеней и штрафов». Но этот показатель в значительной степени подвержен влиянию внешних факторов. К примеру, на предприятии не было денег и оно не смогло вовремя заплатить налоги, за что были начислены пени. Однако это не связано с работой бухгалтера, поэтому в такой ситуации правильнее использовать показатель «пени и штрафы, начисленные за несвоевременную сдачу отчетности». Очевидно, что если бухгалтер недостаточно квалифицирован, он не сможет в нужные сроки корректно подготовить отчетность.

Из этого примера видно, что очень важно правильно выбрать показатель, на основании которого будет проводиться дальнейшая оценка результатов проведенного обучения.

К сожалению, не всегда можно выделить показатели, которые не подвержены влиянию внешних факторов. В таких случаях необходимо подтвердить полученное значение показателя ROI, проанализировав эффект от проведенного тренинга по трем направлениям: «реакция участников семинара», «знания» и «поведение».

Используя в качестве одного из направлений оценки «реакцию участников семинара», мы исходим из предположения, что если проведенный семинар понравился, то и пользы от него будет больше. Реакция участников оценивается путем анкетирования. Анкеты содержат такие вопросы, как «понравился ли тренинг», «насколько применимы полученные знания», «качество подачи материала» и т. д. Каждый пункт оценивается в баллах. Участники опроса заполняют анкеты, на основе которых и рассчитывается суммарный балл. Затем подсчитывается средний балл для всех участников. Шкала оценки значения не имеет.

Предположим, мы получили высокую оценку по проведенному тренингу, но очевидно, что понравившееся обучение не означает автоматического прироста знаний у сотрудников. Поэтому следующий этап — это оценка «знаний», а точнее — их роста. Оценить изменение уровня знаний у сотрудников можно путем тестирования их до и после семинара. В идеале разработка тестов должна проводиться специалистами предприятия совместно с тренером (преподавателем). Это позволяет ориентировать тесты на оценку конкретных знаний, которые необходимы для решения задач, стоящих перед предприятием.

Итак, мы оценили «реакцию участников тренинга» и полученные «знания». Но и этого не достаточно. Как я уже говорил, компанию интересует применение этих знаний на практике, которое оценивается по направлению «поведение». Оценка «поведения» производится на основе анкет, которые раздаются руководителям подразделений, чьи подчиненные прошли обучение.

Оценки по этим трем направлениям с ROI

Увязывать эти показатели не надо. Основным показателем остается ROI проекта. Оценка по направлениям — способ подтвердить, что рассчитанное значение ROI получено именно благодаря тренингу. Здесь можно провести некоторую аналогию с системой сбалансированных показателей: мы также располагаем четырьмя показателями, которые характеризуют эффективность проведенного обучения. К примеру, было получено высокое значение ROI. Однако на этот показатель мог повлиять не только проведенный тренинг, но и другие факторы, исключить которые нельзя. Чтобы убедиться в том, что на достигнутый результат в большей степени повлиял тренинг, проводится оценка по трем направлениям — «реакция», «знания» и «поведение». И если по ним получены высокие результаты, можно утверждать, что искажение оценки ROI незначительно или отсутствует.

Применение методики ROI для оценки инвестиций в персонал

Внедрение системы оценки ROI обучения существенно облегчает жизнь специалистам по персоналу и улучшает их взаимопонимание с топ-менеджментом. На прошлогодней конференции ASTD (American Society of Training & Development) был представлен квартальный отчет отдела обучения крупного североамериканского банка. Он представлял собой не описание того, как проходило обучение (темы, сроки, впечатления участников), а был больше похож на финансовый отчет — по таблицам было четко видно, сколько сотрудников прошло обучение, каковы затраты, каков прирост бизнес-показателей. Топ-менеджерам и финансовой службе с его помощью легко оценить отдачу от проведенного обучения.

Если же компания только задумывается о том, как оценить финансовую отдачу от обучения сотрудников, то лучше начать с оценки наиболее значимых обучающих программ (наиболее дорогие, масштабные, стратегически важные). Дело в том, что любое «измерение» требует определенных затрат (денежных, временны'х и пр.), поэтому нужно быть уверенным в том, что затраты на оценку будут сопоставимы с ценностью полученных результатов. Кроме того, чтобы получить максимально достоверные результаты, можно посоветовать финансовым директорам и менеджерам по персоналу обращаться к высококвалифицированным бизнес-тренерам, располагающим статистикой по показателю ROI для различных тренингов. В таком случае предприятие сможет не только оценить эффект от проведенного тренинга постфактум, но и спрогнозировать возможный результат еще до обучения.