Дональд Л. Киркпатрик, автор четырехуровневого подхода к оценке эффективности тренинговых программ
17 июня 2008 г.

Я был удивлен и расстроен статьей, вышедшей в августе 2006 года в журнале Training. Она называлась «Вы слишком добры, чтобы быть хорошим преподавателем». Статья начиналась так:

«Помните своего противного, злого учителя в старших классах? Мы помним. Хотя вам неприятно это признавать, скорее всего, вы многому научились у него. Положительная оценка, полученная с помощью „листов улыбок“, часто приводит к отрицательным результатам. В классе доброта не нужна — недостаточно строгая оценка ни к чему хорошему не приведет».

Дальше в статье цитируется исследование, в основном анализирующее образовательные программы, в котором говорится, что «листы улыбок» приносят больше вреда, чем пользы.

(«Листы улыбок» — smile sheets — так часто называют анкеты реакции, которые заполняют участники сразу после окончания тренинга. В практике тренинговых компаний используются разные термины для обозначения анкет реакции — такие, ннапример, как «бланк обратной связи», «анкета участника», «опросник мнений» и т. п.. — Прим. ред.)

Один из разделов статьи назван «Почему листы улыбок всем надоели?» Там говорится: «Некоторым людям нравятся курсы, на которых они почти ничему не учатся. Согласно исследованиям, некоторые слушатели после тренинга еще хуже разбираются в теме, чем до обучения, но иногда им даже нравится терять знания». Но больше всего меня расстроил раздел под названием «Игры, в которые играют тренеры». В нем говорилось, что тренеров заботит только одно — как их оценят участники курса, а все остальное их не интересует. Автор утверждал, что тренеры стараются всячески задобрить участников конфетами, угощениями, призами и интересными историями, чтобы повлиять на оценку, которую те дадут им на первом уровне. Ради хороших оценок в «листах улыбок» тренеры из кожи вон лезут, восхваляя интеллектуальные способности участников и осыпая их благодарностями за прекрасное занятие. А в их анкетах реакции нет ничего о практической стороне программы и других важных факторах. Все вопросы касаются только самих преподавателей. Таким образом, авторы статьи пытались доказать абсолютную бесполезность анкет реакции для оценки эффективности тренинга, считая, что они приносят больше вреда, чем пользы.

Примечание. Статья с опровержением появилась в октябрьском номере журнала. Я был удивлен и благодарен редактору за это.

Некоторые тренеры используют термины «листы улыбок» или «оценки счастья», имея в виду анкеты реакции. Я думаю, они правы. Но мне не нравится безапелляционный тон статьи в Training, утверждавшей, что такие оценки бесполезны и приносят больше вреда, чем пользы. Мы определяем анкеты реакции как «оценку удовлетворенности клиентов». И это подчеркивает их важность и ценность. Участники тренингов действительно являются вашими клиентами независимо от того, платят они за программу или нет. Когда я работал в Институте управления Университета Висконсина, участники наших конференций и семинаров выплачивали нам гонорар. И наше существование зависело от их мнения. Иногда менеджер высшего звена посещал наш курс, чтобы оценить его и решить, направлять на обучение своих сотрудников или нет, поэтому для нас было очень важно получить его положительный отзыв. Наша программа состояла из двух пятидневных курсов, между которыми был перерыв в несколько месяцев. От того, как слушатели оценивали первый курс, зависело, придут ли они на второй.

Первая причина составления анкет реакции — они позволяют узнать, что клиенты думают о программе, и внести все необходимые изменения, чтобы улучшить ее.

Есть и вторая причина. Если тренеры не попросят участников заполнить их, это будет тонким намеком на то, что они прекрасно знают, что делают, и не нуждаются в обратной связи от участников тренинга по поводу его эффективности. Участникам это может не понравиться. Итак, анкеты реакции необходимо использовать в каждой программе.

Предлагаем вам несколько советов по разработке формы, позволяющей получить максимум информации за минимальное время, которое понадобится для ее заполнения.

• Составьте перечень вопросов, на которые вы хотите получить ответы участников. Мы рекомендуем 8—15.
• Разработайте форму для оценки мнения участников тренинга. Самые аспространенные формы — пятибалльная шкала (Отлично, Очень хорошо, Хорошо, Удовлетворительно и Плохо) или хорошо всем известная шкала Ликерта (Полностью согласен, Согласен, Затрудняюсь ответить, Не согласен и абсолютно не согласен). Можно начать с отрицательных или положительных отзывов — это не принципиально.
• Оставьте место для комментариев.
• В конце анкеты предусмотрите место для предложений участников по улучшению курса.
• Анкеты должны быть анонимными. Хотя вы можете возразить, что подпись нужна на тот случай, если вас заинтересует какое-то предложение по улучшению курса, изложенное в анкете.

Постарайтесь получить ответы от всех участников курса. Если вы оцениваете электронный курс обучения, разработайте удобную форму для обратной связи и подчеркните важность ответов всех участников. Если вы оцениваете программу, которую проводит тренер, дайте участникам время в конце занятий для заполнения анкеты.

Называйте их анкетами комментариев, анкетами реакции, «листами улыбок» или «листами счастья», но убедитесь в том, что вы выбрали подходящие вопросы для оценки, чтобы проанализировать мнение участников обучения. Примите к сведению наши рекомендации и в конце анкеты задайте вопрос: «Какие изменения улучшили бы программу?»

Почему это обязательно следует сделать? Во-первых, речь идет о ваших клиентах, независимо от того, платят они или нет. И будет лучше, если они останутся довольны программой. Некоторые коллеги, руководители или будущие участники, наверное, спросят у тех, кто уже прошел обучение: «Что вы думаете об этом курсе?» Вы, наверное, сразу угадаете, кто из них скажет: «Я только зря потерял время» или: «Я не научился ничему, что пригодилось бы в работе», или: «Не тратьте на это время, если можете».

И еще: скорее всего, слухи дойдут до одного из топ-менеджеров, который не станет утруждать себя анализом общего мнения о курсе, а сделает неутешительный вывод об отделе обучения и примет соответствующие решения. Так что поинтересуйтесь мнением участников и убедитесь в том, что оно положительное.

Отрывок из книги «Четыре ступеньки к успешному тренингу», Дональд Л. Кирпатрик и Джеймс Д. Кирпатрик, М. — Эйч Ар Медиа, 2008