«То, что нельзя измерить, нельзя улучшить», – Александр Драль, CEOBigDataTeamи спикер HR&TechnologyEXPO.

Александр Драль, CEO Big Data Team уже на следующей неделе выступит на HR&TechnologyEXPOс лекцией об оценке эффективности, продуктовых метриках и механиках аналитики обучения. Перед этим мы задали ему несколько вопросов о том, действительно ли так важна аналитика обучения, и почему нельзя опираться исключительно на качественные показатели и мнение сотрудников.

Почему, на ваш взгляд, важна аналитика обучения?

То, что нельзя измерить, нельзя улучшить. Приведу пример аналитики обучения – оценка качества работы преподавателей. Довольно редко мне приходилось видеть людей, принимающих решение не на основе своего личного мнения или интуиции, а на основе чисел. Когда ты привлекаешь нового преподавателя в команду, ты приходишь на его занятие, чтобы, с одной стороны помочь, а с другой – оценить его/её работу.

Помню, как привлёк одного преподавателя первый раз: я сидел на задней парте, весь красный от негодования, разочарования и думал, что слушатели «закидают помидорами». Из стандартных практик преподавания этот человек выполнял навскидку процентов 20. Но в обратной связи от слушателей я увидел, что именно такой формат очень хорошо подходит взрослой аудитории. Сейчас с гордостью могу сказать, что это один из наших лучших преподавателей, и я очень рад, что не принимал решения на основе своих личных, субъективных оценок.

Можно ли при проведении аналитики обучения полагаться исключительно на мнение сотрудников?

Можно, но в пределах разумного. Например, если вы оцениваете качество обучения на основе NPS (Net Promoter Score, или коэффициент лояльности, – прим.), то 100% прошедших данный курс рекомендуют его знакомым и коллегам. А потом выясняется, что их просто за деньги обучения отправили отдыхать на Мальдивы. Хорошо для целей обучения? Очень важно не забывать про критерии оценивания знаний и их достижении по окончании обучения.

Тогда какие инструменты и данные можно использовать для аналитики обучения?

Конечно же, есть вещи, которые будут зависеть от предметной области. Как вы могли догадаться, для обучения юристов и разработчиков, критерии могут быть разными. Главное, чтобы во время обучения вы понимали, что для вас является критерием качества и как вы будете его измерять.

Но, если мы говорим про hard-скилы, то такие инструменты как:

• тестирование(которое можно легко сделать через Google Form),
• интервью /собеседования

позволят понять уровень знаний и владения изученными технологиями.

В долгосрочной перспективе все стараются оценивать влияние тех или иных тренингов на производительность человека и всей команды. Я работал в компаниях, где можно было наглядно увидеть примеры успешного обучения по следующим метрикам:

• время до первого комита в кодовую базу (правильное обучение / тренинг в рамках onboarding нового сотрудника),
• время до создания первой production модели Machine Learning, применяемой в бизнесе (эффективность обучения курсам программирования и анализа данных).

Мы, в BigData Team, определили для себя следующие показатели:

1. Прогресс знаний и навыков от обучения (проверяется решением практических заданий и тестирования);
2. Обратная связь от слушателей (по каждому занятию, по всему учебному курсу в формате NPS);
3. Максимизация скорости получения знаний и навыков (один и тот же материал можно подать в разном формате, с разными примерами; с каждым запуском курса, мы перерабатываем примеры и обновляем структуру рассказа на основе экспериментов и обратной связи от слушателей).

Этих показателей уже более чем достаточно, чтобы оценить эффективность очного обучения. И это даже без привлечения Big Data. Общая рекомендация – не надо привлекать Big Data просто потому, что это круто или в тренде.

Если у вас много преподавателей, филиалов или вы проводите обучение в онлайн-формате, вот тут Big Data проявляется во всей красе. Например:

• Вы можете строить рекомендательные системы, чтобы понимать какие преподаватели на какой аудитории лучше всего работают;
• Вы можете анализировать видеоряд общения преподавателя и ученика и выявлять полезные факторы, важные на усвояемость материала. Например, коллеги в Skyeng оценивают сколько времени на уроке говорит ученик, а сколько преподаватель. Показатель в 5% общего времени разговора учеником в сравнении 95% преподавателем, что-то да будет говорить об эффективности такого урока по закреплению навыков устной речи на английском языке.

Для тех, кому повезло заниматься онлайн-обучением, так это просто сокровищница полезных данных:

1. Вы можете прогнозировать вероятность успешного прохождения курса по стилю просмотра первых видео, скорости чтения материалов и сдачи заданий;
2. На основе такого прогноза можете выделять группу риска и помогать им вернуться в нужную колею. Например, с помощью мотивирующих уведомлений:

• «мы нашли 120 пользователей, похожих на вас»
• «те, кто посмотрел 9 видео и больше в течение первой недели, смогли успешно пройти курс и получить сертификат»
• «те, кто смотрел менее 9 видео, так и не закончили этот курс ;(»
• «вы посмотрели только 7 видео, посмотрите еще 2, чтобы не упустить возможность пройти курс успешно!»

Самое приятное для разработчиков онлайн-курсов то, что эти же данные можно использовать для улучшения материалов, которые вызывают наибольшие сложности у слушателей. И все эти решения будут не просто «экспертным» мнением, действительно подкрепленны данными.

Желаю всем удачи в оптимизации эффективности обучения, как с привлечением Big Data, так и без!