Ольга Иванова, специалист научно-методического отдела HR-лаборатории «Гуманитарные Технологии», ассистент кафедры педагогики и медицинской психологии ММА им. И.М. Сеченова, специально для Trainings.ru
22 июня 2007 г.

Профессиональные (квалификационные) тесты — нужная вещь в работе менеджера по обучению и развитию персонала. С этим трудно поспорить. Их используют и при оценке уровня профессиональной подготовки кандидата, и при оценке профессиональных навыков сотрудника кадрового резерва для дальнейшей разработки индивидуального плана развития, и для других целей, когда надо оценить навыки работы в профессии.

Чтобы расставить все точки над i, договоримся, что под профессиональными тестами специалисты Лаборатории «Гуманитарные технологии» понимают специализированные тесты, предназначенные для проведения на определенной группе профессионалов или кандидатов в профессионалы, в ходе которых измеряется уровень сформированности знаний, умений и навыков, необходимых для данной профессии.

Квалификационные тесты способны принести эффект для организации в целом, когда они создаются и внедряются не как изолированный инструмент, а как элемент целостной и логичной комплексной системы контроля качества подготовки персонала. Тесты — это необходимый, но не достаточный инструмент оценивания уровня подготовки. Их необходимо дополнять экспертными оценками работников, результатами испытаний нетестового типа (например, испытаний в форме группового обсуждения проблем — в той или иной степени имитационных или реальных) и т. д.

Тестовые опросники, составленные на базе универсальных вузовских учебных курсов по различным специальностям, часто оказываются малопригодными для бизнеса. Причина состоит в том, что в каждой организации специалистам для успешной работы требуется уникальный набор знаний и опыта — поэтому область знаний и методика их оценки, как и набор компетенций для специалистов, должны быть индивидуальны для каждой компании. Кроме того, в зависимости от задачи, которую планируется решать с помощью процедуры тестирования, самому тесту предъявляются различные требования — по численности банка заданий, по информационной безопасности, по разнообразию типов заданий и т. д.

В рамках данной статьи предлагаем обсудить, каким образом создаются специальные тесты для конкретной должности в конкретной организации. По опыту разработки тестов Лаборатории «Гуманитарные Технологии» мы можем выделить следующие этапы создания теста:

1) Определение задачи (место будущего теста в контексте оценки и управления персоналом);

2) Согласование субшкал (субтестов) с моделью компетенций (профилем специалиста) для обследуемых;

3) Выбор методического и технического решения;

4) Формирование банка заданий;

5) Экспертиза отдельных заданий (экспертный отсев некачественных заданий);

6) Апробационное (пилотажное) исследование первой версии теста;

7) Коррекция параметров банка заданий и вариантов на основе полученной статистики (после этого этапа возможно возвращение к предыдущим этапам);

8) Формирование окончательной версии теста.

Расскажем о каждом из этапов поподробнее.

Создание теста начинается с процедуры планирования: главный вопрос, который должен быть решен на этом этапе — определение задачи (для чего создается тест). Так, тест может создаваться для:

• Отбора кандидатов на массовые позиции
• Отбора высокооплачиваемых специалистов и менеджеров
• Аттестации действующих сотрудников на массовых (низовых) позициях
• Аттестации действующих высокооплачиваемых специалистов и менеджеров
• Направления на обучение или тренинг
• Измерения результатов (эффективности) обучения или тренинга (сертификация)

Очень важно, чтобы создаваемый тест четко соотносился с теми требованиями, которые предъявляет вакантная должность, — как по содержанию (умение налаживать контакт — у менеджеров по продажам; знание языков программирования — у программистов, а не наоборот и т. д.), так и по глубине знаний и умений (например, начинающий менеджер по продажам, очевидно, может себе позволить более низкий уровень знания линейки продуктов в конкретной организации по сравнению с коммерческим директором или кандидатом на эту позицию).

Анализ содержания будущего теста является следующим этапом его разработки — именно здесь определяются шкалы теста (критерии оценки). Для того чтобы тест действительно измерял необходимые для данной позиции профессиональные знания и умения, обычно собирается фокус-группа из компетентных уже работающих специалистов той должности, для которой создается тест, руководителей этих специалистов, HR-специалистов и,по возможности, внешних консультантов. В ходе дискуссии участники фокус-группы под руководством ведущего обмениваются мнениями о том, какие области знаний важны для сотрудников данного направления деятельности компании (например, какие шкалы можно выделить для диагностики секретаря?). В случае разногласий или появления явно избыточного списка критериев (шкал) заключительным этапом целесообразно провести оценку (шкалирование) экспертами списка сформулированных шкал по двум критериям оценки:

• значимость;
• оригинальность (чтобы исключить смысловое дублирование — т. е. чтобы области диагностируемых знаний не пересекались между собой).

После завершения данного этапа переходят к решению следующих важных вопросов — выбору методического и технического решения. Так, возможно создание тестов с выбором одной из альтернатив (наиболее традиционный вариант); тестов, предполагающих краткий или развернутый свободный ответ; тестов кейсового типа и т. д. Выбор конкретного методического и технического (бланковое, офф-лайн, он-лайн тестирование) решения происходит с учетом целей тестирования, определенных ранее, а также с учетом финансовых и временных возможностей организации. Например, для отбора на массовые позиции может быть наиболее выгодным вариант непродолжительного не слишком сложного традиционного тестирования, который бы позволял отсеивать только тех кандидатов, которые оказываются совсем профессионально неподготовленными; остальные же без проблем могут преодолеть эту процедуру, обладая минимально необходимым набором знаний, умений и навыков. Такой «первичный отсев» значительно экономит ресурсы HR-специалиста, позволяя не тратить время на заведомо неподходящих кандидатов.

Когда будущий тест полностью спланирован, наступает этап составления банка заданий. Это — одна из важнейших процедур, и к ней должны допускаться только специально подготовленные тестологи и подробно проинструктированные ими специалисты, знающие специфику и содержание работы на оцениваемой должности.

Для того чтобы тест был действительно качественным, а не кустарным, в процессе формулирования заданий необходимо соблюдение определенных правил, а также последующий психометрический анализ каждого пункта теста.

Основные правила создания тестовых заданий таковы:

1) Задания должны быть валидными (т. е. выявлять знания именно в той области, на которую они направлены; например, для оценки экономических знаний не годятся задания на общую эрудицию, или политологию, или право, даже если они необходимы для конкретной должности; при желании, эти задания можно сохранить, но вынести в отдельные шкалы — при условии, что на этапе планирования эти шкалы были признаны профессионально важными);

2) Дистракторы должны быть равновероятными (т. е. неправильные ответы в шуточной форме, или очевидно неадекватные по отношению к вопросу, или угадываемые на уровне здравого смысла и т. д. не должны включаться в тест, поскольку создают возможности благополучного прохождения тем испытуемым, которые некомпетентны в оцениваемой области);

3) Количество ответов в задании должно быть от 4 до 6 (таким образом, достигается баланс между защитой теста от случайного угадывания и трудозатратностью процедуры тестирования).

После создания банка заданий (изначально избыточного) происходит экспертиза составленных пунктов будущего теста (во время которой отсеиваются задания, не относящиеся к заявленной тематике, или имеющие неточности, неоднозначности в формулировке, или не имеющие правильного ответа). Также проводится пилотажное исследование, позволяющее произвести статистический анализ каждого пункта (расчет коэффициентов оптимальной трудности и дискриминативности) и, таким образом, оставить только те из них, которые показали высокую диагностическую способность. Экспертиза чаще всего производится силами авторов заданий (перекрестная оценка) или специалистами той должности, для которой разрабатывается тест; в то время как статистический анализ по результатам пилотажного исследования — специалистами тестологами или специально обученными HR-специалистами.

Только после прохождения полного цикла конструирования квалификационного теста возможно использование его как объективного инструмента для оценки будущих кандидатов. К сожалению, далеко не всегда организации и образовательные учреждения уделяют должное внимание полной процедуре разработки, считая траты на статистический анализ, экспертизу заданий, расчет норм неоправданными и ненужными. Однако такая экономия (особенно на примере образовательных учреждений) обычно выходит боком: создаются тесты, с которыми не может справиться никто из учащихся, или справляются все поголовно, или все получают одинаковые оценки (т. е. тест не дифференцирует реальный уровень подготовленности), или тест содержит устаревшую информацию и не имеет возможности регулярного обновления, несмотря на постоянный прогресс в различных областях знаний и технологий.

Разработка квалификационных тестов может производиться как внешними по отношению к организации специалистами тестологами, так и внутренними силами — специально подготовленными внутренними тестологами из числа HR-специалистов. По опыту разработки профессиональных тестов в нашей Лаборатории, чаще встречаются варианты сотрудничества, когда отдельные этапы (например, определение задачи, согласование субшкал, формирование и экспертиза банка заданий) производятся преимущественно внутренними ресурсами организации-заказчика, а другие этапы (например, определение наиболее подходящего методического и технического решения, пилотажное исследование, статистический анализ пунктов) производится внешними по отношению к организации сотрудниками, специалистами-тестологами нашей Лаборатории.

Современные компьютерные технологии позволяют автоматизировать и сократить временные и финансовые затраты на экспертизу, психометрический анализ теста, а также на саму обработку полученных соискателем результатов. Использование этих технологий, а также знание внутренних процессов конструирования тестаможет оптимизировать работу HR-специалиста и вывести ее на качественно иной уровень.

При перепечатке материала ссылка на hrbazaar.ru обязательна