Поиск по тегам

Поиск по компаниям

Какие проблемы таят в себе тесты знаний с заданиями закрытой формы?

27 января 2020, 15:54 | Концепции, L&D, HR-сервисы,
Какие проблемы таят в себе тесты знаний с заданиями закрытой формы

Тесты знаний с заданиями закрытой формы используются практически везде, где есть обучение. Но почему-то повсеместно считается, что их разработке вовсе не обязательно учить! В результате разрабатываются некачественные тесты, у которых вероятность угадывания правильного ответа может быть выше 50%; более того, они совсем не измеряют знания в предметной области, а скорее проверяют способность испытуемого мыслить логически. Таким образом, вместо эффективного и валидного инструмента контроля знаний мы получаем его дискредитацию и зря потраченное время.

В статье описана авторская система оценки качества тестовых заданий, которая состоит из четких и измеримых критериев. Она встроена в шаблон для разработки и оформления теста, гарантирует высокое качество разработки и существенно облегчает процедуру объективной экспертизы теста.

Что мы можем проверить тестом знаний, состоящим из заданий закрытой формы?

Гуру дидактики (Блум, Беспалько и др.) выделяют следующие уровни усвоения знаний (здесь представлено некоторое обобщение):

  1. Узнавание (выбор правильного ответа из нескольких возможных);
  2. Знание (запоминание и воспроизведение информации наизусть);
  3. Применение (умение использовать полученные знаний на практике);
  4. Анализ (умение структурировать информацию и делать выводы);
  5. Синтез (умение создавать новую информацию);
  6. Оценка (умение оценивать новую информацию).

Иногда 5 и 6 уровни меняют местами.

Что же получается? Мы хотим, чтобы после обучения и проверки знаний наши слушатели пошли немедленно их применять, анализировать и даже создавать новые, а сами, как правило, проверяем их знания тестами закрытой формы! А это самый первый уровень усвоения знаний — уровень узнавания! Нестыковочка…

Другая крайность — так и не нужны нам эти «угадайки»! Непременно нужно давать слушателям творческие задания, приближенные к боевым. Верно, но эти задания может проверить только эксперт в данной области, и ни о какой автоматизации проверки знаний речи не идет (по крайней мере, пока возможности искусственного интеллекта на нынешнем уровне).

Ответ прост: гвозди забиваем молотком, а не микроскопом! И если цель — просто проверить, изучал или нет данную информацию слушатель, то более быстрого, массового и автоматизированного (без привлечения преподавателя!) инструмента проверки знаний, чем электронный тест с заданиями закрытой формы, нет.

А эта цель очень полезна, например, в смешанной форме обучения, когда на очный тренинг слушатели приходят уже с багажом знаний и могут приступить к тренировкам умений и навыков.

Итак, основное ограничение теста знаний с заданиями закрытой формы состоит в том, что он измеряет знания всего лишь на самом низшем уровне их усвоения — на уровне узнавания или ознакомления.

Почему так важно качество тестовых заданий?

Более того, всегда есть вероятность угадывания правильного ответа, которая зависит от количества ответов. В случае задания «один из многих» эта вероятность вычисляется легко. Например, если ответов всего 4, то она равна ¼ или 25%. Согласитесь, немало! А если ответов всего два — «да» или «нет», то вовсе можно угадать 50 на 50! В случае других видов заданий закрытой формы — «несколько из многих», «установление соответствия», «установление последовательности» — формула вычисления несколько сложнее, а вероятность угадывания, как правило, меньше, но она все равно есть!

Раз так, чрезвычайную важность составляет качество разработки тестовых заданий. У тестового задания закрытой формы есть несколько вариантов ответа — правильный ответ (или несколько правильных ответов) и отвлекающие ответы, очень похожие на правильный. Последние называются «дистракторами». Так вот, если дистракторы составлены так, что их можно угадать, применяя методы формальной логики, то, во-первых, значительно увеличивается процент угадывания правильного ответа, а во-вторых, мы тогда проверяем не знания в предметной области, а способность слушателя рассуждать логически. Иными словами, возникает риск не проверить знания даже на самом низшем уровне их усвоения.

Выход один – разрабатывать задания закрытой формы так, чтобы дистракторы были настолько похожи на правильный ответ, что без знаний в предметной области их нельзя было бы угадать. Как это сделать? Ответ: перед началом разработки на входе должны быть заданы четкие и измеримые критерии качества теста и тестовых заданий.

Авторская система критериев качества тестовых заданий закрытой формы

Предлагаю Вашему вниманию систему критериев качества тестовых заданий закрытой формы [1]. Главное назначение этой системы состоит в том, чтобы помочь в доступной форме (с помощью ответов на вопросы да/нет) автору теста разработать такое задание, которое действительно будет проверять знания в предметной области. Каждый критерий представлен в виде утверждения, которое можно оценить по двухбалльной шкале: «да/1» или «нет/0». Это позволяет установить интегральный критерий качества в цифровом виде — например, значение показателя качества тестового задания, определяемого как среднее арифметическое всех критериев качества. Другими словами, чем больше ответов «Да» или «единичек», тем качественнее тестовое задание.

Группы критериев системы качества

Итак, система состоит из четырех групп критериев:

  1. Достаточная сложность задания;
  2. Качество формулировки задания;
  3. Качество и количество ответов;
  4. Качество оформления тестового задания.

Критерии группы 1 «Достаточная сложность задания»

Критерии этой группы прогнозные и определяют самое главное: подтверждение качества тестового задания. Остальные группы критериев работают на то, чтобы эти критерии были оценены на 1.

Первый критерий звучит так: «1.1. Неспециалист в предметной области не знает правильный ответ и выбирает правильный и неправильный ответ с равной вероятностью». Заметим, что именно неспециалист поможет вам интегрально определить качество тестового задания. Этот критерий может быть проверен на практике с помощью пилотной группы, которая собрана из экспертов в других областях, не имеющих представления о проверяемой тематике. Если по результатам пилотного тестирования процент правильных ответов каждого тестового задания находится в пределах вероятности угадывания, значит, тестовое задание составлено качественно. В идеале чем меньше процент правильных ответов у неспециалистов, тем лучше.

Второй критерий: «1.2. 70-80% специалистов в предметной области отвечают правильно». Это означает, что для проверки качества тестового задания нужна вторая группа для пилотного тестирования. Именно эксперты в данной предметной области проверят корректность составленных дистракторов.

Критерии группы 2 «Качество формулировки задания»

Критерии этой группы, в основном, нацелены на то, чтобы задание было сформулировано максимально лаконично и понятно для испытуемого. Это важно, поскольку тест сам по себе — стрессовая ситуация, и мы должны позаботиться о том, чтобы сгладить последствия этого стресса. Чем меньше текст всего задания, тем быстрее слушатель прочитает и поймет его. Так, критерии «2.2. Отсутствие лишних слов (исключение которых не изменяет смысл задания)», «2.3. Отсутствие повторяющихся слов в ответах» и «2.4. Утвердительная форма формулировки задания» позволяют минимизировать количество слов в задании. Повторяющиеся слова в ответах можно перенести в вопрос, а лишние слова исключить. Что касается утвердительной формы, то практически любой вопрос можно переформулировать так, что он станет утверждением, а ответы будут продолжать это утверждение. Так текст станет короче, как минимум, на вопросительное слово. Например, вопрос «Как в подавляющем большинстве случаев называется определение и запись корреспондирующих счетов на документах?» можно переформулировать так: «Определение и запись корреспондирующих счетов на документах называется:».

Справедливость критерия «2.1. Отсутствие грамматических ошибок» очевидна.

Критерий «2.5. Отсутствие двойного отрицания» введен для того, чтобы текст задания был легче в восприятии, и слушатель случайно не перепутал, что именно у него спрашивают. Для этой цели также введен критерий «2.6. Выделение отрицания заглавными буквами». Если автору теста так уж необходимо использовать отрицание, нужно привлечь к нему дополнительное внимание слушателя.

Наконец, критерий «2.7. Отсутствие аббревиатуры без расшифровки» добавлен в систему для того, чтобы избежать разночтений в расшифровке аббревиатур.

Критерии группы 3 «Качество и количество ответов»

Самый главный критерий в этой группе «3.1. Невозможность отличить правильный ответ от дистракторов по формальным признакам (количество слов, полнота ответа, наличие пояснений) и с помощью методов формальной логики (очевидно неправильный ответ, частично правильный ответ, в ответе есть косвенные ссылки на текст вопроса и т.д.)».

Следующий критерий посвящен грамматике «3.2. Логическая и грамматическая согласованность с формулировкой основной части задания». А вот критерий «3.3. Отсутствие формулировки ответов вида «все перечисленные ответы», «все ответы неправильные», «да», «нет»» часто вызывает вопросы. Поясню. Главным условием неугадываемости правильного ответа является чрезвычайная похожесть дистракторов на правильный ответ. В этом контексте ответы «все перечисленные ответы» или «все ответы неправильные» абсолютно не похожи на правильный ответ. Более того, зачастую эти ответы и являются правильными, и именно их интуитивно выбирает испытуемый. Поэтому на такие варианты вводится запрет. Что касается ответов «да/нет», то в этом случае очень сильно повышается вероятность угадывания – с 25% при четырех вариантах ответов до 50%. Это, с моей точки зрения, слишком просто, и невозможно гарантировать проверку знаний, а не проверку логики.

Последний критерий относится к требованиям к количеству ответов: «3.4. Минимум 4 варианта ответа для вида задания «один из многих»; минимум 5 вариантов ответа для вида задания «несколько из многих»». Дело в том, что вопрос вида «несколько из многих» сложнее угадать, вероятность угадывания существенно ниже, чем в вопросе вида «один из многих». Таким образом мы можем варьировать сложность теста наличием в пропорциях вопросов разных видов. Количество 4 и 5 ответов соответственно выбрано, исходя из опыта, это достаточное количество для обеспечения приемлемого процента угадывания.

Критерии группы 4 «Качество оформления тестового задания»

Наконец, последняя группа критериев посвящена оформлению тестовых заданий. Здесь, к сожалению, нет никакого стандарта, и каждый автор оформляет как получится: кто-то в конце вопроса ставит двоеточие, кто-то тире; ответы начинаются то с большой, то с маленькой буквы; в конце ответов ставится или нет точка. Чтобы упорядочить оформление, предлагаются критерии: «4.1. Формулировка задания утвердительной формы завершается двоеточием, ответы к заданию начинаются со строчной (маленькой) буквы (за исключением имен собственных). Если в качестве задания используется вопрос, ответы начинаются с прописной (большой) буквы. В конце ответов не ставится никаких знаков препинания» и «4.2. Правильные ответы приводятся в начале списка ответов, выделяются полужирным шрифтом, напротив ставится метка правильного ответа».

Как использовать систему критериев

Систему критериев можно использовать как для самооценки тестовых заданий авторами, так и для проведения экспертизы теста. При этом очень легко задать критерий качества тестового задания – нужно разработать его так, чтобы по всем критериям были «1» или, например, только один нолик – по критерию «2.4. Утвердительная форма формулировки задания». Исключение для этого критерия сделано, поскольку бывают ситуации, когда при преобразовании утверждение становится более сложным для понимания.

Система критериев встраивается в специальных шаблон для оформления тестового задания (этот шаблон можно сделать в табличном процессоре — например, MS Excel). Оценки по критериям можно выставлять прямо напротив тестового задания, одна строка – для самооценки, вторая – для оценки эксперта. Напомним, что экспертом может выступать неспециалист в предметной области, и он также здорово поможет автору теста выявить недостаточно качественные дистракторы. В идеале экспертов должно быть два: один —  неспециалист, другой – эксперт в предметной области.

Выводы

Использование стройной системы двоичных критериев качества тестовых заданий в шаблоне для разработки теста действительно позволяет создавать качественные тесты, гарантирует высокое качество разработки, минимум переделки и существенно облегчает процедуру объективной экспертизы теста.

При использовании этого шаблона, эксперту в предметной области будет легче разрабатывать тесты самостоятельно, не углубляясь в теорию тестологии. А методисту/тестологу будет гораздо проще проводить экспертизу теста и мотивированно объяснять автору теста, что нужно улучшить.

Система внедрена в Объединенной металлургической компании в процессах тестирования профессиональных знаний и оценки знаний нормативно-регламентирующей документации. Результаты ее апробации представлены на ряде Международных и Всероссийских конференций и получили высокую оценку участников [2].

Автор: Галина Троян
Эксперт-практик в области электронного обучения, тестирования знаний, автоматизации HR-процессов, канд. физ.-мат. наук, доцент

Автор статьи проводит 4-часовые групповые тренинги по разработке тестов знаний, как в очной, так и в дистанционной форме. За это время слушатели разрабатывают разнообразные тестовые задания в заданном шаблоне с проведением самооценки по системе критериев. Затем задания проходят экспертизу преподавателя и размещаются в системе электронного тестирования. Слушатели проходят общий групповой тест. По результатам прохождения теста проводится анализ, выявляются лучшие задания, и делается окончательный вывод о качестве разработанных тестовых заданий.

[1] Троян Г.М. Система оценки качества тестовых заданий закрытой формы // Материалы XXVII Международной конференции «Современные информационные технологии в образовании». 28 июня 2016 г. Троицк – Москва. С.225-226

[2] Троян Г.М. Контроль результатов обучения // 24-я сессия методического семинара Сбербанка «Результаты обучения: где грань контроля?». 30.01.2019. Выпуск EduTech, сс.15-17. https://edutechclub.sberbank-school.ru/node/63

[3] ЯЛТИНСКИЙ МЕЖДУНАРОДНЫЙ ЭКОНОМИЧЕСКИЙ ФОРУМ 2017. 20 апреля 2017, Ялта. Выступление на секции КАДРОВЫЕ ТЕХНОЛОГИИ ДЛЯ МАЛОГО И СРЕДНЕГО ПРЕДПРИНИМАТЕЛЬСТВА с докладом «Планирование корпоративного обучения с учетом оценки эффективности: подход, примеры, результаты»

[4] INDUSTRIALLEARNING: ОБУЧЕНИЕ НА ПРОИЗВОДСТВЕ. 5 октября 2018, Москва. Выступление с докладом КЕЙС: Организация электронного тестирования сотрудников по нормативно-регламентирующей документации


Для размещения отзывов необходимо

Узнавайте о новостях и обновлениях портала HRbazaar