Эффективные методы тестирования
Как мы уже видели, модуль тестирования Moodle ― это мощный и гибкий инструмент для мониторинга и диагностики успеваемости студентов по определенным видам знаний. Эффективное использование этого инструмента может повысить эффективность обучения на вашем курсе и повысить успеваемость студентов. Несмотря на то, что компьютерный тест отличается от более открытых тестов, он дает ценное представление о мышлении учащихся, особенно если вы используете хорошие стратегии и проявите немного креативности.
В этом материале, который написан от первого лица, даны рекомендации опытного и квалифицированного методиста.
Стратегии тестирования
Конечно, эффективное использование механизма тестирования требует определенной работы и практики. Первое, что нужно сделать, ― это использовать эффективные механизмы составления вопросов. Если вы будете задавать правильные вопросы, вы получите полезные данные об успеваемости ваших учеников и реальном понимании ими материала. Конечно, верно и обратное. Существует масса литературы по эффективному планированию оценки. Давайте выделим наиболее важные идеи.
- Свяжите каждый вопрос с целью курса. В конце концов, вы же хотите знать, достигают ли ваши студенты целей обучения. Так почему бы не спросить их напрямую?
- Старайтесь задавать по нескольку вопросов о каждой важной идее обучающего материала. Это даст вам больше данных о понимании материалов учащимися.
- При написании вопроса с несколькими вариантами ответов убедитесь, что каждый неправильный ответ отражает общую неверную концепцию. Это поможет вам диагностировать мышление учащихся и исключить возможность простого угадывания.
- Напишите вопросы, требующие от ваших учеников мышления на разных уровнях. Включите несколько вопросов на запоминание, несколько вопросов на понимание и несколько вопросов на применение и анализ, т.е. задействуйте разные уровни таксономии Блума. Вы сможете определить, в чем у учащихся возникают проблемы с мышлением. Может быть, они помнят материал, но не могут применить его на практике?
- Проверьте свои вопросы. После того как вы сформируете первоначальный банк вопросов, воспользуйтесь системными отчетами, чтобы определить, какие вопросы полезны, а какие нет. При написании новых вопросов присваивайте им меньшее количество баллов и добавляйте несколько дополнительных, чтобы убедиться в их достоверности.
Как только у вас будет несколько хорошо составленных наборов тестов, обязательно используйте отчеты о тестах и статистику для контроля успеваемости на занятиях. Доступные вам подробные отчеты и статистика являются ценными инструментами для понимания материала учащимися.
Методы проведения творческих тестов
С помощью движка Moodle Quiz Engine стало проще использовать эффективные с образовательной точки зрения стратегии оценивания, которые было бы слишком сложно реализовать с помощью бумаги и карандаша.
Формирующее и итоговое оценивание
Большинство людей думают о тестах как о нечастом занятии с высокими ставками, таком как промежуточные и итоговые экзамены (итоговое оценивание). Более эффективные стратегии включают частые тесты с низкими ставками (формирующее оценивание), которые вы и ваши студенты можете использовать для оценки своей успеваемости в течение семестра.
Создание серии небольших мини-тестов дает вам очень гибкую систему оценки успеваемости и вовлечения учащихся в занятие. Вот несколько идей для быстрых тестов, которые вы можете использовать как часть более масштабной стратегии оценки. Большинство людей воспринимают тесты как нечастое мероприятие с высокими ставками, такое как промежуточные и итоговые экзамены (итоговая аттестация). Более эффективные стратегии включают частые тесты с низкими ставками (формирующая оценка), которые вы и ваши студенты можете использовать для оценки своей успеваемости в течение семестра. Создание серии небольших мини-тестов дает вам очень гибкую систему оценки успеваемости и привлечения студентов к занятиям. Вот несколько идей для быстрых тестов, которые вы можете использовать как часть более масштабной стратегии оценки.
Проверка прочтения
Заставить учащихся внимательно читать обучающие материалы ― одна из самых сложных задач в обучении. Чтение имеет решающее значение для понимания большинства материалов и является залогом успеха на многих занятиях. Проблема большинства учащихся заключается в том, что промедление с прочтением материалов не предусмотрено немедленного вознаграждения или наказания. Если вы еще не прочитали материал для обсуждения в классе, вы можете либо промолчать, либо, как я иногда делал, пролистать его на уроке. Если у вас есть курс лекций, то в чтении практически нет необходимости, поскольку лектор обычно и так излагает большую часть материала на занятиях.
Создание небольшого мини-теста для каждого задания по чтению решает ряд проблем. Во-первых, это поощряет учащихся к самостоятельному чтению, чтобы они могли успешно пройти тест. Во-вторых, это дает учащимся обратную связь о том, насколько хорошо они поняли задание по чтению. В-третьих, это дает вам данные о том, какие аспекты чтения вызывают у учащихся недоумение, а какие они уже освоили, чтобы вы могли сосредоточиться на своих занятиях.
Для мини-теста по чтению я бы порекомендовал установить ограниченный по времени тест, который учащиеся могут пройти только один раз. Поскольку вы хотите, чтобы учащиеся использовали это упражнение для самооценки, я бы также показал отзывы и правильные ответы. Если вы беспокоитесь о том, что учащиеся будут делиться ответами после прохождения теста, измените порядок вопросов и ответов на них в случайном порядке. Если у вас есть банк тестов, сделайте некоторые вопросы также случайными. В качестве дополнительного задания учащиеся должны записать один вопрос о том, в чем они ошиблись, и принести его в класс.
Практика тестирования
Ключом к эффективной практике является реалистичная среда для занятий. Многие студенты беспокоятся о тестах, особенно о тестах с высокими ставками, потому что понятия не имеют, чего ожидать. Какой формат вопросов вы будете использовать? Насколько подробными будут вопросы? Что им следует изучить?
Вы можете помочь снизить уровень тревожности при прохождении теста, создав пробный тест, который поможет студентам ответить на эти вопросы. Эти тесты обычно основаны на старых вопросах, аналогичных текущим тестовым заданиям. Используйте прошлогодний итоговый тест в качестве примера, который поможет вам практиковаться в написании новых вопросов каждый год. В любом случае, это хорошая идея, так как вы можете быть уверены, что у кого-то есть копия прошлогоднего теста, которой он делится с другими.
Чтобы провести пробный тест, я бы создал тест с нулевой оценкой, включающий вопросы за предыдущий год в случайном порядке и случайные ответы. Я бы также разрешил студентам проходить тест столько раз, сколько они захотят, чтобы они могли проверять себя столько раз, сколько им нужно. Показывайте обратную связь, но не правильные ответы, так что это еще более сложная задача.
При проведении тестирования также может быть использована геймификация.
Сбор данных
Будучи экспертом, вы много знаете о своей области. Ваша задача как преподавателя — донести свои знания до новичка, который не разделяет вашу концептуальную структуру или опыт. Пример или лекция, которые вы считаете блестящими, могут привести ваших студентов в полное замешательство. Иногда бывает трудно сказать, что студенты на самом деле понимают, а что ставит их в тупик.
Тест по сбору данных похож на проверку прочитанной главы, но проводится после классного собрания или лекции. Ваша цель ― быстро получить отзывы о том, как студенты поняли лекцию. Что они на самом деле поняли? На что вам нужно потратить больше времени? Я обнаружил, что многим преподавателям трудно определить, что студенты считают трудным, а что настолько легким, что им становится скучно.
Настройка теста для сбора данных после изучения материалов аналогична проверке главы. Назначьте тест на ограниченное время, например, за день или два до следующего планового занятия. Дайте им возможность пройти его один раз, отобразите отзывы и правильные ответы.
Безопасность теста и мошенничество
Конечно, онлайн-тестирование также дает мошенникам в ваших классах еще один шанс попытаться обойти систему. Большинство онлайн-тестов предназначены для проведения дома или, по крайней мере, вне класса. Учащиеся могут скачать вопросы и распечатать их. Они могут проходить тесты вместе с другими студентами или во время чтения учебников.
К счастью, вы можете противостоять многим из этих стратегий, создавая больше проблем, чем пользы для студентов. Давайте рассмотрим несколько стратегий противодействия большинству схем списывания.
Распечатайте вопросы и поделитесь ими
Если вы отобразите отзывы и правильные ответы, учащиеся смогут распечатать страницу с результатами и поделиться ею со своими друзьями. Или они могут просто распечатать сами вопросы непосредственно из теста. Чтобы избежать такого поведения, необходимо распределить вопросы и ответы в случайном порядке. Это делает распечатки намного менее полезными. Создание более крупных банков вопросов и предоставление тестов со случайными подмножествами также является эффективной стратегией. Если учащиеся могут распечатать только небольшое количество вопросов за один раз, им нужно будет просматривать тест снова и снова, а затем сортировать вопросы, чтобы исключить дублирование.
Внимание: предполагайте, что учащиеся, которым они понадобятся, смогут получить распечатанные копии ваших вопросов.
Большинство преподавателей не понимают, что у студентов часто есть копии старых бумажных тестов, и электронная сдача тестов ― это еще один способ для студентов получить копии вопросов. Я знаю одного профессора, у которого в онлайн-банке тестов было более 1100 вопросов. В конце семестра он конфисковал распечатку у студента. В ней были все вопросы с правильным ответом, аккуратно отформатированные и разделенные по главам учебника. Мы решили, что если студенты захотят запомнить 1100 вопросов и ответов на уровне, при котором они смогут ответить на небольшое количество из них, отображаемых случайным образом, то они узнают больше, чем если бы они просто изучали. Конечно, мы использовали временные викторины и другие стратегии, чтобы свести к минимуму использование распечатки в качестве справочного пособия.
Если вы активируете настройки Safe Exam Browser и разрешите учащимся проходить тест только с помощью этого браузера с открытым исходным кодом, учащиеся вообще не смогут загружать или распечатывать вопросы. Но эта настройка создает дополнительные препятствия, поскольку учащимся приходится устанавливать дополнительное программное обеспечение (с открытым исходным кодом) на свои устройства.
Использование учебника
Учащиеся часто ищут ответы на вопросы в учебнике или в материалах для чтения. Если вы проводите контрольную работу по разделам, то это именно то, что вы от них хотите. В противном случае вам нужно придумать творческие способы сделать учебник менее полезным. Контрольные работы по графику (с ограниченным временем) — единственный наиболее эффективный инструмент для устранения этой стратегии. Если вы зададите достаточное количество вопросов и сократите время, у них не будет времени просмотреть все ответы. Обычно я уделяю около 30 секунд каждому вопросу с несколькими вариантами ответов. Если они ответят на них быстрее и у них будет время просмотреть некоторые ответы позже, я полагаю, что они узнали достаточно, чтобы заслужить возможность просмотреть один или два ответа.
Просьба к студентам применить свои знания в новой ситуации также может изменить ситуацию к лучшему. Обобщающие и прикладные вопросы не могут быть просмотрены. Студенты должны понять материал и творчески применить его, чтобы ответить на вопросы. Поэтому, хотя они могут потратить время на ознакомление с текстом, им все равно нужно попытаться понять прочитанное, чтобы успешно ответить на вопрос.
Работа с друзьями
Если ваши студенты учатся в одном кампусе, они могут собраться в лаборатории и попытаться пройти тест вместе. Это простая стратегия, которую можно обойти, используя случайный порядок вопросов, случайный порядок ответов и вопросы, выбранные случайным образом из банка тестов. Если мой экран будет выглядеть не так, как у вас, нам будет сложнее быстро ответить на все вопросы. Из-за того, что тест рассчитан по времени, нам двоим будет сложнее списывать, если у нас разные вопросы и у нас мало времени на ответы.
Прохождение теста за товарища
Старая пословица гласит: «В Интернете никто не знает, что ты собака», и никто не знает, кто на самом деле сдает тест. Иногда студенты платят одноклассникам или другим людям, которые проходили курс в прошлом, за то, чтобы они проходили онлайн-тесты за них. Есть два способа противостоять этой стратегии.
Во-первых, время от времени проводите повторный экзамен, на котором студентам необходимо предъявлять удостоверение личности. Если они до этого не проходили тесты или не выполняли работу, они плохо сдадут повторный экзамен.
Во-вторых, чтобы избавить нынешних одноклассников от необходимости проходить тесты друг у друга, сделайте их доступными только на короткое время. Вы можете потребовать, чтобы все участники прошли тест в течение 2-х или 4-х часового периода. Если тест будет правильно распределен, будет очень сложно пройти его более одного раза в течение периода тестирования. В первую очередь тестируемый будет беспокоиться о своей оценке, а затем о оценке работодателя.
Очевидно, что существует множество стратегий, которые студенты могут использовать для мошенничества. Хотя было бы наивно предполагать, что мошенничества нет, подавляющее большинство ваших студентов хотят добиться успеха за счет собственных заслуг. Анонимность онлайн-среды может открыть новые возможности для мошенников, но на самом деле это не сильно отличается от ваших личных занятий. Некоторые люди готовы пойти на многое, чтобы обмануть, но большинство из них будут честны до тех пор, пока это не сойдет им с рук. Некоторые меры предосторожности позволят устранить большинство простых способов обмана, а для остальных подойдут классические стратегии.
Надежное тестирование со случайными вариантами ответов
В этом разделе описывается хороший способ минимизировать вероятность списывания и расширить возможности учащихся извлекать уроки из отзывов, повторяя попытки прохождения теста. Основная идея заключается в том, чтобы взять каждый конкретный вопрос, о котором вы думали, и составить несколько его вариантов. Затем воспользоваться функцией Moodle «Случайный вопрос», чтобы каждый студент получил один из вариантов, выбранных случайным образом.
Пример
Хороший пример этого (хотя и не в Moodle) можно увидеть по ссылке. Пройдите этот тест один раз, предварительно записав вопросы, которые вам будут заданы. Затем, после завершения теста, выполните «Перезапуск всего теста» и увидите, что вам задают другой набор вопросов с разными ответами, хотя они проверяют одни и те же знания. Есть дисциплины, в которых подобную стратегию реализовать относительно несложно.
Как это настроить в Moodle
Предположим, мы собираемся создать тест с 6 вопросами по интерпретации диаграмм (то есть мы попытаемся скопировать приведенный выше пример с OpenMark). Что касается четвертого вопроса, то наиболее близким к нему, который мы сможем получить, будет тип целевого вопроса с изображением из базы данных модулей и плагинов.
1. Создайте категорию для каждого вопроса в тесте
Как вы можете видеть на снимке экрана, я создал шесть категорий с соответствующими названиями, все они аккуратно сгруппированы внутри родительской категории. Вы можете сделать это на вкладке «Категории» в интерфейсе банка вопросов.
2. Создайте первый вариант первого вопроса
Создайте первый вариант первого вопроса точно так же, как вы бы создали любой другой вопрос в Moodle.
В нашем примере это может быть вопрос типа «Встроенные ответы» (Cloze). Текст вопроса может быть таким:
- Ниже приведен план предполагаемого сада. Масштаб заключается в том, что каждое деление на плане соответствует длине сада в 0,5 метра. Какова предполагаемая длина и ширина внутреннего дворика в саду?
- Внутренний дворик имеет размер {CLOZE синтаксис} метров на {CLOZE синтаксис} метров.
3. Создайте другие варианты первого вопроса
Чтобы легко создать вариант, нажмите на значок дубликата рядом с первым вопросом, затем внесите необходимые изменения, чтобы превратить его во второй вариант, и сохраните его. Повторите этот процесс, чтобы создать столько вариантов, сколько захотите.
В нашем примере мы могли бы изменить слово «Внутренний дворик», а масштабный коэффициент при каждом делении сделать равным 0,5 метра. Нам также нужно было бы изменить ответы и соответствующую обратную связь в {CLOZE syntax}.
4. Повторите пункты 2. и 3. для остальных вопросов
На скриншотах показаны варианты третьего вопроса. Этот вариант немного сложнее в настройке, потому что в каждом варианте будет использоваться разное изображение круговой диаграммы, поэтому требуется немного больше редактирования и больше файлов для загрузки в область файлов курса.
5. Добавьте вопросы в тест
После того, как вы создали все вопросы, добавьте их в тест, используя функцию "Добавить случайный вопрос". Выберите первую категорию (Чтение вариантов плана). Убедитесь, что флажок "Отображать вопросы и из подкатегорий" выключен. Используйте элементы управления внизу, чтобы добавить в тест 1 случайный вопрос.
Повторите для каждой из других категорий по порядку.
Создание вариантов вопросов в Atto
В 2016 году в новом дополнительном плагине Cloze editor для Atto появилась кнопка «Дублировать», которая позволяет вам легко и быстро создавать множество вариантов вопросов.
Примечание: на платформе Центра Пуск используются оба плагина Cloze editor — и для Atto, и для TinyMCE, что существенно упрощает и облегчает работу с этим замечательным типом вопросов.
Комментарии
Очевидно, что это требует больше усилий для настройки (хотя и не в три раза больше, чем для создания одного теста), поэтому вы сами должны прикинуть, стоит ли ваш тест этих дополнительных усилий. Однако примите во внимание, что, настроив это, вы, скорее всего, сможете повторно использовать тесты в будущем, поскольку уменьшите вероятность простого копирования ответов.
В качестве альтернативы «Сохранить как новый вопрос» вы можете использовать форматы импорта и экспорта в Moodle, а также копировать и вставлять их в свой текстовый редактор для создания вариантов.
Вас должен волновать один вопрос: действительно ли все предложенные вами варианты ответов на каждый вопрос одинаково сложны? В Moodle есть статистический отчет, который поможет вам проанализировать результаты теста и понять, насколько сложным является каждый вариант.
Опыт показывает, что под «несколькими вариантами» обычно понимаются 3 варианта. Этого достаточно, чтобы гарантировать, что два студента, работающие за соседними компьютерами, будут задавать друг другу разные вопросы. Чем больше, тем лучше (при условии, что вы можете обеспечить равную сложность), но это требует больше работы, поэтому отдача от нее уменьшается.
Этот раздел дополняет некоторые советы, приведенные выше в разделе «Распечатка и совместное использование вопросов». В нем также описывается, как проводится большинство онлайн-экзаменов в Открытом университете. Вычисляемый тип вопросов иногда является еще одним способом проведения подобных тестов.
Оценка на основе уверенности
Когда студент отвечает на вопрос, можно потребовать, чтобы он указал, насколько уверен в ответе: не уверен (менее 67%); промежуточный (более 67%) или уверен (более 80%). Затем оценка корректируется в зависимости от степени уверенности, что означает, что, например, если ответ был правильным, но только наугад, то оценка корректируется с 1 до 0,33. Если же ответ был неправильным, а студент сообщил об абсолютной уверенности, то оценка корректируется с 0 до -2.
Зачем этот подход нужен?
- Чтобы заставить учащихся задуматься о том, насколько надежен их ответ.
- Чтобы побудить учащихся разобраться в проблемах, а не просто немедленно реагировать на вопрос.
- Чтобы бросить вызов: если ученик не рискует потерять оценки в случае ошибки, значит, он на самом деле не знает ответа.
- Если ученик тщательно мыслит, но не очень уверен в себе. он повысит свою уверенность.
- Это более справедливо ― продуманный и уверенный правильный ответ заслуживает большего количества оценок, чем удачная догадка.
- Учащимся следует обратить внимание, если они дают уверенные неправильные ответы: думайте, размышляйте, учитесь!
- Эффективное изучение требует постоянного изучения того, как возникают наши идеи и насколько они надежны.
Подробнее смотрите в разделе Использование оценки, основанной на уверенности.
Экзамен с прокторингом
Повсеместное распространение обретает использование прокторинга в качестве меры контроля за проведением экзаменом в режиме онлайн.
Дистанционный экзамен может проходить в любом помещении с надежным доступом к интернету. Студенту потребуется компьютер или ноутбук, оснащенный микрофоном и веб-камерой.
Главное требование для проведения онлайн прокторинга – следование регламенту. В соответствии с чем пользователю запрещается выполнять ряд действий, при обнаружении которых может быть получено замечание или вовсе остановлен процесс тестирования. К основным нарушениям относится:
- нахождение посторонних лиц в помещении;
- отсутствие экзаменуемого в кадре;
- частично или полностью закрытое лицо студента;
- применение различных гаджетов и конспектов;
- использование стороннего программного обеспечения;
- переключение окон на рабочем столе компьютера;
- открытие сторонних вкладок в браузере;
- попытки установить невербальный контакт;
- разговоры, в том числе студента с самим собой.
За тем, как проходит тестирование с прокторингом, может наблюдать робот на основе технологий искусственного интеллекта, хотя точно установить факт совершения запрещенного действия может только живой проктор. Но система также способна зафиксировать нарушения во время выполнения экзаменационной работы с помощью компьютерного зрения.
При нарушении регламента проведения экзамена с автоматизированным прокторингом спорные ситуации рассматриваются проктором или сотрудниками вуза. При нарушении правил во время прохождения тестирования под наблюдением проктора и игнорировании его замечаний, экзамен будет завершен. Для коммуникации с экзаменуемым проктор использует специальный чат.
Запрещается надолго отводить взгляд от монитора и покидать рабочее место без предупреждения. При необходимости отлучиться в туалет студент должен уведомить проктора, и на решение возникшей проблемы студенту будет отведено не более 2–3 минут. И, конечно, категорически не допускается подмена экзаменуемого другим человеком. Жесты и мимика должны быть сведены к минимуму, поскольку они могут быть восприняты как попытка принять помощь третьих лиц.
См. также
- Safe exam browser может работать с Moodle, чтобы контролировать, что студент может делать при прохождении тестирования в Moodle. Чтобы использовать его, необходимо установить соответствующие настройки теста, которые описаны в материале по ссылке.
- Constructing written test questions for the basic and clinical sciences - by the National Board of Medical Examiners (USA)
