Эффективные методы тестирования

Материал из База знаний Центра ПУСК МФТИ
Main page ► Managing a Moodle course ► Activities ► Quiz activity ► Эффективные методы тестирования
Quiz activity

Как мы уже видели, модуль тестирования Moodle ― это мощный и гибкий инструмент для мониторинга и диагностики успеваемости студентов по определенным видам знаний. Эффективное использование этого инструмента может повысить эффективность обучения на вашем курсе и повысить успеваемость студентов. Несмотря на то, что компьютерный тест отличается от более открытых тестов, он дает ценное представление о мышлении учащихся, особенно если вы используете хорошие стратегии и проявите немного креативности.

Стратегии тестирования

Конечно, эффективное использование механизма тестирования требует определенной работы и практики. Первое, что нужно сделать, ― это использовать эффективные механизмы составления вопросов. Если вы будете задавать правильные вопросы, вы получите полезные данные об успеваемости ваших учеников и реальном понимании ими материала. Конечно, верно и обратное. Существует масса литературы по эффективному планированию оценки. Давайте выделим наиболее важные идеи.

  • Свяжите каждый вопрос с целью курса. В конце концов, вы же хотите знать, достигают ли ваши студенты целей обучения. Так почему бы не спросить их напрямую?
  • Старайтесь задавать по нескольку вопросов о каждой важной идее обучающего материала. Это даст вам больше данных о понимании материалов учащимися.
  • При написании вопроса с несколькими вариантами ответов убедитесь, что каждый неправильный ответ отражает общую неверную концепцию. Это поможет вам диагностировать мышление учащихся и исключить возможность простого угадывания.
  • Напишите вопросы, требующие от ваших учеников мышления на разных уровнях. Включите несколько вопросов на запоминание, несколько вопросов на понимание и несколько вопросов на применение и анализ, т.е. задействуйте разные уровни таксономии Блума. Вы сможете определить, в чем у учащихся возникают проблемы с мышлением. Может быть, они помнят материал, но не могут применить его на практике?
  • Проверьте свои вопросы. После того как вы сформируете первоначальный банк вопросов, воспользуйтесь системными отчетами, чтобы определить, какие вопросы полезны, а какие нет. При написании новых вопросов присваивайте им меньшее количество баллов и добавляйте несколько дополнительных, чтобы убедиться в их достоверности.

Как только у вас будет несколько хорошо составленных наборов тестов, обязательно используйте отчеты о тестах и статистику для контроля успеваемости на занятиях. Доступные вам подробные отчеты и статистика являются ценными инструментами для понимания материала учащимися.

Методы проведения творческих тестов

С помощью движка Moodle Quiz Engine стало проще использовать эффективные с образовательной точки зрения стратегии оценивания, которые было бы слишком сложно реализовать с помощью бумаги и карандаша.

Формирующее и итоговое оценивание

Большинство людей думают о тестах как о нечастом занятии с высокими ставками, таком как промежуточные и итоговые экзамены (итоговое оценивание). Более эффективные стратегии включают частые тесты с низкими ставками (формирующее оценивание), которые вы и ваши студенты можете использовать для оценки своей успеваемости в течение семестра.

Создание серии небольших мини-тестов дает вам очень гибкую систему оценки успеваемости и вовлечения учащихся в занятие. Вот несколько идей для быстрых тестов, которые вы можете использовать как часть более масштабной стратегии оценки. Большинство людей воспринимают тесты как нечастое мероприятие с высокими ставками, такое как промежуточные и итоговые экзамены (итоговая аттестация). Более эффективные стратегии включают частые тесты с низкими ставками (формирующая оценка), которые вы и ваши студенты можете использовать для оценки своей успеваемости в течение семестра. Создание серии небольших мини-тестов дает вам очень гибкую систему оценки успеваемости и привлечения студентов к занятиям. Вот несколько идей для быстрых тестов, которые вы можете использовать как часть более масштабной стратегии оценки.

Проверка прочтения

Рекомендации методиста Moodle

Заставить учащихся внимательно читать обучающие материалы ― одна из самых сложных задач в обучении. Чтение имеет решающее значение для понимания большинства материалов и является залогом успеха на многих занятиях. Проблема большинства учащихся заключается в том, что промедление с прочтением материалов не предусмотрено немедленного вознаграждения или наказания. Если вы еще не прочитали материал для обсуждения в классе, вы можете либо промолчать, либо, как я иногда делал, пролистать его на уроке. Если у вас есть курс лекций, то в чтении практически нет необходимости, поскольку лектор обычно и так излагает большую часть материала на занятиях.

Создание небольшого мини-теста для каждого задания по чтению решает ряд проблем. Во-первых, это поощряет учащихся к самостоятельному чтению, чтобы они могли успешно пройти тест. Во-вторых, это дает учащимся обратную связь о том, насколько хорошо они поняли задание по чтению. В-третьих, это дает вам данные о том, какие аспекты чтения вызывают у учащихся недоумение, а какие они уже освоили, чтобы вы могли сосредоточиться на своих занятиях.

Для мини-теста по чтению я бы порекомендовал установить ограниченный по времени тест, который учащиеся могут пройти только один раз. Поскольку вы хотите, чтобы учащиеся использовали это упражнение для самооценки, я бы также показал отзывы и правильные ответы. Если вы беспокоитесь о том, что учащиеся будут делиться ответами после прохождения теста, измените порядок вопросов и ответов на них в случайном порядке. Если у вас есть банк тестов, сделайте некоторые вопросы также случайными. В качестве дополнительного задания учащиеся должны записать один вопрос о том, в чем они ошиблись, и принести его в класс.

Практика тестирования

Ключом к эффективной практике является реалистичная среда для занятий. Многие студенты беспокоятся о тестах, особенно о тестах с высокими ставками, потому что понятия не имеют, чего ожидать. Какой формат вопросов вы будете использовать? Насколько подробными будут вопросы? Что им следует изучить?

Вы можете помочь снизить уровень тревожности при прохождении теста, создав пробный тест, который поможет студентам ответить на эти вопросы. Эти тесты обычно основаны на старых вопросах, аналогичных текущим тестовым заданиям. Используйте прошлогодний итоговый тест в качестве примера, который поможет вам практиковаться в написании новых вопросов каждый год. В любом случае, это хорошая идея, так как вы можете быть уверены, что у кого-то есть копия прошлогоднего теста, которой он делится с другими.

Чтобы провести пробный тест, я бы создал тест с нулевой оценкой, включающий вопросы за предыдущий год в случайном порядке и случайные ответы. Я бы также разрешил студентам проходить тест столько раз, сколько они захотят, чтобы они могли проверять себя столько раз, сколько им нужно. Показывайте обратную связь, но не правильные ответы, так что это еще более сложная задача.

При проведении тестирования также может быть использована геймификация.

Сбор данных

Будучи экспертом, вы много знаете о своей области. Ваша задача как преподавателя — донести свои знания до новичка, который не разделяет вашу концептуальную структуру или опыт. Пример или лекция, которые вы считаете блестящими, могут привести ваших студентов в полное замешательство. Иногда бывает трудно сказать, что студенты на самом деле понимают, а что ставит их в тупик.

Тест по сбору данных похож на проверку прочитанной главы, но проводится после классного собрания или лекции. Ваша цель ― быстро получить отзывы о том, как студенты поняли лекцию. Что они на самом деле поняли? На что вам нужно потратить больше времени? Я обнаружил, что многим преподавателям трудно определить, что студенты считают трудным, а что настолько легким, что им становится скучно.

Настройка теста для сбора данных после изучения материалов аналогична проверке главы. Назначьте тест на ограниченное время, например, за день или два до следующего планового занятия. Дайте им возможность пройти его один раз, отобразите отзывы и правильные ответы.

Безопасность теста и мошенничество

Конечно, онлайн-тестирование также дает мошенникам в ваших классах еще один шанс попытаться обойти систему. Большинство онлайн-тестов предназначены для проведения дома или, по крайней мере, вне класса. Учащиеся могут скачать вопросы и распечатать их. Они могут проходить тесты вместе с другими студентами или во время чтения учебников.

К счастью, вы можете противостоять многим из этих стратегий, создавая больше проблем, чем пользы для студентов. Давайте рассмотрим несколько стратегий противодействия большинству схем списывания.

Распечатайте вопросы и поделитесь ими

Если вы отобразите отзывы и правильные ответы, учащиеся смогут распечатать страницу с результатами и поделиться ею со своими друзьями. Или они могут просто распечатать сами вопросы непосредственно из теста. Чтобы избежать такого поведения, необходимо распределить вопросы и ответы в случайном порядке. Это делает распечатки намного менее полезными. Создание более крупных банков вопросов и предоставление тестов со случайными подмножествами также является эффективной стратегией. Если учащиеся могут распечатать только небольшое количество вопросов за один раз, им нужно будет просматривать тест снова и снова, а затем сортировать вопросы, чтобы исключить дублирование. 

Внимание: предполагайте, что учащиеся, которым они понадобятся, смогут получить распечатанные копии ваших вопросов.

Большинство преподавателей не понимают, что у студентов часто есть копии старых бумажных тестов, и электронная сдача тестов ― это еще один способ для студентов получить копии вопросов. Я знаю одного профессора, у которого в онлайн-банке тестов было более 1100 вопросов. В конце семестра он конфисковал распечатку у студента. В ней были все вопросы с правильным ответом, аккуратно отформатированные и разделенные по главам учебника. Мы решили, что если студенты захотят запомнить 1100 вопросов и ответов на уровне, при котором они смогут ответить на небольшое количество из них, отображаемых случайным образом, то они узнают больше, чем если бы они просто изучали. Конечно, мы использовали временные викторины и другие стратегии, чтобы свести к минимуму использование распечатки в качестве справочного пособия.

Если вы активируете настройки Safe Exam Browser и разрешите учащимся проходить тест только с помощью этого браузера с открытым исходным кодом, учащиеся вообще не смогут загружать или распечатывать вопросы. Но эта настройка создает дополнительные препятствия, поскольку учащимся приходится устанавливать дополнительное программное обеспечение (с открытым исходным кодом) на свои устройства.

Using the textbook

Students will frequently look up the answer to questions in the textbook or a reading. If you are giving a chapter check quiz, then this is what you want them to do. Otherwise, you need to come up with creative ways of making the textbook less directly useful. Timed quizzes are the single most effective tool for eliminating this strategy. A timed quiz requires the students answer the questions in a certain amount of time. If you give enough questions and make the time short enough, they won't have time to look up all the answers. I usually give about 30 seconds per multiple-choice question. If they answer them faster and have time to look up some answers afterward, I figure they knew enough to deserve to look up an answer or two.

Asking students to apply their knowledge to novel situation can also make a difference. Synthesis and application questions can't be looked up. Students have to understand the material and apply it creatively to answer the questions. So while they may take the time to review the text, they will still need to try to understand what they've read to successfully answer the question.

Working with friends

If your students are on the same campus, they may get together in a lab and try to take the quiz together. This is an easy strategy to thwart with random question order, random answer order and questions randomly pulled from a test bank. If my screen doesn't look like yours, then it's harder for us to quickly answer all of the questions. A timed quiz also makes it harder for the two of us to cheat if we have different questions and we only have a short amount of time to answer.

Have someone else take the test

The old adage goes “On the Internet, no one knows you’re a dog”, and no one knows who is actually taking the test. Students will sometimes pay classmates, or others who have taken the course in the past, to take online quizzes for them. There are two ways to counter this strategy. One, have an occasional proctored exam where students need to show ID. If they haven't taken the quizzes or done the work until then, they will do poorly on the proctored exam. To eliminate current classmates from taking each other's quizzes, only make them available for a short time. You could require everyone take the test within a 2- or 4-hour block. If the test is properly randomized, it will be very difficult to take it more than once during the testing period. The test taker will worry about their own grade first, then about their employer's grade.

Obviously, there are many strategies students can use to cheat. While it would be naïve to assume there isn't cheating, the vast majority of your students want to succeed on their own merits. The anonymity of the online environment may open up new avenues for the cheaters, but it's not really much different from your face-to-face classes. A few people will go to great lengths to cheat, but most will be honest as long as it's not too easy to get away with it. A few precautions will eliminate most of the easy cheats, and the classic strategies will work for the others.

Robust testing with random variants

This section describes a good way to help minimise the potential for cheating, and increase the opportunity for students to learn from the feedback by repeated attempts at the quiz. The basic idea is to take each particular question that you were thinking of, and make several slight variants of it. Then use Moodle's random question feature, so that each student gets one of the variants picked at random.

An example

A good example of this (although not in Moodle) can be seen at https://students.open.ac.uk/openmark/mu120.m5omdemo/. Take that test once, making a rough note of the questions you are asked. Then after you have done 'End test', do 'Restart entire test' and see that you are asked a different set of questions that have different answers, although they test the same knowledge. This sort of strategy is easier to implement in some subjects than in others.

How to set this up in Moodle

Suppose we are going to create a quiz with 6 questions about interpreting diagrams (that is, we are going to try to clone the OpenMark example above). For the fourth question, the closest we will be able to get would be the Image target question type from the Modules and plugins database.

1. Create a category for each 'question' in the quiz

As you can see from the screen shot, I have created six appropriately named categories, all neatly grouped inside a parent category. You do this on the 'Categories' tab of the question bank interface.

Файл:Variants categories.png

2. Create the first variant of the first question

Create the first variant of the first question, just like you would create any other Moodle question.

In our example, this might be an Embedded answers (Cloze) question type. The question text might be:

Below is a plan of a proposed garden. The scale is that each division in the plan represents a length in the garden of 0.5 metres. What is the proposed length and width of the Patio in the garden?
Файл:Variants flowerbed.gif
The Patio is {CLOZE syntax} metres by {CLOZE syntax} metres.

3. Create the other variants of the first question

To easily create a variant, click the duplicate icon next to the first question, then make the changes you need to turn it into the second variant and save it. Repeat this process to create as many variants as you want.

In our example, we might change the word Patio, and the scale factor each division represents 0.5 metres. We would also need to change the answers and the associated feedback in the {CLOZE syntax} bits.

4. Repeat 2. and 3. for the other questions

The screen shots show the variants of the third question. This one is a bit more of a pain to set up, because each variant will use a different image of a pie chart, so there is a bit more editing to do, and more files to upload to the course files area.

Файл:Variants questionsincat.png

5. Add the questions to the quiz

Once you have created all the questions, add them to the quiz using the 'Add random question' feature. Select the first category (Reading a plan variants). Ensure 'Display questions from sub-categories too' is off. Use the controls at the bottom to Add 1 random question to the quiz.

Repeat for each of the other categories in order.

Файл:Variants quiz.png

Creating variant questions in Atto

In 2016, a new additional plugin, the Cloze editor for Atto has a 'Duplicate' button, that allows you to easily and quickly create many question variants.

Comments

Obviously this is more work to set up (although not three times as much work as creating one quiz). It is up to you to do the cost benefit analysis for your particular quiz. Note that once you have set this up, you are more likely to be able to reuse quizzes in future, because you have reduced the potential for simple copying of answers.

As an alternative to 'Save as new question', you can use Moodle's import and export formats, and copy and paste in your text editor to create variants.

One issue you have to worry about is, are all the variants you have made of each question really equally difficult? Moodle 2.0 will feature a new Statistics report which should help you analyse your quiz results to see how difficult each variant is.

Experience shows that 'a few variants' can normally be taken to be 3 variants. This is enough to ensure that two students working at neighbouring computers will mostly get different questions to each other. More is better (providing you can ensure equal difficulty) but is more work, so you get diminishing returns.

(This section expands some of the advice above under Printing and sharing questions. It also describes how most online assessments at the Open University are constructed. The calculated question type is sometimes another way to implement quizzes like this.)

Certainty Based Marking

  • To make students think about how reliable their answer is.
  • To encourage students to try to understand the issues, not just react immediately to a question.
  • To challenge: if a student won't risk losing marks if wrong then they don't really know the answer.
  • If a student is a careful thinker but not very confident. they will gain in confidence.
  • It is more fair - a thoughtful and confident correct answer deserves more marks than a lucky hunch.
  • Students need to pay attention if they make confident wrong answers: think, reflect, learn!
  • Efficient study requires constantly questioning how our ideas arise and how reliable they are.

See Using certainty-based marking.

Proctored exams

  • One of the better solutions seen recently for lockdown testing, was a combination of things:
    • Use of the safe browser and have the proctor call the student via some form of video call.
    • Have the student show the proctor their computer setup and the room the test will be taken in.
    • Then, have the student set up the phone in a position showing the student and their computer screen, as best they can from across the room.
    • This allows the proctor to watch and hopefully, see any attempts to cheat.

See also

  • Safe exam browser The Safe Exam Browser can work with Moodle to control what a student can do when in Moodle. To use it, it must be enabled the Quiz settings. This adds some additional options which could be chosen directly in the quiz settings.

Forum discussions:

External links:

es:Prácticas Eficaces en los Exámenes de:Tests effektiv durchführen

Источник — https://wiki.mipt.ru/index.php?title=Эффективные_методы_тестирования&oldid=32260