Тестирование часто критикуют за то, что для большинства заданий закрытого типа существует вероятность случайного угадывания правильного ответа. Чем меньше возможных альтернатив предлагается тестируемому в рамках одного задания, тем больше вероятность угадывания. Из рекомендаций CITO (Национального института Великобритании по оценке достижений в области образования) следует: «Вопросы альтернативных ответов предлагают только одну альтернативу, которую тестируемый либо принимает, как правильную, либо отвергает.» Т. о. у экзаменуемых есть возможность на 50% отгадать правильный ответ на один вопрос. Поэтому эти задания целесообразно применять сериями к одному элементу заданий, так как вероятность отгадать ответ на 10 таких вопросов равна 0,00098.
Тестирование часто критикуют за то, что для большинства заданий закрытого типа существует вероятность случайного угадывания правильного ответа. Чем меньше возможных альтернатив предлагается тестируемому в рамках одного задания, тем больше вероятность угадывания. Из рекомендаций CITO (Национального института Великобритании по оценке достижений в области образования) следует: «Вопросы альтернативных ответов предлагают только одну альтернативу, которую тестируемый либо принимает, как правильную, либо отвергает.» Т. о. у экзаменуемых есть возможность на 50% отгадать правильный ответ на один вопрос. Поэтому эти задания целесообразно применять сериями к одному элементу заданий, так как вероятность отгадать ответ на 10 таких вопросов равна 0,00098.
Из инструкции CITO: «В индивидуальном порядке вопросы альтернативных ответов не очень эффективны, а вот длинные серии таких вопросов имеют определенные преимущества. Ответы на них обычно не занимают много времени, поэтому есть возможность охватить весь материал по предмету, задавая как можно больше вопросов».
Т. о. эта форма целесообразна для использования такого вида в серии, когда для одного элемента знания задается несколько вопросов. Задание альтернативных ответов в большей степени подходят для выявления уровня усвоения сложных определений, знаний сложных графиков, диаграмм, схем.
Проблема угадывания связана и с вопросом времени, выделяемого на тестирование, и с вопросом мотивации. Чем выше мотивация, тем больше вероятность того, что испытуемый попытается дать ответ случайно на те вопросы, на которые он не успевает ответить, т.е. попытается угадать. В свою очередь, количество вопросов, по которым, возможно, будет проведено угадывание, зависит от времени, выделяемого на тестирование. Чем оно короче, тем больше будет вопросов, на которые распространится случайное угадывание. Т.о. для времени, выделяемого на тестирование, должен быть найден баланс: при малом времени возрастает вероятность угадывания, при большом времени возрастает вероятность подсказки и других нарушений дисциплины.
Первый и, вероятно, самый эффективный метод, который лежит в рамках фундаментальных требований к тестам — создать для всех испытуемых одинаковые условия. Расскажем об основных принципах, используемых при составлении тестов для нужд армии, использованных американцем Артуром Отисом в 1917 – 1918 г.г.:
Принцип ограничения во времени, чтобы только 5% испытуемых могли закончить выполнение всего теста;
Принцип детализированной инструкции как в отношении проведения, так и в отношении подсчета;
Принцип выборочного метода формирования ответа с указанием подчеркивать наугад в случае незнания или сомнения;
Принцип подбора тестов после статистической обработки и экспериментальной проверки.
Прием угадывания наиболее подходит для нормативно-ориентированных тестов; для тестов ориентированных на критерий он может иметь негативные последствия. Во-первых, если нам необходим анализ материала, который усвоен или не усвоен испытуемыми, то основы для такого анализа будут искажены случайным угадыванием. В таком случае надо очень осторожно относиться к анализу тех вопросов, которые расположены в конце текста. Так плохо успевающий ученик, который не приступил к выполнению значительной части заданий, за счет случайного угадывания получит большее приращение своего общего балла, чем хорошо успевающий ученик, который приступил к выполнению большей части заданий. И это может показаться несправедливым, однако, при этом хорошо успевающий ученик получит значительно больший балл за счет правильных ответов, который в любом случае будет выше, чем полученный при случайном угадывании.
Хорошо известна формула коррекции угадывания:
Xcorr = m – n / (s-1), (1)
где Xcorr — показатель, скорректированный на угадывание;
m — количество правильных ответов;
n — количество неправильных ответов;
s — количество вариантов выбора в задании.
Допустим в тесте из 30 заданий, первый испытуемый справился с 20, а второй с 24 заданиями. Все задания имели по 3 варианта ответа, тогда по формуле (1) для первого испытуемого Xcorr = 15, а для второго испытуемого – Xcorr = 21. Т.о. результат первого ученика уменьшился на 5 баллов, а результат второго, который выполнил большинство заданий только на 3 балла. Если до коррекции разница между учениками была в 4 балла, то после коррекции она стала равной 6 баллам. Т. о. формула (1) позволяет увеличить дискриминативность теста, то есть способность отдельных заданий теста или теста в целом дифференцировать испытуемых относительно максимального или минимального результата.
Если альтернатив ответа на каждый вопрос не три, а пять, то результат первого испытуемого равен Xcorr = 23,3. Получаем, что с увеличением количества вариантов ответа в заданиях скорректированный балл стремится к нескорректированному, что ведет к уменьшению вероятности угадывания с увеличением числа альтернатив в ответе.
Сформулируем четыре замечания к формуле (1):
Если испытуемые выполнили равное количество и количество правильных ответов у первого больше, чем у второго, то использование формулы (1) все равно даст первому больший балл, вне зависимости от того, какое количество баллов он набрал в результате угадывания. Т.о. формула (1) дает хороший результат, в том случае, когда испытуемые выполнили равное количество заданий.
Для использования формулы (1) необходимо иметь однородный тест с равным количеством альтернатив ответов во всех заданиях, что на практике у тестов школьных достижений бывает крайне редко, так как мы стремимся использовать разнообразные формы знаний, в том числе и задания открытого типа, в которых угадывать невозможно.
Ошибочно считать, что неправильные ответы получены только в результате угадывания, т.к. наряду с угаданными ответами достаточно много вариантов ответов, где испытуемые сделали случайные ошибки или показали незнание.
Считается, что при угадывании любой варианта ответа может быть выбран с одинаковой вероятностью. Испытуемые может правильно отбросить все варианты, кроме двух, проявив, таким образом, частично свое знание предмета, а затем случайным образом выбрать уже из двух альтернатив.
Из всего сказанного выше следует, что формула (1) коррекции на угадывание в случае нормального времени на выполнение теста и требований к угадыванию ответа не может повлиять на результаты испытуемого относительно его места в группе.
