Обычно
таких вариантов четыре или пять. Следующие правила помогают
формулировать эффективные задания с несколькими вариантами
выбора (многие из этих правил применимы ко всем типам заданий,
обсуждаемым в данном разделе).
(1) Простота. Задание должно быть записано настолько просто,
насколько это возможно для его точного понимания. Нежелательно,
чтобы на результаты оказывали влияние уровень словарного запаса
испытуемого или его общие способности.
(2) Все дистракторы (неверные варианты ответов) должны
быть такими, чтобы каждый из них мог привлечь внимание испы-
туемых (то есть быть как бы "похожими" на правильный ответ).
Таким образом, при оценивании заданий в идеале каждый дистрак-
тор должен в равной мере использоваться всеми испытуемыми, не
выполнившими данное задание правильно. Очевидно, что по мере
того, как дистракторы в вариантах выбора будут становиться неэф-
фективными, задание будет становиться все проще и проще. Таким
образом, если все дистракторы не будут выполнять свою функцию,
практически 100% испытуемых будет выполнять задание правильно.
Метод получения эффективных дистракторов состоит в использова-
нии неоконченного списка вариантов выбора и последующем ис-
пользовании неправильных ответов, записанных самими испытуе-
мыми. Следует заметить, что в этой работе требуется осторожность.
Необходимо убедиться, что дистракторы, предложенные вами, не
вводят в заблуждение лучших испытуемых.
(3) Только один вариант из предложенного набора должен соот-
ветствовать правильному ответу. Иногда различные взгляды на
одну и ту же проблему могут привести к непредусмотренному ответу,
который тоже будет правильным.
(4) Ответ на один вопрос не должен давать ключа к ответам на
другие. То есть не следует использовать дистракторы из одного зада-
ния в перечне других.
(5) Избегайте тестировать тривиальное ввиду простоты его
обнаружения. Thorndike и Hagen (1977) утверждают, что каждое
задание должно быть независимым. Однако, с нашей точки зрения,
64
это требование невозможно выполнить. Если задания извлекаются из
генеральной совокупности заданий, то они не могут быть независи-
мыми. В самом деле, если бы это было так, то каждое из них тестиро-
вало бы отдельную переменную. А поскольку большая часть знаний
представляет собой некоторого рода структуры, я полагаю, что это
правило лучше игнорировать.
Все эти правила, даже включая те, которые касаются подбора
дистракторов, должны соблюдаться для заданий всех видов. Thorn-
dike и Hagen (1977), исходя из инструкций, опубликованных Служ-
бой тестирования в системе образования (Educational Testing Service,
1963), перечисляют ряд других правил, большинство из которых мы
уже обсуждали в этих пяти более общих правилах.
Сама проблема должна содержаться в основной части задания, а
не выноситься в часть с вариантами выбора, которые должны быть
настолько краткими, насколько возможно. Оба эти момента относят-
ся к правилу 1 -требованию простоты,-а именно, требованию того,
что в основную часть должно быть включено лишь то, что необходимо
для ясной и четкой формулировки проблемы. Thorndike и Hagen
советуют как можно реже использовать отрицания в основной части
по двум причинам: а) это приводит к противоречиям (при чтении
задания) и б) за исключением редких случаев, отрицательные зна-
ния не настолько важны, как позитивные. Знание того, что летучая
мышь - это не птица, не насекомое, не рыба и не рептилия, не
является необходимым для знания того, что же это такое. Еще два
других замечания этих авторов полезны при практической разработ-
ке тестов:
(1) Использование выражения "ни один из перечисленных" в
качестве дистрактора допустимо только тогда, когда существует не-
двусмысленный правильный ответ,- как, скажем, в заданиях, свя-
занных с алфавитом или математическими понятиями.
(2) Аналогично, использование в качестве дистрактора выраже-
ния "все перечисленные" приводит к допустимости скользких мест в
формулировке заданий, в которых дистракторы не являются особен-
но дискриминативными, поскольку автор вопросов знает, что любой
из ответов правильный.
Теперь, имея все время в виду наши основные пять правил, я
проиллюстрирую искусство формулирования заданий с несколькими
вариантами выбора. Понятно, что в короткой серии примеров я не
смогу создать задания, которые бы эффективно основывались на
правиле 4, гласящем, что ответ на один вопрос не должен быть клю-
чом к другим заданиям. Как и в случае тестов интеллекта, каждый
пример будет сопровождаться комментариями. Предлагаемые зада-
ния разработаны для тестов вербальных и числовых способностей.
ПРИМЕР 1.
У речной излучины на поляне появилась горилла-самка и внезап-
но издала громкий вопль.
В этом предложении дополнением является:
(а) горилла, (б) поляне, (в) излучины, (г) вопль, (д) самка.
Это простое, понятное задание, в котором вся информация содер-
жится в основной части. Возможен только один правильный ответ, и
все дистракторы являются существительными, то есть тем видом
слов, которые могут быть дополнениями, что не позволяет испытуе-
мым, знающим, что дополнением не могут быть глаголы или наречия,
сократить количество вариантов выбора. Следует заметить, что по-
ложение правильного ответа в списке вариантов выбора должно оп-
ределяться случайным образом, чтобы предотвратить случаи угады-
вания.
ПРИМЕР 2.
Внезапно громкий вопль был издан гориллой-самкой, которая
появилась у речной излучины на поляне.
В этом предложении подлежащим является:
(а) гориллой, (б) вопль, (в) излучины, (г) поляне, (д) самкой.
Этот пример аналогично прост, и вся информация содержится в
основной части. Он умышленно связан с заданием 1, поскольку те
испытуемые, знания которых о дополнении и подлежащем лишь
приблизительны, и которые полагают, что подлежащее - это тот,
кто "делает", не смогут выполнить данное задание. Аналогично, тот
факт, что в предложении с почти тем же самым смыслом теперь
подлежащее и дополнение поменялись местами, будет составлять
трудность для тех, чьи познания в грамматике неполны. Заметим
опять, что все варианты выбора могут быть подлежащим.
ПРИМЕР 3.
Я переживаю, когда думаю о тебе, переходящим через дорогу
самостоятельно в это время дня.
В этом предложении есть ошибка. Неправильным словом являет-
ся:
(а) я, (б) переходящим, (в) дня, (г) тебе, (д) самостоятельно
Это пример плохого задания. Понятно, что вся информация со-
держится в основной части задания и существует однозначный пра-
вильный ответ. Более того, содержание задания не является триви-
66
альным. Однако в предложении есть только одна ошибка, так что
испытуемые могут прийти к правильному ответу, исключая дистрак-
торы, которые явно не являются неправильными.
Это задание должно быть каким-либо образом перефразировано;
например: "Если в этом предложении есть грамматическая ошибка,
то неправильным словом является: (а) я, (б) переходящим, (в) дня,
(г) тебе, (д) ни одно из этих слов, если в предложении ошибки нет."
Такая формулировка устранит проблему, но она несколько громозд-
ка. Вероятно, наилучшим решением было бы использовать другую
форму задания, такую как: " Какое из следующих предложений грам-
матически правильно: (а) Я переживаю, когда думаю о тебе, перехо-
дящим через дорогу самостоятельно в это время дня. (б) Я пережи-
ваю, когда думаю о тебе, переходящем через дорогу самостоятельно
в это время дня." Этот пример хорошо иллюстрирует ограничения
формы заданий со многими вариантами выбора. При определенных
условиях, когда вопрос краток, необходимость вводить дистракторы
делает задание слишком простым. Следовательно, более предпочти-
тельно использование разных форм заданий. В этом случае трудно
сформулировать общие правила. Здесь вся надежда на сообразитель-
ность разработчиков тестов. В данном примере показан ход рассуж-
дений, который следует использовать разработчикам тестов при под-
боре заданий. А теперь рассмотрим вопрос: можем ли мы построить
задание с вариантами выбора, чтобы протестировать знание одного
правила грамматики - о причастных оборотах.
ПРИМЕР 4.
Я переживаю, когда думаю о тебе, переходящем через дорогу
самостоятельно в это время дня.
В этом задании "переходящем" является:
а) прилагательным, б) причастием, в) определением, г) наречием,
г) сказуемым
В этом задании знание правил о причастных оборотах проверяет-
ся, конечно, более непосредственно, чем в исходном задании в при-
мере 3. Однако в нем проверка осуществляется не таким образом, как
в предыдущем примере. Дистракторы были подобраны так, чтобы
выявить грамматическую безграмотность испытуемых, особенно (а)
и (в).
ПРИМЕР 5.
Раскройте скобки в выражении (а + Ь)
1
Ответами являются: (а) а + Ь , (б) аЬ
(г) (? + lab + b (д) la+ab +2b.
67
(в) (2а +lb),
Данное задание удовлетворяет всем критериям, обсуждавшимся
ранее в разделе о формулировании заданий. Математические упраж-
нения - особенно подходящий предмет для объективного тестиро-
вания) так как правильность ответа обычно не вызывает сомнения.
Для учащихся, которые не уверены в том, как правильно открыть
скобки, дистракторы являются, вероятно, весьма эффективными.
Обратите внимание, что последний дистрактор (д) был использован
для того, чтобы избежать возможной подсказки правильного ответа
(тем, что он длиннее, чем остальные).
ПРИМЕР 6.
Если яблоки стоят по 5 пенсов за фунт, и хозяйка покупает
яблок на 75 пенсов (среднего размера, по четыре яблока на фунт),
и если она отказалась от трех яблок как плохих, то на сколько же
пенсов она выбрала яблок?
(а) 75, (б) 72, (в) 57, (г) 17, (д) 50
Это сложное задание: чтобы решить эту задачу, испытуемый
должен удержать в голове четыре фрагмента информации. Однако в
этой сложности состоит существо данной задачи. Сделать выбор из
дистракторов трудно, но сделать это нужно, используя числа, ука-
занные в самом условии задачи.
Относительно приведенных примеров заданий с вариантами вы-
бора следует сделать одно замечание: в этих примерах не полностью
используется их форма. Поскольку существует только один правиль-
ный ответ, то испытуемых можно просто попросить заполнить блан-
ки.
ПРИМЕР 7.
Какой из последующих коэффициентов надежности не связан с
однородностью теста?
(а) коэффициент ретестовой надежности; (б) дисперсионный ко-
эффициент Хойта; (в) коэффициент <Х ; (г) коэффициент Кьюдера-
Ричардсона; (д) коэффициент надежности при разбиении теста на
части.
В этом задании полностью используется его форма. В нем пред-
ставлены наименования пяти коэффициентов, и если испытуемый не
понимает, что они означают, у него нет никакого способа найти
правильный ответ. Это задание нельзя перефразировать в более прос-
том виде, и оно удовлетвоярет всем критериям создания эффектив-
Предложенная автором задача не имеет целочисленного решения. По-видимому,
этим заданием тестируется не скорость точного счета, а сообразительность и уме-
ние быстро дать приблизительный ответ (Прим. перев.)
них заданий. Если бы использовался альтернативный тип заданий,
то пришлось бы формулировать пять отдельных заданий, чтобы пол-
учить ту же самую информацию. Следовательно, данное задание -
это в известном смысле идеальное задание с несколькими вариантами
выбора, исключающее возможность угадывания правильного ответа.
ПРИМЕР 8.
В классической теории тестов истинный показатель определя-
ется как:
(а) Оценка по каждому заданию, которая может быть определена
с высокой надежностью;
(б) Показатель выборочной совокупности заданий, из которой
извлекаются задания для данного теста;
(в) Показатель по тесту, скорректированный с учетом угадыва-
ния;
(г) Показатель по тесту, скорректированный с учетом погрешнос-
тей;
(д) Средний показатель испытуемого после нескольких тестиро-
ваний.
В данном задании опять использована форма вариантов выбора,
поскольку все дистракторы содержат в себе элемент правильного
определения, что сбивает с толку тех испытуемых, чьи знания не
очень крепки. В этом случае форма задания с произвольным ответом
не подходит, так как может возникнуть сложность по поводу того, что
же считать адекватным определением. Обратите внимание, что все
варианты выбора грамматически соответствуют основной части зада-
ния. Хотя это и очевидно, следует внимательно за этим следить.
Этих восьми примеров вместе с комментариями к ним, вероятно,
достаточно, чтобы показать, как должны строиться задания с не-
сколькими вариантами выбора.
Преимущества заданий с несколькими вариантами выбора
Задания с несколькими вариантами выбора, пожалуй, являются
наиболее широко используемым типом заданий в тестах интеллекта,
достижений и специальных способностей, поскольку, по сравнению
с заданиями других типов, которые мы будем обсуждать ниже, имеют
целый ряд преимуществ.
(1) Каждое задание может быть сделано высоко надежным. По-
скольку возможен только один правильный ответ (в соответствую-
щим образом сконструированном задании), отсутствуют факторы
снижения надежности, связанные с субъективными оценками лиц,
проводящих обследование. Это свойство, по определению, присуще
69
и другим объективным заданиям, но не является из-за этого менее
важным.
(2) Для таких заданий очень легко вычислять показатели. Это
очень важно, особенно в больших по размерам тестах, а величина
тестов влияет на их надежность (как показано в главе 1). Они не
только более надежны, но в тестах достижений и способностей позво-
ляют охватить большие области, чем тесты с небольшим количест-
вом заданий. Кроме того, благодаря простому алгоритму вычисления
показателей при тестировании сокращается количество арифмети-
ческих ошибок и описок.
Обычно для заданий с вариантами выбора разрабатывается от-
дельный бланк.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47