(б) "Уэверли", Д/Н; и т.д." Из этого видно, что для данного частного
материала альтернативное задание не является настолько эффектив-
ным, как задание на восстановление соответствия. Во-первых, потре-
буется четыре задания, по одному на каждого писателя. Во-вторых,
нельзя использовать одни и те же примеры в каждом задании, потому
что, в противном случае, ответы на первое задание будут влиять на
другие. Следовательно, для данного типа фактической информации
лучшей формой заданий является задание на восстановление соот-
ветствия, за ним следует альтернативное задание, а задание с не-
сколькими вариантами выбора является наименее эффективным.
Следует указать один момент: список, из которого выбираются
ответы, должен быть длиннее, чем первый список, в противном слу-
чае случайное угадывание станет все более и более легким. Так, если
испытуемый знает четыре из пяти ответов в одинаковых по длине
списках, то пятый будет неизбежно правильным. Поэтому следует
76
ТИП МЕТОДИКИ
А. Однопараметрические
Б. Непараметрические
В. Многопараметрические
предъявлять списки неравной длины или указывать, что некоторым
элементам нет никаких соответствий (или и то, и другое), как в
нашем примере. Эти меры с очевидностью уменьшают вероятность
случайного угадывания правильного ответа.
Из нашего первого примера задания на восстановление соответст-
вий было видно, что это более совершенное задание, чем альтерна-
тивное. Возникает очевидный вопрос: всегда ли это так? Давайте еще
раз рассмотрим примеры 4 и 5, приведенные при описании альтерна-
тивных заданий.
ПРИМЕР 5 АЛЬТЕРНАТИВНОГО ЗАДАНИЯ (см. стр. 74)
Этому заданию, конечно же, можно придать форму задания на
восстановление соответствия.
МЕТОДИКА БУКВА
t-критерий
Факторный анализ
Хи-квадрат
Дисперсионный анализ
Ковариационный анализ
Тау Кенделла
Укажите буквой, какой тип методики, если такой есть, описы-
вает каждую статистическую методику из приведенного списка.
Возможно, что ни одно или более чем одно описание соответству-
ет некоторым элементам этого списка.
Такое задание на восстановление соответствия подходит к этому
материалу настолько же хорошо, как и альтернативная форма, и
можно также узнать дополнительную информацию относительно тех
методик, которым соответствовал ответ "нет". Изучение данного
задания выявляет, что это происходит обязательно, так как форма
задания на восстановление соответствия требует, чтобы испытуемый
для каждого варианта ответа решил, является ли методика многопа-
раметрической, непараметрической, и т.д.
На примере 5 проиллюстрировано, что выбор формы задания за-
висит от материала и от тестируемых знаний. В данном случае про-
верки детальных знаний по статистике задание на восстановление
соответствий, вероятно, лучше, чем альтернативные задания, и оба
они предпочтительнее, чем задание с несколькими вариантами вы-
бора. Это, конечно же, не обязательно всегда так.
ПРИМЕР 4 АЛЬТЕРНАТИВНОГО ЗАДАНИЯ (см. стр. 74)
Заметим, что для тестов на проверку понимания данных нет про-
стого очевидного способа сформулировать задание в виде восстанов-
ления соответствий. Это, на самом деле, дает нам ключ для учета
относительных достоинств альтернативных заданий и заданий на
восстановление соответствий. Последние, несомненно, предпочти-
тельнее как тесты по материалу, представленному в данном вопросе.
Обычно, как в примере 4 альтернативного задания, задание на вос-
становление соответствий не может быть сформулировано. Могут
быть сконструированы задания с вариантами выбора, однако они
будут слишком громоздкими, а выбор действенных дистракторов бу-
дет трудным. Помимо этого, такие задания неизбежно будут иметь
тенденцию к взаимозависимости, что уменьшит их эффективность.
Для тестирования подробной информации методика восстановле-
ния соответствий может оказаться более предпочтительной, по срав-
нению с альтернативной, при условии что вопросы позволяют соста-
вить соответствующие списки.
Следует подчеркнуть один момент, касающийся альтернативных
заданий и заданий на восстановление соответствий как тестов инфор-
мации - опасность тривиального тестирования.
Хотя и важно осознать, что хи-квадрат является непараметриче-
ской, а t-критерий - однопараметрической методикой, способность
выговорить утверждение: "t-критерий является однопараметриче-
ской методикой",- за которую испытуемый с неизбежностью полу-
чает соответствующие баллы, не предполагает понимания того, что
же такое t-критерий и однопараметрическая статистическая методи-
ка. Такой информации можно обучить даже семилетнего ребенка.
Подобно этому, знание того, что Скотт написал "Уэверли", пред-
ставляется не очень важной по сравнению со способностью выпол-
нить критический анализ этого романа.
Заключения по рассмотрению заданий с вариантами
выбора, альтернативных заданий и заданий на восстановление
соответствия
При конструировании тестов интеллекта, специальных способно-
стей и достижений следует ориентироваться на формулировку зада-
ний преимущественно этих трех типов. Как же принять решение,
какой тип использовать? При этом следует учитывать ряд моментов.
СПЕЦИФИЧЕСКИЕ ФАКТОРЫ
При принятии решения, какой тип задания использовать, следует
помнить о влиянии специфических факторов. Если тест состоит из
заданий одного типа, возникает опасность влияния некоторого спе-
цифического фактора, связанного с этой частной формой задания. В
батарее тестов такая специфика может даже быть похожа на истин-
ный групповой фактор, хотя это, конечно, не что иное, чем ложная
78
(дутая) специфика - ловкий навык отвечать на задания определен-
ного вида. Таким образом, разнообразие типов заданий весьма полез-
но.
УТОМЛЕНИЕ
Источником ошибок при тестировании часто является утомление,
особенно в тестах способностей и аналогичных, в работе с которыми
необходимы усилия по концентрации, сосредоточению внимания.
Разнообразие заданий, вероятно, сделает тест менее монотонным для
испытуемых (Cronbach, 1970).
ЭФФЕКТИВНОСТЬ ЗАДАНИЙ
Конечно, мы хотим, чтобы наши задания были настолько эффек-
тивны, насколько это возможно. Как было показано в анализе раз-
личных типов заданий, каждое из них наиболее эффективно при
определенных условиях. Вероятно, основной подход к конструирова-
нию заданий может быть сформулирован следующим образом:
(1) Стандартным заданием, которое подходит к большинству ви-
дов материала и вопросов, является тип задания с вариантами выбо-
ра.
(2) Для получения подробной фактической информации, связан-
ной с содержанием заданий, эффективный и компактный тест обес-
печивается типом заданий на восстановление соответствия и альтер-
нативными заданиями.
(3) Для тестирования понимания материала, представленного в
вопросе, особенно полезны альтернативные задания.
(4) По причинам, обсуждавшимся в пунктах 1 и 2, имеет смысл
разрабатывать тест с заданиями всех типов, хотя и нет необходимости
иметь одинаковое количество заданий каждого типа.
Выбор типа заданий
С моей точки зрения, лучше всего попытаться сконструировать
задания каждого типа. Иногда это просто невозможно, что устраняет
автоматически по крайней мере одну категорию заданий. Если будут
сформулированы все три вида заданий, принятие решения обычно
уже возможно. В примерах, приведенных ниже, информацией, под-
лежащей тестированию, является форма бимодального распределе-
ния.
(1) Задание с несколькими вариантами выбора. Распределение
показателей по тесту У является:
(а) Гауссовой кривой;
(б) распределением Пуассона;
79
(в) бимодальным распределением;
(г) нормальной кривой;
(д) двухточечной кривой.
Количество
испытуемых
Показатели по тесту Y
(2) Альтернативное задание. Распределение показателей по тес-
ту Y является бимодальным распределением. Д/Н
(!) Задание на восстановление соответствия. Чтобы сформулиро-
вать задание на восстановление соответствия для этого случая, мы
должны будем иметь список возможных кривых и еще большее коли-
чество иллюстраций, подобных приведенной выше. Это будет исклю-
чительной расточительностью места на бланках, если только мы не
хотим тестировать знания учащихся по форме кривых различных
распределений.
Таким образом, если наш единственный интерес состоит в тести-
ровании лишь одного частного фрагмента информации, как в данном
случае, задание с несколькими вариантами выбора будет наилуч-
шим. Альтернативное задание дает слишком большую вероятность
случайного угадывания правильного ответа, а задание на восстанов-
ление соответствия подходит только в том случае, когда нас интере-
сует большое количество подробной информации. Следует отметить,
как именно тип задания, которое наилучшим образом подходит к
данному типу материала, становится очевидным при попытке напи-
сать задания каждого типа.
КРИТЕРИИ ДЛЯ ВЫБОРА ВИДА ЗАДАНИЯ
(1) Понятность. Выбирайте ту форму заданий, которая, вероятно,
будет наиболее понятна испытуемым. В вышеприведенном примере
заданий (1)и (2) одинаково понятны.
(2) Предотвращение случайного угадывания. Выбирайте ту фор-
му заданий, которая сокращает вероятность случайного угадывания
правильных ответов настолько, насколько это возможно.
(3) Компактность или точность. Выбирайте ту форму, в которой
вопрос формзлируется настолько кратко, насколько это возможно.
80
(4) Отношения между заданиями. Следите, чтобы форма задания
(варианты выбора или списки для восстановления соответствий) не
содержали в себе или не раскрывали ответы на другие задания.
(5) Если задания выглядят в равной степени эффективными, вы-
берите тот тип задания, который у вас менее всего представлен.
Задания других типов
Конечно же, существует много заданий других типов. Однако то,
что было сделано - это детальное обсуждение конструирования за-
даний трех типов, при помощи которых практически любой материал
может быть представлен в тестовой форме. Несмотря на это, некото-
рые моменты не охватываются этими типами заданий, и сейчас будут
кратко обсуждены некоторые другие виды заданий, с указанием осо-
бых преимуществ, которыми они обладают.
(1) Задания с ограничениями на ответы. В этих заданиях испыту-
емые должны давать свои ответы, однако возможности их написания
соответствующим образом ограничены (limited-responce item, rest-
ricted-responce item). Это практически обеспечивает объективность
оценивания показателей заданий, тщательное формулирование ко-
торых даст только один возможный ответ.
(2) Задания со свободными ответами (free-responce item). На от-
веты не накладываются никакие ограничения. Испытуемые могут
писать что угодно. Однако тщательная формулировка заданий пред-
полагает наличие только одного правильного ответа.
Я приведу примеры обоих типов заданий на одном и том же мате-
риале, так чтобы можно было взвесить сравнительные достоинства
каждого из них. При конструировании заданий этих типов следует
отчетливо помнить основные правила разработки заданий, особенно
касающееся нежелательности тестирования тривиальной и бесполез-
ной информации только лишь потому, что ее легко тестировать.
ПРИМЕР 1.
В этом примере материалом для тестирования служат знания ис-
пытуемых о стандартном отклонении.
(1) Задание со свободным ответом: Что измеряется стандарт-
ным отклонением?
(2) Задание с ограниченным ответом: Стандартное отклонение
измеряет...
Ни одно из этих заданий не является особенно хорошим, потому
что, хотя желательным ответом является "разброс" или "измене-
ние", вполне возможно, что испытуемые опишут его более длинным
и пространным предложением. Здесь предпочтительнее было бы ука-
81
зать, что необходим ответ одним словом. Это однако, наложит огра-
ничение на задание со свободным ответом. В данном примере задание
с ограничением на ответ, конечно же, превосходит задание со свобод-
ным ответом, при условии той), что требуется ответ одним словом.
Задание со свободным ответом может быть улучшено: например,
"Среднее арифметическое измеряет центральную тенденцию мно-
жества показателей; а что измеряет стандартное отклонение?" На
это задание, хотя в нем и предусматривается произвольный ответ, мы
должны получить такие ответы как "изменчивость", "дисперсия"
или "разброс показателей". Несмотря на это, форма задания со сво-
бодным ответом не будет здесь столь эффективна, как форма задания
с ограничениями на ответ. Интересно заметить, что данное задание
может быть легко записано в виде других уже известных нам форм:
(1) Д/Н: Стандартное отклонение измеряет изменчивость по-
казателей.
(2) Восстановление соответствия:
А
! - Арифметическое среднее
2. Стандартное отклонение
3. Медиана
4. Корреляция
Изменчивость
""Ральная тенденция
Согласованность
Рассогласованность
Разброс
Связь
Кластеризация
Укажите, какой элемент списка Б измеряется статистической
методикой из списка А.
(3) Варианты выбора: Стандартное отклонение измеряет:
(а) степень согласованности между двумя переменными;
(б) стандартный показатель по тесту;
(в) дисперсию показателей по тесту;
(г) средний показатель по тесту;
(д) экстремальное отклонение показателей по тесту.
Представляется, что хотя и могут быть сконструированы все типы
заданий, наиболее эффективным в данном случае без сомнения будет
задание с вариантами выбора.
На этом первом примере ясно проиллюстрирована основная труд-
ность при разработке заданий как со свободными, так и с ограничен-
ными ответами - необходимость так формулировать задания, чтобы
испытуемые, имеющие достаточный запас навыков или знаний, да-
вали правильный ответ. Это означает, что необходимо создавать
задания, на которые возможен только один правильный ответ, и
такой ответ, конечно же, должен быть точным.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47