82
ПРИМЕР 2.
Здесь в качестве материала для тестирования предлагаются зна-
ния об облических (зависимых) факторах в факторном анализе.
(1) Заданиеспроизвольнымответом: Чтотакоеоблическиефак-
торы?
Об облических факторах так много может быть написано и уже
написано, что любой адекватный ответ будет неизбежно длинным. В
результате возникнет безнадежная проблема попытки вычислить
баллы по данному заданию. Очевидно, что это крайне неудачный
пример, а поэтому следует быть более точным при формулировке
заданий. Прежде надо было бы конкретно решить, что же мы хотим
выяснить.
(2) Задание с ограниченным ответом: Облические факторы --
это. . . (одно слово).
Хотя в этой форме задания длина ответа ограничивается, ясно, что
это более удачное задание. Так, в качестве ответов могли бы быть
следующие слова: "коррелирующие", "подвергнутые ротации" ,
"значимые" (поскольку только значимые факторы подвергаются ро-
тации), "комплексные" (по терминологии Гилфорда), "простые" (по
Кэттеллу), и так далее. Как же тогда данное задание может быть
сделано еще более конкретным?
Если мы хотим протестировать знание того, что облические фак-
торы являются коррелирующими, это, конечно же, проще всего сде-
лать при помощи альтернативного задания: "Облические факторы
являются коррелирующими. Д/Н". Если окажется, что возможность
случайного угадывания правильного ответа оказывает слишком
большое влияние на результат, то тогда должно быть сконструирова-
но задание с несколькими вариантами выбора: "Облические факторы
являются: (а) некоррелируемыми; (б) не подвергаемыми ротации;
(в) коррелируемыми; (г) ортогональными; (д) эвклидовыми." В дан-
ном задании информация тестируется весьма точно, и все дистракто-
ры были выбраны исходя из того, что каждый из них является терми-
ном описания факторов или других многомерных векторов, но под-
ходит только один правильный ответ. Таким образом, если мы хотим
протестировать знания о корреляции облических факторов, то ясно,
что обе формы заданий - альтернативного типа и с вариантами
выбора - просты и их легко сформулировать. Чтобы создать эквива-
лентные задания со свободными или ограниченными ответами, необ-
ходимо заставить испытуемого, посредством специальной фразиров-
ки задания, сосредоточиться на корреляционном аспекте зависимос-
ти факторов. Так:
В англ.языке это одно слово (Прим.ред.)
83
зать, что необходим ответ одним словом. Это однако, наложит огра-
ничение на задание со свободным ответом. В данном примере задание
с ограничением на ответ, конечно же, превосходит задание со свобод-
ным ответом, при условии того, что требуется ответ одним словом.
Задание со свободным ответом может быть улучшено; например,
"Среднее арифметическое измеряет центральную тенденцию мно-
жества показателей; а что измеряет стандартное отклонение?" На
это задание, хотя в нем и предусматривается произвольный ответ, мы
должны получить такие ответы как "изменчивость", "дисперсия"
или "разброс показателей". Несмотря на это, форма задания со сво-
бодным ответом не будет здесь столь эффективна, как форма задания
с ограничениями на ответ. Интересно заметить, что данное задание
может быть легко записано в виде других уже известных нам форм:
(1) Д/Н: Стандартное отклонение измеряет изменчивость по-
казателей.
(2) Восстановление соответствия:
А
1. Арифметическое среднее
2. Стандартное отклонение
3. Медиана
4. Корреляция
.......-inLuc среднее Изменчивость
2. Стандартное отклонение Центральная тенденция
3. Медиана Согласованность
4. Корреляция Рассогласованность
Разброс
Связь
Кластеризация
Укажите, какой элемент списка Б измеряется статистическа
методикой из списка А.
(3) Варианты выбора: Стандартное отклонение измеряет:
(а) степень согласованности между двумя переменными;
(б) стандартный показатель по тесту;
(в) дисперсию показателей по тесту;
(г) средний показатель по тесту;
(д) экстремальное отклонение показателей по тесту.
Представляется, что хотя и могут быть сконструированы все типы
заданий, наиболее эффективным в данном случае без сомнения будет
задание с вариантами выбора.
На этом первом примере ясно проиллюстрирована основная труд-
ность при разработке заданий как со свободными, так и с ограничен-
ными ответами - необходимость так формулировать задания, чтобы
испытуемые, имеющие достаточный запас навыков или знаний, да-
вали правильный ответ. Это означает, что необходимо создавать
задания, на которые возможен только один правильный ответ, и
такой ответ, конечно же, должен быть точным.
82
ПРИМЕР 2.
Здесь в качестве материала для тестирования предлагаются зна-
ния об облических (зависимых) факторах в факторном анализе.
(1) Задание с произвольным ответом: Что такое облические фак-
торы?
Об облических факторах так много может быть написано и уже
написано, что любой адекватный ответ будет неизбежно длинным. В
результате возникнет безнадежная проблема попытки вычислить
баллы по данному заданию. Очевидно, что это крайне неудачный
пример, а поэтому следует быть более точным при формулировке
заданий. Прежде надо было бы конкретно решить, что же мы хотим
выяснить.
(2) Задание с ограниченным ответом: Облические факторы --
это. . . (одно слово).
Хотя в этой форме задания длина ответа ограничивается, ясно, что
это более удачное задание. Так, в качестве ответов могли бы быть
следующие слова: "коррелирующие", "подвергнутые ротации" ,
"значимые" (поскольку только значимые факторы подвергаются ро-
тации), "комплексные" (потерминологииГилфорда), "простые" (по
Кэттеллу), и так далее. Как же тогда данное задание может быть
сделано еще более конкретным?
Если мы хотим протестировать знание того, что облические фак-
торы являются коррелирующими, это, конечно же, проще всего сде-
лать при помощи альтернативного задания: "Облические факторы
являются коррелирующими. Д/Н". Если окажется, что возможность
случайного угадывания правильного ответа оказывает слишком
большое влияние на результат, то тогда должно быть сконструирова-
но задание с несколькими вариантами выбора: "Облические факторы
являются: (а) некоррелируемыми; (б) не подвергаемыми ротации;
(в) коррелируемыми; (г) ортогональными; (д) эвклидовыми." В дан-
ном задании информация тестируется весьма точно, и все дистракто-
ры были выбраны исходя из того, что каждый из них является терми-
ном описания факторов или других многомерных векторов, но под-
ходит только один правильный ответ. Таким образом, если мы хотим
протестировать знания о корреляции облических факторов, то ясно,
что обе формы заданий - альтернативного типа и с вариантами
выбора - просты и их легко сформулировать. Чтобы создать эквива-
лентные задания со свободными или ограниченными ответами, необ-
ходимо заставить испытуемого, посредством специальной фразиров-
ки задания, сосредоточиться на корреляционном аспекте зависимос-
ти факторов. Так:
В англ.языке это одно слово (Прим.ред,)
83
Задание со свободным ответом:
Каким образом облические факторы отличаются от ортого-
нач-ьных?
Ответ на задание будет засчитан как правильный, если испытуе-
мые укажут, что облические факторы коррелируют. Однако, это
задание все еще является "слабеньким", поскольку испытуемые мо-
гут дать правильный ответ,- облические факторы размещены отно-
сительно друг друга не пот гг".""- -
сительно
--"" имиры размещены отно-
niCJibHO друг друга не под прямыми углами. Следовательно, эта
форма, хотя и лучшая, чем в исходной формулировке, все еще не
является достаточно эффективной.
Какая информация о психологическом значении может быть
получена из угла, образуемого облическими факторами?
Наконец-то этот вопрос отточен; теперь возможен только один
правильный краткий ответ. Если испытуемые знают об облических
факторах, они должны упомянуть о корреляциях; если они сделают
это, то получат свои баллы.
Нет никакого сомнения в том, что создание заданий, подобных
этому (которое наконец-то выглядит достойным анализа заданий, о
чем будет говориться далее), - гораздо более трудная задача, чем
конструирование подобных точно работающих заданий с нескольки-
ми вариантами выбора. Выигрыш, получаемый разработчиком тес-
тов от применения заданий со свободными ответами, подобных при-
веденному выше, состоит в том, что для испытуемых они более инте-
ресны, менее очевидны как проба проверки знаний и предполагают
некоторый элемент логических рассуждений, - вот почему задания
со свободными ответами затрагивают больше сведений, чем задания
с вариантами выбора. Так, наше задание с вариантами выбора могло
было быть выполнено при условии, что испытуемые знали, о том, что
облические факторы коррелируют. Однако, чтобы выполнить зада-
ние со свободным ответом, испытуемый должен знать: (1) что обли-
ческие факторы коррелируют; (2) что корреляция связана с зависи-
мостью; (3) что корреляция является психологически значимой. Сле-
довательно, задание со свободным ответом является более богатым и
более трудным. Чтобы протестировать фрагмент (2) из этого задания,
пришлось бы построить еще одно задание с вариантами выбора.
Именно относительная сложность делает задания со свободными от-
ветами более привлекательными, чем задания с вариантами выбора,
которые неизбежно будут закостеневшими и примитивными.
Задание с ограниченным ответом:
/70 углам между облическими факторами может быть получена
их. . . (одно слово)
84
Такая форма задания с ограничением на ответ привлекательна
тем, что, поскольку для его выполнения нужно указать только одно
слово, обеспечивается превосходная надежность, а ответ считается
правильным или нет, без привлечения каких-либо субъективных
суждений. Это задание срабатывает более точно, чем задание со
свободным ответом, принуждая испытуемого дать желаемый ответ
(как и почти всегда при сравнении заданий с ограниченными и сво-
бодными ответами), но по этой причине оно может быть несколько
проще.
Есть один интересный момент, касающийся формулировки этого
задания с ограничением на ответ, а именно в словах "может быть
получена". Они намеренно подобраны как в некоторой мере обоб-
щенные. Если мы вместо этого напишем более точно "подсчитана"
или "вычислена", я полагаю, что они будут содержать большую долю
подсказки относительно того, что требуется некий статистический
термин. При практическом испытании этого задания было бы инте-
ресно сравнить его на небольшой подгруппе из выборки испытуемых,
с заданием со словом "вычислена", чтобы увидеть, до какой степени
изменилась значимость данного задания как средства тестирования.
И наоборот, если задание оказалось слишком трудным, при втором
практическом испытании должна быть подставлена его новая форма.
С моей точки зрения материал данного задания хорошо подходит к
форме ограниченного ответа. Такое задание выглядит гораздо более
точным, чем задание со свободным ответом, тогда как задание с
вариантами выбора кажется слишком простым и тестирующим лишь
механическое запоминание.
ПРИМЕРЗ.
Какое слово должно быть следующим в стихотворении, озаглав-
ленном "Необразованный":
Жизнь его схожа с Прокрустовым ложем:
День за днем ее он терял
За каждую книгу, что не. . . (прочитал)
При указанном заглавии стихотворения только одно слово: "про-
читал"- может служить ответом на это задание с ограничением на
ответ. Заметьте, что без заглавия "Необразованный" дать ответ ста-
новится трудно. Для ответа на этот вопрос требуется способность как
подбирать, так и рифмовать слова. Некоторых читателей может уди-
вить этот пример конструирования объективных вопросов для тести-
рования таких способностей.
На данном материале нельзя построить задание со свободным
ответом, а вот задание с вариантами выбора - можно:
85
Какое из следующих слов наилучшим образом завершает строку:
(а) написал, (б) прочитал, (в) сказал, (г) продавал, (д) знал.
Сложность при разработке такого задания состоит в подборе вари-
антов, и нет сомнения в том, что лучшие варианты будут получены в
результате анализа ограниченных ответов на этот вопрос.
Таким образом, в наших примерах задания с ограничениями на
ответы всегда казались превосходящими аналогичные им задания со
свободными ответами благодаря их дополнительной точности. Одна-
ко это не всегда так. Если мы хотим протестировать только лишь
некоторые специальные сведения, то задание со свободным ответом
может быть более эффективным.
ПРИМЕР 4.
В данном примере материалом для тестирования являются знания
о зависимости между квадратом гипотенузы и суммой квадратов
катетов прямоугольного треугольника.
(1) Задание со свободным ответом: Чему ровна сумма квадратов
катетов прямоугольного треугольника?
Благодаря этому точному определению существует только один
ответ, и его возможные формы будут легко распознаны подсчитыва-
ющими показатели по тесту (что обеспечит высокую надежность).
(2) Задание со свободным ответом: Какая связь между гипотену-
зой и катетами прямоугольного треугольника?
Как и в предыдущем случае, нет сомнений относительно правиль-
ности и точности ответа.
В случае, подобном этому, использование задания с ограничен-
ным выбором ответов не приведет к улучшению; в самом деле, их
гораздо труднее создавать, так как крайняя специфичность правиль-
ного ответа заставляет разработчика теста включать в текст задания
его определенную часть. Например: (1) "Сумма квадратов катетов
равна ... ... прямоугольного треугольника." Необходимые здесь
два слова не столь очевидны, так что несведущий не сможет их
вписать, а также задание не обязательно подтолкнет память испыту-
емого с нетвердыми знаниями.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47