Другое задание выглядит так: (2)
"Если дана сумма квадратов катетов, то гипотенузу прямоугольного
треугольника можно найти как ... . .. ... "
Задания с ограничениями на ответы и со свободными ответами
полезны как дополнительные методы представления заданий в тес-
товой форме. Какое из них будет лучшим, зависит от специфики
тестируемой информации. Если она очень специфична, то эффектив-
ным будет задание со свободными ответами; если она не столь четко
86
определена, то лучше использовать задание с ограничениями на от-
вет.
Как и ранее, при выборе формы задания часто полезным бывает
на одном и том же материале сформулировать задания всех видов, а
затем выбрать наилучшее в соответствии с критериями, обсуждав-
шимися в данной главе. Следует помнить, что та часть теста, в кото-
рую входят задания со свободными и ограниченными ответами (при
условии, что они не менее эффективны, чем другие формы заданий)
больше нравятся испытуемым, чем чисто объективные задания. Од-
нако, это исключает автоматизированный подсчет показателей.
И последнее. Thorndike и Hagen (1977) перечисляют ряд момен-
тов, которые должны учитываться при формулировании заданий,
рассматривавшихся в данной главе. Некоторые из этих правил на-
столько очевидны, что вряд ли заслуживают комментариев: слова
должны подбираться тщательно и быть точными; требуемые от испы-
туемых ответы должны быть правильными; задачи должны быть спе-
цифичными; в заданиях на дополнение не следует оставлять столько
многоточий, что задание становится непонятным.
Достаточно о различных типах заданий. При попытке сконструи-
ровать задания каждого типа, релевантные определенному материа-
лу, можно сравнительно легко написать задания, удовлетворитель-
ные для их первого практического испытания и отбора.
Упорядочивание заданий для испытания теста
Как было указано в первой главе этой книги, ясные инструкции,
обеспечивающие простоту понимания того, что испытуемые должны
делать, способствуют повышению надежности и валидности теста.
Есть несколько простых правил для упорядочения заданий при испы-
таниях теста, которые настолько очевидны, что заслуживают лишь
кратких комментариев.
(1) Располагайте задания каждого типа вместе. Это дает возмож-
ность испытуемым приспособиться к данному типу заданий, а, сле-
довательно, достаточно понимания одной части инструкции для
множества заданий.
(2) Располагайте задания в порядке трудности. Это предотвратит
случаи, когда слишком старательный испытуемый тратит все свое
время (или слишком много времени) на задания, которые он не может
решить и, таким образом, лишает себя возможности попытаться вы-
полнить другие, по которым он мог бы получить баллы, а в результате
все формы анализа заданий будут неточными.
87
(3) В рамках ограничений (1) и (2), располагайте материал на-
столько случайно (произвольно), насколько это возможно. Это сни-
жает монотонность и связанное с ней утомление.
(4) Не комплектуйте вместе такое количество заданий, что сред-
нему испытуемому для их выполнения потребуется более полутора
часов (для взрослых). Для детей период сосредоточения в тестах
способностей должен быть более ограниченным. Посоветуйтесь об
этом с учителями, знающими испытуемых.
(5) Чтобы убедиться, сколько времени требуется на выполнение
заданий теста, дайте указание испытуемым отмечать, какое задание
теста они выполняют в различные моменты времени в процессе тес-
тирования.
(6) Если вы следуете этим методам конструирования тестов и
проведения тестирования, то есть все шансы, что после выполнения
статистических процедур анализа, описанных далее в этой книге, вы
получите эффективный, надежный и валидный тест для измерения
интеллекта, специальных способностей и достижений.
Случайное угадывание правильного ответа
Остается обсудить еще одну проблему в конструировании тестов
интеллекта, специальных способностей и достижений, которую я
мимоходом уже упоминал в данной главе - случайное угадывание
правильных ответов. Очевидно, что для объективных заданий слу-
чайное угадывание исказит до некоторой степени показатели по тес-
ту. Если тесты используются для таких серьезных целей, как отбор
на рабочие места или продвижение по службе, то очевидно, что
испытуемые имеют сильные мотивы для угадывания ответов. Слу-
чайное угадывание, конечно, снижает надежность и валидность тес-
тов. Что в таком случае следует предпринимать?
(1) Ввести требование угадывать ответы. Одним из возможных
решений является потребовать от испытуемых в инструкциях угады-
вать ответы. Это легко сделать так: "Не пропускайте ответы на воп-
росы. Если вы не знаете ответа или не уверены в его правильности,
попытайтесь угадать правильное решение."
(2) Перед подсчетом показателей по тесту ответьте на все пропу-
щенные испытуемыми вопросы произвольным образом. Это будет
эквивалентно случайному угадыванию.
Если будут выполнены действия (1) и (2), все показатели будут
искажены случайным угадыванием. Следовательно, валидность тес-
та не будет очень сильно искажена. К сожалению, даже при указании
в инструкциях не пропускать ответов на вопросы, не все испытуемые
подчиняются этому требованию, поэтому если исследователь не при-
8
бегает к действию (2), следует вносить некоторую коррекцию на
случайное угадывание ответов (если влияние угадывания считается
существенным).
ФОРМУЛА КОРРЕКЦИИ УГАДЫВАНИЯ
Общая формула коррекции на угадывание:
У - у . W
"correct - л _ 1
где: Xcorrect - показатель, скорректированный на угадывание; Х
- количество правильных ответов "нет"; W - количество непра-
вильных ответов "нет"; п - количество вариантов выбора в задани-
ях.
Следует отметить четыре момента, касающиеся этой формулы.
(1) Предполагается, что все неправильные ответы даны в резуль-
тате угадывания. Это не всегда так, поскольку испытуемые могут
часто иметь неверные сведения.
(2) Предполагается, что при угадывании каждый вариант ответа
может быть выбран с одинаковой вероятностью. Это не так, посколь-
ку в заданиях с несколькими вариантами выбора испытуемый может
правильно отбросить все варианты, кроме двух. Следовательно, для
данного испытуемого коррекция на угадывание будет занижена (од-
нако, см. пункт 4).
(3) Для заданий с различным количеством вариантов ответов
нужна различная коррекция угадывания.
(4) Коррекция угадывания применима к так называемому средне-
му испытуемому. В индивидуальных случаях она будет неверной.
Из сказанного ясно, что коррекция на угадывание - это в лучшем
случае лишь грубое оценивание.
В общем, я соглашаюсь с Vernon (1950), который утверждает, что
на практике при условии, что тест имеет достаточное количество
заданий, угадыванием можно пренебречь. Это особенно верно для
заданий с несколькими вариантами выбора. Альтернативные задания
больше подвержены влиянию угадывания, и это является причиной
отказа от использования этого вида заданий, если только он не явля-
ется единственным удовлетворительным. Если требуется высокая
скорость выполнения тестов, то это подстегивает испытуемых к слу-
чайному угадыванию ответов. Однако проведение тестов в столь сжа-
тые сроки, что испытуемые не могут завершить их выполнения, не
будет хорошей практикой тестирования. Это привносит в тест внеш-
нюю переменную скорости выполнения. Короче говоря, случайное
угадывание не является основной проблемой тестирования, а коррек-
89
ция угадывания полезна только для тестов с альтернативными зада-
ниями, использование которых, однако, не рекомендовано.
Заключение
Полагаю, было сказано уже достаточно, чтобы основные положе-
ния формулирования заданий для тестов способностей и достижений
стали понятными. Имея большое количество правильно сконструи-
рованных заданий, не измеряющих тривиальные вещи лишь потому,
что их легко измерять, и используя статистические процедуры, кото-
рые будут обсуждаться в последующих главах, можно будет разраба-
тывать эффективные тесты для выявления способностей человека. Я
также надеюсь, что подробная демонстрация методик формулирова-
ния заданий (возможно, даже раздражающая своей подробностью)
выявила также, почему так много объективных тестов, особенно те-
стов достижений, являются такими слабыми. Многие объективные
тесты разрабатывались неопытными энтузиастами-любителями. Не
достаточно применять мощный статистический аппарат для подбора
заданий. Прежде всего сами задания должны быть эффективными.
Формулирование заданий не является простым делом. Основных
принципы, указанные в данном руководстве, должны способствовать
устранению многих крупных просчетов.
Глава 3. Создание надежных тестов II;
Личностные опросники. Разработка заданий
Личностные опросники - широко используемые методики изме-
рения личностных качеств, поскольку они могут разрабатываться
так, что им будут присущи многие атрибуты эффективных тестов:
надежность, дискриминативность и стандартизованность. Однако, в
силу природы личностных переменных, труднее всего бывает устано-
вить валидность именно этих методик.
Проблемы конструирования личностных опросников
Как и в случае тестов способностей, качество отдельных заданий
(вопросов, утверждений) является определяющим для всего опрос-
ника, и поэтому в данной главе будут рассматриваться трудности,
возникающие при формулировании заданий, а также преимущества
различных типов заданий.
При разработке заданий для личностных опросников необходимо
учитывать следующие проблемы, которые, если их не обойти, неиз-
бежно приведут к низкой валидности тестов.
(1) Установка на согласие (response set of acquiescence). Это
тенденция испытуемого соглашаться с утверждениями или отвечать
на вопросы "да" независимо от их содержания. Чаще всего проявля-
ется, согласно Guilford (1959), когда утверждения (вопросы) неодно-
значны и неопределенны.
(2) Установка на социально одобряемые ответы (response set of
social desirabiliiy). Это тенденция испытуемых отвечать на вопросы
теста так, чтобы выглядеть "социально положительным": если воз-
можен "социально желательный" ответ, то весьма вероятно, что
испытуемые будут его давать. Эта установка, как показал Edwards
(1957), оказывает, в частности, влияние на результаты теста ММР1
(Minnesota Multiphasic Personality Inventory).
(3) Установка на неопределенные или средние ответы (response
set of using the uncertain or middle category). Если в опроснике пред-
ставлена средняя категория ответов, отражающая нерешительность
или неуверенность в ответе (напр., "не уверен", "не знаю", или
"затрудняюсь ответить"), то многие испытуемые склонны к ней при-
бегать, как к безопасному компромиссу. Это приводит к снижению
валидности заданий, поскольку большинство методов анализа вопро-
сов основывается на крайних значениях показателей.
(4) Установка на "крайние? (расположенные по краям шкалы)
ответы (response set of using the extreme response). Эта установка
может проявляться при использовании многоэлементной рейтинго-
91
вой шкалы. Некоторые испытуемые, независимо от содержания воп-
росов предпочитают выбирать крайние ответы (Vernon, 1964).
(5) Очевидная валидность (face validity) вопросов (утвержде-
ний). Несомненно, в тестах личности необходима уверенность в том,
что ответы на вопросы могут рассматриваться как правдивые. Catfell
и Kline (1977) рассматривают данные опросника как данные Q и Qi.
Данные из первого множества рассматриваются так, как если бы они
отражали поведение испытуемого, данные из второго - как ответ на
отдельный вопрос, ответ, который либо нагружен некоторым факто-
ром, либо нет, независимо от того, отражает ли он поведение испы-
туемого.
(6) Выборка из генеральной совокупности вопросов. В тестах
интеллекта и специальных способностей, обсуждавшихся в предыду-
щей главе, относительно легко убедиться в том, что задания принад-
лежат или с высокой степенью вероятности выглядят принадлежа-
щими к подразумеваемой для них генеральной совокупности. Линг-
вистические задания нелегко перепутать с математическими или
какими-либо другими. Однако, в области особенностей личности и
темперамента все гораздо сложнее.
В самом деле, иногда даже опытные и искусные разработчики
вопросов (например, Cattell, 1957) бывают удивлены тем, что вопро-
сы нагружены не теми факторами, для выявления которых они были
созданы, а также тем, что вопросы вообще не нагружены ни одним из
факторов. Эта проблема с точки зрения классической теории тестов
состоит в трудности определения конкретной выборочной совокупно-
сти вопросов. В результате возникает проблема подбора адекватной
выборки из выборочной совокупности вопросов или утверждений для
теста, а без этого тест не может быть валидным.
(7) Выборка из генеральной совокупности испытуемых. Как ука-
зано выше, в личностных тестах труднее обеспечить адекватность
выборки из выборочной совокупности, чем в тестах способностей.
При использовании тестов способностей обычно известна вполне оп-
ределенная категория лиц (популяция), для которой данный тест
предназначен, и таким образом, по крайней мере в принципе, можно
эффективно подбирать выборки. Однако, в личностных тестах, в
отличие от тестов, разрабатывающихся для испытуемых с той или
иной патологией, в идеале нужны выборки из общей популяции (т.е.
всего населения страны), в которой встречаются все возможные по-
казатели. Такие выборки, как показано, должны быть большими, и
их обычно трудно получить.
(8) Проблемы в установлении адекватного критерия валидное
ти. Существует, как уже подробно обсуждалось в разделе о валид-
92
ности, значительная трудность в нахождении адекватного критерия.
Например, если мы пытаемся измерить авторитаризм, то будем вы-
нуждены полагаться на рейтинги, поскольку нет никаких других
внешних мерил (в отличие от, например, школьных экзаменов в
случае диагностики способностей).
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47