- отношений (ratio scale) - континуальная шкала с равномерно
нанесенными делениями и со значимой нулевой точкой.
20
- порядковая (ранговая) (ordinal scale) - элементы шкалы упо-
рядочены (ранжированы), но в этой шкале не учитываются расстоя-
ния между ними.
-сбалансированная (balanced scale) -шкала для тестов личнос-
ти (опросников), в которой примерно равное количество заданий
имеют ключевые ответы "да" или "нет"; используется как один из
способов минимизации влияния установки на согласие.
- Терстоуна (Thurstone scale)- тип шкалы для тестов аттитю-
дов, по которой ответы испытуемого оцениваются относительно 11-
балльной шкалы с равномерно распределенными по ней заданиями
(утверждениями относительно данного аттитюда), оцененными
предварительно экспертами.
шкалирование по Рашу (Rasch scaling) - метод шкалирования
заданий, разработанный Рашем, в котором предполагается, что ве-
роятность правильного ответа определяется двумя параметрами: сте-
пенью, в которой задание выявляет скрытую черту, и выраженно-
стью у испытуемого этой черты. Эти параметры могут оцениваться
независимо.
элементарные когнитивные задачи (elementary cognitive tasks -
ECTs) - экспериментальные задачи, рассматриваемые как индика-
торы психических процессов, разработанные в рамках когнитивного
подхода к изучению способностей, для метода прогнозирования эф-
фективности (успешности) деятельности по факторам успешности
выполнения этих задач.
Q -анализ - факторно-аналитическая методика, в которой в ка-
честве переменных представлены испытуемые, а не тесты или изме-
ряемые свойства (стат.).
21
Глава 1. Характеристики эффективных
психологических тестов
Психологический тест может быть охарактеризован как эффек-
тивный при условии, что он удовлетворяет определенным требовани-
ям. Основные требования следующие:
1) использование шкалы интервалов;
2) надежность;
3) валидность;
4) дискриминативность;
5) наличие нормативных данинх или возможность описания с
высокой точностью моделью Раша и ей подобными, а в случае инди-
видуально-ориентированных тестов - наличие критериев, установ-
ленных экспертами.
В этом руководстве я намерен продемонстрировать, как эти тре-
бования могут быть учтены в тестах при их обосновании, а также в
процессе конструирования. Однако, прежде чем это будет сделано,
необходимо обсудить и определить все те термины, в которых следует
досконально разобраться, если вы хотите, чтобы тесты были не толь-
ко правильно сконструированы, но и соответствующим образом ис-
пользовались.
Всегда следует помнить о том, что все требования, предъявляемые
к психологическим тестам, не случайны, а связаны с улучшением
точности измерений. Точные измерения - это обязательное условие
научности. Прогресс в естественных науках зависел от разработки
эффективной системы измерений и, с моей точки зрения, психология
не является исключением из этого правила. Короче говоря, каждое
из требований, описываемых ниже, вносит свой вклад в эффектив-
ность психометрии.
Типы шкал
Существуют шкалы нескольких уровней, иерархически упорядо-
ченных по сложности. Это следующие уровни, начиная с простейше-
го:
(1) Номинативные шкалы (шкалы наименований). Это простей-
шая классификация испытуемых: мужчина/женщина - классифи-
кация по номинативной шкале.
(2) Порядковые шкалы. Здесь субъекты ранжированы, например,
по весу или росту. Такая шкала очевидно груба, поскольку не учиты-
вает значения разностей между рангами.
(3) Шкалы интервалов. В них разности между значениями во
всех точках данной шкалы равны. Эквивалентные интервальные
22
шкалы могут быть линейно преобразованы друг в друга, что позволя-
ет приводить результаты тестирования к общим шкалам и таким
образом осуществлять сравнение показателей. Более того, многие
статистические процедуры предполагают измерения по шкале интер-
валов.
(4) Шкалы отношений. Шкалы отношений помимо всего имеют
значимую нулевую точку (в отличие от интервальной шкалы она не
произвольна, а указывает на полное отсутствие измеряемого свойст-
ва) . Наличие такой точки - проблема для большинства психологи-
ческих переменных, хотя существуют методы конструирования тес-
тов, позволяющие использовать эту возможность.
По рассмотрении перечисленных четырех шкал становится оче-
видным, что в идеале разработчик психологических тестов должен
стремиться использовать шкалы отношений. В случае, когда это не-
возможно, то желательны шкалы интервалов, если предполагается,
что результаты будут подвергаться статистическому анализу. По-
скольку изучение валидности тестов практически неизбежно влечет
за собой такой анализ (а также потому, что количественные показа-
тели измерений в психологических тестах предоставляют им преиму-
щества по сравнению с другими видами испытаний), вывод очевиден:
ничего менее точного, чем шкалы интервалов, использовать нельзя.
Фактически же, как указывает Brown (1976), большинство психо-
метрических тестов приближаются к интервальным шкалам, а обра-
ботка результатов тестов так, как если бы они основывались на шка-
лах интервалов, дает полезные результаты.
Надежность
В психометрии термин "надежность" имеет два значения. Тест
называется надежным, если он является внутренне согласованным
(self-consistent). Тесттакженазываетсянадежным, еслиондаетодни
и те же показатели для каждого испытуемого (при условии, что
испытуемый не изменился) при повторном тестировании. Надеж-
ность при повторном тестировании по прошествии времени называ-
ется ретестовой надежностью (test-retest reliability).
Значение и важность надежности
по внутренней согласованности
В психометрии стремятся разрабатывать тесты, являющиеся в
высокой степени внутренне согласованными, по той очевидной при-
чине, что если некоторая переменная измеряется частью теста, то
тогда в других частях, если они не согласованы с первой, эта же
переменная измеряться не может. Таким образом оказывается, что
23
для того, чтобы тест был валидным (то есть измерял именно то, для
измерения чего он предназначен), он должен быть согласованным:
общепринятая в психометрии точка зрения состоит именно в том, что
высокая надежность является предпосылкой валидности (напр.,
Guilford, 1956; Nunnally, 1978).
Единственным, кто подвергает это положение сомнению, являет-
ся Кэттелл (см.напр. Cattell и Kline, 1977). Он аргументирует свою
точку зрения тем, что высокая внутренняя согласованность в дейст-
вительности является противоположностью валидности на том осно-
вании, что каждый вопрос должен затрагивать меньшую область или
иметь более узкое значение, чем критерий, подвергающийся измере-
нию. Таким образом, если все вопросы в высокой степени согласова-
ны, они значимо коррелируют, и, следовательно, надежный тест
будет измерять только лишь сравнительно "узкую" переменную с
малыми отклонениями. В качестве поддержки такой точки зрения
можно заметить следующее: (1) действительно, коэффициент а.
Кронбаха возрастает при увеличении интеркорреляции заданий; и
(2) при прогностическом изучении любой области со многими пере-
менными максимальное значение величины множественной корре-
ляции между тестами и критерием (в данном случае между задания-
ми теста и общим результатом) может быть получено, когда перемен-
ные между собой не коррелируют. Это очевидно, поскольку если две
переменные весьма значимо коррелируют, то одна из них не будет
предоставлять никакой новой информации.
Таким образом, максимум валидности, по рассуждениям Кэттел-
ла, может быть получен тогда, когда все задания теста не коррелиру-
ют друг с другом, а каждое из них имеет положительную корреляцию
с критерием. Однако, такой тест будет характеризоваться низкой
надежностью по внутренней согласованности. С моей точки зрения,
теоретически Кэттелл прав. Однако, насколько мне известно, ни
одному разработчику тестов не удалось сформулировать такие зада-
ния, которые, коррелируя с критерием, не коррелировали бы между
собой. Barrett и Kline (1982) исследовали личностный тест самого
Кэттелла (16 PF), в котором была сделана такая попытка, но оказа-
лось, что она не была полностью удачна.
Несмотря на эти комментарии, общее психометрическое правило
гласит: на практике валидные тесты являются в высокой степени
согласованными.
Ретестовая надежность (test-retest reliability)
Когда тест не может дать тот же самый результат для некоторого
испытуемого (при условии, что этот испытуемый не изменился) в
24
различных условиях, - значит, не все в порядке. Способ измерения
ретестовой надежности очень прост. Вычисляется корреляция пока-
зателей для выборки испытуемых, протестированных в двух случаях.
Наименьшим удовлетворительным значением для ретестовой на-
дежности является 0,7.
При более низком значении, как указывает Guilford (1956), ис-
пользование теста становится вряд ли целесообразным, поскольку
стандартная погрешность получаемых по нему показателей будет
настолько велика, что интерпретация показателей станет сомни-
тельной. Значение и влияние этой стандартной погрешности резуль-
тата будут обсуждаться в данной главе дальше, когда вы познакоми-
тесь с так называемой классической моделью погрешностей тестов
(Nunnally, 1978), рассматриваемой в рамках дискуссии о надежно-
сти.
Хотя ретестовая надежность проста в вычислении, следует быть
очень осторожным, чтобы не повысить ее искусственно проведением
слишком близких во времени испытаний, а выборки должны быть
достаточно репрезентативными применительно к той категории лиц,
для обследования которых предназначен тест.
И наконец, в связи с этим я должен упомянуть надежность парал-
лельных форм. В этом случае конструируются эквивалентные или
параллельные наборы заданий. Таким образом, испытуемые выпол-
няют совершенно другой тест при аналогичных условиях. Однако,
имеются трудности в доказательстве того, что обе формы являются
действительно эквивалентными. Несмотря на это, на практике па-
раллельные формы тестов оказываются полезными в установлении
надежности тестов.
Валидность
Кратко рассмотрим природу валидности, второй из основных ха-
рактеристик эффективных тестов. Как и при обсуждении надежно-
сти, целью этой главы является дать читателю общее представление
для понимания задач конструирования валидных тестов. Сами же
пути достижения валидности будут полностью представлены в этой
книге далее.
Тест называется валидным, если он измеряет то, для измерения
чего он предназначен. Однако такое определение не разъясняет удов-
летворительно значения валидности. В этом случае возникает новый
1 в известной мере условен. Для
Указанный предельный коэффициент надежности в известной мере уединен, wT
проективных и некоторых других тестов личности показатель ретестовой надеж-
ности может быть ниже, при этом диагностическая ценность методики не снижа-
ется (Прим.ред.)
вопрос: как мы узнаем, что тест измеряет то, для чего он предназна-
чен? В действительности, существует много различных способов до-
казательства валидноеT тестов, и каждый из них соответствует раз-
ным аспектам этого значения. О них и пойдет речь далее в этой главе.
Очевидная (внешняя) валидность (face validity)
Говорят, что тест является очевидно валидным, если о нем скла-
дывается впечатление, что он измеряет именно то, что подразумева-
ется, особенно с точки зрения испытуемых. Очевидная валидность не
имеет никакого отношения к истинной валидности и важна постоль-
ку, поскольку взрослые испытуемые обычно не включаются в работу
с тестами, которым недостает внешней валидности, полагая порой их
глупыми и даже оскорбительными. Дети, привыкшие к школьным
контрольным проверкам, не столь восприимчивы к внешним призна-
кам теста. Очевидная валидность, таким образом, лишь помогает
добиться сотрудничества с испытуемыми.
Конкурентная валидность (concurrent validity)
Эта валидность оценивается по корреляции результатов данного
теста с результатами других тестов. Так, если мы пытаемся устано-
вить конкурентную валидность некоторого теста интеллекта, мы бу-
дем изучать его корреляцию с другими тестами, валидность которых
установлена. Этот пример наглядно иллюстрирует недостаток опре-
деления конкурентной валидности. Если уже существует другой ва-
лидный тест, достаточно эффективный, чтобы он мог использовать-
ся, то новый тест, который предстоит валидизировать, может быть в
какой-тостепениненужным. Всамомделе, этобудеттак, еслитолько
он не обладает некоторой значимой характеристикой, не присущей
другим валидным тестам. Например, если он будет очень коротким,
простым в использовании, удобным для обработки, или хотя бы будет
нравиться испытуемым, то это вполне бы оправдало разработку но-
вого теста тогда, когда существуют другие тесты для измерения дан-
ного критерия. С другой стороны, если нет эффективных тестов для
измерения данного свойства или особенности, когда новый тест за-
трагивает иные свойства или особенности индивидуума, тогда ясно,
что изучение конкурентной валидности становится затруднитель-
ным.
Иногда, когда нет тестов для измерения некоторого свойства, мож-
но попытаться использовать экспертные оценки. Здесь, однако, су-
ществуют серьезные проблемы. Валидность рейтингов может точно
так же оказаться под вопросом и, кроме того, если возможно приме-
нение рейтингов, то вряд ли здесь нужен тест.
26
В общем, конкурентная валидность полезна тогда, когда есть не-
удовлетворительно работающие тесты для измерения некоторых пе-
ременных, а новые тесты создаются в попытке улучшить качество
измерения. В случаях, подобных этому, при изучении конкурентной
валидности можно ожидать значимых, но умеренных корреляций.
Таким образом ясно, что конкурентная валидность не является до-
статочно полным аспектом валидности.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47