Эта формула применяется для корректировки при неудовлетвори-
тельной надежности по обеим переменным. Если необходимо прове-
сти коррекцию только при неудовлетворительной надежности кри-
терия, то тогда в знаменатель подставляется только значение надеж-
ности для критерия.
ШАГИ ВЫЧИСЛЕНИЯ КОРРЕКЦИИ ПРИ НЕУДОВЛЕТВО-
РИТЕЛЬНОЙ НАДЕЖНОСТИ
Эта формула настолько проста, что, вероятно, нет необходимости
раскладывать ее на шаги. Коротко:
(1) Вычислите произведение коэффициентов надежности для
двух тестов.
(2) Возьмите квадратный корень: уГип
(3) Разделите полученную корреляцию валидизируемого теста и
критерия на результат, полученный на шаге (2).
207
ИСПОЛЬЗОВАНИЕ КОРРЕКЦИИ
С моей точки зрения, эта формула коррекции по целому ряду
причин должна использоваться с большой осторожностью. Во-пер-
вых, в практическом применении тестов валидизируемый тест и его
критерий имеют только одно данное значение надежности: такая
коррекция не изменяет этот факт, как бы это ни было неприятно.
Значительно лучше сразу получить надежные тест и критерий, чем
применять коррекцию вследствие неудовлетворительной надежнос-
ти.
Однако, в теоретических исследованиях, где основной интерес
представляет отношение между двумя переменными, скорректиро-
ванная оценка может оказаться более лучшим показателем, чем
значение, заниженное вследствие неудовлетворительной надежнос-
ти. Тем не менее, всегда есть вероятность того, что скорректирован-
ными оценками мы введем себя в заблуждение. По этой причине
скорректированных оценок корреляций следует избегать как тако-
вых. Иноща, однако, имеет смысл привести их рядом с исходными
показателями, в зависимости от цели и характера исследований.
Использование их без указания того, что они являются следствием
коррекции, и без предоставления исходных значений будет большой
ошибкой.
Содержательная валидность
Содержательная валидность, как указывалось в главе 1, представ-
ляет интерес в основном при конструировании тестов, когда должен
быть точно определен материал, используемый для тестирования.
Очевидными примерами может быть содержание тестов математиче-
ских, музыкальных способностей, словарного запаса и знаний грам-
матики. В терминах классической модели измерений проблема со-
держательной валидности возникает при формировании выборок за-
даний из генеральной совокупности заданий. На практике же случай-
ный выбор заданий для тестирования словарного запаса, вероятно,
вряд ли даст эффективный тест, поскольку не все слова в словаре
имеют одинаковую важность. Даже случайный подбор из множества
наиболее употребительных слов не будет адекватным, так как суще-
ствуют ограничения на слова, которые мы хотим использовать в
тестировании (в зависимости от цели теста). Так, тест словарного
запаса для зарубежных врачей будет значительно отличаться от тес-
та для, скажем, зарубежных педагогов.
На практике подтверждение содержательной валидности может
быть получено только следующим образом. Подбираются эксперты в
данной области, которые указывают, какой материал они считают
208
существенно важным; затем этот материал преобразуется в задания
теста, и затем опять направляется экспертам, чтобы посмотреть, не
обнаружат ли они каких-либо грубых упущений или заданий, дубли-
рующих друг друга.
В случае личностных тестов содержательная валидность имеет
меньшее значение, хотя автор настоящей книги при конструирова-
нии тестов оральных черт личности, OPQ и OOQ (Kline, 1979), попы-
тался продемонстрировать содержательную валидность при помощи
перечисления всех психоаналитических описаний "оральной лич-
ности" в сокращенной форме, например, "зависимый", "прилипу-
чий, как пиявка", а затем преобразования их в задания теста.
Cattel (напр. 1946), при конструировании теста 16 PF, также
попытался обеспечить содержательную валидность следующим обра-
зом: (1) просмотром словаря в поисках всех терминов, описывающих
поведение; (2) избавлением от тех терминов, которые эксперты со-
чли синонимами; (3) ранжированием испытуемых по остающимся
описаниям и выделением кластеров; (4) формулированием заданий,
предназначенных для выявления этих кластеров. Это был тщательно
разработанный метод исследования всей генеральной совокупности
переменных и попытки обеспечить содержательную валидность. Ус-
пех этого предприятия является предметом споров (например, Cattel
и Kline, 1977; Howarth, 1976). Нет необходимости говорить, что по-
добная процедура может быть выполнена только при наличии огром-
ных (денежных и временных) ресурсов, и не рекомендуется обычно-
му разработчику тестов. Обычно, если только в литературе нет ясных
описаний, при конструировании тестов личности и мотивов рассмот-
рение содержательной валидности неуместно.
ПРАКТИЧЕСКИЕ ПРОЦЕДУРЫ ДЛЯ ОПРЕДЕЛЕНИЯ СО-
ДЕРЖАТЕЛЬНОЙ ВАЛИДНОСТИ
Тесты достижений:
( 1 ) Укажите точно категорию лиц, для которых этот тест предназ-
начен.
(2) Определите навыки, подлежащие тестированию, возможно
после их анализа.
(3) Передайте этот список экспертам в данной области (учителям
и т.п.) для проверки, нет ли упущений.
(4) Преобразуйте этот список в перечень заданий, используя,
когда это возможно, равное количество заданий на каждый навык.
(5) Представьте эти задания экспертам для проверки.
209
(6) Подвергните задания обычным процедурам конструирования
тестов. В результате должен быть получен содержательно валидный
тест.
Другие тесты:
(1) Если существует литература с описаниями, просмотрите ее и
преобразуйте описания в особенности поведения.
(2) Для каждой упомянутой особенности поведения сформули-
руйте ряд заданий.
(3) Когда литература с описаниями отсутствует, получите описа-
ния поведения от грамотных специалистов; например, для изучения
зависимости инфантильных пациентов опросите их лечащих врачей
и медицинских сестер с целью получить описание зависимого пове-
дения их пациентов.
(4) Как и на шаге (2) выше, преобразуйте описания в задания.
(5) Подвергните задания теста обычным процедурам конструиро-
вания теста.
Критериально-ориентированные тесты
(criterion-referenced tests)
В области тестирования достижений и успехов в учебе, как для
детей, так и для взрослых, например, после специальных курсов
обучения, значительное место отводится тому, что зачастую пред-
ставляется как совершенно иной тип теста - критериально-ориен-
тированный тест. Полное обсуждение этой темы вы найдете у Berk
(1980), а также у Glaser (1963).
Сторонники критериально-ориентированных тестов противопо-
ставляют их тестам, ориентированным на нормы, на следующих ос-
нованиях. При использовании тестов, ориентированных на нормы,
сравниваются навыки и способности испытуемых, а в критериально-
ориентированных тестах указываются и определяются цели обучаю-
щего курса, которые закладываются в тест формулированием зада-
ний, измеряющих степень достижения этих целей.
Существует два момента, о которых стоит упомянуть. Критери-
ально-ориентированные тесты применимы только в тех случаях, ког-
да цели обучения могут быть ясно и недвусмысленно определены.
Во-вторых, и именно поэтому эта тема включена в данное рассмот-
рение, критериально-ориентированные тесты - это тесты, спроек-
тированные с целью максимизации содержательной валидности, об-
суждавшейся в предыдущем разделе. Принципиально же критери-
ально-ориентированные тесты ничем не отличаются от тестов, ори-
ентированных на нормы, хотя это верно, что для них не нужны
нормы. Что в этих тестах важно - так это просто то, какую часть
210
теста испытуемый выполнит правильно. Разработчиков же тестов,
ориентированных на нормы, не интересует сравнительная успеш-
ность; все, что они хотят знать - справился ли отдельный испытуе-
мый с данным материалом или нет.
Это различие, очевидно, не является существенным. Так, содер-
жательно валидный тест является по существу критериально-ориен-
тированным тестом с нормами. Аналогично, если критериально-ори-
ентированный тест стандартизован, то он становится содержательно-
валидным тестом, опирающимся на нормы.
Как утверждалось в случае содержательной валидности, сущест-
венная особенность при конструировании критериально-ориентиро-
ванных тестов состоит в определении целей курса обучения, так,
чтобы могли быть сформулированы задания, содержащие эти цели.
Во многих обучающих курсах для взрослых цели весьма конкретны,
и применение критериально-ориентированных тестов является оче-
видным могодом. форма заданий зависит от того, что необходимо
тестировать, а вопросы, касающиеся формы заданий полностью об-
суждались ранее, в главе по формулированию заданий.
Инкрементная и дифференциальная валидность
Как указывалось в главе 1, эти виды валидности в основном ис-
пользуются в процедурах профотбора, в которых для прогноза по
некоторому критерию комплектуется батарея тестов.
ИНКРЕМЕНТНАЯ ВАЛИДНОСТЬ: ШАГИ ПРОЦЕДУРЫ
( 1 ) Вычислите корреляцию теста с критерием и с другими тестами
батареи.
(2) Если он имеет положительную корреляцию с критерием, но
незначимо коррелирует с другими тестами, то продемонстрирована
инкрементная валидность. Такой тест будет вносить свой вклад в
множественную корреляцию Данной батареи с критерием.
(3) При факторном анализе этот тест должен нагружать тот же
фактор, что и критерий, но не фактор, нагружаемый другими теста-
ми.
ДИФФЕРЕНЦИАЛЬНАЯ ВАЛИДНОСТЬ
Для доказательства дифференциальной валидности нет общих
процедур, но если бы мы взяли пример об академической успеваемо-
сти (из главы 1, стр. 28), то дифференциальную валидность можно
было бы показать сравнением ее корреляции с различными академи-
ческими дисциплинами: значения корреляции должны значительно
различаться. Таким образом, в общем для демонстрации дифферен-
циальной валидности предполагается различие корреляций с различ-
ными аспектами данного критерия.
Конструктная валидность
Как уже говорилось, для доказательства конструктной валиднос-
ти привлекается демонстрация психологических характеристик пе-
ременных, измеряемых данным тестом. При этом могут затрагивать-
ся и другие, уже обсуждавшиеся, типы валидности. Общее описание
приведено ниже.
ПРОЦЕДУРЫ ОПРЕДЕЛЕНИЯ КОНСТРУКТНОЙ ВАЛИД-
НОСТИ
(1) Перечислите точно гипотезы, касающиеся переменных, с ко-
торыми данный тест должен коррелировать (конкурентная валид-
ность) .
(2) Перечислите точно гипотезы, касающиеся переменных, с ко-
торыми данный тест не должен коррелировать.
(3) Укажите группы, которые должны давать низкие и высокие
показатели по данному тесту.
(4) Сформулируйте гипотезу о месте данного теста в факторном
пространстве. Эта гипотеза подобна гипотезам из выше приведенных
пунктов (1) и (2).
Эти четыре гипотезы должны затем быть проверены на больших
выборках, соответствующим образом сформированных, как указано
в процедурах для установления конкурентной валидности. Специфи-
ческие группы должны быть достаточно большими, не только для
выявления статистически значимых различий, но также такими,
чтобы с уверенностью могли быть сделаны обобщения. В терминах
нашей психометрической модели доказательство конструктной ва-
лидности предполагает демонстрирование того, что генеральная со-
вокупность заданий, из которой отобраны задания для данного теста,
является фактически такой, как мы и надеялись.
Выводы
Очевидно, что, в отличие от надежности и дискриминативности,
валидность теста не может быть представлена просто в виде одного
коэффициента. Вместо этого валидность теста устанавливается сери-
ями результатов, вид которых обсуждался выше в различных проце-
дурах. Если следовать процедурам, описанным в предыдущих разде-
лах, то результаты исследований не могут быть опровергнуты с точки
зрения методологии. Однако, в исследованиях валидности все зави-
сит от психологических знаний и проницательности разработчика
212
тестов. Так, тесты, подвергнутые исследованию конкурентной ва-
лидности, могут как пройти, так и не пройти эту проверку, если даже
она будет выполнена в соответствии с хорошо обоснованной методи-
кой. Аналогично, для локализации в факторном пространстве требу-
ется, чтобы в исследование были включены соответствующие пара-
метры этого пространства. Если это не так, то несмотря на тщатель-
ное выполнение процедуры, конструктная валидность показана не
будет.
Хотя доказательство валидности является в некоторой степени
субъективным, серьезные разногласия возникают редко. Это проис-
ходит потому, что если переменная понимается соответствующим
образом, то в большинстве случаев не возникает сомнений, с какими
другими переменными она будет или не будет коррелировать, какое
место она займет в факторном пространстве и какие группы проде-
монстрируют по ней хорошие показатели, а какие нет. Когда же
переменная не понятна, вопрос о валидности не поднимается. В про-
тивном случае, изучение валидности превращается в эксперимен-
тально-описательные исследования, которыми и определяется пере-
менная.
Глава 8. Стандартизация тестов
В главе 1 было показано, что одно из преимуществ, которыми
обладают психологические тесты по сравнению с другими видами
измерений, - это то, что они стандартизованы. Следовательно, воз-
можно сравнение показателя некоторого испытуемого с таковыми в
генеральной совокупности или других релевантных группах, что в
конечном счете дает возможность адекватной интерпретации пол-
ученного показателя.
Из сказанного следует, что стандартизация тестов наиболее важ-
на в тех случаях, когда осуществляется явное или неявное сравнение
показателей испытуемых, как, например, при профориентации или
отборе в целях обучения.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47