M. Richards, С. W. Taylol P. В. Price,
T.L. Jacobsen, 1965). Успех на работе, в школе, в повседневной жизни за-
висит не от одного, а от многих свойств. Отсюда и многогранность
практических критериев. Поэтому для валидации теста могут быть ис-
пользованы различные меры профессиональных навыков или успеваемо-
сти. Поскольку эти меры могут относиться к различным свойствам или
комбинациям свойств, не удивительно, что коэффициенты валидности
для одного и того же теста неодинаковы. Когда различные крите-
риальные меры получают на одних и тех же испытуемых, их взаимокор-
реляция весьма низка. Например, может оказаться, что между числом
несчастных случаев или количеством невыходов на работу и производи-
тельностью или частотой допускаемых ошибок не будет обнаружено
практически никакой связи (S. E. Seashore, В. P. Indik, В. S. Georgopoulos,
1960). Эти различия, конечно, отражаются на коэффициентах валидности
любого данного теста по отношению к различным критериальным ме-
рам. Так, результаты теста могут не коррелировать значимо с оценками
профессиональных навыков мастером и тем не менее оказаться валидны-
ми относительно более поздних данных ухода с работы или продвиже-
ния по службе (L.E. Albright, W..Т. Smith, J.R. Glennon, 1959).
Ввиду комплексности критерия валидация теста относительно слож-
ного критерия профессиональных навыков, академической успеваемости
и других аналогичных показателей часто представляет сомнительную
ценность и обладает лишь локальной значимостью. В случае относитель-
139 ВАЛИДНОСТЬ. ОСНОВНЫЕ понятия
ной независимости различных критериев более эффективна валидация те-
ста относительно того аспекта критерия, на который этот тест ориенти-
рован в первую очередь. Анализ этих более специфических соотношений
осмысляет тестовые показатели с точки зрения многомерности крите-
риального поведения (М. D. Dunnette, 1963; R. L. Ebel, 1961; S. R. Wallace,
1965). Например, один тест может хорошо прогнозировать скорость во-
сприятия клерка и точность выполнения мелкой работы, другой-гра-
мотность его письма, третий-способность сосредоточиться на выполня-
емой работе и т.д.
Возвращаясь к практическим вопросам оценки теста или комбина-
ции тестов как средства прогнозирования комплексного критерия (ска-
жем, успеха в работе), мы сталкиваемся с необходимостью проведения
конкретной валидации для каждой частной ситуации и повторения ее че-
рез короткие промежутки времени. Это считается желательным и часто
рекомендуется в руководствах к тестам. В большинстве случаев, однако,
следовать таким предписаниям не удается. Даже если мы располагаем
хорошо подготовленным персоналом, большинство валидационных ис-
следований, осуществляемых в условиях производства, часто оказывают-
ся неудовлетворительными минимум по трем причинам. Во-первых,
трудно получить надежные и достаточно полные критериальные данные.
Во-вторых, число работников, выполняющих одну и ту же или близкие
функции на одном предприятии, часто слишком мало для получения ста-
тистически значимых результатов. В-третьих, корреляция, как правило,
снижается ввиду ограниченного разброса показателей, что объясняется
предварительным отбором: фактически испытуемыми оказываются
лишь те, кто был принят на работу.
В силу перечисленных обстоятельств среди психологов, занимаю-
щихся проблемами кадров, проявляется растущий интерес к так называе-
мой синтетической валидности. Это понятие было введено Ч. X. Лоши
(С.Н. Lawshe, 1952) и определено М. Балмой как <установление валидно-
сти в конкретных условиях на основе систематического анализа элемен-
тов деятельности, определение по этим элементам валидности теста
и объединение составляющих валидностей в единый показатель>
(M.J.Balma, 1959, р. 395). Были разработаны методы сбора необхо-
димых эмпирических данных и получения из них значения синтетической
валидности для частного комплексного критерия (R.M. Guion, 1965;
С.Н. Lawshe, M.J. Balma, 1966, гл. 14; E.J. McCormick, 1959; E.S. Prirnoff,
1959; 1975). По сути дела весь процесс складывается из трех этапов: (1)
детальный анализ деятельности для выделения ее элементов и определе-
ния их относительных весов; (2) анализ и экспериментальное исследова-
ние каждого теста для выяснения того, в какой степени он измеряет на-
выки в выполнении каждого из выделенных элементов деятельности; (3)
определение валидности каждого теста путем синтеза весов отдельных
элементов в деятельности и в тесте.
В результате длительного исследования лиц, поступавших на работу
в Гражданскую службу США, Э.С. Примов (E.S. Prirnoff, 1975) вывел так
называемый J-коэффициент-показатель синтетической валидности. Про-
цедура его получения предусматривает, в частности, список элементов
деятельности, записанных на языке профессиональных действий, и оцен-
ку относительной важности этих элементов куратором работы или мето-
дистом. На выборках из всей совокупности подавших заявление (т. е. без
ттг>г>уг<-пцця птбопа) опоеделяются коэффициенты корреляции между
140 ПРИНЦИПЫ ПСИХО.ЮГИЧЕСКОГО ТЕСТИРОВАНИЯ
результатами тестов и самооценкой элементов деятельности. Приме-
няются различные меры для повышения стабильности корреляции и ве-
сов, вычисленных на основе самооценок, а также для обеспечения надле-
жащего учета критериев. С этой целью исследуются различные выборки
испытуемых. Окончательная оценка корреляции между тестом и выпол-
нением деятельности определяется на основе корреляции каждого эле-
мента с конкретной деятельностью и весов тех же самых элементов
в данном тестер Как выяснилось, J-коэффициент позволил повысить
шансы приема на работу представителей различных меньшинств и лиц
с низким образовательным цензом, поскольку он ориентирован на навы-
ки, существенные для выполнения работы (E.S. Prirnoff, 1975).
Иное использование синтетической валидности, особенно пригодное
для небольших фирм, в которых тот или иной вид работы выполняется
небольшим числом сотрудников, описано Р. М. Гюйоном (R. М. Guion,
1965). Исследование было проведено на предприятии со штатом из 48 со-
трудников, каждый из которых выполнял обязанности, отличные от обя-
занностей остальных. Детальный анализ этих обязанностей тем не менее
выявил 7 элементов, общих для многих видов работ. Каждому сотрудни-
ку давались оценки по всем элементам его деятельности, и эти оценки
сопоставлялись с его результатами по каждому тесту батареи профес-
сиональных качеств. На основе такого анализа для каждого вида работы
удалось синтезировать свою батарею, состоящую из двух тестов, наилуч-
ших с точки зрения их корреляции с элементами соответствующей дея-
тельности. Когда составленные таким путем батареи были проверены
при приеме 13 новых сотрудников, результаты оказались весьма обнаде-
живающими. Ввиду малого количества изученных случаев данные этого
исследования носят предварительный характер и лишь указывают на
возможность применения синтетической валидности.
Эти два примера синтетической валидности приведены единственно
с целью проиллюстрировать область применения данного метода.
Чтобы познакомиться с реальными процедурами, читателю следует
обратиться к первоисточникам. Итак, понятие <синтетическая валид-
ность> может быть использовано по-разному в зависимости от конкрет-
ной ситуации. Из него вырастает довольно многообещающий подход
к проблеме комплексного и непостоянного критерия; оно позволяет ком-
пановать тестовые батареи сообразно специфике работы и определять
валидность в условиях, когда адекватная валидность критерия практиче-
ски неосуществима. ,
КОНСТРУКТНАЯ ВАЛИДНОСТЬ
Конструктная валидность теста показывает, насколько его результаты
могут рассматриваться в качестве меры некоего теоретического кон-
структа или свойства. Примерами таких конструктов являются интел-
лект, понимание пространственных отношений, плавность речи, скорость
ходьбы, невротизм и тревожность. Будучи нацелена на широкие, устой-
" Сгатистическая обработка основана на применении уравнения множественной ре-
грессии (см. гл. 7). Для каждого элемента деятельности его корреляция с деятельностью
в целом умножается на его вес в тесте, и полученные произведения суммируются по всем
элементам деятельности.
141 ВЛЛИДНОСП.. OlIIOUHl.lh ПОНЯТИЯ
чивые и более абстрактные описания типов поведения, чем ранее рассмо-
тренные тины ва.лидностк, конструктная валидное ib предполагает посте-
пенное накопление информации из разных источников. В дело идут
любые данные, бросающие сеет на природу рассматриваемого свойства,
на условия, от которых зависит его развитие и проявление. Ниже обсу-
ждаются конкретные методы получения конструктной валидности.
Возрастные изменения. Главным критерием, используемым при
валидации ряда тестов интеллекта, является возрастная дифференциация.
Тесты типа Станфорд-Вине и большинство тестов для дошкольников
проверяются на фактический возраст с тем, чтобы выяснить, повышают-
ся ли тестовые результаты детей от года к году. Поскольку для детского
возраста характерно постоянное духовное и физическое развитие, резуль-
таты валидного теста также должны соответственно повышаться. Само
понятие возрастной шкалы интеллекта, по мысли А. Бине, исходит из то-
го положения, что <интеллект> растет по крайней мере до наступления
зрелости.
Критерий возрастной дифференциации, разумеется, неприменим
к таким функциям, которые не обнаруживают четких и постоянных воз-
растных изменений. В области тестирования личности, например, этот
критерий нашел ограниченное применение. Более тою, необходимо от-
метить, что возрастная дифференциация, даже когда она применима,
является необходимым, но не достаточным условием валидности. Иначе
говоря, если тестовые результаты нс улучшаются с возрастом, то это,
видимо, указывает на невалидность теста относительно умений, которые
он должен измерять. Вместе с тем, доказывая, что тест измеряет некое
свойство, совершенствующееся с возрастом, мы еще не очерчиваем до-
статочно точно область, охватываемую тестом. Измерение роста и веса
также с возрастом дает все более высокие результаты, однако оно никак
не является тестом интеллекта.
В заключение подчеркнем еще один момент, касающийся интерпре-
тации возрастного критерия. Психологический тест, валидность которого
установлена относительно такого критерия, измеряет поведенческие ха-
рактеристики, растущие с возрастом в условиях той среды, в которой
тест был стандартизован. Поскольку различные культуры могут стиму-
лировать развитие различных поведенческих характеристик, критерий
возрастной дифференциации нельзя считать универсальным. Как и все
другие критерии, он действителен лишь для определенной культурной
среды.
Анализ возрастных изменений играет большую роль в конструктной
валидации уже упоминавшихся в гл. 4 порядковых шкал Пиаже. Основ-
ной предпосылкой таких шкал является последовательность ступеней
развития, проявляющаяся н том, 410 развитие представлений, сложив-
шихся на ранних ступенях, служи т предпосылкой к овладению последую-
щими интеллектуальными операциями. Таким образом, содержанию
этих шкал присуща имманентная иерархичность. Конструктная валид-
ность порядковых шкал, следовательно, включасг эмпирические данные
об инвариантах носле;1.ова1сл1>пых ступеней развития. Это означает про-
верку выполнения теста детьми на разных уровнях развития данного
представления, скажем, постоянства или сохранения объекта. Нужно ли
убеждаться в том, что владение каким-то представлением на данном
уровне означает владение им и на более низких уровнях? Поскольку кри-
142 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
ствии с иерархичностью ступеней развития, их валидность также зависит
от эмпирической подтверждаемости данной иерархии.
Корреляция с другими тестами. Корреляция между новым
и аналогичными ему существующими тестами рассматривается как при-
знак того, что новый тест измеряет примерно ту же сферу поведения, что
и другие одноименные тесты, такие, как тесты интеллекта или тесты тех-
нических способностей и т.д. В отличие от валидности по критерию
здесь корреляция должна быть, но не слишком высокой. Если новый
тест слишком тесно коррелирует с уже существующим и не обладает
преимуществами в смысле краткости или легкости применения, то это
означает излишнее дублирование имеющегося теста.
Корреляция с другими тестами применяется, помимо этого, в каче-
стве меры независимости нового теста от влияния определенных посто-
ронних факторов. Например, тест специальных способностей или лич-
ностный тест должен обладать незначительной корреляцией с тестами
общего интеллекта или способности к обучению. Соответственно пони-
мание читаемого не должно заметно влиять на выполнение таких тестов.
Это объясняет, почему корреляции с тестами общего интеллекта, чтения
и понимания слов иногда приводятся как косвенное, или негативное, до-
казательство валидности. В этих случаях высокая корреляция ставила бы
под сомнение валидность теста. Однако низкая корреляция сама по себе
еще не гарантирует достаточной валидности. Нужно иметь в виду, что
этот способ использования корреляции с другими тестами аналогичен
одному из рассмотренных выше вспомогательных приемов валидации по
содержанию.
Факторный анализ. Прямое отношение к конструктной валидно-
сти имеет факторный анализ-статистический метод выделения психоло-
гических свойств. В сущности факторный анализ представляет собой усо-
вершенствованную технику анализа соотношений данных поведения.
Например, если 300 испытуемых пройдут 20 тестов, то первый шаг со-
стоит в вычислении попарных корреляций между всеми тестами. Провер-
ка полученной таким путем таблицы из 190 коэффициентов корреляции
уже может выявить коррелирующие между собой тесты, что означало
бы выделение общих для них свойств.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69