14. Данные no вопидности содержания, на примере числа заданий классифика-
ционной таблицы из программы STEP (серия II тестов чтения уровня 3 для VII-IX клас-
сов).
130 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
адекватным средством оценки тестов достижений. Она позволяет устано-
вить, охватывает ли тест репрезентативную выборку конкретных навы-
ков и знаний и свободно ли выполнение теста от влияния посторонних
факторов.
Валидность по содержанию особенно подходит к критериально-
ориентированным тестам, описанным в гл. 4. Поскольку выполнение те-
ста оценивается в этом случае с точки зрения усвоенного материала
и навыков, в первую очередь необходимо, чтобы эти тесты были ва-
лидны по содержанию. Данный тип валидности применим и к неко-
торым тестам, предназначенным для отбора и распределения профессио-
нальных кадров, о чем речь пойдет в гл. 15. Валидность по содержанию
можно использовать также, когда тест представляет собой выборку дей-
ствительных рабочих операций или иным путем связан с профессио-
нальными навыками и знаниями. В таких случаях необходимо выяснить,
имеет ли место близкое сходство между профессиональной деятель-
ностью и содержанием теста.
Вместе с тем в личностных тестах и теЪтах способностей валидность
по содержанию обычно не применяется. Правда, анализ релевантности
и эффективности содержания обязателен на начальных стадиях составле-
ния любого теста, но валидность тестов способностей и личностных те-
стов должна проверяться эмпирическими методами, о которых будет
сказано ниже. Эти тесты не имеют того внутреннего сходства с иссле-
дуемыми областями поведения, какое присуще тестам достижений, сле-
довательно, анализ их содержания может разве что выявить гипотезы,
приведшие составителя к выбору определенного материала для измере-
ния тех или иных особенностей личности. Чтобы установить валидность
подобных тестов, необходимо эмпирически подтвердить эти гипотезы.
В отличие от тестов достижений тесты способностей и личностные
тесты не связаны с конкретным курсом обучения или с общностью пред-
шествующего жизненного опыта, на которых строится содержание теста
достижений. Способы выполнения заданий тестов способностей и лич-
ностных, равно как и протекающие при этом психические процессы,
у разных испытуемых могут существенно отличаться друг от друга.
Один и тот же тест у разных людей может измерять различные функции,
а это значит, что проверкой содержания теста никак нельзя определить (
измеряемые им психические функции. Так, выпускники колледжа могут
решить некоторую задачу вербальными или математическими средства-
ми, тогда как механик придет к тому же решению путем пространствен-
ной визуализации. Тест на решение задач для школьников у студентов
выявит лишь индивидуальные различия в скорости вычислений. Кон-
кретным примером нежелательных последствий ориентации на анализ
содержания тестов способностей может послужить исследование, прове-
денное с помощью теста на подстановку цифра-символ (Т.Е. Burik,
1950). Было установлено, что среди старшеклассников этот тест, считав-
шийся типичным тестом усвоения кода, измеряет преимущественно мо-
торную скорость.
Очевидная валидность. Валидность по содержанию не следует
смешивать с очевидной валидностью. Последняя, собственно, и не
является валидностью как таковой. Она относится не к тому, что тест на
самом деле измеряет, а к тому, что он при первом рассмотрении якобы
измеряет. Очевидная валидность-это то, насколько тест кажется ценным
испытуемому, официальным липам ппичт>-"- - ---
131 ВАЛИДНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ
пользовании, или другим неспециалистам. По сути своей очевидная ва-
лидность отражает отношение последних к тесту. Хотя обычное употре-
бление термина <валидность> в данной связи может вводить
в заблуждение, сама по себе очевидная валидность-желательное свой-
ство теста. Например, когда тесты, первоначально предназначенные для
детей и рассчитанные на условия школы, были впервые применены
к взрослым, те часто относились к таким тестам враждебно и критично
именно из-за отсутствия очевидной валидности. В самом деле, если со-
держание теста представляется странным, неуместным, глупым или дет-
ским, результатом будет ухудшение обстановки тестирования, несмотря
на действительную валидность теста.
Очевидная валидность особенно желательна при тестировании
взрослых. Ее часто удается повысить простой переформулировкой зада-
ний так, чтобы они казались естественными тестируемому контингенту.
Например, если тест, состоящий из простых арифметических задач, пред-
назначен для рабочих механического цеха, то в условиях должны фигу-
рировать машины или станки, а не апельсины, которые можно купить на
36 центов, или иные предметы и персонажи из школьного задачника.
Точно так же арифметический текст для военно-морского персонала луч-
ше формулировать в морских терминах. Разумеется, очевидную валид-
ность ни в коем случае нельзя трактовать как эквивалент объективно
установленной валидности. Нельзя рассчитывать на то, что улучшение
очевидной валидности теста сразу поднимет его объективную валид-
ность. Вместе с тем неправильно думать, что переделка теста, повышаю-
щая его очевидную валидность, никак не сказывается на его объективной
валидности. Поэтому валидность теста в его окончательной формевсег-
да необходимо проверить заново.
ВАЛИДНОСТЬ ПО КРИТЕРИЮ
Валидность по критерию показывает, насколько по результатам теста
можно судить об интересующем нас аспекте поведения индивида в на-
стоящем или будущем. Чтобы определить ее, выполнение теста соотно-
сят с критерием, т.е. непосредственной и независимой мерой того, что
должен предсказать тест. Так, для теста технических способностей крите-
рием может быть последующая работа на производстве; для теста го-
товности к обучению это могут быть оценки, получаемые в колледже;
для теста на невротизм-отзывы коллег испытуемого или другие до-
ступные сведения о его поведении при разных жизненных обстоятель-
ствах.
Текущая и прогностическая валидности. Критериальную ме-
ру, по которой устанавливается валидность тестовых показателей, мож-
но получить почти одновременно с ними или же через установленный
промежуток времени. В зависимости от временной связи между крите-
рием и тестом <Нормы Американской психологической ассоциации>
(Standards.., 1974) различают текущую и прогностическую валидности.
Термин <предсказание> может использоваться как в широком смысле,
означая прогноз на основе данных тестирования поведения испытуемого
в реальной (критериальной) ситуации, так и в более узком смысле,
указывая лишь на временной интервал. В последнем смысле он и ис-
пользуется в выражении <прогностическая валидность>. Информация, со-
132 пгинципы [кихоютчпкого ll(тиloвлния
используемых при отборе и распределении персонала. Прием на работу.
отбор учащихся в колледжи или профессиональные училища, военнослу-
жащих на курсы специальной НОДГОТОРКИ-ВОТ примеры ситуаций, когда
нужно знать валидность используемых гесгов. Сюда же можно отнести
использование тестов при выявлении лиц, склонных в стрессовых ситуа-
циях к эмоциональным расстройства.м" и назначение курса лечения, наи-
более подходящего тому или иному больному с расстройством психики.
В ряде случаев текуща.я вялидность заменяет валидность прогности-
ческую. Часто практически невыгодно слишком затягивать валидацию,
без которой невозможно установить прогностическую валидность или
сформировать предвари гельн\ к) выборку, соответствующую целям те-
стирования. Поэтому в качесч ве гомпромиссного решения тесты прово-
дятся на труппах.. для которых уже .имеются критерИйЛьиые данные. На-
пример, результаты тестирования студентов сравниваются с их успевае-
мостью, результаты тестирования служащих-с их успехами на про-
изводстве.
Вместе с тем в ог-рсделениых ситуациях текущая валидность гораздо
точнее отвечает существу решаемых задач. Различие между двумя вида-
ми валидности. рассматриваемыми в данном разделе, основано не на
времени, а на целях тестирования. Текущая валидность используется
в тестах, оценивающих настоящее положение дел, а не предсказывающих
будущие результаты, ь.сли мы "нрашиваем, невротик ли Смит, то это оз-
начает, что нас интересует текущая валидность. Если же мы хотим знадь,
склонен ли Смит к неврозам, то это значит, что нас интересует прогно-
стическая валидность.
Поскольку критепий екущей валидности всегда применяется в мо-
мент проведения теста, о"-г<лительно спросить, ка.кова же в подобных
случаях роль теста 1 ..явное соображение то, что тест является более
простым, быстрым и дешевым заменителем процедуры получения крите-
риальных данных. Например, если сбор критериальных данных требует
постоянного наблюдения больного в стационаре в течение двух недель,
то тест, позволяющий отдели гь норму от патологии и сомнительных
случаев, заметно уменьшает число людей, запятых диагностическим
наблюдением.
Контаминация критерия. При определении валидности теста не-
обходимо, чтобы результаты геста не сказывались на определении дей-
ствительного (критериального) статуса, индивида. Например, если препо-
давателю колледжа или мастеру на заводе известно, что данный студент
или рабочий плохо сппачялся -с соответствующим тестом способностей,
то это может плохо ск:-?аться на оценке их деятельности. И наоборот,
если некто получил по этому тесту слишком высокие результаты, то
подобное влияние, очеш-цно, могло бы привести к искусственному завы-
шению корреляции между результатами теста н критериальным поведе-
нием.
Это явление на~ъгаа.ется контаминацией критерия. Чтобы его пре-
дотвратить, совершеьн.- необходимо, чтобы лицам, производящим кри-
териальную оценку, ничего не было известно о тестовых результатах ис-
пытуемого. По эой причине тесгогые результаты обследуемого
держатся в строгом секрете. Норой трудно убедить преподавателей, ад-
министрацию учреж 1,ения военное начальство и других лиц в важности
этой меры. -Желая немедленно использовать полученную информацию
133 ВАЛИДНОСТЬ. ОСНОВНЫЕ ПОНЯТИЯ
трогать до тех пор, пока не будут получены критериальные данные, по
которым можно определить его валидность.
Общие критерии. Для валидации теста можно использовать
самые разнообразные критерии. Любой метод оценки поведения в лю-
бой ситуации мог бы стать источником критериальной меры для той
или иной цели тестирования. Однако критерии, на основе которых опре-
деляются значения валидности, приводимые в руководствах к тестам,
можно разбить на несколько основных категорий. Для валидации тестов
интеллекта чаще всего используется тот или иной показатель успеваемо-
сти. Вот почему такие тесты иногда называют тестами способности
к обучению. Их критериальной мерой служат школьные оценки, данные
тестов достижений, сведения о переводе в следующий класс и об оконча-
нии школы, особые отличия и поощрения, мнение учителей об интеллек-
туальном уровне ученика. Поскольку на такие субъективные оценки в ос-
новном влияет выполнение ребенком своих ученических обязанностей, их /
вполне можно отнести к разряду показателей успеваемости.
Показатели успеваемости могут играть роль критериальных данных
на всех уровнях обучения-от младших классов школы до колледжа и ас-
пирантуры. Хотя их используют главным образом для валидации тестов
общего интеллекта, они также выступают в качестве критерия некоторых
личностных тестов и комплексных батарей способностей. При валидации
тестов, предназначенных для отбора абитуриентов, общим критерием
является средний балл первокурсника.
Разпови.цюси.ю кршгрия ин-шжспин в поучении л.1Я неучащихся
взрослых являегся ооьсм iio.iylciiiion) ими оораюнипия. При тюм пред-
полагается, что более развитые индивиды продолжают свое образование,
а менее развитые прекращают его. Хотя не подлежит сомнению, что,
скажем, выпускники колледжа составляют более развитую группу, чем
окончившие лишь восемь классов общественной школы, соотношение
между объемом образования и способностью к обучению отнюдь не
однозначно. Факторы, не относящиеся к imic.iJicKiyaJibiioMy развитию,
такие, как экономические, социальные, мотивационные и другие, особен-
но сказываются на продолжении различного уровня высшего образова-
ния. Более того, при такой текущей валидации трудно решить, что
является причиной, а что следствием. В какой степени полученные разли-
чия в тесте интеллекта есть просто результат разницы в образовании?
Насколько точно тест мог бы предсказать индивидуальные различия
в успехах при дальнейшем обучении? На эти вопросы удается ответить,
только когда тест проводится до получения критериальных данных, как
при предсказательной валидности.
При разработке тестов специальных способностей роль критерия ча-
сто играют результаты специальной подготовки. Например, валидность
тестов технических способностей устанавливается по конечным результа-
там профессионального обучения. Критерием могут служить результаты
окончания курсов стенографии, машинописи, бухгалтерского дела и т.д.
Валидация тестов музыкальных или художественных способностей про-
водится по успехам в музыкальных и художественных школах. Для ряда
тестов профессиональных способностей была проведена валидация отно-
сительно достижений в юридических, медицинских и высших технических
учебных заведениях. Результаты обучения часто являются источником
-- .,".".... "".."", г.г,г.тттт п т-от-ov гтгписпичириняу ППЯ ИГТЮПТОВЯНИЯ
134 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
служит валидация тестов для отбора слушателей на курсы военных лет-
чиков по результатам первичной летной подготовки.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69