Экспертам следует обеспечи
стандартные условия для наблюл
ния за испытуемыми. Но не всег,
такое стандартизованное наблюден
удается организовать. Даже если мы предприняли серьезные ус
Л1ия по организации наблюдения за поведением испытуемых в в
кой-либо искусственной лабораторной ситуации, такое наблюдение i
равно будет значительно уступать по информативности <полевом
наблюдению - в естественных условиях. Если измеряемое свойст
теоретически определено как устойчивая универсальная черта лич1
сти - как диспозиция к инвариантному поведению в широком спет
ситуаций (см. гл. 4), то и отдельного полевого наблюдения окаже1
недостаточно для получения полноценного экспертного критерия ]
лядности.
Поэтому на практике часто прибегают к оценкам особого типа
к субъективным оценкам, которые выносят испытуемому люди из i
круга, имеющие опыт реального общения с ним. С учетом этого п
цедура оценивания приспосабливается к обычным людям, не явл?
щимся психологами. На психолога падает большая нагрузка по
ставлению детальной инструкции оценщикам, однозначно задаюи
смысл оцениваемой характеристики. Лучшие условия для такой п
цедуры возникают при наличии группы испытуемых, тесно общающ
ся между собой, которые могут одновременно побывать и испытуе)
ми по отношению к тесту, и оценщиками по отношению друг к др
В советской литературе эта процедура получила сокращенное обоз
чение ГОЛ - <групповая оценка личности> (Кузьмин Н. В., Се
нов В. С., 1977).
Для того чтобы групповая оценка была источником действия
но валидной информации, оценщики должны согласованно оценив
испытуемых. Если в оценках разных оценщиков нет согласованно
то это означает, что либо оцениваемое свойство не проявилос
объекта оценивания, либо оценщики по-разному проинтерпретиров
инструкцию. Для измерения согласованности должна быть пострс
табличка с оценками (табл. 4).
Методы анализа данных, содержащихся в такой табличке, (j
мально совершенно эквивалентны тем методам, которые применяв
STR.81
для обработки таблиц <испытуемые Х пункты> (см. 3.1). В частно-
сти, суммы по строкам дают нам суммарные баллы, полученные каж-
дым испытуемым у всех К оценщиков. Таким образом, оценщики в
данном случае оказываются формально в роли пунктов теста. Рас-
считывая попарные корреляции между различными столбцами этой
таблички, можно получить коэффициенты согласованности для отдель-
Таблица 4
Оценщики
-о,0>S
Испытуемые ~~
HI И.Хц 21XM 22Xift хCi 02
и>XniХпаXnfcCn
ных пар оценщиков. Глобальной мерой согласованности оценщиков
может служить тот же коэффициент надежности а Кронбаха (форму-
ла (3.2.7)).
Если сама групповая оценка не обнаруживает надежности, то она
не может использоваться в качестве критерия валидизации при про-
верке валидности теста.
Эмпирическое значение коэффициента валидности рассчитывается
как линейная или ранговая корреляция между двумя рядами значе-
ний - тестовыми баллами и суммарными баллами экспертной оценки.
Это эмпирическое значение при наличии невысокого коэффициента на-
дежности критерия корректируют по формуле
r--, (3.3.1)
У <с
где Тех - эмпирическая корреляция с критерием;
ас - надежность критерия;
г(х-корреляция с <истинным> критерием (<истинная> валидность
теста).
Анализ пунктов по критерию валидности. Валидность целого теста
зависит от валидности входящих в него пунктов. Максимальная ва-
лидность достигается за счет отбора таких пунктов из пилотажной
батареи, которые, обладая значимой корреляцией с критерием, мини-
мально коррелируют между собой. Отбор пунктов именно по критерию
валидности обеспечивает максимальную прагматическую эффектив-
ность теста. Вручную (на калькуляторе) такой отбор можно произве-
сти, рассчитывая бисериальную корреляцию (или фи-корреляцию) кри-
терия с каждым пунктом из пилотажной батареи (см. формулы (3.2.14)
и (3,2.16)). При наличии компьютера можно использовать более эффек-
тивный алгоритм, основанный на анализе частных корреляций между
критерием и пунктами и предполагающий построение уравнения мно-
жественной регрессии (Аванесов В. С., 1982, с. 153-157). В резуль-
тате в таком уравнении каждый пункт получает весовой коэффициент,
количественно выражающий его вклад в критерий, не сводимый к вкла-
ду других пунктов, т. е. поиск оптимального набора пунктов автома-
тизируется. X. Гаррет приводит следующую яркую иллюстрацию эффек-
Этот весовой коэффициент и используется как ключ к данному пункту в но-
вой, скорректированной версии теста.
81
STR.82
тивности алгоритма, позволяющего подобрать оптимальный набор пунк-
тов. Пусть имеется 20 пунктов, каждый из которых имеет корреляцию
с критерием порядка 0,30. Оказывается, если эти пункты в среднем
коррелируют друг е другом на уровне 7l=0,60, то множественная
корреляция суммарного тестового показателя с критерием равняется
0,38, если же гц= 0,30, множественная корреляция повышается до
0,52. Наконец, при ri,==0,10 эффективность (валидность) теста до-
стигает весьма высокого уровня - 0,79. Те же са-мые проблемы воз-
никают при подборе оптимальной батареи тестов, направленных на
прогнозирование какого-то одного социально ценного показателя
(успеваемость, производительность труда и т. п.).
Как уже указывалось в 3.1, хороший <тест по критерию> (обла-
дающий высокой критериальной валидностью) должен давать моно-
тонную зависимость величины критерия от тестового балла (см. рис. 6).
Для того чтобы получить монотонную линию регрессии, психодиагност
должен включить в тест Х только такие пункты, которые являются
валидными по критерию С. В противном случае на кривой неминуема
появятся провалы Крутизну линии регрессии можно существенно по-
высить за счет нацеленного отбора из первоначальной батареи только
таких заданий, которые обладают значимо высокой корреляцией (или
регрессионным коэффициентом в уравнении множественной регрессии)
с критерием. ,
После отбора валидных пунктов должна быть произведена пере-
крестная валидизация (см. Анастази А., 1982, с. 197). В чем смысл
перекрестной валидизации? Если при анализе корреляций между бата-
реей из 200 заданий и каким-то критерием получают 10 заданий, зна
чимо коррелирующих с критерием на уровне ошибки р<0,05, то эт(
может быть следствием чисто случайного совпадения (сравнит
10/200 = 0,05). Чтобы убедиться в том, что отобранные задания дей
ствительно могут различать (или прогнозировать) критерий, нужн(
рассмотреть, йак коррелируют с критерием эти пункты на другой вы
борке, которая не использовалась при отборе пунктов.
Простой метод реализации принципа перекрёЬтной валидизацш
состоит в том, что вся выборка делится на две случайные половинь
и производится раздельный расчет корреляций пунктов с критерие\
для каждой половины выборки, если выделенные (значимые) пункть
совпадают, то перекрестную валидизацию можно считать удачной.
Метод критериального тестирования очень трудоемок. Практическ1
невозможно построить критериальный тест за счет одной статистики
сколь бы мощными выборками и батареями заданий мы не распола
гали. Необходима работа над содержательной валидностью заданий
Критериальное тестирование имеет ограниченное применение в задача;
построения методик с широкой областью применения.
Таким образом, еще раз подчеркнем, что анализ валидности от
дельных пунктов служит не только прагматическим целям, но може
и должен служить целям углубления представлений о содержательно
теоретическом смысле измеряемого свойства: на основании содержа
тельного анализа пунктов, отобранных по критерию, психолог уточняе-
и корректирует свою первоначальную теоретическую схему, свое пони
мание измеряемого свойства.
Ї Некоторые незначительные локальные провалы при наличии общей высокой ре
грессии (высокий контраст крайних Р от X) можно устранить, увеличивая интерва,
равнозначности.
STR.83
Достоверность самоотчета. Внутри общей проблемы валидности це-
лесообразно выделить вопрос об обеспечении валидности процедур
стандартизованного самоотчета. Сюда относятся различные техники
шкалирования, классифицирования, сравнения и тест-опросники. Вер-
бальная форма подачи тестового материала порождает у испытуемого
определенные встречные гипотезы о цели тестирования. Если ситуация
диктует испытуемому .необходимость фальсификации ответов, то испы-
туемый редко отказывается от этой возможности.
Валидность - характеристика любых измерений, в том числе и
физических. Специфические проблемы валидности, связанные с актив-
ностью человека как объекта в психодиагностике, целесообразно обоз-
начить особым образом - проблемы обеспечения <достоверности>.
Психологические факторы, от которых зависит достоверность дан-
ных самоотчета, условно можно сгруппировать в следующие классы.
1. Факторы знания. У испытуемого может быть более или менее
четкое представление о следующем: а) свойственно ли ему в действи-
тельности или нет тестируемое поведенческое; проявление (с некото-
рыми ситуациями, имплицитно подразумеваемыми в вопросе тест-
опросника, испытуемый мог на практике никогда не встречаться: на-
пример, утверждение <После выигрыша в спортлото Вы покупаете
больше лотерейных билетов> подразумевает, что испытуемый, во-пер-
вых, играет в спортлото и, во-вторых, выигрывает; б) что за лично-
стное свойство скрывается у психолога за тем или иным конкретным
поведением, описанным в суждении; в) как это свойство соотносится
с общепринятыми моральными Формами и признаками социального
успеха.
2. Фактор <социальной желательности>. Обозначает тенденцию-
испытуемого давать о себе социально одобряемую информацию. Сила
этой тенденции зависит как от общей внеситуативной установки испы-
туемого на морализацию <Я-образа> и социальную успешность,так и
от того, насколько эту установку актуализирует сама ситуация тести-
рования (диагностическая ситуация). Однако эта тенденция не будет
давать систематического искажения, если испытуемые не смогут раз-
гадать направленность опросника и связать диагностируемое свойство
с тем или иным полюсом <социальной желательности>. Таким обра-
зом, действие этого фактора до некоторой степени опосредовано дей-
ствием фактора <знание>. Однако при диагностике личностных свойств>
тесно связанных с психической <нормальностью> или <социальной
успешностью>, фактор <социальной желательности ответа> обусловли-
вает очень серьезные искажения.
3. Факторы <индивидуальной тактики>. Здесь подразумевается дей-
ствие <Я-концепции> (<Я> для себя) и <Я-образа> (<Я> для других)
на ситуативную тактику исдытуемого в момент тестирования. Выпол-
няя тест-опросник, испытуемый всегда находится в невольном диалоге
с самим собой и в своих ответах на вопросы раскрывает себя не только
для других, но и для себя самого. Испытуемый стремится подтвердить
<Я-концепцию> или фальсифицировать определенный <Я-образ> с за-
данными свойствами. Как правило, в ситуациях высокого социального
риска <Я-образ> полностью доминирует: например, преступник при
экспертизе стремится прежде всего предстать больным или неприспо-
собленным к жизни, хотя в действительности ему было бы приятно
думать о себе как о вполне адаптированном здоровом человеке. Точно
так же склонны подчеркивать свои трудности и проблемы клиенты,
обратившиеся за помощью к психологу-психотерапевту (чтобы вызвать
к себе его повышенное внимание). В менее регламентированных ситуа-
83
STR.84
циях, наоборот, может доминировать мотивация самопознания: в этом
случае испытуемый невольно стремится подтвердить с помощью теста
свои гипотезы о самом себе.
Заслуживают внимания также особые формы отказа испытуемого
от тестирования: позиционный стиль ответа (<соглашательство> или,
наоборот, <отрицание>), случайные ответы. Для выявления подобных
отказов обычно достаточно довольно простых мер: 1) для исключения
влияния соглашательства (<отрицания>) применяются перечни с <пря-
мыми> (ответ <верно> в пользу измеряемого свойства) и <обратными>
(ответ <неверно> в пользу измеряемого свойства) пунктами. Кроме
того,, производится подсчет баланса <подтверждающих> и <отвергаю-
щих> ответов: если баланс резко нарушается, то протокол признается
бракованным iЇ; 2) для выявления случайных ответов в большие пе-
речни вводят вопросы-дубли (синонимические перефразы) или прямые
повторы: если испытуемый слишком часто по-разному отвечает на оди-
наковые вопросы, значит он применяет случайную тактику. Вводят
также и крайне редкие утверждения, с которыми испытуемые, как пра-
вило, соглашаются только по ошибке.
Более изощренные методы требуются для борьбы с социальной
желательностью. Здесь будут рассмотрены три наиболее часто ис-
пользуемых варианта.
1. Введение особых шкал <лжи> в диагностический вариант мето-
дики. Они составляются из <вопросов-ловушек>: тот или иной ответ
на эти вопросы явно предойределен социальной желательностью. Если
испытуемый набирает слишком высокий балл по шкале лжи, его про-
токол бракуется. Более тонкий вариант - введение шкал <коррек-
ции> (например, в ММР1): получение определенного балла по этим
шкалам вызывает внесение поправок к баллу по другим шкалам, скор-
релированным со шкалой коррекции. Величина поправок определяется
коэффициентом линейной регрессии (измеренным в нормативном экспе-
рименте) между баллами, полученными по шкале коррекции и основ-
ной диагностической шкале (шкале свойства).
2. Устранение или сбалансирование <социальной желательности>
с помощью использования инструкции на преднамеренную фальсифи-
кацию результатов. Участникам пилотажных замеров кроме обычной
инструкции дается дополнительная (во вторую очередь): <Заполните
опросник от лица человека, желающего произвести самое благоприят-
ное впечатление>.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70