(4) Уравнение регрессии может быть вычислено только тогда,
когда известны значения а и by. а = у-by У. х , где у- среднее для
критериального показателя, х - среднее для показателя по тесту,
by = гху Х Оу /(JX , где Гху - коэффициент корреляции х и у, Оу-
стандартное отклонение для у ,и0х- стандартное отклонение для
х.
(5) Так, используя это уравнение, мы можем составить таблицу
прогнозируемых критериальных показателей для каждой категории
показателей теста.
Как уже говорилось, Ypred - это прогнозируемый усредненный
показатель для испытуемых с данным показателем по тесту. Однако,
этот показатель с очевидностью подвержен влиянию погрешности,
если только не существует высокой корреляции между данным кри-
терием и тестом. Таким образом, необходимо вычислять стандарт-
ную погрешность для оцениваемых показателей. Эта погрешность
232
вычисляется по формуле: Sest = (Ту Vl - r iy, где ffy - это стандарт-
ное отклонение эмпирических показателей по тесту, а гху - это
значение корреляции между тестом и критерием. Как и в случае со
стандартными отклонениями и другими стандартными погрешностя-
ми, 68% показателей по критерию попадают в интервал, ограничи-
ваемый средним плюс-минус одним значением стандартной погреш-
ности оцениваемых показателей, а 95% попадут в интервал между
удвоенными значениями стандартных погрешностей.
ШАГИ ВЫЧИСЛЕНИЯ СТАНДАРТНОЙ ПОГРЕШНОСТИ
ДЛЯ ОЦЕНКИ ПРОГНОЗИРУЕМЫХ ПОКАЗАТЕЛЕЙ
(1) Вычислите квадрат корреляции между показателями по кри-
терию и по тесту: гху .
(2) Вычтите из значения, полученного на шаге (1), 1 и возьмите
квадратный корень: VI -гу .
(3) Умножьте значение, полученное на шаге (2), на стандартное
отклонение показателя теста: Оу VI - riy . Это дает нам стандартную
погрешность оцениваемых показателей.
В таблицах ожиданий, основанных на уравнениях регрессии, про-
гнозируемые показатели должны сопровождаться значениями стан-
дартных погрешностей для них. Это позволит избежать опрометчи-
вых выводов. Например, предположим, что стандартная погрешность
для прогнозирования экзаменационных отметок равна 1. Так, если
показатель теста дал прогноз для некоторой отметки, равный 3, это
будет означать, что 95% испытуемых с такими показателями пол-
учат показатели по критерию между 1 и 5. Для пятибалльной шкалы
это означает, что может быть получена практически любая отметка!
Таблицы ожиданий, основанные на показателях, прогнозируе-
мых по уравнению регрессии, могут быть представлены графически.
Если это сделано, то очень просто поставить вокруг прямой регрессии
границы, заданные стандартной погрешностью оценки.
Если выборка сформирована соответствующим образом, значение
стандартной погрешности оценки низкое, и, наконец, показатели по
критерию являются надежными и валидными, тогда основанные на
регрессии таблицы ожиданий являются полезным методом интерпре-
тации показателей теста. Существенно, однако, то, что поскольку
прогнозы зависят от результатов тестирования некоторой выборки,
такие таблицы ожиданий являются иной формой представления
норм, а не еще одним подходом к стандартизации.
233
Глава 9. Другие методы конструирования тестов
В этой главе будут описаны еще два метода конструирования
тестов. Оба они широко используются, но для каждого есть присущие
ему специфические проблемы.
Тесты, разработанные на основе критериальных
ключевых признаков
Это метод конструирования тестов, при помощи которого были
созданы некоторые из наиболее широко используемых психологиче-
ских тестов. Наибольшее распространение получили Minnesota Mul-
tiphasic Personality Inventory, MMPI (Hathaway и McKinley, 1951) и
"Бланк интересов Стронга" (Strong Interest Blank) (Campbell, 1971),
первый в клинической психологии, а второй - в области профориен-
тации.
В тестах, разработанных на основе критериальных ключевых при-
знаков, задания для шкал отбираются только тогда, когда они могут
отделить релевантные критериальные группы от контрольных. Хотя
задания, из исходного множества которых был составлен опросник
MMPI, и формулировались в свете представлений о симптомах не-
врозов, таким образом, что авторы утверждений пытались описать
поведение испытуемых с психическими отклонениями, в некотором
смысле все же был принят эмпирический подход. В случае исходного
множества заданий для теста Э.Стронга использовались, например,
те, которые не имели никакого очевидного отношения к конкретным
критериальным группам. Задания включались в ткя ""-" - - -
когда они прм""""" - ~~ ~
те, которые не имел>
- _<-ДАД1ДЯ№1
, _ """.... иаапя включались в шкалы только тогда,
когда они действительно разделяли группы, даже если они и не имели
никакого обоснования, ни теоретического, ни интуитивного.
Основания этого метода построения тестов просты и очень эффек-
тивны с точки зрения практической реализации. Для тех случаев,
когда необходимо дискриминировать группы, например, для диаг-
ностики, профотбора или профориентации, тесты на основе крите-
риальных ключевых признаков являются эффективным средством,
при условии, что они разработаны достаточно тщательно, то есть
подобрано достаточное количество эффективных заданий. Для тес-
тов такого типа основное значение придается их дискриминативнос-
ти: важен тот факт, что тест является дискриминативным, а не при-
чина, по которой это происходит.
При обосновании этого метода конструирования тестов существу-
ет ряд трудностей и высказывается ряд критических замечаний, что,
с точки зрения автора, является противопоказанием к его использо-
ванию во многих областях тестирования.
234
1 Отбор критериальных групп
и Во многих областях исследований при формировании критериаль-
1 ных групп существуют значительные трудности. При наличии этих
<у проблем сформированный тест будет работать гораздо менее эффек-
1 тивно, чем созданный на основе процедуры испытания и отбора зада-
ний, описанной выше. Вот конкретный пример: для теста MMPI ис-
у пользовались группы, определенные психиатрами и психологами из
1 университета штата Миннесота. Так как при установлении психиат-
рических диагнозов существуют значительные сложности, то по
1 классификации заболеваний могут возникать разногласия между
1 специалистами, имеющими разные теоретические ориентации. Дан-
1 иые критические замечания относятся не только к клиническим
1 классификациям, но, в целом, к классификациям любого рода. Опи-
1 санная проблема надежности классификации попросту приводит к
Q неудовлетворительной валидности теста.
?
1 Невозможность психологической интерпретации
1 Однако, если даже перечисленные трудности будут преодолены,
: у этого метода существует гораздо более серьезный, с точки зрения
автора, недостаток. Это касается психологической бессодержатель-
ности (в буквальном смысле) переменных, измеряемых тестами, ос-
нованными на критериальных ключевых признаках. Опять обратим-
ся к ММРГ. Возможно (даже весьма вероятно), что обсессивные не-
вротики отличаются от испытуемых из других клинических и коят-
рольных групп более, чем по одной переменной. Поэтому задаиия,
отобранные просто на основании того, что они могут разделять эти
группы, вполне могут измерять и целый набор разных других пере-
менных. Любая шкала, построенная таким образом, вряд ли будет
однородной, а с очевидностью будет мультивариантной. Следова-
тельно, не только два явно идентичных показателя могут иметь раз-
личную психологическую интерпретацию, но, кроме того, не суще-
ствует способа по виду показателя установить, что измеряет данная
шкала. Таким образом, тот факт, что тест может дискриминировать
группу Х от группы Y, не говорит нам ничего о природе переменной
этого теста, если только не известно что группы отличаются друг от
друга только по одной переменной.
Следует также помнить о возникающих в ряде случаев затруднениях, связанных с
выделением контрастных критериальных групп (Прим.ред.).
В ряде случаев конструкторы тестов сознательно отказываются or факторной ва-
лидизации переменных. Отсюда нередко используемый термин - "эмпирические
опросники" (Прим.ред.).
Невозможность генерализации теста
Результатам тестов, разработанных на основе критериальных
ключевых признаков, присуща некоторая специфичность, что также
является серьезным ограничением. Например, если тест на основе
критериальных ключевых признаков используется для отбора слеса-
рей-монтажников, многое будет зависеть от характера тех задач,
решение которых необходимо для выполнения конкретной работы.
Если работа изменится, изменятся также и задачи, и ранее эффек-
тивный тест, разработанный на основе критериальных ключевых
признаков, работать не будет. В противовес этому тесты, выявляю-
щие базовые способности, по-прежнему можно будет использовать.
Таким образом, использование таких тестов связано с серьезными
проблемами, даже при очевидной их эффективности в решении задач
отбора.
Несмотря на эти трудности, иногда бывает полезно разрабатывать
тесты на основе критериальных ключевых признаков, и сейчас будет
описано, как это делается. Основные принципы излагаемой процеду-
ры исходят из простоты конструирования таких тестов. Автор счита-
ет, что при разработке теста, основанного на критериальных ключе-
вых признаках, не стоит выполнять тщательные статистические про-
верки. Если у вас имеется достаточное количество ресурсов, то лучше
сконструировать более крупную батарею факторизованных тестов,
которые измеряли бы важные факторы, базовые для данных задач,
или исследовать поведение в критериальных группах.
ПРОЦЕДУРЫ КОНСТРУИРОВАНИЯ ТЕСТОВ
КРИТЕРИАЛЬНЫХ КЛЮЧЕВЫХ ПРИЗНАК-ПК
/1 \ г
НА ОСНОВЕ
,- --. \л\131
-" , ,1цпшл ДЛЮЧЕВЫХ ПРИЗНАКОВ
(1) Установите: (а) очевидные критериальные группы; или (б)
критериальный показатель. При разработке теста отбора летчиков в
критериальные группы вошли бы наилучшие из прошедших экзаме-
ны и наихудшие из не прошедших. Если, как иногда это случается,
группа не сдавших экзамены относительно мала, то две критериаль-
ные группы будут состоять из всех сдавших и всех не сдавших. Другая
возможность - это подобрать летчиков, которые успешно сдали эк-
замены несколькими годами ранее, и получить от их командиров
оценки их летных качеств. На основе этого может быть установлен
критериальный показатель. В промышленной психологии при разра-
ботке тестов отбора такая методика может быть применена для любой
конкретной профессии.
(2) Очевидно, что выделение критериальных групп формирует и
выборку. Чем больше объем выборки, с которой вы можете работать,
тем лучше, так как благодаря этому результаты будут более надеж-
236
ными. Поскольку полезно бывает знать значение коэффициента Р
для заданий, то в этом отношении будет лучше использовать всю
группу, а не только ее крайних представителей.
(3) Наилучшей формулой для вычисления дихотомических коэф-
фициентов корреляции между заданием и критериальными группа-
> ми, как обсуждалось в разделе об анализе заданий (см. стр. 188),
f будет, вероятно, коэффициент <р. Преимущество коэффициента (р ,
! а именно то, что он является численным эквивалентом коэффициен-
та корреляции произведения моментов Пирсона, компенсирует тот
факт, что он изменяется в зависимости от уровня трудности. По
сравнению с четырехпольным коэффициентом корреляции net он
менее зависит от распределения переменных . (а) При континуаль-
ном критериальном показателе наилучшим коэффициентом корре-
ляции между каждым заданием и критерием будет rpbis .
(4) Поскольку в тесте, основанном на критериальных ключевых
признаках, задания нас интересуют лишь постольку, поскольку они
дискриминируют данные группы, без учета каких-либо психологи-
ческих обоснований, процедура отбора заданий упрощается.
Отбираются все задания, которые, независимо от содержания,
значимо коррелируют с критерием (в случае 3 (а) выше). Если наби-
рается более, чем, скажем, тридцать заданий, то мы останавливаемся
на этом количестве. Если же заданий меньше, то можно попытаться
переформулировать задания в свете наших знаний об эффективных
заданиях и подвергнуть их новой процедуре анализа.
(5) Соберите вместе отобранные задания; вычислите для них ко-
эффициенты надежности K-R20 и д Ферпосона.
(6) Выполните кросс-валидизацию заданий на новой выборке.
Если это не сделано, то есть не показана воспроизводимость резуль-
татов, то применение тестов на основе критериальных ключевых
признаков будет бессмысленным, даже для практического отбора.
Всегда необходимо показать, что они будут дискриминативными на
новой выборке.
ШАГИ ВЫЧИСЛЕНИЙ
(1) Подберите группы, как описано выше.
Четырехпольный коэффициент корреляции весьма удобен с точки зрения просто-
ты расчетов, однако при его использовании отсекается область изменения наблю-
дений в определенной произвольно взятой точке, и поэтому все, что находится
выше, принимается за одну, а все, что находится ниже, - за другую категорию. В
результате такой коэффициент не дает полной информации о зависимости между
изучаемыми переменными (Прим.ред.)
237
(2) Для каждого задания вычислите значение коэффициента <р в
соответствии с дихотомией "прошел/не прошел" (или принадлежно-
стью к группам).
(3) Подсчитайте количество испытуемых, давших ключевой ответ
на каждое задание.
(4) Отберите задания, переформулируйте те из них, которые не
разделили группы по критерию, и испытайте их заново.
(5) Кросс-валидизируйте все задания.
(6) Если используется континуальный критериальный показа-
тель, то вместо шага (2) выполняется шаг (7).
(7) Для каждого задания вычислите значение коэффициента кор-
реляции rpbis с континуальным критериальным показателем.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47