(3) И наконец, чтобы получить воспроизводимые результаты
факторного анализа, стандартные погрешности корреляций должны
быть уменьшены настолько, насколько возможно. По этой причине
требуется выборка объемом примерно 200 испытуемых, даже если
испытывается относительно небольшое количество заданий. Мини-
мальный объем выборки - это, конечно, 100 испытуемых.
ФАКТОРНЫЙ АНАЛИЗ ЗАДАНИЙ
(1) Вычислите количество испытуемых из каждой выборки, дав-
ших ключевые ответы на каждое задание. Это идентично вычисле-
нию значения Р в процедуре анализа заданий.
(2) Вычислите значения коэффициента <р взаимной корреляции
заданий.
Возможная альтернатива коэффициенту <р. Из-за трудностей в
получении ясной, простой структуры по взаимным корреляциям
междузаданиями, Cattell (1973) предложил группирование заданий,
при котором основу корреляционной матрицы составляют группы
заданий, однородных, но не обязательно факторно-однородных. Эту
процедуру Cattell и Bolton (1969) применяли при исследовании тес-
тов 16PF и ММР1. Однако, возникает проблема в группировании
заданий (хотя эти группы более надежны и обеспечивают более вы-
сокие взаимные корреляции, чем отдельные задания). Если группы
заданий слишком велики, то они не будут ничем отличаться от шкал
и, в любом случае, на более поздней стадии необходимо будет выпол-
нить отдельную процедуру анализа для заданий из каждой однород-
ной группы, так как не будет получено никакой информации о зада-
ниях внутри групп. По этим причинам, хотя представляется, что
группирование заданий помогает преодолеть проблемы, связанные с
отдельными заданиями в факторном анализе и получить ясные ре-
зультаты, потери информации о каждом задании слишком велики,
чтобы этот метод мог рассматриваться как ценный при конструиро-
251
вании тестов, хотя он, вероятно, будет полезен при исследовании,
когда шкалы еще не выделены.
ВЫВОДЫ
При конструировании факторно-аналитических тестов наилуч-
шим из приемов по-прежнему остается: (а) вычисление для каждого
задания значения Р ; и (б) вычисление значения коэффициента (р
корреляции между всеми заданиями.
Факторный анализ матрицы
Трудность здесь, как уже говорилось, состоит в том, что при вра-
щении обычно уменьшается значение главного фактора, возникаю-
щего на первом этапе анализа по методу главных компонент. С дру-
гой стороны, маловероятно, что анализ по методу главных компонент
будет давать воспроизводимые факторы, любой первичный фактор
является искусственно генеральным (как артефакт). Большинство из
наиболее известных исследователей, в том числе Кэттелл, Айзенк и
Гилфорд, подвергали полученные ими факторы вращению, и это,
похоже, несмотря на трудности, дало даже лучшие результаты в
попытке получения простой структуры. Так больше вероятности
получить воспроизводимые результаты.
Если возможно, постройте одновременно несколько различных
шкал. Это позволит реализовать вращение для получения простой
структуры. Даже если сконструирована только одна шкала, обычно
существует достаточное количество второстепенных факторов, что-
бы обеспечить получение значимой простой структуры. Как и для
процедуры анализа заданий, результаты факторного анализа долж-
ны быть кросс-валидизированы на новых выборках.
Отбор заданий после факторного анализа
После того, как задания были отобраны в результате факторного
анализа, применяется точно такая же процедура, как и в случае
анализа заданий, с единственным отличием, касающимся статисти-
ческого критерия: факторные нагрузки данного задания на фактор
теста должны превышать 0.3, а все другие факторные нагрузки этого
задания должны быть примерно равны нулю. Здесь не используется
термин "значимо", ибо статистическая значимость подвергнутых
вращению факторных нагрузок остается поводом для разногласий
среди специалистов по статистике.
Все другие критерии, величина, применимость содержания, зна-
чение/ для заданий идругие процедуры, вычисление коэффициента
надежности K-R20 и 6 Ферпосона, переформулирование заданий в
252
свете сравнения анализа заданий и последующих повторных испыта-
ний заданий,- являются в точности такими же, как и в случае ранее
обсуждавшейся процедуры анализа заданий.
Если тест сформировать не удалось
Если задания были подвергнуты факторному анализу, то случаи,
когда не удалось найти достаточное количество адекватных заданий
(при условии, что они были соответствующим образом переформу-
лированы и еще раз испробованы, исходя из результатов первой
процедуры факторного анализа), обычно могут быть легко определе-
ны. Так, если мы рассмотрим случаи, отмеченные ранее, то можно
утверждать следующее.
Такой переменной не существует. В этом случае для большин-
ства заданий не будет никакого фактора с явными нагрузками. Вме-
сто этого на каждый фактор будет по небольшому количеству нагру-
жающих его заданий, и каждое задание будет нагружать несколько
факторов. Значения Ъочти всех нагрузок будут маленькими, и ни
один фактор нельзя будет легко проинтерпретировать. Если такое
произойдет, то от этого множества заданий лучше отказаться и раз-
работать новые. Вероятно, более разумным будет заключить, что
данная переменная не имеет соответствующего основания, и попыт-
ки ее измерить должны быть прекращены.
Задания являются факторно сложными. Это выявляется непос-
редственно факторным анализом. Должны быть отобраны исключи-
тельно те задания, которые нагружают только один фактор. Если на
дисперсию заданий оказывают влияние два фактора, то следует от-
делить те задания, которые нагружают один фактор, и должны быть
сформулированы другие аналогичные задания. Такую же процедуру
необходимо выполнить и для заданий, нагружающих второй фактор.
При повторном испытании заданий это должно дать нам два удовлет-
ворительных теста. Следует отметить, что поскольку результаты
факторного анализа можно получить уже из первых вычислений,
этот недостаток может быть обнаружен задолго до начала второго
испытания заданий и устранен на этой ранней стадии.
Недостаточное количество эффективных заданий. Такой слу-
чай очевиден, когда мы имеем, скажем, двенадцать эффективных
заданий, тогда как все остальные задания имеют низкие нагрузки по
ряду факторов. Это устраняется переформулированием заданий по
аналогии с удачными, эффективными заданиями. Это, как и в пред-
ыдущем случае, может быть сделано на относительно ранних стади-
ях конструирования теста.
Неэффективные задания . Как говорилось ранее, это последнее
из возможных объяснение неудаче при создании заданий, которое
логически не может быть отвергнуто. Мы можем в этом убедиться
только переформулированием заданий и созданием эффективных.
Шаги вычислений
Нереально пытаться выполнять факторный анализ матрицы лю-
бого размера вручную, даже при наличии электронного калькулято-
ра. Поэтому здесь не будут изложены шаги вычислений факторного
анализа с вращением факторов. Алгебраические процедуры для этого
сейчас уже стандартизированы и полностью изложены в различных
учебниках. Несложное их описание читатели могут найти у Child
(1971). Хорошее обоснование с полными алгебраическими выкладка-
ми приведено в Harman (1976) и Tatsuoka (1971).
( I ) Все ответы на каждое задание должны быть для каждого испы-
туемого сведены в таблицы и оценены следующим образом: 1, если
был дан ключевой ответ на задание; 0 - в противном случае. При
ответе со многими вариантами выбора приводится показатель, пол-
ученный данным испытуемым по каждому заданию.
(2) Эти показатели затем вводятся в программу вычисления фак-
торного анализа. Обычно в результате мы получим корреляции,
главные компоненты и некоторый вид вращения факторов.
ВРАЩЕНИЕ
При обсуждении простой структуры утверждалось, что простая
структура, определениекоторойбылоданоТ1пт1опе (1947), обеспе-
чивает воспроизводимые результаты и дает краткое, а, следователь-
но, научное, объяснение экспериментальным данным. С другой сто-
роны, противоречие простой структуры и генерального фактора -
фактора, лежащего в основе заданий теста - делает этот подход
противоположным теоретическим основаниям конструирования тес-
тов. Наилучшим методом был бы такой, который бы имел целью
продуцирование генерального фактора (напр., "Прокрустовы проце-
дуры", предложенные Гилфордом и его коллегами) и при помощи
которого любая целевая факторизация достигалась бы настолько
близко, насколько позволяли данные. К сожалению, в работе Horn и
Knapp (1973) показано, что такие программы целевого вращения
могут выдать практически любой результат.
Wilson и Patterson (1970) при конструировании шкалы консерва-
тизма прервали процедуру факторного анализа на этапе выделения
главных компонент. Однако, этот результат, хотя и был получен
254
генеральный фактор, основывается на произвольном сочетании глав-
ных компонент.
Рекомендация выполнять вращение для получения простой
структуры - это решение, в большой мере выбранное за неимением
лучшего. Однако, его результаты, по всей вероятности, являются
воспроизводимыми, а с точки зрения простоты они превосходят дру-
гие. Следует заметить, что, хотя мы и хотим получить генеральный
фактор, то, если только все наши задания не являются эффективны-
ми (а при конструировании тестов это, несомненно, случается неча-
сто) , генеральный фактор существует только для завершенного тес-
та. Следовательно, простая структура не является столь алогичным
подходом к конструированию тестов, как можно было бы подумать.
Я также советовал бы использовать и ортогональное, и косоугольное
(облическое) вращение. Последнее необходимо, если требуется пол-
учить факторы более высоких порядков.
Ортогональное вращение. Представляется, что среди специалис-
тов по факторному анализу существует согласие по поводу того, что
наилучшим образом ортогональное вращение реализовано в про-
грамме Varimax (Kaiser, 1958).
Косоугольное (облическое) вращение . Можно отметить, что для
косоугольного вращения сейчас существует большое количество про-
грамм и методов. Gorsuch (1974) и Hakstian (1971) сравнивали раз-
личные методы эмпирически, как и Barrett и Kline ( 1982а). работая с
заданиями теста EPQ, они обнаружили, что пакет программ Direct
Oblimin дает превосходные результаты в достижении простой струк-
туры.
Поэтому я рекомендую для вращения факторов заданий исполь-
зовать программный пакет Varimax, если мы пытаемся сконструиро-
вать одну шкалу, и Direct Oblimin, если испытывается более чем одна
шкала. Такое косоугольное вращение важно, конечно, тогда, когда
желательно получить факторы более высоких порядков.
Следует упомянуть и еще об одном моменте. Важно подвергать
вращению только значимые факторы. Barret и Kline (1982а), как и
Carroll (1983), исследовали различные методы. Scree test Кэттелла
(Cattell, 1966) представляется весьма эффективным, хотя и должен
быть проверен другими методами.
Заключение
Конструирование факторно-аналитических тестов, как сейчас
уже стало очевидно, имеет преимущества по сравнению с тестирова-
нием, основанном на критериальных ключевых признаках, в том, что
в результате дает однофакторный тест. Однако, на практике, если
255
только не используются огромные выборки, как указывает Nunnally
(1978), часто трудно получить ясно очерченные результаты. По этой
причине Nunnally рекомендует выполнять процедуру анализа зада-
ний теста, за которой следует факторный анализ уже небольшого
множества отобранных заданий. Конечно, Barrett и Kline (1982b),
работая с EPQ, обнаружили очень высокую корреляцию между этими
двумя методами, настолько высокую, что с их помощью должны
отбираться практически одни и те же задания. Точка зрения Nunnally
представляется практическим, разумным подходом. Методы на осно-
ве критериальных ключевых признаков рекомендуется использовать
только тогда, когда необходимы быстрые процедуры отсева или отбо-
ра заданий, а их психологическое значение не столь важно.
Глава 10. Компьютеризированное тестирование,
индивидуально - ориентированное тестирование,
шкалирование по Рашу и изучение когнитивных
процессов
Компьютеризированное тестирование
Компьютеры, как уже говорилось, сейчас прочно вошли во многие
области нашей жизни. Психометрия не является исключением;
предъявление многих психологических тестов и обработка их резуль-
татов в настоящее время осуществляется при помощи персональных
компьютеров. Результаты также часто распечатываются непосредст-
венно после того, как испытуемый выполнил тест.
При этом существует несколько особенностей, которые будут рас-
смотрены отдельно.
Компьютерное представление стандартных тестов
В принципе любой тест (теоретически) может быть представлен
на компьютере. При компьютерном представлении тестов, в которых
используются сложные визуальные стимулы, такие как скрытые изо-
бражения, возникают практические трудности с точным представле-
нием этих стимулов в программах. Тесты, в которых используются
трехмерные объекты, все еще не могут быть представлены на компь-
ютерах.
Для каждого теста, представленного таким образом, должна быть
получена настолько высокая, насколько возможно, корреляция с
оригиналом и продемонстрирована его валидность, так как компью-
терное представление может значительно повлиять на последнюю.
ПРЕИМУЩЕСТВА КОМПЬЮТЕРНОГО ПРЕДСТАВЛЕНИЯ
ТЕСТОВ
По сравнению со стандартной формой представление тестов на
компьютере имеет несколько преимуществ. Одно из них - это то, что
проведение тестирования становится, по существу, автоматическим,
при условии, что испытуемые знакомы с работой на компьютере. Это,
правда, усложняется тем, что тестирование является индивидуаль-
ным. Если приходится одновременно тестировать большие группы,
то необходимо большое количество компьютеров, по одному на каж-
дого испытуемого.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47