Сейчас мы подходим к реаль-
ному анализу заданий. Поскольку целью является получить одно-
родный дискриминирующий тест, из этого следует, что существует
два полезных показателя: (1) доля испытуемых, давших ключевые
ответы; и (2) величина корреляции заданий с общим показателем.
Корреляция заданий и общего показателя
Существует несколько формул для вычисления корреляции зада-
ний с общим показателем. Они перечислены ниже вместе с коммен-
тариями по их использованию при анализе заданий.
(1) Коэффициент произведения моментов Пирсона . Nunnally
(1978) рекомендует его для заданий с оцениванием по многобалль-
ным шкалам. Однако, в случае пяти-балльных шкал (или с меньшим
количеством градаций) правомочность использования этого коэффи-
циента корреляции вызывает сомнения.
(2) Точечно-бисериальная корреляция. Эта формула использует-
ся для дихотомических заданий. Ответы на другие задания могут
быть приведены к виду "правильно/неправильно" или "ключевой/
неключевой ответ" и также обработаны при помощи этой формулы.
(3) Коэффициент (р . Этот коэффициент можно использовать,
если мы приведем общий показатель к дихотомическому виду ("тест
выполнен / не выполнен" или "показатель выше / ниже среднего") .
Строго говоря, для этой формулы предполагается, что это неконти-
нуальные градации.
(4) Четырехпольный коэффициент корреляции. Эта формула
может использоваться как и коэффициент (р. Однако, делается пред-
положение, что градации "тест выполнен/не выполнен" или "верно/
неверно" являются континуальными. Для четырехпольного коэффи-
циента корреляции существует проблема, состоящая в том, что его
стандартная погрешность является большой: вдвое больше, чем для
коэффициента произведения моментов. И четырехпольный коэффи-
циент net , и коэффициент <р из-за дихотомизации общего показа-
теля, приводят к отбрасыванию определенных объемов данных.
Anstey (1966) перечисляет еще 66 коэффициентов. Однако, мно-
гие из них разрабатывались, чтобы сэкономить время при вычисле-
188
ниях. Это оригинальные краткие формулы, дающие эффективные
оценки корреляции с общим показателем. Однако сейчас, при нали-
чии микрокомпьютеров, необходимость в таких методах отпала.
Вместо этого мы можем выбрать, какие, с точки зрения разработчи-
ков тестов, методы являются наилучшими.
ВЫБОР СТАТИСТИЧЕСКИХ КОЭФФИЦИЕНТОВ ДЛЯ АНА-
ЛИЗА ЗАДАНИЙ
Дихотомизировать показатели на высокий и низкий, как это тре-
буется для многих статистических формул анализа заданий, - зна-
чит потерять многоценной информации. Представляется, что у дан-
ного подхода нет никаких достоинств, и я не склонен рекомендовать
его использовать. Теперь, при наличии компьютеров, утрачено его
основное преимущество - экономия времени.
При использовании континуального критерия, общего показателя
по тесту, какой же статистический коэффициент будет наилучшим?
Самым лучшим, несомненно, будет коэффициент точечно-бисери-
альной корреляции, или грЬк Anstey, сравнивая бисериальный и
точечно-бисериальный коэффициенты корреляции, проводит два
важных различия между этими показателями. При бисериальной
корреляции предполагается, что распределение показателей по кри-
терию является нормальным и есть количественное различие между
правильными и неправильными ответами. При точечно-бисериаль-
ной корреляции таких предположений о распределениях не делается
и допускается лишь количественное различие между правильными и
неправильными ответами. Более того, значение коэффициента бисе-
риальной корреляции может, если распределение не является нор-
мальным, превзойти 1; для нее также предполагается линейность
регрессии между заданиями и критерием.
Если мы помним, что, согласно классической модели погрешно-
стей измерения, корреляция заданий с общим показателем равна
средней корреляции некоторого задания со всеми остальными зада-
ниями, то коэффициент rpbis является чрезвычайно значимым. Коро-
че говоря, этот коэффициент корреляции дает нам наилучшее сред-
ство измерения корреляции заданий с общим показателем, что суще-
ственно при конструировании однородного теста.
ТРУДНОСТИ ВЫЧИСЛЕНИЯ ПОКАЗАТЕЛЕЙ ПО НЕЗАВЕР-
ШЕННЫМ ТЕСТАМ
Существует практическая проблемы, особенно для тестов способ-
ностей, в работе с которыми некоторые испытуемые не укладываются
во время, отведенное для тестирования. Следовательно, некоторые
задания в конце теста остаются невыполненными. Это приводит к
189
искусственному возрастанию корреляции этих заданий с общим по-
казателем теста. Как видно по формулам, приведенным Anstey
(1966); делались попытки учесть это при вычислении корреляции.
Однако, как указывает Anstey, это вряд ли стоит делать. С нашей
точки зрения, лучше всего предъявлять такое количество заданий,
чтобы все они могли быть выполнены. Если, наконец, 10% испытуе-
мых из выборки не выполнили некоторое задание, то это только 10%
утерянной информации, и никакие статистические ухищрения не
могут на это повлиять. Если же это неосуществимо, то, вероятно,
лучше предъявлять задания случайным образом, так, чтобы количе-
ство испытуемых, не выполнивших какое-либо одно задание, было
незначительным.
Доля испытуемых, давших ключевые ответы
Нет необходимости говорить что-либо об этом статистическом
показателе. Единственной трудностью может быть упомянутая выше
- наличие невыполненных заданий. В общем, все, что необходимо
сделать - это подсчитать количество ответов на каждое задание.
Процедуры анализа заданий
Сейчас будут описаны основные практические шаги, необходи-
мые для анализа заданий. Метод, который я проиллюстрирую, был
рекомендован Nunnally (1978) и использовался автором данной кни-
ги при конструировании его собственных тестов. Это коэффициент
точечно-бисериальной корреляции грЬц . Прежде чем описывать вы-
числения и процедуры, остается отметить одну маленькую деталь.
При вычислении корреляции задания с общим показателем не ис-
ключается вклад в общий показатель данного задания, следователь-
но, полученное значение будет выше, чем корреляция этого задания
со всеми другими заданиями. Когда производится испытание большо-
го количества заданий (скажем, около 100), этот эффект можно не
принимать во внимание. Однако, Nunnally (1978) приводит коррек-
тирующую формулу:
гц (corrected) =
r-ltOt-Oi
V(7? +ff? -20i0t Гц
где гц - корреляция задания с общим показателем, 0i - стандар-
тное отклонение для задания, 0( - стандартное отклонение для
теста.
Эту формулу следует применять, если у вас гораздо меньше
заданий.
190
Будем предполагать, что множество испытываемых заданий было
предъявлено большой выборке подходящих испытуемых, как обсуж-
далось выше, и результаты были обработаны. Будем также предпо-
лагать, что задания являются дихотомическими. Формула для Грыя :
Мн - ML гр-
0 "V
где Мн - среднее значение показателей по тесту для испытуе-
мых, давших правильный (ключевой) ответ на данное задание, ML
- среднее значение показателей по тесту для испытуемых, давших
неправильный ответ на данное задание, О- стандартное отклонение
для теста, / - доля испытуемых, давших правильный (ключевой)
ответ на данное задание, ид= ]- Р.
Шаги вычислений в процедуре анализа заданий
( 1 ) Вычислите арифметическое среднее и стандартное отклонение
для всей группы по тесту.
(2) Для каждого задания вычислите среднее значение показателя
по тесту для испытуемых, давших правильный (ключевой) ответ на
это задание (Мн) и отметьте количество испытуемых, сделавших это
WH).
(3) Для каждого задания разделите NH на N . Это дает Р (см.
примечание на стр. 172).
(4) Для каждого задания 1-P=q. Это дает q .
(5) Имея среднее значение общего показателя по тесту для каж-
дого задания, можно получить ML из уравнения:
(Мн Х NH) + (ML Х NL) = Мг Х NT
Это дает Mi.
(6) Для каждого задания перемножьте Р q и возьмите квадратный
корень.
(7) Теперь может быть получен точечно-бисериальный коэффи-
циент корреляции грЫз для каждого задания:
Мн (из шага 2) - ML (из шага 5) Гп- / <- \
-"-т-- VP q (из шага о)
О (из шага 1)
Эта процедура анализа дает нам для каждого долю испы-
туемых, давших ключевой ответ на данное задание (значение Р из
шага 3), и значение корреляции ГрЬю с общим показателем.
Эта процедура несколько длинновата, если у нас большая выборка
и приличный набор заданий, так что на практике разработчик теста
может и не выполнить все эти шаги. Это особенно важно, если при-
меняется корректирующая формула для корреляции (из-за того, что
каждое задание вносит свой вклад в общий показатель). Но в общем
большинство разработчиков тестов имеют доступ к вычислительной
технике, так что в данном случае всю эту работу за вас может сделать
компьютер.
Вычисления на компьютере
Если можно использовать компьютер, то процедура будет выгля-
деть следующим образом:
(1) Для каждого испытуемого показатель по каждому заданию (О
или 1) и общий показатель по тесту вводятся к память компьютера.
(2) Запрашивается программа, печатающая значения корреля-
ции (скорректированной по отмеченной выше формуле) между зада-
ниями и общим показателем.
(3) Запрашивается программа, печатающая долю испытуемых,
давших правильные (ключевые) (1) ответы на каждое задание.
(4) ОБРАТИТЕ ВНИМАНИЕ, что грЬ-is - это численный эквива-
лент коэффициента произведения моментов Пирсона, так что ком-
пьютеру задается программа вычисления последнего.
Краткое вычисление без компьютера
Если у вас нет никаких программ для анализа заданий, можно
использовать краткий метод вычислений вручную, который дает удо-
влетворительную точность для практического отбора заданий, хотя
и будет неразумным использовать полученные коэффициенты кор-
реляции для дальнейшего статистического анализа или восприни-
мать их слишком буквально. В этом методе для оценки Р и грЫч
используются верхние и нижние 27% распределения. Для этого раз-
личными авторами были разработаны таблицы процедуры анализа
заданий. Здесь мы приведем краткий метод с использованием таблиц
Фэна (Fan, 1952), которые просты в использовании и легко доступны
в Великобритании.
ПРОЦЕДУРА АНАЛИЗА ЗАДАНИЙ С ИСПОЛЬЗОВАНИЕМ
ТАБЛИЦ ФЭНА
(1) Отберите 27% лучших (группа Н ) и 27% худших (группа L )
испытуемых по данному тесту.
(2) Для каждого задания подсчитайте долю испытуемых из груп-
пы Н , давших правильный (ключевой) ответ: РН
(3) Сделайте то же самое для группы L: PL
(4) Для каждого задания посмотрите таблицы Фэна, которые для
каждой возможной комбинации Рц и PL дают приближенную оценку
Р и rpbis ,- на пересечении строк и столбцов: каждая строка соответ-
ствует значению РН , а каждый столбец - значению PL
Очевидно, что если у вас есть компьютер, то имеет смысл его
использовать. Тем не менее, всем разработчикам тестов по крайней
мере однажды приходилось анализировать тест вручную, поскольку
видение реального процесса обработки показателей для заданий в
различных группах испытуемых и постоянная перетасовка заданий
теста дают глубокое проникновение в смысл того, что происходит с
заданиями теста - интуицию, которая не может возникнуть из ком-
пьютерных распечаток.
Отбор заданий после их анализа
Описанный метод анализа заданий дал нам два существенно важ-
ных статистических показателя: Р - долю испытуемых, давших
ключевой ответ на задание, и / - корреляцию между заданием и
общим показателем.
Таблица 6.1. Представление результатов
N-200МN-200FN-200MA
Про-Про-Про-
цеду-цеду-педу-
ра 1ра2раЗ
РгРrРr
Задание 11, Нравится ли вам бол-0.410.520.730.350.400.47
тать"
Задание 22. Испытываете ли вы0.250.350.410.280.310.20
иногда чувство ревности?
Задание 33. Объедались ли вы ког-0.950.060.900.120.920.03
да-нибудь?
Задание N
Примечание: 1) это не задания реального теста, их статистические показатели были
придуманы для иллюстрации;
2) М - мужчины, F - женщины, MA - мужчины-военнослужащие.
Как указывалось, для испытуемых разных полов необходимо вы-
полнять отдельные процедуры анализа заданий, и в некоторых слу-
чаях нам может понадобиться более, чем одна выборка, чтобы убе-
диться в стабильности задания. Предположим, что для всех наших
выборок процедуры анализа заданий выполнены. В таблице 6.1 по-
казан удобный способ представления результатов.
4-196
193
Критерии
При отборе заданий для теста есть много разнообразных момен-
тов, о которых следует помнить, и при окончательном отборе мы
должны достичь между ними равновесия. Важность каждого из этих
критериев изменяется до некоторой степени в зависимости от вида
конструируемого теста и его назначения.
Этими критериями являются:
( 1 ) Величина теста. Для обеспечения надежности необходимо от
20 до 30 заданий.
(2) Содержание. В большинстве тестов желательно использование
настолько широкого разнообразия заданий, насколько возможно. Это
в равной степени важно, например, как для математических тестов,
где необходимы задания, выявляющие знания испытуемых в соответ-
ствии со всеми требованиями курса обучения, так и для тестов лич-
ности, с помощью которых должны измеряться столь же широкие
области релевантных аспектов поведения. Например, для экстравер-
сии это будут: общительность, оптимистичность, преобладание бод-
рого настроения и разговорчивость.
(3) Корреляция заданий с общим показателем. Это основной кри-
терий. Чем выше корреляция, тем лучше задание. Ясно, что следует
оставлять в тесте те задания, которые имеют высокую корреляцию с
общим показателем, однако на больших выборках эти цифры могут
быть и низкими. В идеале, все задания должны иметь корреляцию с
общим показателем не ниже 0,2 .
(4) Уровень трудности. Это также важный критерий. Для боль-
шинства тестов принято, что задания со значением Р от 0,80 до 0,20
считаются удовлетворительными. В то же время задание, эффектив-
ное в других отношениях, но со значением Р= 0,19 не должно быть
отброшено.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47