Одним из преобразо-
ваний, широко используемых в прикладной психологии, являются
показатели в стенайнах.
СТЕНАЙНЫ (STANINES)
Как и следует из названия, это стандартизованный показатель,
который разбивает нормальное распределение на девять интервалов-
категорий. Наивысшая категория, 1, и наинизшая, 9, обе содержат
по 4% распределения; категории 2 и 8 содержат по 7% каждая;
категории 3и7-по 12% каждая; категории 4и6-по 17% каждая
и категория 5 содержит 20%.
slanine - от англ. staindard] и nine - нормализованный стандартный показатель
на одномерной шкале ранжирования от наивысшего значения, равного 1, до наи-
низшего, равного 9, и имеющий среднее значение пять; впервые был применен в
исследованиях, выполнявшихся для военно-воздушных сил Соединенных Штатов
во время второй мировой войны (Прим.перев.)
226
Аналогичная, излюбленная Кэттеллом и его сотрудниками, фор-
ма, нормализованный показатель в стенах делит нормальное рас-
пределение на десять категорий.
РЕЗЮМЕ
(1) Необработанные ("сырые") показатели имеют значение лишь
при сравнении с показателями нормативных групп.
(2) Значение норм зависит от качества формирования норматив-
ных групп; нормы могут использоваться с какой-либо долей уверен-
ности лишь тогда, когда нормативные выборки адекватны.
(3) Существуют различные методы для представления норматив-
ных показателей.
(4) Процентили, хотя и просты для понимания, не пригодны для
статистического анализа.
(5) Следовательно, для использования рекомендуются стандарт-
ные показатели, основанные на отклонении показателей от среднего.
(6) Преобразованные стандартные показатели всегда сравнимы:
одинаковые стандартные показатели находятся на одинаковом рас-
стоянии от среднего.
(7) Нормализованные стандартные показатели имеют то допол-
нительное свойство, что они могут быть легко преобразованы в про-
центили.
Представление норм
При определении норм для тестов должны выполняться следую-
щие процедуры. Благодаря им тесты приобретают гораздо большее
значение и меньше приводят к заблуждениям.
(1) Объем выборки, основание для ее стратификации (если тако-
вые есть) и ее происхождение должны быть четко указаны.
(2) Должен быть указан тип используемых норм.
(3) Для каждой нормативной группы должны быть указаны "сы-
рые" показатели сравнительно со стандартизованными показателя-
ми. Если необходимо, то рядом с "сырыми" показателями могут быть
также указаны и процентили.
Следствием применения норм и стандартизации является то, что
по соотношению некоторого показателя с показателями стандартной
группы может осуществляться его интерпретация. Опять я должен
подчеркнуть, что нормы важны для прикладной психологии. Для
изучения психологических переменных по существу достаточно "сы-
sten (от англ. standard] ten) - нормализованный стандартный показатель на
одномерной шкале ранжирования от 1 до 10 (Прим.перев.)
8 227
рых" показателей - в самом деле, они более предпочтительны, ибо
являются исходными данными.
Однако, существуют еще два метода интерпретации показателей
тестов, которые некоторыеавторы (напр.. Brown, 1976) рассматрива-
ют в качестве иной формы стандартизации, и они вкпят-п> "----
быть описаны
описаны.
т, и они вкратце должны
Содержательный критерий
При обсуждении содержательной валидности указывалось, что
если тест состоит из заданий, требующих от испытуемых выполнить
действия по раскрытию скобок в определенных алгебраических вы-
ражениях, то для этих отдельных операций такой тест сам по себе
является валидным средством измерений. Очевидно, что содержа-
те-дьная валидность как теоретический конструкт будет полезна
только тогда, когда могут быть определены специальные навыки и
особенности поведения. Это можно сделать довольно легко на эле-
ментарном уровне, при тестировании арифметических навыков
(правил выполнения четырех арифметических операций, правил вы-
числений с 0 и т.п.), знаний в области музыки (знает ли испытуемый
правила нотной записи, может ли гармонизировать простой тон, и
др.), а также знаний базовых элементов для большинства научных
дисциплин, в которых накоплен определенный багаж фактических
данных. Однако, определить содержание теста таким образом для
более высокого уровня знаний становится чрезвычайно трудно. Поэ-
тому понятие "содержательная валидность" наиболее уместно для
тестов достижений в обучении.
Содержательный критерий применим к показателям теста, кото-
рый был разработан как содержательно валидный. Это замечание
поясним на примере. Тест музыкальных навыков может быть связан
с проверкой овладения нотной записью. Тогда задания будут состоять
из четвертей и половинных нот и т.п. на различных нотных линиях и
в разных ключах, а испытуемые должны будут указать, что это за
ноты. В таком тесте показатель 100% будет представлять полное
овладение нотной грамотой. В тестах такого типа необходимо иметь
веское основание для того, чтобы по некоторому пороговому значе-
нию можно было бы принимать решение о переводе учащегося на
следующий этап курса обучения. Для этого требуется подтвержде-
ние, что ученики с показателями выше некоторого порогового явля-
ются успевающими, а те, у кого показатели ниже - нет. Обычно,
однако, такие пороговые значения задаются произвольно, на основа-
нии опыта преподавателей данной дисциплины. Для тестов такого
типа эффективным будет всего лишь двубалльный показатель: удов-
228
летворительно и неудовлетворительно. Мимоходом следует заме-
1 тить, что приведенный пример является гипотетическим. При нали-
1 чии времени прочитать музыкальную запись довольно просто. Зада-
1 ча состоит в том, чтобы ответы давались немедленно и были правиль-
1 ными.
1 Проблемы с содержательным критерием
1 Скрытая слабость показателей по содержательному критерию со-
стоит в трудности формирования выборок заданий по тем дисципли-
i нам, для обследования навыков и знаний в которых предназначен
i тест. Каково значение 90%-ного показателя? Правильно ли гово-
< рить, что индивидуум с таким показателем знает 90% из данной
t дисциплины? Почтинаверноеэтонетак; идажееслибыэтобылотак,
? два испытуемых с одинаковым значением показателя могди непра-
вильно выполнить различные задания, поэтому эти показатели не
являются совершенно эквивалентными. Наличие этой трудности оз-
начает, что использование таких тестов должно ограничиваться
только областью дисциплин с точно описываемым материалом и теми
уровнями, на которых знания являются настолько фиксированными
и определенными, что становится возможным реально формировать
соответствующие выборки заданий, как, например, в случае с про-
стейшими арифметическими операциями. Обратите внимание, что
для тех дисциплин, в которых любое множество заданий теста будет
лишь крохотной выборкой изо всей выборочной совокупности зада-
ний, использование тестов с содержательным критерием неуместно.
ВЫВОДЫ
Содержательный критерий полезен для тех тестов, в которых
требуется проверка овладением некоторыми навыками или специ-
альными знаниями> Это означает, что он имеет значение только для
тестирования достижений. На самом низком уровне в начальной
школе, где важны базовые навыки, он может рассматриваться в ка-
честве методики для конструирования тестов. Тесты чтения Schonell
(1951) являются образцовыми примерами тестов с содержательным
критерием, так как они точно указывают на источник трудностей:
например, испытуемый путает латинские буквы "р" и "Ь", или "d"
и "Ь", и тому подобное. Однако следует заметить, что оценка выпол-
нения заданий в форме "правильно" и "неправильно" также указала
бы на этот факт. Можно утверждать, что содержательный критерий
не всегда является полезным методом для оценки показателей тестов:
в любом случае, сфера его использования ограничивается только
тестами достижений.
Прогнозирование критерия
Вторым методом интерпретации показателей, отличным от ис-
пользования норм, является построение серий таблиц ожиданий, в
которых указывается вероятность того, что испытуемые, получив-
шие некоторый показатель по тесту, достигнут критериального пока-
зателя. Здесь существует несколько заслуживающих рассмотрения
моментов. Во-первых, этот метод применим только тогда, когда воз-
можно явное определение некоторого критериального показателя.
Это чаще всего имеет место при тестировании результатов обучения,
когда могут быть получены экзаменационные оценки и степени. Ана-
логичные показатели возможны в промышленности, где для профот-
бора используются экзамены и разного рода рейтинговые процедуры.
В инженерной психологии могут использоваться предоставляемые
контролирующими лицами (экспертами) рейтинги успехов в работе,
хотя надежность и валидность таких критериев может подвергаться
сомнению.
И во-вторых, значения этих вероятностей должны определяться
экспериментально. Чтобы сделать это, должны быть проведены круп-
номасштабные исследования на соответствующих популяциях. Это,
конечно, приводит к тем же самым проблемам формирования выбо-
рок, которые обсуждались при рассмотрении выборок для определе-
ния норм. В этом смысле значения вероятностей из таблиц ожиданий
- это также нормативные данные. Вместо стандартных показателей
для отдельных групп или группового среднего и стандартного откло-
нения, представлены вероятности достижения некоторого критери-
ального показателя.
В-третьих, таблицы ожиданий иллюстрируют с особой ясностью
дилемму практической психологии: различие между статистическим
и индивидуальным прогнозом. Если конкретному показателю по тес-
ту соответствует вероятность 0,38 успешной сдачи конкретного экза-
мена, то это означает, что 38% испытуемых с таким показателем (в
нормативной группе) успешно пройдут этот экзамен. Имеется в ви-
ду, что 38 % испытуемых с таким показателем смогут сдать экзамен
- но какие 38 % ? Имея дело с отдельными индивидуумами в практи-
ческих приложениях психологии, трудно интерпретировать такие
статистические предсказания. Однако, отсев испытуемого с таким
показателем будет вообще-то означать, что производящий отбор бу-
дет чаще прав, чем неправ. В этом смысле такие цифры полезны, но
только в этом смысле. Недейственность статистических прогнозов в
индивидуальных случаях имеет место для большинства норматив-
ных исследований в психометрии. Это непосредственно очевидно и в
случае с таблицами ожиданий, которые, казалось бы, предоставляют
230
такие явные прогнозы. Разработчики тестов должны иметь это в
виду, прежде чем браться за составление таких таблиц.
ШАГИ ВЫЧИСЛЕНИЯ ТАБЛИЦЫ ОЖИДАНИЙ
(1) Получите показатели для данной выборки по тесту и по кри-
терию.
(2) Разделите показатели по критерию на значимые группы, на-
пример, на удовлетворительные и неудовлетворительные.
(3) Разделите показатели по тесту на категории так, чтобы в
каждой категории было большое количество показателей. Наилуч-
шим способом будет деление на категории с равным количеством
показателей, за исключением крайних интервалов.
(4) Затем строится таблица, в которой показывается частота (т.е.
количество) показателей в каждой категории:
Таблица 8.3
КатегорияКритерийОбщее
УдовлетворительныеНеудовлетворительныеколичество
1хУх+у
2zаz+a
3bсb+c
(5) Для каждой категории вычислите долю случаев, удовлетвори-
тельных и неудовлетворительных относительно данного критерия;
например, для категории 2 вычислите отношение z к а + z или а к
a+z.
(6) Затем может быть построена таблица ожиданий, в которой
вместо частоты в качестве элементов указываются вычисленные от-
ношения, которые представляют вероятность того, что испытуемые с
некоторым показателем по тесту будут иметь удовлетворительные
или не удовлетворительные показатели по критерию.
Замечание . Очевидно, что при использовании этого метода значимость таблицы
ожиданий зависит от качества и объема конкретной выборки. При неадекватном
формировании выборки результаты метода будут незначимыми из-за больших
выборочных погрешностей.
АЛЬТЕРНАТИВНЫЙ МЕТОД КОНСТРУИРОВАНИЯ ТАБЛИ-
ЦЫ ОЖИДАНИЙ
Шаги (1) - (3) выполняются так, как указано выше.
(4) Для каждой категории показателей теста представьте значе-
ния среднего и стандартного отклонения по показателю для данного
критерия. Однако, если только корреляция между тестом и критери-
ем не является высокой, по всей вероятности будет настолько много
231
пересечений между средними значениями для категорий, что их
практическое значение будет не очень высоким.
УРАВНЕНИЕ РЕГРЕССИИ КАК МЕТОД ВЫЧИСЛЕНИЯ ТАБ-
ЛИЦ ОЖИДАНИЙ
В рамках данного метода уравнение регрессии используется для
прогноза критериального показателя по показателям теста. Вычис-
ления для этого подхода более сложные, но тем не менее они легко
могут быть выполнены при помощи электронного калькулятора.
Программа для компьютера будет, конечно же, более быстродейст-
вующей и простой.
Вот шаги вычислений для метода с уравнением регрессии:
(1) Получите показатели для данной выборки по тесту и по кри-
терию.
(2) Вычислите корреляцию между этими двумя множествами по-
казателей.
(3) Прямая регрессии между этими двумя множествами показате-
лей вычисляется по уравнению Ypred = а+ by Х х, где Ypred - про-
гнозируемый критериальный показатель (усредненный для тех ис-
пытуемых, которые имеют данный показатель по тесту, на основании
которого делается прогнозирование); а - разделяющая константа,
позволяющая определять различия средних, это точка пересечения
прямой линейной регрессии с осью у , by - коэффициент регрессии,
угловой коэффициент, определяющий наклон линии регрессии по
отношению к осям х п у,х- показатель по тесту, для которого
строится прогноз.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47