Например, процент выбыв-
ших выше для мальчиков, чем для девочек. Он также выше для
социальных групп, находящихся на более низком экономическом уровне.
Факторы отбора действуют и в таких выборках, как сформиро-
ванные, например, из заключенных, пациентов психиатрической лечеб-
ницы или из умственно отсталых, помещенных в специальные дома.
Благодаря конкретным причинам, определившим помещение индивида
в специальное учреждение, упомянутые группы не репрезентативны всей
популяции преступников, душевнобольных или умственно отсталых. Так,
умственно отсталые, страдающие физическими недостатками, чаще
оказываются в специальном учреждении, чем физически полноценные.
Соответственно относительное число лиц с глубокой умственной отста-
лостью будет намного большим в выборке такого типа, чем в популяции
в целом.
К вопросу о репрезентативности выборки непосредственно относит-
ся необходимость определения специфической популяции, к которой при-
менимы полученные нормы. Очевидно, одним из способов обеспечения
репрезентативности выборки является ограничение популяции сообразно
особенностям выборки. Например, если определить популяцию как
14-летние школьники, а не 14-летние дети, то школьная выборка будет
репрезентативной. В идеале, разумеется, желаемая популяция должна
фиксироваться заранее, исходя из целей теста, а затем формируется
надлежащая выборка. Невозможность привлечь нужных испытуемых мо-
жет, однако, сделать эту цель недостижимой. В таком случае лучше су-
зить определение популяции, чем утверждать, что нормы относятся к по-
пуляции, которая не была адекватно представлена в нормативной выбор-
ке. Фактически подавляющее большинство тестов стандартизовано для
не столь широких популяций, как многие полагают. Тестовых норм, дей-
ствительных для всего рода человеческого, не существует! Сомнительно
также, чтобы по какому-либо тесту имелись адекватные нормы для
столь обширных популяций, как <взрослые американцы-мужчины>, <аме-
риканские дети 10-летнего возраста> и т.п. Следовательно, выборки, по-
лучаемые различными создателями тестов, часто не вполне репрезента-
тивны популяции, для которой предназначены, и смещены в тех или
иных отношениях. Отсюда и несопоставимость получаемых норм.
Согласование норм. Один из подходов к решению проблемы
сопоставимости тестов заключается в составлении таблиц эквивалентно-
сти показателей разных тестов. Такие таблицы могут быть составлены
эквипроцентильным методом, и тогда показатели считаются эквива-
лентными, если они имеют равные процентили в данной группе. Напри-
мер, если 80Ї"-ный процентиль в одной и той же группе соответствует IQ
115 по тесту А и IQ 120 по тесту В, то IQ = 115 для теста А считается
эквивалентным IQ -= 120 для теста В. Этот метод в какой-то мере прак-
тиковался некоторыми издательствами, выпускавшими таблицы эквива-
лентности для некоторых из опубликованных ими тестов (R.T. Lennon,
1966й).
Смещенной (огностельно данной популяции) называется выборка, в которой те.
или иные подгруппы популяции представлены непропорционально своей численности
87
НОРМЫ И ИНТЕРПРЕТАЦИЯ РГ-ЗУЛЬТАТОВ ТЕСТА
Время от времени выдвигаются обширные проекты, предусматри-
вающие калибровку каждого нового теста относительно единого эталон-
ного теста, стандартизованного на весьма репрезентативной норматив-
ной выборке в масштабе всей страны (R.T.Lennon, l966b). Конечно,
никакой единый тест не может использоваться для обоснования норм
всех тестов, независимо от их содержания. Необходима батарея эта-
лонных тестов, стандартизованных на одной и той же общеамериканской
выборке. Любой новый тест мог бы после этого быть выверен -с по-
мощью наиболее близкого к нему эталонного теста из этой батареи.
Пока что ближе всего к реализации этого замысла (применительно
к популяции старшеклассников средних школ) удалось подойти в рамках
осуществления программы TALENT (J.C. Flanagan et а1, 1964). Исполь-
зуя случайную выборку, примерно 5Їо средних школ страны, исследова-
тели применили рассчитанную на два дня батарею особым образом со-
ставленных тестов способностей и достижений, интересов и темперамен-
та приблизительно к 400000 учеников 1Х-Х11 классов. Нужно признать,
что даже при наличии таких согласованных данных разработанные неза-
висимо друг от друга тесты нельзя рассматривать как абсолютно взаи-
мозаменяемые. В лучшем случае использование единых для всей страны
норм сможет лишь заметно снизить несопоставимость тестов, но никак
не устранить ее.
Батарея TALENT были использована для калибровки некоторых ба-
тарей тестов, применяемых в морских и военно-воздушных силах США.
Процедура состоит в следующем. Вначале одной и той же выборке
предъявляются как батарея TALENT, так и тест, подлежащий калибров-
ке. Далее с помощью корреляционного анализа из всей батареи TALENT
выделяется набор тестов, наиболее близкий к калибруемому тесту. Нако-
нец, эквипроцентильным методом составляется таблица, устанавливаю-
щая соответствие между показателями выделенного набора из батареи
TALENTn данным тестом.
Были также получены данные, необходимые для выделения из бата-
реи TALENT набора, соответствующего каждому из тестов таких бата-
рей, как дифференцированные тесты способностей, классификационные
тесты профессиональной пригодности Дж. Фланагана и тесты общей
профессиональной пригодности Службы занятости США.
Особый интерес представляет исследование эталонных тестов, про-
веденное Службой тестирования в образовании при содействии Амери-
канского управления образования (R.M. Jaeger, 1973). Столь обстоятель-
ное исследование было предпринято для разработки сопоставимых
и действительно репрезентативных общенациональных норм по 7 наибо-
лее употребительным тестам навыков чтения, предназначенным для уче-
ников средних классов. В соответствии с необычайно тщательно разра-
ботанным экспериментальным замыслом в 50 штатах было обследовано
свыше 300 000 учеников IV-VI классов. Эталонный тест состоял из субте-
стов понимания текста и словарного запаса, входящих в национальный
тест школьных достижений, и для них в ходе исследования были уста-
новлены новые нормы. При установлении эквивалентности норм каждо-
му ребенку предъявлялись субтесты понимания текста и словарного за-
В. X. Ангоффом (W.H. Angoff, 1964, 1966, 1971 а) блестяще проанализированы техни-
ческие трудности, возникающие в связи с попытками добиться сопоставимости показате-
88 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
паса двух из семи батарей, каждая из которых составляла пару с любой
другой батареей. К некоторым группам применялись параллельные
формы двух субтестов из одной и той же батареи. В еще одних группах
предъявление пар тестов дублировалось в обратной последовательности,
что позволяло контролировать влияние порядка предъявления тестов.
Статистический анализ полученных данных эквипроцентильным мето-
дом позволил составить таблицы эквивалентности показателей для семи
тестов, было также составлено руководство по интерпретации результа-
тов тестов для их использования в школах заинтересованными лицами
(P.O. Loret, A. Seder, J.C. Bianchini, С. A. Vale, 1974).
Специфические нормы. Еще одним решением-и для большин-
ства тестов, вероятно, более реалистичным-проблемы неэквивалентно-
сти существующих норм является стандартизация тестов для более уз-
кой популяции, выбираемой сообразно специфическим целям каждого
теста. В таких случаях границы нормативной популяции должны быть
четко определены и приведены вместе с нормами. Так, можно указать,
что данные нормы относятся к управленческому персоналу крупных
фирм или к первокурсникам технических колледжей. Для многих целей
тестирования желательно иметь достаточно специализированные нормы.
Даже когда имеются репрезентативные нормы для широкой популяции,
часто оказываются полезными так называемые подгрутовые нормы. По-
требность в них возникает, когда показатели теста заметно меняются от
одной подгруппы к другой. Сами подгруппы могут формироваться по
признаку возраста, года обучения, типа школьной программы, пола, гео-
графического региона, проживания в городе или в сельской местности,
социоэкономического уровня и т.д. Характер использования теста опре-
деляет наиболее существенный признак, а также и предпочтительность
общих или специфических норм.
Следует также упомянуть о локальных нормах, которые нередко раз-
рабатываются пользователями тестов для конкретных социальных еди-
ниц (social setting). Группы, к которым относятся такие нормы, еще более
специфичны, чем даже обсуждавшиеся выше подгруппы. Так, наниматель
может выработать нормы, лучше отвечающие специфике предлагаемой
им работы; администрация колледжей-нормы, рассчитанные на обуче-
ние в данном колледже; а школа может оценивать выполнение тестов
своими учениками в соответствии с собственным распределением показа-
телей. Локальные нормы такого типа в большей степени, чем нацио-
нальные, отвечают таким задачам тестирования, как предсказание дости-
жений в труде или учебе, сравнение относительного уровня знаний детей
по различным предметам, исследование динамики их развития.
Фиксированная референтная группа. Хотя большинство
производных показателей ориентировано на непосредственную норма-
тивную интерпретацию выполнения теста, существуют и примеча-
тельные исключения. Одно из них состоит в использовании фиксирован-
ной референтной группы для обеспечения сопоставимости и преемствен-
ности показателей без обращения к нормативным оценкам выполнения
теста. В этом случае для нормативной интерпретации данных необходи-
мо сопоставить их с нормами, полученными для сходной популяции. Не-
редко для этой цели используются локальные или иные специфические
нормы.
Одним из наиболее очевидных примеров шкал, выработанных на
/пгТТТЛГТЭМиЙ тчгттгг ппгггтмгм r,>nrn -
89 НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
способности к обучению (SAT) Совета колледжей (W.H.Angoff, 1962;
1971b). Между 1926 (когда SAT был применен впервые) и 1941 г. показа-
тели этого теста выражались в нормативной шкале, для которой среднее
значение и стандартное отклонение определялись по показателям абиту-
риентов, полученным при очередном применении теста. В связи с увели-
чением и качественным изменением числа колледжей, подчиненных Сове-
ту, изменилась и популяция абитуриентов, но было решено сохранить
преемственность шкалы SAT, ибо в противном случае индивидуальные
показатели зависели бы от особенностей контингента, проходящего об-
следование в том или ином году. Еще более серьезной причиной сохра-
нения преемственности шкалы было различное действие селективных
факторов на одних и тех же учащихся, в результате чего они выполняли
SAT лучше или хуже в зависимости от периода года. Поэтому после
1941 г. все показатели SA Г выражаются в шкале, построенной согласно
среднему значению и стандартному отклонению данных примерно 11000
абитуриентов, проходивших этот тест в 1941 г. Таким образом, эти аби-
туриенты составили фиксированную референтную группу, относительно
которой производится шкалирование всех последующих форм данного
теста. Например, результат 500 любой формы SAT соответствует средне-
му показателю для выборки 1941 г., показатель 600 приходится на 1ст
выше среднего значения и т.д.
Чтобы можно было переводить первичные показатели любой
формы SAT та показатели этой фиксированной референтной группы,
в каждую такую форму включается небольшой эталонный тест. С по-
мощью этого теста каждая новая форма соотносится с одной или двумя
более ранними формами, те, в свою очередь,-с другими, еще более ран-
ними, и т.д., по цепочке, с формой 1941 г. Такие ненормативные показа-
тели SAT затем можно интерпретировать, сопоставляя их с нужным рас-
пределением показателей конкретного колледжа, типа колледжей, регио-
на и т.д. Подобные специфические нормы более пригодны для принятия
решений о приеме, чем ежегодные нормы; основанные на данных всей
популяции абитуриентов. Более того, любые временные изменения попу-
ляции абитуриентов может обнаружить только шкала фиксированных
показателей.
В отличие от ранее обсуждавшихся шкал, основанных на примене-
нии национальных эталонных тестов, шкалы фиксированной референт-
ной группы не требуют формирования единой достаточно репрезента-
II тивной и адекватной вводимым нормам группы. Помимо практических
1 трудностей, связанных с подбором такой группы, и необходимости об-
1 новления норм оказывается, что многие задачи тестирования столь уни-
Н версальных норм и не требуют. Шкалы, основанные на данных фиксиро-
1 ванной референтной группы, в определенном отношении аналогичны
1 шкалам, применяемым в физическом измерении. В этой связи В. X. Ан-
1 гофф (W.H. Angoff, 1962, р. 32-33) пишет:
X-
<Вряд ли кто теперь точно знает первоначальное определение длины фута, которым
1 пользуются для измерения высоты и расстояния. Вряд ли кто назовет имя короля, чья
ступня была принята в качестве эталона. Вместе с тем мало таких, кто не смог бы оце-
нить длину или расстояние с помощью этой единицы измерения. Наше незнание букваль-
ного значения или происхождения фута ни в коей мере не делает его бесполезным, ведь,
сколько бы ни прошло времени, фут останется одним и тем же, и это позволяет нам ос-
воиться с ним. То же самое можно сказать и про другие единицы измерения-дюйм, ми-
90 ПРИНЦИПЫ rU:ИXOЛOrиЧF.CKOrO ТЕСТИРОВАНИЯ
должно следовать. Единственное следствие такого определения-установление постоян-
ства шкалы, что достигается в случае применения различных форм одного теста их стро-
гим взаимным уравниванием, а также получением дополнительных нормативных данных,
облегчающих интерпретацию и принятие конкретных решений, данных, подлежащих пере-
смотру, когда этого требуют обстоятельства>.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69