ИСПОЛЬЗОВАНИЕ ВЫЧИСЛИТЕЛЬНОЙ ТЕХНИКИ
ПРИ ИНТЕРПРЕТАЦИИ РЕЗУЛЬТАТОВ ТЕСТА
Компьютеры заметно изменили почти все этапы тестирования-от со-
здания теста до его применения, подсчета первичных показателей реги-
страции и интерпретации. Выигрыш, который дает использование
компьютеров, даже самых первых, связан с буквально небывалым увели-
чением скорости, с какой осуществляется анализ данных, подсчет показа-
телей. Однако гораздо важнее для психологического тестирования разра-
ботка новых процедур и изыскание новых методов, которые были бы
неосуществимы, не окажись такого гибкого и скоростного способа пере-
работки данных, как использование компьютеров.
Различные нововведения, явившиеся результатом применения элек-
тронных машин, рассматриваются в соответствующих разделах настоя-
щей книги. В этом разделе обсуждается применение вычислительной тех-
ники при интерпретации показателей тестов. На элементарном уровне
большинство современных тестов, особенно тех, что предназначены для
группового применения, теперь приспособлены к машинной обработке
тестовых показателей (F. В. Baker, 1971). Некоторые издатели тестов,
а также ряд организаций по обработке тестовых данных принимают за-
казы на машинную обработку результатов тестирования. Хотя при этом
обычно используются особые бланки ответов, в вычислительных центрах
имеется аппаратура оптического сканирования, позволяющая считывать
ответы непосредственно с тестовых тетрадей. Такие новшества, как диаг-
ностическая обработка данных и динамический анализ (фиксация дости-
жений учащихся на различных этапах обучения), еще только входят
в употребление.
Несколько более высокий уровень использования компьютеров свя-
зан с приспособлением тестов к машинной интерпретации их показате-
лей, которая теперь обеспечивается для ряда тестов. В подобных случаях
определенные серии ответов связываются машинной программой с теми
или иными словесными формулировками, хранящимися в памяти ма-
шины. Этот подход применяется как в личностных тестах, так и в тестах
способностей. Например, проводя обследование с помощью многоста-
дийного личностного опросника, разработанного в штате Миннесота,
ММР1 (см. гл. 17), применяющий тест наряду с числовыми данными мо-
жет получить распечатку диагностических и интерпретационных форму-
лировок о тенденциях личности испытуемого и его эмоциональном со-
стоянии. Таким же образом тест различных способностей (см. гл. 13)
снабжается сообщением о возможностях профессионального роста, со-
стоящим из профиля результатов по отдельным субтестам и словесного
заключения. Последнее основано не только на данных теста, но и на ин-
формации об интересах и намерениях учащихся, полученной из заполнен-
ной ими анкеты будущей профессии. Применяемые в заключении форму-
лировки похожи на то, что мог бы в индивидуальной беседе сказать
ИСПЫТуеМОМУ КОНСУЛЬТант. ОЧНЯК-пмивтпнйа с п?"зл7тт1--т-сп-а1лтт -гд-т-- <Т\ ~С
91
НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
Еще более сложна индивидуальная интерпретация тестовых резуль-
татов, осуществляемая при помощи так называемых систем взаимодей-
ствия, обеспечивающих диалог <человек-машина> (J.A. Harris, 1973;
W.H. Holtzman, 1970; M.R. Katz, 1974; D.E. Super, 1970). Эффективность
систем взаимодействия исследовалась применительно к выбору дальней-
шего образования и работы. В подобной ситуации результаты тестов
обычно присоединяются к базе машинных данных наряду с другой ин-
формацией, поступающей от учащегося или консультирующего индиви-
да. Важно то, что машина обрабатывает всю доступную информацию об
индивиде с учетом хранящихся в ее памяти данных об учебных програм-
мах и профессиях, использует все относящиеся к делу сведения, отвечая
на вопросы испытуемого и помогая ему прийти к какому-то решению.
В качестве примеров таких систем, находящихся на разных стадиях раз-
работки, назовем системы образования и профориентации, разрабо-
танные фирмами IBM и ETS. Предварительная проверка этих систем по-
казала, что они были хорошо приняты старшеклассниками и их
родителями (J.A. Harris, 1973).
Тестовые результаты также составляют неотъемлемую часть
данных, используемых при обучении с помощью машин. Для того
чтобы предъявить учебный материал, соответствующий уровню разви-
тия ученика, компьютер должен каждый раз воспроизводить результаты
и оценивать его ответы по предыдущему материалу. На основе тенден-
ции ответов, поступивших от него во время сеансов машинного обуче-
ния, ученик либо переводится на изучение более сложного материала, ли-
бо продолжает упражняться на прежнем уровне, либо проходит обучение
на более элементарном подготовительном материале. Предусмотренный
программой диагностический анализ ошибок позволяет выявить и скор-
ректировать свойственные данному ученику трудности в обучении.
Менее дорогостоящим и технически более доступным является ис-
пользование компьютеров как вспомогательного средства (R. К. НатЫе-
ton, 1974). В таких системах обучающийся не взаимодействует
с машиной непосредственно. Ее назначение-помочь учителю в разработ-
ке плана индивидуального обучения, предусматривающего использова-
ние специальных пакетов с учебными материалами или более тради-
ционных пособий. Компьютер главным образом производит обработку
поступающего ежедневно громадного массива данных, касающихся ра-
боты учеников в классе, где каждый может быть занят выполнением ин-
дивидуального задания, и для каждого из них предписывает следующий
шаг обучения. Примером такого типа обучения может служить разрабо-
танная в Питтсбургском университете система индивидуального обучения
(W.W. Cooley, R. Glaser, 1969; R. Glaser, 1968) и программа PLAN (по-
строение обучения в соответствии с потребностями), полученная в амери-
канских исследовательских институтах (J.C.FIanagan, 1971; J.C.FIana-
gan, W.M.Shanner, H.J.Brudner, R.W. Marker, 1975). Система PLAN
помимо обучения предметам, проходимым в V-XII классах, включает
в себя программы самопознания, индивидуального развития и проф-
ориентации.
92 ПРИНЦИПЫ ПСИХОЛОГИЧЕСКОГО ТЕСТИРОВАНИЯ
КРИТЕРИАЛЬНО-ОРИЕНТИРОВАННОЕ ТЕСТИРОВАНИЕ
Природа и назначение. Метод тестирования, вызвавший волну ак-
тивности. особенно в педагогике, обычно именуется критериально-ориен-
тированным тестированием. Этот термин, впервые предложенный
Р. Гласером (R. Glaser, 1963), все еще употребляется не вполне однознач-
но, и различные авторы определяют его по-разному. Более того, неко-
торые альтернативные термины, указывающие на отнесение результатов
теста к его содержанию, области определения, цели, иногда употребля-
ются как синонимы термина <критериально-ориентированный> с не-
сколько различными оттенками значения. Однако термин <критериаль-
но-ориентированный>, по-видимому, занял господствующее положение,
хотя он и не самый удачный.
Как правило, в критериально-ориентированном тестировании в_каче-_
стве интерпретационной системы отсчета.. используется конкретная
область содержания, а не та или иная популяция людей. В этом отноше-
нии оно отличается от обычного ориентированного на нормы тестирова-
ния, в котором индивидуальный показатель сопоставляется с показателя-
ми других индивидов, выполнявших тот же самый тест. В критериально-
ориентированном тестировании, например, выполнение теста испы-
туемым описывается в терминах освоенных арифметических операций,
объема словаря, уровня трудности доступного пониманию текста (от ко-
миксов до литературной классики), вероятности достижения определен-
ного уровня выполнения будущей деятельности на работе или в учебном
заведении.
Кригсрицльно-орнснтироьаиное тестирование пока что применяется
главным образом лишь в последних педагогических новшествах-в си-
стемах прямого и косвенного машинного обучения и в других индиви-
дуализированных саморегулирующихся системах. Во всех таких системах
тестирование полностью интегрировано с обучением и проводится до, во
время и после выполнения каждого учебного задания для проверки нали-
чия необходимых умений, выявления иозможных затруднений и выбора
.последующих педагогических действий. Упомянутая ранее программа
PLAN и система индивидуального обучения Питтсбургского университе-
та построены именно таким образом.
Еще одним аспектом применения критериально-ориентированных
тестов является их использование службами по образованию, типа На-
ционального совета по достижениям в образовании (F.B. Womer, 1970),
а также при подготовке материалов учебной отчетности (N.E. Gronlund,
1974). Иллюстрацией критериально-ориентированного тестирования мо-
гут служить квалификационные испытания водителей и пилотов для вы-
дачи им прав на вождение автомобиля или самолета. Наконец, отметим,
что знание принципов критериально-ориентированного тестирования по-
зволяет усовершенствовать обычные тесты, составляемые самими учите-
лями для использования в классе. Н. Гронлунд (N.E. Gronlund, 1973) раз-
работал полезное руководство по составлению и проведению таких
тестов с простым и хорошо построенным введением в критериально-
ориентированное тестирование. Краткое, но блистательное обсуждение
основных недостатков такого тестирования приводится в работе
P..Я. И бела sR.L.Ebel, 1972в).
Содержание. Отличительной чертой критериально-опиентиппнян-
1ГОГО TfilTHnrinJirrin {,,.... !---
93 НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
нием ни выступало) является интерпретация выполнения теста с точки
зрения его содержательного смысла. Упор делается на то, что индивид
может делать и что он знает, а не на то, какой выглядит на фоне дру-
гих. Главное требование, которое необходимо соблюдать при составле-
нии теста такого типа, состоит в четком определении области знаний
и умений, к которой он относится. Чтобы показатели такого теста имели
коммуникативное значение, необходимо выбрать содержательную
область, признаваемую всеми как важную. Выбранная область подразде-
ляется на небольшие единицы, описываемые в терминах деятельности.
В контексте школьного обучения таким единицам соответствуют зада-
ния типа <умножить трехзначное число на двузначное> или <указать сло-
во, в котором ошибочно написана буква е в суффиксе -ян>. В програм-
мах индивидуального обучения число таких заданий достигает несколь-
ких сот по одному только предмету. Сформулировав цели каждого этапа
обучения, нужно составить задания, обеспечивающие выборочную про-
верку достижения каждой из таких целей. По общему признанию, проце-
дура эта достаточно трудна и поглощает много времени. Но без тща-
тельной конкретизации и проверки содержания заданий результаты
тестирования легко могут превратиться в плохо различимую и неинтер-
претируемую мешанину.
Критериально-ориентированное тестирование, если его проводить
по всем правилам, лучше всего приспособлено для определения на эле-
ментарном уровне развития основных навыков (например, в чтении
и арифметике). В этих областях знаний цели обучения могут быть упоря-
дочены в иерархическую последовательность так, чтобы усвоение более
элементарных навыков служило предпосылкой для формирования навы-
ков более высокого уровня. Однако применительно к более высоким
уровням знаний в сравнительно мало структурированных областях труд-
но и, по-видимому, нежелательно формулировать цели с предельной кон-
кретностью. В этих случаях как само содержание, так и последователь-
ность его усвоения, вероятно, должны быть более гибкими.
Вместе с тем своим акцентом на содержательном смысле интерпре-
тации тестовых показателей критериально-ориентированное тестирова-
ние может оказать благотворное влияние на тестирование в целом. От
такого подхода выигрывает, например, интерпретация показателей те-
стов интеллекта. Если выполнение ребенком заданий таких тестов
описывать в терминах специфических интеллектуальных навыков и зна-
ний, то это устранило бы многие нападки на IQ, вызванные недоразуме-
ниями и неправильными представлениями. В общем виде критериально-
ориентированный подход равносилен интерпретации тестовых результа-
тов соответственно доказанной валидности конкретного теста, а не
посредством неких туманных сущностей, лежащих в его основе. Разуме-
ется, такая интерпретация может сочетаться с отнесением результатов
к нормам.
Тестирование овладения навыком. Второй важной особен-
ностью почти любого критериально-ориентированного теста является ме-
тодика тестирования овладения навыком. Существенно, что оценка вы-
полнения заданий в этом случае производится по принципу <все или
В идеале такие тесты следуют симплексной модели шкалы Гуттмана (W.J. Ро-
pham, T.R. Husek, 1969), так же как и уже обсуждавшиеся в этой главе порядковые шкалы
-r--- - -
Вследстви епени трудно.
,
95
НОРМЫ И ИНТЕРПРЕТАЦИЯ РЕЗУЛЬТАТОВ ТЕСТА
Следует отметить, что критериально-ориентированное тестирование
вовсе не так ново и не столь уж сильно отличается от тестирования,
ориентированного на нормы, как полагают некоторые из его сторонни-
ков. Абсолютная оценка индивидуального выполнения теста в баллах
или процентах, несомненно, намного старше нормативной интерпрета-
ции. Еще до введения термина <критериально-ориентированное тестиро-
вание> делались попытки более точно описать выполнение теста с точки
зрения его содержания (R.L. Ebel, 1962; J.C. Flanagan, 1962; A. Anastasi,
1968, p. 69-70). Другим примером могут служить первые шкалы продук-
тивности, оценивавшие качество почерка, сочинений или рисунков сопо-
ставлением индивидуальной работы с серией стандартных эталонов. Бо-
лее того, Р. Л. Ибел (R.L. Ebel, 1972Ь) заметил, что в педагогике понятие
<овладение навыком>, означающее усвоение определенных единиц зна-
ния по принципу <все или ничего>, было достаточно популярным
в 20-30-х гг.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69