Качество удивило, рекомендую
Например, шкала порядка для оценки умственной отсталости может содержать следующие классы: «нет отклонения от нормы/отклонение слабое/отклонение среднее/отклонение сильное».
При биполярном упорядочивании исходят, как правило, из полярных проявлений какого-то свойства, которые фиксируются в виде двух «точек отсчета» на шкале. Примером биполярной шкалы в психологическом исследовании является методика семантического дифференциала. В этом случае для построения шкалы первоначально производят отбор некоторого множества понятий, которые могут характеризовать, по мнению исследователя, изучаемые психические свойства испытуемого. Затем каждому понятию находят антоним (например: «общительный — замкнутый», «сильный — слабый», «уравновешенный — неуравновешенный»). Очевидно, что между каждыми двумя такими понятиями располагается несколько промежуточных оценочных категорий. Словесное определение промежуточных категорий очень часто вызывает у исследователей значительные трудности, поскольку в языке, как правило, мы легче находим понятия для обозначения экстремальных степеней выраженности какого-то свойства и труднее —для промежуточных.
Примерами использования в психологии порядковых шкал могут служить первичные результаты тестовых испытаний группы лиц, первичные результаты при использовании некоторых личностных опросников, работы со шкалами самооценки и т. п. Можно сказать, что результаты большинства психологических исследований представляют собой ординальные величины, т. е. выражающиеся порядковыми числами. Об этом необходимо помнить, поскольку характер первичных результатов накладывает ряд ограничений на возможность использования тех или других статистических приемов их обработки и анализа. Поскольку в порядковых шкалах не определена единая точка отсчета величин, то и для их элементов, как и для элементов шкал наименований, непригодны способы расчета, требующие арифметических действий, — в частности сложение и вычитание. В качестве меры положения классов объектов для преобразования шкал порядка кроме моды (Мо) могут быть использованы еще и медиана (Me), полуквартильные отклонения (Qt и Q3), а в качестве меры тесноты взаимосвязи классов — коэффициент ранговой корреляции Ч. Спирмена (р).
I. Приемы измерений и статистические способы обработки...___________13
Шкалы интервалов. Когда шкала обладает всеми свойствами порядковой шкалы и дополнительно к этому определены еще расстояния между ее единицами, то такую шкалу называют шкалой интервалов. Иначе говоря, классы объектов шкал интервалов всегда дискретны и упорядочены по степени возрастания (или убывания) измеряемого свойства. Кроме того, в этих шкалах одинаковым разностям степени выраженности измеряемого свойства соответствуют равные разности между приписываемыми им числами. Шкалы интервалов имеют равные единицы измерения, однако способ их определения является произвольным, следовательно, и сами единицы произвольны. При этом неизвестна абсолютная величина отдельных значений по шкале, поскольку шкала интервалов не имеет естественной нулевой точки отсчета. Последняя может быть произвольно смещена.
Шкалам интервалов присущи все те отношения, которые характерны для номинативных и порядковых шкал. Кроме того, для них возможно использование арифметических действий. Основными операциями с элементами интервальных шкал являются операции установления равенства, разности, сопоставление больше—меньше в отношении измеряемых свойств, а также утверждение равенства интервалов и равенства разностей между значениями одной шкалы. Наряду со всеми ранее указанными свойствами номинативных и порядковых шкал/шкалы интервалов подчиняются еще и следующим постулатам сложения:
а+Ь=Ь+а и (a+b)+c=a+(b+c), если а—р и Ь>0, то а+Ь>р, если а=р и b=q, то a+b^p+q.
С интервальными шкалами допускаются, следовательно, любые линейные преобразования типа х' = ах+b для а>0, при которых сохраняется не только последовательность градаций измеряемого свойства объектов, но и величина относительных расстояний между классами объектов. Возможность смещения точки отсчета отражена в константе Ь, а величина единиц шкалы связана с константой а.
Хотя психологические измерения дают нам преимущественно ординальные величины, их обработка часто осуществляется с помощью приемов, допустимых на уровне интервальных шкал. То есть большинство исследователей исходят из равенства интервалов между полученными при измерении величинами. Такой подход основывается чаще всего на следующих предпосылках: во-первых, что измеряемая переменная (то или иное свойство объектов) в генеральной совокупности имеет нормальное распределение1, и, во-вторых, что различные показатели одной и той же переменной обнаруживают линейную корреляцию. Действительно, на основании этого можно допустить, что интервалы в шкале равны, так как чем более линейна зависимость, тем более равными должны быть интервалы в шкале.
1 О формах распределения эмпирических величин см. в следующем параграфе («Обработка результатов...»).
14
I. Приемы измерений и статистические способы обработки...
Итак, при конструировании шкалы интервалов используют три произвольные операции: установление величин единиц измерения, определение нулевой точки и определение направления, в котором ведут отсчет по отношению к нулевой точке.
Благодаря равенству единиц на уровне шкал интервалов возможна характеристика формы распределения эмпирических величин с помощью стандартных статистических показателей: средней арифметической величины (М), среднего квадратичного отклонения (о), показателей симметрии (А) и эксцесса (Ех). Использование линейных преобразований приводит к изменению лишь средней арифметической и/или среднего квадратичного отклонения, не меняя показателей симметрии и эксцесса. Изменение средней арифметической производится прибавлением к каждому первичному результату некоторой постоянной величины: Х{+а...Хп+а. Изменение среднего квадратичного отклонения можно получить, умножая каждое отклонение от средней на постоянную величину: (Х(— М) • а, где X. — первичный результат, М — средняя арифметическая величина, а — константа.
Наиболее частыми линейными преобразованиями, которые находят применение как в области психометрии, так и в области психофизики, являются центрирование и нормирование результатов измерения. Под центрированием понимается такое линейное преобразование, при котором средняя арифметическая величина становится равной нулю, в то время как направление шкалы и величина ее единиц остаются неизменными. Под нормированием понимают такое линейное преобразование результатов измерения, при котором их средняя арифметическая величина становится равной нулю, а среднее квадратичное отклонение равным ±1. Из сказанного очевидно, что для обработки и анализа эмпирических данных, полученных на уровне шкал интервалов, допустимы любые приемы статистической обработки, а именно расчет основных характеристик распределения, а также меры взаимосвязи количественных переменных (коэффициентов корреляции). В случае наличия нормальных распределений первичных результатов для их сравнения можно применять также все известные критерии оценки значимости различий как между значениями их средних величин', так и дисперсии, т. е. размаха распределения.
Примером интервальных шкал, используемых в психологии, являются стандартизованные тестовые шкалы психодиагностики: шкалы Векслера, шкалы Тёрстена, шкалы С и шкала Т. Гилфорда.
Шкалы отношений. Конструирование шкал отношений предполагает наряду с наличием свойств предыдущих шкал существование постоянной естественной нулевой точки отсчета, в которой измеряемый признак полностью отсутствует. Следовательно, шкалы отношений характеризуются тем, что в них, во-первых, классы объектов разделены и упорядочены согласно измеряемому свойству, во-вторых, равным разностям между классами объектов соответствуют равные разности между приписываемыми им чис-
1 Способ расчета значимости различий между средними арифметическими величинами (f-критерии Стьюдента) см. в Приложении I на с 274.
I. Приемы измерений и статистические способы обработки...___________15;
лами, в-третьих, числа, приравниваемые классам объектов, пропорциональны степени выраженности измеряемого свойства. Последнее не было свойственно рассмотренным выше шкалам.
Основными операциями, допустимыми на уровне шкал отношений, являются все те операции, которым подчиняются шкалы всех перечисленных выше типов, и дополнительно — операции установления равенства отношений между отдельными значениями шкалы. Это возможно благодаря существованию на шкале естественного, абсолютного, нуля. Поэтому лишь для данной шкалы числа, являющиеся точками (значениями) на шкале, соответствуют реальному количеству измеряемого свойства, что позволяет производить с ними любые арифметические действия — оперирование суммами, произведениями и частными. Для шкал отношений допустимы любые мультипликативные преобразования типа х' -ах, для любых а>0. Однако недопустимы (об этом часто забывают!) никакие операции прибавления или вычитания константных величин, что приводит, как было показано на примере шкал интервалов, к сдвигу точки отсчета. Дополнительно к указанным для описанных выше шкал измерения приемам статистической обработки данных для величин шкалы отношений можно рассчитывать, например, геометрические и гармонические средние, а также коэффициенты изменчивости измеряемого признака.
Считалось, что шкалы отношений не встречаются в психологических измерениях. Однако Стивене, исходя из постулата о допустимости непосредственного измерения психических процессов, показал возможность построения шкал отношений в психофизике. Для этой цели он разработал ряд измерительных процедур, предусматривающих прямое шкалирование. Среди них наиболее известными стали методики фракционирования и мультипликации предъявляемых стимулов. К этой же группе методик можно отнести и методики оценки величин стимулов и непосредственной оценки их отношений. Общим для всех перечисленных методик прямого шкалирования является то, что в качестве измерительного инструмента выступает сам испытуемый, который оценивает количественные отношения между раздражителями.
ОБРАБОТКА РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ
Итак, результаты экспериментальных исследований могут быть описаны с помощью определенных статистических показателей. Какие именно показатели могут быть применены в каждом отдельном случае, зависит от типа использованных измерительных шкал. Прежде чем будут описаны конкретные способы вычислений некоторых статистических показателей, необходимо определить значение ряда используемых при этом понятий.
В первую очередь надо пояснить понятие распределения результатов. Можно себе представить, что большому числу испытуемых было предложено решить некоторое число, например 20, задач. Результаты оценивались в
16
I. Приемы измерений и статистические способы обработки...
М
категориях «решил/не решил» задачи. Если задачи окажутся трудными для испытуемых, то лишь немногие из них правильно решат все 20 задач, притом что некоторые не решат ни одной задачи. Кроме того, можно ожидать, что большинство испытуемых какое-то количество задач решат правильно и какое-то количество — ошибочно. Первый шаг обработки первичных результатов состоит в подсчете того, сколько испытуемых правильно решили 1 задачу, сколько испытуемых — 2 задачи и т. д. И наконец, сколько лиц правильно решили все 20 задач. Величина, характеризующая количество людей, правильно решивших то или иное число задач, называется частотой (f).
Совокупность полученных частот образует распределение первичных результатов, в нашем случае — распределение числа лиц правильно решивших то или иное количество задач.
При графическом представлении результатов (рис. 1.1.1) и при достаточно большом количестве измерений, т. е. большой выборке (см. ниже), кривая распределения чаще всего имеет характерный колоколо-образный вид. Такое распределение первичных результатов получило название нормального, или Гауссова, распределения. Нормальное распределение от других возможных распределений отличается рядом простых свойств. Прежде всего оно однозначно определяется всего лишь двумя параметрами, а именно: средней арифметической величиной (М) и среднеквадратичным отклонением (а) или дисперсией (D). Мода (Мо) и медиана (Me) этого распределения совпадают со значением средней арифметической величины. Кроме того, форма нормального распределения симметрична относительно центра, т. е. местоположения М, Мо и Me.
MQ
в
Рис. 1.1.1. Виды распределения первичных
результатов: .
а — нормальное распределение, б — бимодальное распределение, в — асимметричное распределение.
М — средняя арифметическая величина; AJo, и Мог — моды двух максимальных классов частот; Me — медиана; прерывистыми линиями показано,
что бимодальное распределение может быть
получено путем сдвига двух нормальных распреде-
лений друг относительно друга.
I. Приемы измерений и статистические способы обработки...
17
Иногда нормальное распределение подвергают операции нормирования, полагая среднеарифметическую величину равной нулю, а среднеквадратичное отклонение равным ±1. Наряду с нормальным распределением результатов эксперимента часто встречаются асимметричные распределения и бимодальные (см. также рис. 1.1.1).
Другое понятие, требующее пояснения, — это понятие выборки. Под выборкой понимается все множество значений изучаемой переменной величины, зарегистрированное в эксперименте. Объем выборки измерений принято обозначать символом N. Поясним сказанное примером. Допустим, что измерение скорости простой сенсомоторной реакции было осуществлено у 10 человек и реакцию каждого из них учитывали только по одному разу.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89
При биполярном упорядочивании исходят, как правило, из полярных проявлений какого-то свойства, которые фиксируются в виде двух «точек отсчета» на шкале. Примером биполярной шкалы в психологическом исследовании является методика семантического дифференциала. В этом случае для построения шкалы первоначально производят отбор некоторого множества понятий, которые могут характеризовать, по мнению исследователя, изучаемые психические свойства испытуемого. Затем каждому понятию находят антоним (например: «общительный — замкнутый», «сильный — слабый», «уравновешенный — неуравновешенный»). Очевидно, что между каждыми двумя такими понятиями располагается несколько промежуточных оценочных категорий. Словесное определение промежуточных категорий очень часто вызывает у исследователей значительные трудности, поскольку в языке, как правило, мы легче находим понятия для обозначения экстремальных степеней выраженности какого-то свойства и труднее —для промежуточных.
Примерами использования в психологии порядковых шкал могут служить первичные результаты тестовых испытаний группы лиц, первичные результаты при использовании некоторых личностных опросников, работы со шкалами самооценки и т. п. Можно сказать, что результаты большинства психологических исследований представляют собой ординальные величины, т. е. выражающиеся порядковыми числами. Об этом необходимо помнить, поскольку характер первичных результатов накладывает ряд ограничений на возможность использования тех или других статистических приемов их обработки и анализа. Поскольку в порядковых шкалах не определена единая точка отсчета величин, то и для их элементов, как и для элементов шкал наименований, непригодны способы расчета, требующие арифметических действий, — в частности сложение и вычитание. В качестве меры положения классов объектов для преобразования шкал порядка кроме моды (Мо) могут быть использованы еще и медиана (Me), полуквартильные отклонения (Qt и Q3), а в качестве меры тесноты взаимосвязи классов — коэффициент ранговой корреляции Ч. Спирмена (р).
I. Приемы измерений и статистические способы обработки...___________13
Шкалы интервалов. Когда шкала обладает всеми свойствами порядковой шкалы и дополнительно к этому определены еще расстояния между ее единицами, то такую шкалу называют шкалой интервалов. Иначе говоря, классы объектов шкал интервалов всегда дискретны и упорядочены по степени возрастания (или убывания) измеряемого свойства. Кроме того, в этих шкалах одинаковым разностям степени выраженности измеряемого свойства соответствуют равные разности между приписываемыми им числами. Шкалы интервалов имеют равные единицы измерения, однако способ их определения является произвольным, следовательно, и сами единицы произвольны. При этом неизвестна абсолютная величина отдельных значений по шкале, поскольку шкала интервалов не имеет естественной нулевой точки отсчета. Последняя может быть произвольно смещена.
Шкалам интервалов присущи все те отношения, которые характерны для номинативных и порядковых шкал. Кроме того, для них возможно использование арифметических действий. Основными операциями с элементами интервальных шкал являются операции установления равенства, разности, сопоставление больше—меньше в отношении измеряемых свойств, а также утверждение равенства интервалов и равенства разностей между значениями одной шкалы. Наряду со всеми ранее указанными свойствами номинативных и порядковых шкал/шкалы интервалов подчиняются еще и следующим постулатам сложения:
а+Ь=Ь+а и (a+b)+c=a+(b+c), если а—р и Ь>0, то а+Ь>р, если а=р и b=q, то a+b^p+q.
С интервальными шкалами допускаются, следовательно, любые линейные преобразования типа х' = ах+b для а>0, при которых сохраняется не только последовательность градаций измеряемого свойства объектов, но и величина относительных расстояний между классами объектов. Возможность смещения точки отсчета отражена в константе Ь, а величина единиц шкалы связана с константой а.
Хотя психологические измерения дают нам преимущественно ординальные величины, их обработка часто осуществляется с помощью приемов, допустимых на уровне интервальных шкал. То есть большинство исследователей исходят из равенства интервалов между полученными при измерении величинами. Такой подход основывается чаще всего на следующих предпосылках: во-первых, что измеряемая переменная (то или иное свойство объектов) в генеральной совокупности имеет нормальное распределение1, и, во-вторых, что различные показатели одной и той же переменной обнаруживают линейную корреляцию. Действительно, на основании этого можно допустить, что интервалы в шкале равны, так как чем более линейна зависимость, тем более равными должны быть интервалы в шкале.
1 О формах распределения эмпирических величин см. в следующем параграфе («Обработка результатов...»).
14
I. Приемы измерений и статистические способы обработки...
Итак, при конструировании шкалы интервалов используют три произвольные операции: установление величин единиц измерения, определение нулевой точки и определение направления, в котором ведут отсчет по отношению к нулевой точке.
Благодаря равенству единиц на уровне шкал интервалов возможна характеристика формы распределения эмпирических величин с помощью стандартных статистических показателей: средней арифметической величины (М), среднего квадратичного отклонения (о), показателей симметрии (А) и эксцесса (Ех). Использование линейных преобразований приводит к изменению лишь средней арифметической и/или среднего квадратичного отклонения, не меняя показателей симметрии и эксцесса. Изменение средней арифметической производится прибавлением к каждому первичному результату некоторой постоянной величины: Х{+а...Хп+а. Изменение среднего квадратичного отклонения можно получить, умножая каждое отклонение от средней на постоянную величину: (Х(— М) • а, где X. — первичный результат, М — средняя арифметическая величина, а — константа.
Наиболее частыми линейными преобразованиями, которые находят применение как в области психометрии, так и в области психофизики, являются центрирование и нормирование результатов измерения. Под центрированием понимается такое линейное преобразование, при котором средняя арифметическая величина становится равной нулю, в то время как направление шкалы и величина ее единиц остаются неизменными. Под нормированием понимают такое линейное преобразование результатов измерения, при котором их средняя арифметическая величина становится равной нулю, а среднее квадратичное отклонение равным ±1. Из сказанного очевидно, что для обработки и анализа эмпирических данных, полученных на уровне шкал интервалов, допустимы любые приемы статистической обработки, а именно расчет основных характеристик распределения, а также меры взаимосвязи количественных переменных (коэффициентов корреляции). В случае наличия нормальных распределений первичных результатов для их сравнения можно применять также все известные критерии оценки значимости различий как между значениями их средних величин', так и дисперсии, т. е. размаха распределения.
Примером интервальных шкал, используемых в психологии, являются стандартизованные тестовые шкалы психодиагностики: шкалы Векслера, шкалы Тёрстена, шкалы С и шкала Т. Гилфорда.
Шкалы отношений. Конструирование шкал отношений предполагает наряду с наличием свойств предыдущих шкал существование постоянной естественной нулевой точки отсчета, в которой измеряемый признак полностью отсутствует. Следовательно, шкалы отношений характеризуются тем, что в них, во-первых, классы объектов разделены и упорядочены согласно измеряемому свойству, во-вторых, равным разностям между классами объектов соответствуют равные разности между приписываемыми им чис-
1 Способ расчета значимости различий между средними арифметическими величинами (f-критерии Стьюдента) см. в Приложении I на с 274.
I. Приемы измерений и статистические способы обработки...___________15;
лами, в-третьих, числа, приравниваемые классам объектов, пропорциональны степени выраженности измеряемого свойства. Последнее не было свойственно рассмотренным выше шкалам.
Основными операциями, допустимыми на уровне шкал отношений, являются все те операции, которым подчиняются шкалы всех перечисленных выше типов, и дополнительно — операции установления равенства отношений между отдельными значениями шкалы. Это возможно благодаря существованию на шкале естественного, абсолютного, нуля. Поэтому лишь для данной шкалы числа, являющиеся точками (значениями) на шкале, соответствуют реальному количеству измеряемого свойства, что позволяет производить с ними любые арифметические действия — оперирование суммами, произведениями и частными. Для шкал отношений допустимы любые мультипликативные преобразования типа х' -ах, для любых а>0. Однако недопустимы (об этом часто забывают!) никакие операции прибавления или вычитания константных величин, что приводит, как было показано на примере шкал интервалов, к сдвигу точки отсчета. Дополнительно к указанным для описанных выше шкал измерения приемам статистической обработки данных для величин шкалы отношений можно рассчитывать, например, геометрические и гармонические средние, а также коэффициенты изменчивости измеряемого признака.
Считалось, что шкалы отношений не встречаются в психологических измерениях. Однако Стивене, исходя из постулата о допустимости непосредственного измерения психических процессов, показал возможность построения шкал отношений в психофизике. Для этой цели он разработал ряд измерительных процедур, предусматривающих прямое шкалирование. Среди них наиболее известными стали методики фракционирования и мультипликации предъявляемых стимулов. К этой же группе методик можно отнести и методики оценки величин стимулов и непосредственной оценки их отношений. Общим для всех перечисленных методик прямого шкалирования является то, что в качестве измерительного инструмента выступает сам испытуемый, который оценивает количественные отношения между раздражителями.
ОБРАБОТКА РЕЗУЛЬТАТОВ ЭКСПЕРИМЕНТАЛЬНОГО ИССЛЕДОВАНИЯ
Итак, результаты экспериментальных исследований могут быть описаны с помощью определенных статистических показателей. Какие именно показатели могут быть применены в каждом отдельном случае, зависит от типа использованных измерительных шкал. Прежде чем будут описаны конкретные способы вычислений некоторых статистических показателей, необходимо определить значение ряда используемых при этом понятий.
В первую очередь надо пояснить понятие распределения результатов. Можно себе представить, что большому числу испытуемых было предложено решить некоторое число, например 20, задач. Результаты оценивались в
16
I. Приемы измерений и статистические способы обработки...
М
категориях «решил/не решил» задачи. Если задачи окажутся трудными для испытуемых, то лишь немногие из них правильно решат все 20 задач, притом что некоторые не решат ни одной задачи. Кроме того, можно ожидать, что большинство испытуемых какое-то количество задач решат правильно и какое-то количество — ошибочно. Первый шаг обработки первичных результатов состоит в подсчете того, сколько испытуемых правильно решили 1 задачу, сколько испытуемых — 2 задачи и т. д. И наконец, сколько лиц правильно решили все 20 задач. Величина, характеризующая количество людей, правильно решивших то или иное число задач, называется частотой (f).
Совокупность полученных частот образует распределение первичных результатов, в нашем случае — распределение числа лиц правильно решивших то или иное количество задач.
При графическом представлении результатов (рис. 1.1.1) и при достаточно большом количестве измерений, т. е. большой выборке (см. ниже), кривая распределения чаще всего имеет характерный колоколо-образный вид. Такое распределение первичных результатов получило название нормального, или Гауссова, распределения. Нормальное распределение от других возможных распределений отличается рядом простых свойств. Прежде всего оно однозначно определяется всего лишь двумя параметрами, а именно: средней арифметической величиной (М) и среднеквадратичным отклонением (а) или дисперсией (D). Мода (Мо) и медиана (Me) этого распределения совпадают со значением средней арифметической величины. Кроме того, форма нормального распределения симметрична относительно центра, т. е. местоположения М, Мо и Me.
MQ
в
Рис. 1.1.1. Виды распределения первичных
результатов: .
а — нормальное распределение, б — бимодальное распределение, в — асимметричное распределение.
М — средняя арифметическая величина; AJo, и Мог — моды двух максимальных классов частот; Me — медиана; прерывистыми линиями показано,
что бимодальное распределение может быть
получено путем сдвига двух нормальных распреде-
лений друг относительно друга.
I. Приемы измерений и статистические способы обработки...
17
Иногда нормальное распределение подвергают операции нормирования, полагая среднеарифметическую величину равной нулю, а среднеквадратичное отклонение равным ±1. Наряду с нормальным распределением результатов эксперимента часто встречаются асимметричные распределения и бимодальные (см. также рис. 1.1.1).
Другое понятие, требующее пояснения, — это понятие выборки. Под выборкой понимается все множество значений изучаемой переменной величины, зарегистрированное в эксперименте. Объем выборки измерений принято обозначать символом N. Поясним сказанное примером. Допустим, что измерение скорости простой сенсомоторной реакции было осуществлено у 10 человек и реакцию каждого из них учитывали только по одному разу.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89