Наиболее сложный вопрос надежности измерения - его обоснован-
ность. Обоснованность связана с доказательством того, что измерено
вполне определенное заданное свойство объекта, а не некоторое другое,
более или менее на него похожее.
При установлении надежности следует иметь в виду, что в процессе
измерения участвуют три составляющие: объект измерения, измеряю-
щие средства, с помощью которых производится отображение свойств
объекта на числовую систему, и субъект (интервьюер), производящий
измерение. Предпосылки надежного измерения кроются в каждой от-
дельной составляющей.
Прежде всего, когда в качестве объекта измерения выступает чело-
век, то он в отношении измеряемого свойства может обладать значи-
тельной степенью неопределенности. Так, зачастую у респондента нет
четкой иерархии жизненных ценностей, а следовательно, нельзя полу-
чить и абсолютно точные данные, характеризующие важность для него
тех или иных явлений. Он может быть плохо мотивирован, вследствие
чего невнимательно отвечает на вопросы. Однако только в последнюю
очередь следует искать причину ненадежности оценок в самом респон-
денте.
204 Глава 4
С другой стороны, может быть, что способ получения оценки не!
состоянии дать максимально точных значений измеряемого свойство Нг
пример, у респондента существует развернутая иерархия ценностей,
для получения информации используется шкала с вариациями ответе
только <очень важно> и <совсем неважно>. Как правило, из приведение
го набора все ценности помечаются ответами <очень важно>, хотя рею
но у респондента имеется большее число уровней значимости
Наконец, при наличии высокой точности первых двух состав.T
щих измерения субъект, производящий измерение, допускает груба
ошибки; нечетко составлены инструкции к анкете; интервьюер кажли
раз по-разному формулирует один и тот же вопрос, используя разж
ную терминологию.
Например, в процессе интервью, в ходе которого должна быт:
выявлена система ценностей опрашиваемого, интервьюер не смог док
сти до респондента суть опроса, не смог добиться доброжелательног
отношения к исследованию и пр.
Каждая составляющая процесса измерения может быть источнике!
ошибки, связанной либо с устойчивостью, либо с правильностью. ли
с обоснованностью. Однако, как правило, исследователь не в состояни
разделить эти ошибки по источникам их происхождения и поэтому из;
чает ошибки устойчивости, правильности и обоснованности всего изж
рительного комплекса в совокупности. При этом правильность (как сг
сутствие систематических ошибок) и устойчивость информации - эл;
ментарные предпосылки надежности. Наличие существенной ошибки!
этом отношении уже сводит на нет проверку данных измерения на обе
снованность.
В отличие от правильности и устойчивости, которые могут бьп
измерены достаточно строго и выражены в форме числового показатеж
критерии обоснованности определяются либо на основе логических ра;
суждений, либо на основе косвенных показателей. Обычно применяете
сравнение данных одной методики с данными других методик или ж
следований.
Прежде, чем приступать к изучению таких компонентов надежно;
ти, как устойчивость и обоснованность, необходимо убедиться в пр>
вильности выбранного инструмента измерения.
Измерение может быть вполне точным и вместе с тем неправд>
ным, постоянно воспроизводя какую-то систематическую ошибку, и
это случается с испорченным термометром, в котором ртутный столбя
изначально был фиксирован на неверной исходной отметке и постоям
завышает температуру, скажем на 0,8 градусов.
При измерении социальных, маркетинговых атрибутов пробле>
правильности, т.е. отсутствия отклонений от истинного значения изж
ряемого свойства, намного сложнее, ибо часто мы в принципе не его
собны установить, каковы же эти истинные значения измеряемых свойя
(скажем, мнений людей по каким-то вопросам). Мы можем лишь, сои>
ставляя разные способы фиксирования данного свойства, добиватм
устранения замеченных систематических ошибок.
Возможно, что последующие этапы окажутся излишними, если;
самом начале выяснится полная неспособность данного инструмея
измерения на требуемом уровне дифференцировать изучаемую совоку?
Процесс маркетинговых исследований 205
ность, иначе говоря, если окажется, что систематически не использует-
ся какая-то часть шкалы либо та или иная градация шкалы или вопроса.
И, наконец, возможно, что исходный признак не обладает дифферен-
цирующей способностью в отношении объекта измерения.
Прежде всего нужно ликвидировать или уменьшить такого рода
недостатки шкалы и только затем использовать ее в исследовании.
К числу недостатков используемой шкалы прежде всего следует отне-
сти отсутствие разброса ответов по значениям шкалы. Попадание ответов в
один пункт свидетельствует о полной непригодности измерительного ин-
струмента - шкалы. Такая ситуация может возникнуть или из-за <норма-
тивного> давления в сторону общепринятого мнения, или из-за того, что
градации (значения) шкалы не имеют отношения к распределению данно-
го свойства у рассматриваемых объектов (нерелевантны).
Например, при опросе все ответы концентрируются в позитивном или
только в негативном конце шкалы. Конечно, это может быть и результатом
единодушия оценок, но может быть и результатом того, что сама шкала
неудачна, например, содержит какой-то пункт, сформулированный с силь-
ным нормативным давлением на опрашиваемых. Допустим, задан вопрос
об употреблении алкоголя, и крайне негативный вариант ответа гласит; <Я
пью систематически и обычно до бесчувственного состояния>. Сомнитель
но, чтобы даже заведомый алкоголик отметил такой пункт, как показатель
своего отношения к спиртному. Скорее всего, он выберет суждение менее
неприятного свойства, например: <Я выпиваю довольно часто>. Крайне
отрицательный пункт шкалы здесь <не работает>, он отпугивает. Вследствие
этого шкала спроектирована неправильно.
Другой пример. Если все опрашиваемые респонденты согласны с
утверждением <хорошо, когда строительный инструмент является уни-
версальным>, нет ни одного ответа <не согласен>, то подобная шкала не
поможет дифференцировать отношение респондентов к разным типам
строительных инструментов.
Использование части шкалы. Довольно часто обнаруживается, что
практически работает лишь какая-то часть шкалы, какой-то один из ее
полюсов с прилегающей более или менее обширной зоной.
Так, если респондентам для оценки предлагается шкала, имеющая
положительный и отрицательный полюса, в частности от +3 до -3, то
при оценивании какой-то заведомо положительной ситуации респон-
денты не используют отрицательные оценки, а дифференцируют свое
мнение лишь с помощью положительных. Для того чтобы вычислить
значение относительной ошибки измерения, исследователь должен знать
определенно, какой же метрикой пользуется респондент - всеми семью
градациями шкалы или только четырьмя положительными. Так, ошибка
измерения в 1 балл мало о чем говорит, если мы не знаем, какова
действительная вариация мнений.
Для вопросов, имеющих качественные градации ответов, можно при-
менять подобное требование в отношении каждого пункта шкалы: каж-
дый из них должен набирать не менее 5% ответов, в противном случае
считаем этот пункт шкалы неработающим. Требование 5%-ного уровня
наполнения каждой градации шкалы не следует рассматривать как стро-
го обязательное; в зависимости от задач исследования могут быть выдви-
нуты большие или меньшие значения этих уровней.
206 Глава 4
Неравномерное использование отдельных пунктов шкалы. Слуг1
что некоторое значение признака систематически выпадает из по;! я
ния респондентов, хотя соседние градации, характеризующие Г
низкую и более высокую степень выраженности признака, имеют ..
ственное наполнение.
Так, если конфигурация распределения ответов на вопрос с чегь
упорядоченными градациями такая, как на рис. 4.6, градации данной
лы, видимо, неудачно сформулированы. Значительное наполнение
соседних по отношению к пункту 2 пунктов (1 и 3) свидетельствует ч
вате> части голосов из плохо сформулированного пункта 2.

Ранг градации
Рис. 4.6. Пример неравномерного распределения ответов по шкапг
Аналогичная картина наблюдается и в том случае, когда рсспок.
ту предлагают шкалу, имеющую слишком большую дробность: будучи
в состоянии оперировать всеми градациями шкалы, респондент вьюн
ет лишь несколько базовых. Например, зачастую десятибалльную г1 ,
респонденты расценивают как некоторую модификацию пятибэл) .г
предполагая, что <десять> соответствует <пяти>, <восемь> - <четыре
<пять> - <трем> и т.д. При этом базовые оценки используются )>;:
тельно чаще, чем другие.
Другой пример. Попробуйте упорядочить свое отношение к 24 ни
занятий в свободное время так, чтобы уверенно указать не только :,.
любимейшее и полностью отвергаемое занятие, но все оставшись.:>!
предложенного перечня расположить в порядке убывания их пршу-ч
тельности. Скорее всего, это сделать не удастся, так что <средин п:
часть этой ранговой шкалы будет крайне сомнительной, а вся шк
неправильной. Систематическая ошибка, скорее всего, скажется ни г;.
что социально престижные занятия будут отмечаться как более прш1
кательные (хотя не исключено, что фактически опрошенные ими
интересуются), а социально непрестижные будут попадать в ниж."
уровни ранжированного ряда.
Для выявления указанных аномалий равномерного распределен!
по шкале можно предложить следующее правило: для достаточно О
шой доверительной вероятности (1-а > 0,99) и, следовательно.
Процесс маркетинговых исследований 207
достаточно широких границах наполнение каждого значения не должно
существенно отличаться от среднего из соседних наполнений. Для чего
используется критерий хи-квадрат [24].
Определение грубых ошибок. В процессе измерения иногда возника-
ют грубые ошибки, причиной которых могут быть неправильные записи
исходных данных, плохие расчеты, неквалифицированное использова-
ние измерительных средств и т.п. Это обнаруживается в том, что в рядах
измерений попадаются данные, резко отличающиеся от совокупности
всех остальных значений. Чтобы выяснить, нужно ли эти значения при-
знать грубыми ошибками, устанавливают критическую границу, так что-
бы вероятность того, что крайние значения превысят ее, была бы дос-
таточно малой и соответствовала бы некоторому уровню значимости а.
Это правило основано на том, что появление в выборке чрезмерно боль-
ших значений хотя и возможно как следствие естественной вариабель-
ности значений, но маловероятно.
Если окажется, что какие-то крайние значения совокупности при-
надлежат ей с очень малой вероятностью, то такие значения признаются
грубыми ошибками и исключаются из дальнейшего рассмотрения. Выяв-
ление грубых ошибок особенно важно проводить для выборок малых
объемов: не будучи исключенными из анализа, они существенно иска-
жают параметры выборки. Для этого используются специальные статис-
тические критерии определения грубых ошибок [24].
Итак, дифференцирующая способность шкалы как первая существен-
ная характеристика ее надежности предполагает: обеспечение достаточ-
ного разброса данных; выявление фактического использования респон-
дентом предложенной протяженности шкалы; анализ отдельных <выпа-
дающих> значений; исключение грубых ошибок. После того, как уста-
новлена относительная приемлемость используемых шкал в указанных
аспектах, следует переходить к выявлению устойчивости измерения по
этой шкале.
Существует несколько приемов проверки устойчивости измерений:
повторное измерение (тестирование); включение в анкету эквивалент-
ных вопросов и разделение выборки на две части.
Наиболее распространенный прием контроля на устойчивость -
повторное измерение состоит во вторичном проведении проверяемого
измерения в одной и той же выборке через определенный промежу-
ток времени. Зачастую достаточно сложно установить длительность про-
межутка между двумя измерениями. С одной стороны, он должен быть
возможно меньше, чтобы избежать вероятных изменений измеряемо-
го признака. С другой стороны, он должен быть достаточно большим,
чтобы исключить эффект запоминаемости первичного исследования.
Последнее противоречило бы требованию независимости опытов друг
от друга. Дать общую установку в отношении длительности промежут-
ка времени между опытами практически невозможно. Последняя оп-
ределяется целью исследования, в котором применяется данная про-
цедура, сложностью для запоминания даваемых ответов, изменчиво-
стью условий проведения измерений, стабильностью параметров из-
мерения, мотивационными изменениями и др. Обычно один и тот же
объект измеряется дважды с двух-трехнедельным временным интер-
валом и с помощью одинаковой процедуры. Шкала считается устой-
203 Глава 4
чивой, если совпадения между первой и второй сериями шм
будут достаточно высокими.
В отличие от проверки на устойчивость измерения физически
тов исследователь сталкивается здесь с особой проблемой - в-п-
психологической установки человека, возникающей после первом
рения. Люди могут намеренно или непроизвольно подгонять дан"-;
рого измерения к предыдущему. Или же, напротив, интуитивно
тивляясь повторному эксперименту, они покажут новые результ
Простейший способ снять влияние установки первого измег
производить повторное измерение спустя достаточное время пен
вого (например, через две недели) и на достаточно большой и .
испытуемых (около 50 человек).
Часто интервьюер в конце опроса частично его повторяет, ;
при этом: <Заканчивая нашу работу, вновь коротко пройдемся чг
росам анкеты, чтобы я мог проверить, все ли я правильно зат-
ваших ответов>.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81