Свои специальные тесты разрабатывают многие компьютерные фирмы, тот же Microsoft. В некоторых вузах, особенно технических, конкурсные экзамены все чаще принимаются в тестовой форме. А на базе факультета психологии МГУ уже несколько лет развивается система «Телетестинг», приглашающая школьников всей страны оценить свои знания с помощью своеобразных интернет-олимпиад.
Второе — настоящие ПСИХОЛОГИЧЕСКИЕ тесты. Они призваны определять, подходит ли человек по своим психологическим данным (тем же темпераменту, личностным особенностям, способностям к запоминанию, внимательности, коммуникабельности и проч. и проч.) к требованиям должности, на которую претендует.
Эти два вида тестов — измерительные приборы, позволяющие вам быстро и без скидок на личную придирчивость экзаменатора (мало ли что ему не понравилось, или кто сумел ему дать взятку) давать правильную оценку тестируемому.
А что такое измерительный прибор? У вас в машине есть спидометр, который показывает вам скорость движения. На самом деле он показывает не то, что вы думаете, а совсем другое: какое напряжение подается от датчика, связанного с колесами, на маленький электродвигатель, отклоняющий стрелку за пластиковым окошком. Поэтому его элементарно обмануть: поставим машину в стенд на валки, раскрутим их как следует, и спидометр покажет любую скорость… при неподвижной машине.
Хорошо, изменим конструкцию. Приделаем на автомобиль сверху крыльчатку, и пусть наш спидометр показывает скорость движущейся мимо атмосферы. Все равно не выйдет: порыв ветра — и наш прибор опять-таки покажет скорость воздушного потока, а не автомобиля.
Я уже не говорю об элементарных поломках самого, в общем-то довольно сложного, прибора.
Все то же самое можно сказать о тестах. На самом деле они никогда не измеряют то, что вы хотите померить. Просто они так сконструированы, что позволяют вам по результатам давать суждения и оценки.
Вот здесь и начинается блеск и нищета, прямо по Бальзаку. С одной стороны, вам предлагается без особого труда за полчаса определить, на что человек способен. С другой стороны: а вы уверены, что оценка будет правильной?
Поэтому главное требование к тестам — валидность. Внятного русского перевода в одно слово этого термина нет, потому и употребляется англоязычный. Он означает следующее: «данный прибор действительно меряет то, что должен мерить».
Возьмем, к примеру, какой-нибудь из распространенных тестов на интеллект. Большинство из них состоит из коротеньких логических задач: кто больше решит за заданное время, у того и интеллект выше. Хочется сразу сказать: тот умнее. Того и возьмем на работу.
Так? Нет, потому что мы измеряли не «ум» и не «интеллект» (кстати, психологи до сих пор так и не договорились между собой, что это такое), а способность к решению логических задач, и ничего более!
Видите: мы совершили логическую ошибку, поставив знаки равенства между цепочкой понятий, в начале которой стоят логические задачки, а в конце — предполагаемая профессиональная успешность. Которую, собственно, и хотели измерить.
Что же, тесты на интеллект ни о чем не говорят? Да нет же. Просто прежде чем использовать их в практике, например, профотбора, сначала необходимо доказать их валидность. То есть тот факт, что их результаты действительно как-то позволяют оценивать профессиональную пригодность кандидатов. Я сказал «как-то», потому что могу назвать несколько профессий, где интеллект и профессиональные результаты связаны отрицательно. То есть люди с низким интеллектом работают успешнее!
Немного выше я обещал рассказать, как мы (в смысле СССР) на пятьдесят лет обогнали Америку в смысле проблем с целесообразностью тестирования. Это драматичная история, не всем известная, и ее стоит послушать.
В первые годы советской власти очень остро стояли проблемы образования, в первую очередь — среднего. Старая гимназическая система явно не подходила для формирования «нового человека», поэтому разные экспериментальные школы, концепции, теории возникали одна за другой. Многое пытались принести из Европы (напоминаю: это было еще очень задолго до холодной войны, и «иностранное» еще не воспринималось как «чуждое» и «не наше»). В частности, таким образом к нам попала модная наука педология, которая показалась привлекательной как ученым, так и педагогам-практикам.
Суть дела, если кратко: проводим детей через набор тестов, показывающих уровень интеллектуального развития. Кто набрал нужное количество баллов — учись в «нормальной» школе. Кто нет — отправляйся в «специальную», то есть «для дурачков».
В каком-то смысле эта идея звучит перспективно: действительно, зачем учить вместе и по одной программе и явно «продвинутых» и явно «слабых» детишек: не лучше, ли создать для них более соответствующие условия?
В действительности все оказалось намного сложнее. Одна из главных проблем была связана со слабостью самих педологических и педагогических кадров. Все мы учились в средней школе уже конца XX века, у многих дети учатся сейчас, и я уверен, у большинства мнение об учителях, а тем более чиновниках от педагогики не самое высокое. А представьте, что было в двадцатых-тридцатых!
Другая проблема была связана с примитивным пониманием педологами самого образовательного процесса и критериев уровня развития. Наш великий психолог Л.С. Выгодский показал, что дело не в достигнутом уровне, а в так называемой зоне ближайшего развития. Важно не то, что ребенок способен сделать сам (а именно это и измеряли тесты), а то, на что он способен при минимальной информационной поддержке взрослого. Это позволяет оценить его возможности к развитию.
Но мы увлеклись. Конец этой истории таков. Говорят, педологи определили «не в ту» школу дитя кого-то из высших чинов. Последовало разбирательство, а за ним — известное всем отечественным психологам и педагогам постановление ЦК ВКП(б) от 1936 года «О педологических извращениях в системе Наркомпроса», которое положило конец педологии, а заодно и психологии и напугало выживших психологов на всю оставшуюся жизнь. После чего тесты и тестирование в СССР были забыты где-то до начала 70-х. Отсюда, думаю, и столь романтичное к ним отношение сейчас.
Вернемся к нашей основной теме. Если тест — это измерительный прибор, то нам надо прежде всего понять, что мы им собираемся мерить. Отсюда наши требования к сложности прибора и, естественно, согласие за него платить. Еще одна «электрическая» аналогия: чтобы просто найти обрыв в цепи, нужен копеечный пробник, состоящий из батарейки, лампочки и пары проводков, его легко самому сделать. А если надо определять частоты колебаний, придется покупать осциллограф.
Бесплатные или почти бесплатные тесты, которые вы можете скачать из Интернета или купить на пиратском диске за 100 рублей, — это вообще не тесты. Как измерительному прибору им доверять нельзя. Что-то они покажут, вот только что?
Приобретая психологический тест у серьезных разработчиков, вы платите не за примитивную программную оболочку, какую напишет первокурсник, а именно за валидность. Как же она достигается? Для этого нам придется покопаться в технологии изготовления тестов. Это пригодится, потому что чуть ниже мы попытаемся создать тест сами.
Есть такой тест, довольно известный, классификатор Майёрс — Бриггс (MBTI). Он позволяет отнести человека к одному из шестнадцати типов, различающихся по темпераменту, стилю жизни и работы, общению с окружающими. Эта методика очень популярна среди психологов, работающих по менеджерской проблематике, потому что вроде бы отражает социально-психологическую структуру компании. Если среди менеджеров будет преобладать один тип, то фирму ждут определенные проблемы, а если другой — то иные.
Купив MBTI на пиратском диске за 100 рублей, я обнаружил, что именно эту его версию (взявшуюся лет десять назад в нашей стране, как и многое другое, непонятно откуда) кое-кто из коллег рекомендовал как «нормальную». Решил попробовать. Мне удалось провести через тест более 150 человек, большинство из которых мне хорошо известны с точки зрения оцениваемых тестом параметров. И вот что получилось.
Из шестнадцати возможных типов я обнаружил только девять, остальные вообще не встречались.
Из них только один, ISTJ, названный в интерпретаторе «Прирожденным организатором жизни», попавшийся с десяток раз, всегда абсолютно соответствовал своему описанию по всем параметрам, до мелочей.
Тип ESTJ, «Прирожденный руководитель», встречался намного чаще других, но… в действительности отнесенные к нему люди были какими угодно. Они могли соответствовать характеристикам полностью или частично, а пара-тройка обследованных — как говорится, с точностью до наоборот.
Один из типов попался мне лишь раз. Это был хорошо знакомый по совместной работе зам генерального директора средней компании, весьма своеобразная личность. Про него в интерпретации говорилось: «Этот тип часто свойственен высшему руководству крупных японских корпораций». Я понял, что в нем действительно есть что-то от самурая.
У меня был лишь один случай, когда MBTI действительно помог при профотборе, да и то условно. Одна весьма импозантная дама, которая произвела на всех большое впечатление знаниями и опытом, попала под тип, характеризующийся нерешительностью и неумением занять жесткую позицию по отношению к подчиненным. А должностная позиция, напротив, требовала «выстроить» достаточно распущенный прежним руководством и к тому же женский коллектив. При обсуждении кандидатуры я высказал сомнения, но оказался в меньшинстве… Через полгода с дамой пришлось расстаться, поскольку бардак в отделе при ней принял уже совсем катастрофические масштабы.
Как вы полагаете, можно ли использовать этот тест при профессиональном отборе менеджеров? В каком-то смысле да. По крайней мере, если попадется ISTJ, вы с достаточной уверенностью будете знать, чего от него ожидать. Если ESTJ, то вы можете смело заявить: «Я знаю, что ничего не знаю». Если попадется один из не попавшихся мне семи типов, вы можете насторожиться тем, что перед вами — редкий экземпляр, практически не встречающийся среди менеджеров.
На самом деле использование таких тестов полезно только в сочетании с другими, более привычными инструментами отбора: анализом биографии, собеседованием, наблюдением. Но есть и опасность: прочитав интерпретацию теста, вы можете получить «эффект ореола», то есть начать смотреть на человека сквозь результаты теста. Так что лучше сначала поговорить с человеком, а потом тестировать: здесь тест скорее поможет подтвердить или опровергнуть ваши личные впечатления. В наиболее сложных и ответственных случаях можно провести повторное собеседование после тестирования. Я обычно делаю так: показываю кандидату результаты и спрашиваю, с чем он согласен, а с чем нет. Это очень хорошая возможность дать человеку «раскрыться».
Только что мы с вами рассмотрели самый примитивный, можно сказать, игрушечный пример валидизации теста.
В чем смысл? Берем тест, проводим через него достаточно большое число людей, а потом сравниваем результаты с какими-то другими показателями, например, экспертными оценками, результатами других тестов (валидность которых нам известна) или объективными достижениями в работе. Я использовал самого себя как эксперта. Чего не хватило, так это серьезной статистической обработки данных.
Ну хорошо, скажете вы, а если мне попался переводной американский тест? Ведь он уже наверняка валидизирован-перевалидизирован! Ему-то можно верить?
Нет, и вот почему. Помимо валидности к тестам применяется еще одно требование — надежность. Оно означает, что тест должен одинаково правильно работать в разных странах, в разное время и на разных контингентах обследуемых лиц.
Здесь у меня есть любимый пример. Один из самых известных в мире тестов — Миннесотский многофакторный личностный опросник, MMPI. В нашей стране используются обычно две разные версии: Ф.Б. Березина (известная под названием ММИЛ) и Л.Н. Собчик. Обе вполне уважаемы и уже в 80-х были «штатными» инструментами профотбора в органы государственной безопасности СССР.
Так вот, в MMPI есть утверждение (там не вопросы, а утверждения, с которыми надо соглашаться или нет): «Вы религиозны». Представьте себе реакции на него:
а) жителя США, где религиозность — признак добропорядочности;
б) советского человека начала 70-х, когда за религиозные убеждения изгоняли из комсомола со всеми вытекающими;
в) современного жителя России, где теперь даже «коммунисты — во Христе».
Не кажется ли вам, что ответ «нет» в этих трех случаях будет означать три разные вещи?
И таких примеров очень много. В личностных тестах важен не ответ на какой-то конкретный вопрос, а тенденция отвечать на вопросы шкалы тем или иным образом. Зачастую человек даже не понимает, по какой шкале «проходит» тот или иной пункт. Самое главное — это тестовые нормы, определяемые при валидизации чисто статистически на большой выборке людей. А представьте, как эти нормы «плывут» от страны к стране, от одной социальной группы к другой (возрастной, профессиональной, этнической — какой угодно!), от десятилетия к десятилетию… Я видел ситуацию, когда у одной женщины профиль MMPI радикально изменился буквально за три месяца. В это время погиб ее ребенок.
В конце 80-х мы с коллегами разработали тест под названием «Кругозор», который должен был измерять уровень общей начитанности и эрудиции у выпускников технических вузов. Тогда это было нужно, уже не важно зачем. Тест валидизировался на нескольких сотнях человек и прекрасно работал. Недавно я в него заглянул — и понял, что годится он только для урнирования, то есть почетного размещения в урне для бумаг. Большинство использованных там понятий уже «ушли», а эрудицию ныне должно отражать знание совсем иных слов… А ведь это всего-навсего тест знаний! С личностью намного сложнее.
Если все так непросто, стоит ли вообще использовать тесты при профотборе?
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46