Статьи по психологии

Найти и обезвредить: борьба с фальсификациями в маркетинговых исследованиях

Прежде всего, я бы хотел сказать пару слов в защиту интервьюеров. Весь приведенный ниже текст посвящен их оппортунистическому поведению, в результате чего может сложиться образ некоего хитрого монстра, только и думающего, как бы усложнить жизнь исследователям. Это неправильный образ. Подавляющее большинство интервьюеров – честные, достойные и уважаемые люди. Просто их работа имеет для маркетинга такую важность, что мы вынуждены под лупой рассматривать все ее недостатки и уделять им первоочередное внимание.
Человеческий фактор

Любое массовое производство сталкивается с проблемой брака. Поток высококачественных транзисторов или не менее высококачественных тапочек рано или поздно разбавляется продукцией, которую недопаяли и недоклеили. В технике эта проблема решается техническими же методами: электронным тестированием, компьютерным наблюдением, модернизацией оборудования. Производство маркетинговых данных характеризуется не только массовостью, но и ручной работой. В исследовательском бизнесе ни для кого не секрет, что интервьюеры, проводящие опрос населения, регулярно допускают нарушения технологии, как преднамеренные, так и непреднамеренные. Человеческую природу, в отличие от оборудования, модернизировать невозможно, поэтому нам приходится разрабатывать сложную систему контроля и постоянно совершенствовать ее, чтобы предоставлять клиентам качественный продукт.

Поговорим о нарушениях технологии опроса, называемых нами фальсификациями. К ним относятся все преднамеренные искажения информации интервьюером:
Изменение реального возраста, социального положения и прочих признаков, по которым подлежат отбору респонденты. Это делается для облегчения рекрутинга и формального соблюдения квот.
Грубое нарушение маршрута опроса. В данном случае интервьюер преследует те же цели, только другими средствами.
Фабрикация части анкеты или целой анкеты. Основной вид фальсификаций, с которым мы боремся. Когда интервьюерам кажется, что тяжелый труд можно заменить креативным подходом, приходится разубеждать их в этом.

Все три вида фальсификаций встречаются везде, где проходят массовые опросы населения: в США, Германии, Франции, даже в странах Африки. Почему же интервьюеры идут на это? Главная причина одна и в этом они не отличаются от милиционеров, врачей, учителей и любых других наемных работников. Когда люди ведут себя рационально, они стараются максимизировать прибыль и минимизировать издержки. Фальсификации в маркетинговых исследованиях – лишь одно из проявлений подобного рационального поведения. Правда, есть и особые факторы, влияющие на оппортунизм интервьюеров. Американский социолог Лео Креспи еще в 1945 году выделил такой их набор:
Длинные анкеты.
Сложные формулировки вопросов.
Вопросы, затрагивающие личные интересы респондентов.
Слишком сжатые сроки работы.
Большая нагрузка на интервьюеров.
Плохие дороги и плохая погода.

Исключение всех этих факторов – задача хорошей организации полевого исследования. Но какой бы безупречной ни была подготовка, вероятность жульничества со стороны интервьюеров она полностью не предотвращает. Надежные данные – это также результат процедур, проводимых после сбора информации.
Скрытая угроза

Итак, мы знаем врага в лицо. Но прежде, чем начинать с ним борьбу, надо понять, какую опасность он представляет. Быть может, все не так уж страшно и не стоит прилагать чрезмерно больших усилий для борьбы с фальсификациями? В моем личном опыте был случай, когда региональный подрядчик потерпел абсолютное фиаско: большая часть его интервьюеров была поймана с поличным. Полная переделка поля другим подрядчиком (естественно, с утроенными усилиями по контролю) дала результаты, по некоторым параметрам почти идентичные тем, которые получались из фальсификаций. То есть интервьюеры-жулики просто угадали некоторые доли рынка и установки потребителей. Но это скорее редкая удача, которая, к тому же, коснулась всего пяти-шести вопросов. В общем же, фальсификации всегда искажают информацию о рынке. Попытаемся оценить, насколько велики эти искажения.

Снижение точности данных, происходящее в результате вброса сфабрикованных анкет, не превышает их доли во всем массиве данных. Иными словами, если в опросе 1% вопросников сфальсифицирован, то ошибка выборки вырастет не более, чем на этот самый 1%. Казалось бы, пустяки. Но при планировании исследования, для того, чтобы снизить ошибку выборки на 1%, мы иногда увеличиваем ее объем, например, с 700 до 1400. Если из них подделаны всего 14 анкет, все наши усилия пропадают зря. Можно было не увеличивать выборку в два раза, не тратить на нее в два раза больше денег, а вложить их в контроль качества гораздо меньшей выборки. А если в массиве из 1400 анкет подделано 140? Тогда вообще не имеет смысла говорить о массовом опросе: данные такого же уровня достоверности можно получить, опросив человек 60. Как видим, борьба с фальсификациями – один из важнейших элементов маркетинговых исследований, обеспечивающий их репрезентативность. Совсем немного жуликоватых сотрудников – и полностью теряются все преимущества больших выборок.

Как это ни парадоксально, из всех видов фальсификации наибольшую опасность представляет подделка не всей анкеты целиком, а только ее части. В этом случае интервьюер действительно проводит опрос, но задает те вопросы, которые легче всего проконтролировать (и которые, как он надеется, только и будут заданы при повторном опросе). Ответы на остальные вопросы даются самим интервьюером, упражняющим свою фантазию "на коленке". Тем самым он достигает экономии времени, а значит, увеличения прибыли. Эта стратегия несет наибольшую угрозу по нескольким причинам:
Сфабрикованную таким образом анкету действительно труднее обнаружить.
Таких анкет обычно значительно больше, чем полностью придуманных респондентов.
Анализ данных, содержащих частичные фальсификации, может показывать взаимосвязи между переменными, реально существующие только в головах интервьюеров.

По перечисленным причинам сотрудники ВЦИОМ прилагают наибольшие усилия к выявлению именно таких подделок. К счастью, они выбраковываются с помощью специальных методов, о которых – ниже.
Шаг за шагом

Что же происходит после того, как интервьюеры вернулись из городов и весей и принесли нам свои анкеты? Первое – это стопроцентный визуальный контроль. Ответственный специалист постранично просматривает все вопросники и откладывает те из них, которые показались ему подозрительными. К сожалению, навыкам визуального контроля нельзя обучить и я даже сейчас затруднюсь сформулировать его принципы. Просто некоторые люди, повидав на своем веку не одну тысячу анкет, начинают угадывать фальсификацию по незначительным на первый взгляд признакам: слишком ровно проставлены галочки, анкета не запачкана грязью, в отличие от остальных, слишком длинные (или слишком короткие) ответы на открытые вопросы и т.д. Одним из простых, но действенных приемов борьбы с частичными фальсификациями является заполнение "рискованных" частей анкеты самим респондентом. Таким образом, мы одновременно расширяем возможности и визуального контроля (для интервьюера становится проще опросить людей, чем изобретать их почерки) и повторного опроса (респондент лучше запоминает то, что пишет сам). Выбракованные визуальным контролем анкеты (их обычно немного) проверяются немедленно, остальные вводятся в электронные таблицы.

Анкеты, сохраненные в электронном виде, подвергаются обработке с помощью статистических алгоритмов, позволяющих идентифицировать фальсификации. После этого создается контрольная выборка, которая включает все анкеты, попавшие на подозрение алгоритмов и часть анкет, которые на подозрение не попали. Обычно контрольная выборка составляет около 20% от общего числа респондентов. Она обязательно включает в себя хотя бы одну анкету каждого интервьюера.

Отобранные после статистического анализа анкеты распределяются между контролерами, которые звонят по обозначенным там телефонам или посещают указанные интервьюером адреса. Если какие-то данные о респондентах не совпадают с реальностью, такие анкеты выбраковываются, и вместо них уже другими интервьюерами доопрашивается необходимое количество людей.

Завершением контрольного этапа служит проверка самих контролеров, после которой данные принимаются к анализу. Благодаря описанной системе та информация, на основе которой сотрудниками ВЦИОМ делаются исследовательские выводы, обладает очень высокой степенью достоверности. Чтобы лучше понять, как мы этого добиваемся, рассмотрим некоторые важные принципы и приемы контроля более подробно.
Верую, ибо абсурдно

Методы контроля достоверности можно разделить на аналитические (основанные на пристальном изучении анкет) и полевые (устанавливающие достоверность в непосредственном контакте с респондентом).

Все аналитические подходы основаны на одном общем принципе. Как бы тщательно фальсификатор ни продумывал свою подделку, она всегда остается основанной на его здравом смысле, который, в свою очередь, вытекает из довольно ограниченного социального опыта. Очень часто интервьюер просто не в состоянии представить, какие ответы респонденты будут давать на поставленные в анкете вопросы. Попадая в ситуацию опроса, люди очень часто демонстрируют растерянность, рассеянность и непоследовательность в ответах. Тщательно придумываемые интервьюером ответы, напротив, характеризуются глубоким пониманием вопросов и логикой суждений. Поэтому мелкие противоречия могут рассматриваться как косвенное свидетельство в пользу достоверности анкеты. Отсюда также следует, что анализ достоверности может быть основан на сравнении данных, полученных каждым интервьюером, с данными по выборке в целом.

С другой стороны, полевые методы контроля также должны иногда включать элементы иррациональности. Скажем, опытный интервьюер знает, что анкеты проверяются выборочно и преимущественно по ключевым вопросам. Терапией от подобного благодушия служит немотивированная тотальная проверка, которая периодически устраивается случайно отобранным интервьюерам.
Статистика знает все

Выше уже говорилось о той важной роли, которую играет статистический анализ в проверке достоверности. Для того чтобы включить в контрольную выборку анкеты, являющиеся сфабрикованными с наибольшей вероятностью, используются специальные алгоритмы. Таких статистических алгоритмов существует масса, и некоторые из них являются секретными ноу-хау исследовательских компаний. Например, во ВЦИОМе программа, разработанная для обнаружения фальсификаций, делает это с помощью пяти процедур, и только о двух из которых можно рассказать широкой публике.

Алгоритм первый – всякому здравомыслящему фальсификатору ясно, что при фабрикации ответов по оценочным шкалам он должен стараться избегать крайних вариантов. То есть, отвечая за респондента, насколько тому понравился, допустим, сорт мороженого, нечестный интервьюер, скорее всего, выберет вариант ответа в стиле "ни то ни се". Если он этого не сделает, фальшивку легко будет обнаружить, ведь люди гораздо увереннее вспоминают при повторном опросе свои радикальные ответы типа "ничего не ел вкуснее в жизни" или "редкостная гадость". И здесь фальсификатор попадает в статистическую ловушку: оценивая продукты как "ни то ни се", он снижает вариативность своих данных по сравнению с выборкой в целом. Ведь на самом деле люди достаточно часто приводят крайние варианты ответа, и это увеличивает дисперсию выборки. Если у какого-то интервьюера дисперсия меньше, чем во всей выборке, это значит, его анкетам надо уделить более пристальное внимание. Этот простой прием уже сам по себе позволяет отловить до 100% фальсификаторов, но в одиночку он практически никогда не используется.

Второй известный статистический алгоритм основан на так называемом законе Бенфорда, который уже больше десяти лет применяется в финансовом аудите в Европе и США. Не стану вдаваться в математические тонкости этого закона, объясню лишь его суть. Она состоит в том, что числа в некоторых социальных переменных встречаются с определенной вероятностью, которая тем меньше, чем больше число. Например, вероятность встретить в качестве первого знака в цифре дохода единицу самая большая. Двойка встретится в качестве первого знака в этой цифре значительно реже, а тройка – еще реже, но не намного реже, чем двойка. Объясняется эта закономерность очень просто. Чтобы заработать тысячу рублей человек прикладывает определенные усилия. Для получения двух тысяч ему требуется уже в два раза больше усилий. Но чтобы заработать три тысячи, он должен потрудиться только в полтора раза больше, чем для двух. Таким образом, частота цифр, встречающаяся в вопросе о доходах, складывается в математически описываемую последовательность. Отклонение от этой последовательности может сигнализировать о том, что данные были сфальсифицированы. Конечно, некоторые интервьюеры интуитивно чувствуют, какова приблизительно должна быть частота тех или иных цифр. Но воспроизвести ее в соответствии с законом Бенфорда без специальной математической подготовки невозможно. Как и анализ дисперсии, этот закон позволяет установить значительную часть сфабрикованных интервью. Но его можно применять к гораздо меньшему числу переменных.

Заметим, что статистические алгоритмы, какими бы эффективными они не были, выполняют только наводящую функцию, задают набор анкет, которые должны быть проверены особенно тщательно. Окончательный вердикт выносится только с помощью полевых методов контроля, и он основан на том, что говорит нам сам респондент.
Позвони мне, позвони...

Полевой контроль достоверности во ВЦИОМе производится тремя способами:
Повторный телефонный опрос.
Повторное посещение.
Запись интервью на диктофон.

Телефонный опрос – самая распространенная техника контроля в маркетинговых исследованиях. Он обладает важными качествами: оперативностью, легкостью в проведении, сравнительно низкой стоимостью. В то же время у телефонного контроля есть и серьезные недостатки. Первый из них – невозможность проверки тех респондентов, которые не оставили своего телефона. Второй недостаток проявляется только в случае довольно больших анкет. В силу специфики телефонного разговора, в нем нельзя задать большое количество вопросов.

Некоторые исследователи в целях контроля обязывают интервьюеров предоставлять телефонные номера всех респондентов. Мы считаем этот подход неправильным. При его использовании выборка смещается в сторону телефонизированных домохозяйств и экстравертированных личностей. Те же респонденты, у которых нет телефона (а в российской провинции это повсеместное явление) или те, кто упорно отказывается его давать, отсеиваются, что искажает данные опроса. Большую осторожность надо проявлять даже в квотировании доли анкет с телефонами, но и разрешать интервьюерам не собирать номера респондентов можно только в исключительных случаях, так как это серьезно затрудняет контроль достоверности.

Второй из перечисленных способов проверки, несколько более надежный. Он позволяет получить доказательства не только проведения опроса, точности фиксации ответов, но и соблюдения интервьюером маршрута. При отборе респондентов чрезвычайно важно выдерживать определенную систему. Например, если в квартире, подлежащей опросу, никого не оказалось, к ней следует вернуться через некоторое время. Но интервьюеру проще идти все время в одном направлении, а это исключает из выборки тех, кто редко бывает дома (одновременно перенасыщает ее пенсионерами и домохозяйками). Чтобы выявить подобные нарушения, необходимо повторное посещение не только респондентов, но и тех людей, которых должны были опросить, но не опросили. Таким образом, мы избегаем смещения выборки и добиваемся ее репрезентативности. Но самое большое преимущество повторного посещения состоит в том, что с его помощью можно контролировать анкеты, в которых не указаны телефонные номера. Главный же недостаток этого метода контроля – большие временные затраты. Он увеличивает длительность полевого этапа до двух раз. А при всероссийских опросах, в которые попадают отдаленные населенные пункты, повторное посещение может оказаться вообще неосуществимо.

Отчасти устраняет недостатки телефонного опроса и посещения комбинация этих двух методов. Осуществляя, например, обзвон 20% всех анкет и отправляя интервьюеров к 10% респондентов, не давших телефоны, мы достигаем одновременно и оперативности, и достоверности данных по нетелефонизированным домохозяйствам.

Третий метод контроля – использование диктофонов, стоит особняком. Он пока не очень широко применяется и задействуется только там, где риск частичных фальсификаций слишком велик. В основном, это опросы с анкетами, занимающими полтора – два часа. Проблема состоит в том, что процедура контроля по диктофонам очень трудоемка, для нее требуется сверить ответы на вопросы с записью, воспроизведение которой можно лишь незначительно ускорить. Ситуация осложняется, когда звук получается плохого качества, а это часто происходит из-за сопутствующих шумов (работающего телевизора, играющего ребенка и т.п.). Кроме того, диктофонная проверка не избавляет от необходимости проверки самого факта опроса (по телефону или лично), потому что отвечать под запись на вопросы интервьюера могут его родственники и друзья.
Куда дальше?

Достижение высокого уровня качества маркетинговых данных не означает для исследователей возможности почивать на лаврах. Хотя на сегодняшний день ресурсы полевых методов контроля практически исчерпаны во всем мире (очевидно, что невозможно придумать альтернативу повторному опросу), поиск решений в этом направлении не остановлен. Опыт ВЦИОМ говорит о том, что наиболее перспективны изыскания в следующих направлениях:
Новые статистические методы контроля достоверности.
Система мотивации временного персонала.
Синергетические эффекты различных методов контроля.

Конечной целью наших методических разработок является создание интегрированной системы контроля качества нового поколения, которая бы включала эффективные инструменты отслеживания формулировок вопросов, построения выборки, организации полевых работ и т.д.

Оппортунизм (франц. opportunisme, от лат. opportunus - удобный, выгодный) – преследование личных интересов с использованием коварства, включающего просчитанные усилия по сбиванию с правильного пути, обману, сокрытию информации и другие действия, мешающие реализации интересов организации.