Все новости от 15 июня 2001 г.

Статистические игры

Как известно, россияне относятся к полиактивным народам, т. е. предпочитают делать по несколько дел сразу, переключаясь с одного на другое и пренебрегая пунктуальностью.

Они похожи в этом смысле на итальянцев, латиноамериканцев и испанцев и кардинально отличаются от, скажем, американцев англо-саксонского происхождения, немцев, шведов и швейцарцев, которые моноактивны. Но помимо этого полиактивные народы характеризуются и массой других качеств, одним из которых является отношение к бизнес-статистике.

Отечественные бизнесмены весьма настороженно относятся к данным, получаемым в результате разного рода исследований рынка.

Конечно, они не прочь (на западный манер) процитировать материалы какого-нибудь исследовательского центра, но бизнес-решения принимают, ориентируясь, как правило, на слухи, рассказы информаторов из стана конкурентов и собственные ощущения. Моноактивные же народы ориентируются на опросы, прогнозы, анализ баз данных и т. п.

Возможно, именно поэтому нарекания на качество российской статистической информации слышатся не так уж часто. Бизнес снисходительно смотрит на цифры: ну мало ли чего там понапишут, уж мы-то лучше знаем, как все на самом деле! Однако и исследовательские фирмы заставляют усомниться в том сколь серьезно они относятся к предмету своей работы.

Эти фирмы не всегда грамотно формулируют вопросы, репрезентативность используемых ими выборок зачастую сомнительна, и, кроме того, они не особенно задумываются о статистической значимости полученных результатов. Хотя и на Западе стоит проблема качества исследований и прогнозов (чего стоит тот факт, что прогнозы регулярно пересматриваются), у нас с этим делом ситуация гораздо хуже.

В мае я столкнулся с двумя исследованиями Интернет-рынка, каждое из которых дало повод к грустным размышлениям. Первое из них принадлежало крупной западной исследовательско-консалтинговой фирме, имеющей в России свое подразделение (имен называть не будем, чтобы никого не обидеть; да и важны не имена, а тенденция).

Компания опросила несколько тысяч менеджеров из России и других регионов мира о том, какой процент доходов они собираются получать от электронной коммерции типа B2B через несколько лет.

Вопрос не очень корректный, но это — половина беды. Данные разделили на четыре группы и выстроили гистограмму “доля ожидаемого оборота в B2B — процент ответивших”. Для Европы получился результат, напоминающий распределение Гаусса, для России — некая разбитая гистограмма с чередующимися максимумами и минимумами: в одной категории около 25%, в другой — 15%, и так далее. Из всего этого делался вывод, что в нашей стране кардинально иное восприятие B2B, ну а уж его перспективы...

Один мой коллега (по специальности физик, кандидат наук) попытался было убедить представителей компании, что полученное по России распределение ни о чем не говорит, но ему гордо ответили: это эксперимент! И то правда.

Но эксперимент характеризуется ошибками измерения, а они таковы: пусть опрошена тысяча человек, т. е. в каждую категорию в среднем попадает около двухсот человек (это 20% опрошенных; считаем, что еще 20% “затруднились” ответить), тогда статистическая погрешность измерений в каждой категории окажется около 7%.

Иначе говоря, представленные данные согласуются с гипотезой о равномерном распределении: люди отвечали “от балды”. График есть, результатов исследования — нет.

Другое исследование проводилось российской фирмой по заказу одного из агентств Интернет-рекламы. Ясно зачем. Заказчик пытался понять, почему люди неохотно дают рекламу в Интернет.

Для этого было опрошено 45 менеджеров по маркетингу из крупных фирм. Важна здесь была не статистика, а мнения людей, входящих в фокус-группу. И судя по всему, заказчик получил то, что хотел.

Однако исполнитель попытался “отыграть” этот анализ по полной программе и представил в открытый доступ полученные распределения. И вновь меня удивила некорректность интерпретации результатов.

Например, задавался вопрос, для какого рода маркетинговой активности компании используют Сеть. Анализировались взаимоисключающие (!) варианты ответа: для мониторинга рынка, для рассылки электронной почты и рекламы, для поиска информации, мониторинга прессы и т. п. По ним строилась диаграмма с распределением и делались выводы.

Аналогичная ситуация была с вопросом о направлении использования Интернета в компаниях. Ответьте сами, для чего вы чаще обращаетесь к Сети — для поиска информации или отсылки E-mail. Тем не менее распределение было успешно построено и интерпретировано.

Тему можно продолжить, например, вспомнить нашумевшее декабрьское исследование о “росте” (в пределах статистической ошибки) популярности торговой марки Loreal FX Studio после рекламной кампании в Интернете, недавнее исследование компании “Комкон” по поводу популярности печатных СМИ или расплодившиеся опросы на Web-сайтах.

Обсуждая с коллегами состояние исследовательского рынка, я пришел к смешному выводу о том, что в прессу нужно брать людей с образованием не выше четырех классов средней школы, которые не смогут критично относиться к сообщаемым на пресс-конференциях фактам.

Ну в крайнем случае можно принимать на работу “пятиклассников”, но обязательно закончивших учебу с тройками. И я решил провести собственное исследование на фокус-группах, чтобы выяснить как PR-менеджеры и менеджеры по маркетингу относятся к этой идее.

К моему удивлению, многие восприняли ее без энтузиазма. “Тебе легко смеяться, а в прессе и так подобные люди есть. Мне-то приходится с ними работать, и никакой радости от этого не испытываешь”, — не оценила шутку одна моя знакомая, PR-специалист из крупной западной корпорации.

Однако через пару дней я оказался на пресс-конференции, посвященной малопонятной сделке между двумя известными холдингами. Перед мероприятием я рассказал свою шутку другой знакомой, руководительнице отдела маркетинга одной из этих компаний, а потом журналисты засыпали представителей фирм едкими вопросами. И ее мнение кардинально изменилось. “Все-таки ты был прав”, — сказала мне она в сердцах по окончании брифинга.

Мне стало легче: мой скептицизм во взглядах на мир PR частично оправдался. Буду собирать статистику и дальше, а считать ошибки измерения меня научили еще в институте.

Обсуждение и комментарии

	Радик - radik_umail.ru 14 Aug 2001 10:49 AM
Как-то я поинтересовался у своего начальства, почему бы не организовать для муниципального образования что-то типа бюллетеня для руководителей отдельных служб. Все ведь при ноутбуках, имеют выход в Интернет. На что был дан ответ, что 70% информации, на основе которой принимаются те или иные хозяйственные решения, поступают из частных бесед и теряет свою ценность, будучи опубликована в открытых источниках. Нет в России условий для того, чтобы предприятия или организации становились открытыми, прозрачными. Соответственно, невозможно применить вашими физические методы измерения к экономическим величинам, раз эти величины стремятся от вас, да и не только от вас убежать, словно стаи бездомных собак в крупном городе.