Социологическая кухня: десерт

Этот текст для тех, кто интересуется нашей «кухней», но пока не очень хорошо понимает, как она устроена. Мы продолжаем серию публикаций об этапах работы над социологическим исследованием. Сегодня предлагаем вам беседу с Ольгой Макрушенко о визуализации данных ВЦИОМ.

Без-имени-3Для чего данные социологических исследований визуализируются?

Любые данные, социологические, экономические, географические, визуализируют для эффективной работы с ними. Намного сложнее воспринимать описание расположения дома, чем посмотреть на карту и найти его. Также и с результатами социологических исследований: любая визуализация является путеводителем по данным. Легче посмотреть несколько диаграмм и сопоставить их, вывод становится яснее и понятнее.

Чаще приходится визуализировать данные для профессионального сообщества, с которыми можно говорить на одном языке или для непрофессионалов? Как с помощью образов найти этот общий язык с непрофессиональной аудиторией?

В моей практике встречались разные клиенты, кто-то уже 20 лет в исследованиях, а кто-то впервые сталкивается с результатами. Основное правило любой визуализации — уметь рассмотреть идею глазами целевой аудитории. В материале для непрофессиональной аудитории, важно наглядно проиллюстрировать результат, а профессиональному сообществу важно еще показать, как мы получили те или иные данные.

Все ли данные можно визуализировать? Как визуализируются данные качественных исследований?

Любые данные можно визуализировать, даже написанное здесь предложение. Визуализация качественных исследований позволяет систематизировать данные, т.е. по сути произвести первичный анализ. Всегда легче воспринимать схемы, таблицы, визуальный образ, чем один сплошной текст.

Существуют ли всегда выигрышные способы визуализации данных и самые распространенные ошибки?

В презентации данных действуют те же законы и исключения, что и в создании картин. Важно, как, где располагаешь текст, диаграммы и другие элементы, использование не более 3х шрифтов на одном слайде/странице (например Calibri (обычный), Calibri (подчеркнутый), Calibri (курсив)), умение выбирать цветовую палитру (в помощь различные бесплатные ресурсы, например, https://color.adobe.com/ru/create/color-wheel/), умение правильно подбирать диаграммы для данных и визуальные образы. Однако для меня самое важное – создание «воздушного слайда», который не перегружен ненужным количеством картинок, подписей, диаграмм.

С чего начинается работа над визуализацией данных?

Все начинается, конечно, с идеи. Что важно рассказать? Что важно для целевой аудитории? Поэтому сначала данные анализируются, а потом уже подбираются наиболее выигрышные диаграммы или визуальные образы.

Какие возможности дают современные программы для подготовки презентаций? Какие новые инструменты будут появляться в ближайшее время? Какие инструменты наиболее востребованы сейчас?

Сейчас много ресурсов для визуализации. Некоторые уже сами предлагают диаграммы к тем или иным данным (например, Easel.ly, Piktochart, Infogr.am). Конечно, большинство из них платные, но зато не приходится закрашивать каждого человечка отдельно. Скорее всего, программные продукты будут упрощать способ ввода информации, делать еще более привлекательным интерфейс. Вряд ли их количество будет резко увеличиваться.

Кто должен работать над презентацией, дизайнер или аналитик? Принято считать, что визуальный образ – воспринимается эмоционально, тогда как вербальный анализируется. Как найти баланс?

На мой взгляд, дизайнер лучше видит образы, а социолог – данные. Их симбиоз порождает отличную работу. Баланс зависит только от умения найти общий язык, социолог, как никто другой, может с этим справиться.

Социологическая кухня: гарнир

Этот текст для тех, кто интересуется нашей «кухней», но пока не очень хорошо понимает, как она устроена. Мы продолжаем серию публикаций об этапах работы над социологическим исследованием. Сегодня предлагаем вам беседу с Иваном Леконцевым о подготовке инициативных исследований ВЦИОМ.

lecС чего начинается инициативное исследование ВЦИОМ?

Многие наши исследования посвящены крупным событиям в России и в мире: политическим, культурным, социальным. Мы с коллегами обсуждаем, на какие события нужно реагировать, на какие — нет. После этого составляем список тем исследований, готовим черновики анкет, решаем, о чём интересно спросить, какие интересные гипотезы можно проверить. Это потом не раз дорабатывается, перерабатывается, уточняется. В итоге формируется анкета для опроса, содержащая несколько блоков вопросов по разным темам.

Как разрабатывается инструментарий для таких исследований?

Следующий после обсуждения тем, вопросов и гипотез этап — это поиск в нашем архиве вопросов на аналогичные темы, которые мы задавали раньше. Всё-таки за 30 лет работы ВЦИОМ уже исследовал многие темы. Часто в архиве можно найти вопросы, которые мы использовали 5, 10, 20 лет назад. Если мы повторяем эти вопросы, то можно увидеть, как изменилось мнение людей за десятилетия. К примеру, пару лет назад мы опубликовали много пресс-релизов, подготовленных с использованием данных опросов 1990-1991 годов, сравнивая результаты недавних исследований с теми, что были четверть века назад.

В чем заключаются основные трудности при разработке инструментария?

Главная трудность состоит в отборе тем для исследования, потому что событий много, интересных тем очень много. Часто у коллег появляются предложения, связанные не с какими-то конкретными событиями, а с достаточно общими темами — допустим, с материнским капиталом или волонтерством. Никакая анкета не может вместить всё, поэтому на этапе обсуждения тем для опроса зачастую происходят серьёзные споры о том, что актуальней. И многое, к сожалению, остаётся за бортом.

Какие есть распространённые ошибки при разработке инструментария, которые не проходят с опытом?

Никто не любит говорить об ошибках, особенно о тех, которые не уходят с опытом. Конечно, иногда, бывает, мы слишком увлекаемся сиюминутными событиями и исследуем общественное мнение о каком-то крупном скандале, о котором на этой неделе говорят, но уже через месяц его никто не помнит.

Как происходит обработка данных, которые были получены в результате инициативных исследований?

Здесь есть технический и содержательный аспекты. Технический — это сама обработка данных, за которую отвечает профессиональный обработчик. Происходит элементарная проверка базы данных на ошибки, на логические нестыковки. По указанию отдела контроля часть анкет бракуется — в них подозревается некачественная работа со стороны интервьюеров или стало понятно, что респондент то ли шутит, то ли издевается, даёт абсолютно парадоксальные ответы, которые просто невозможны и нелогичны. И в итоге по всем вопросам как минимум считается линейное распределение, то есть сколько человек из числа опрошенных выбрали определенные варианты ответа. Подсчитывается как различные социально-демографические группы отвечали на эти вопросы: мужчины, женщины, пенсионеры, работающие, студенты, москвичи, жители деревень и так далее. Затем наступает очередь аналитиков, которое на собранных данных делают выводы.

Какие трудности возникают при анализе данных?

Хороший аналитический отчёт представляет собой ответ на вопрос. Трудность появляется тогда, когда нет самого вопроса. Например, на неделе произошло какое-то разовое серьезное событие, скандал. Мы провели исследование, описали, столько россиян о нём слышали, как относятся, какие у них мнения о ситуации. Но если нет настоящего вопроса, если нет настоящей глубокой проблемы, то трудно сказать что-то больше.

Социологическая кухня: горячее

Этот текст для тех, кто интересуется нашей «кухней», но пока не очень хорошо понимает, как она устроена. Мы продолжаем серию публикаций об этапах работы над социологическим исследованием. На горячее — беседа со Степаном Львовым о инструментарии и творчестве.

lvovПочему, опросив менее двух тысяч человек, социологи делают выводы о российском обществе в целом?

Непосвященному кажется, что опросив всего лишь полторы-две тысячи человек, делать выводы о мнении граждан огромной страны – значит брать на себя слишком многое. Однако метод выборочных исследований, который впервые применил на практике Джордж Гэллап, как раз позволяет делать генерализованные выводы о сложном объекте, прилагая разумные усилия. Какую-то магию здесь усматривают лишь те, кто, не знаком с основами математической статистики. Чтобы ответить на этот вопрос надо знать, что такое закон больших чисел, и как на ее основе формируется один из основных инструментов социолога – выборка.

Чем исследования общественного мнения, которые проводит ВЦИОМ, отличаются от сбора статистики?

Исследования общественного мнения и статистика — это разные вещи. Статистика – как наука и как практическая сфера — занимается сбором объективных данных, когда мы фиксируем количество, например, членов семьи, или доходы домохозяйств. Пример самого большого статистического исследования — это перепись населения, когда к каждому человеку обращаются и фиксируют пол, возраст, состав семьи, этническую принадлежность, источники и размер дохода, тип и площадь жилья и тому подобное. То есть то, что не зависит от мнения человека, а отражает его реальное состояние. Опросы общественного мнения радикально отличаются от статистических исследований, потому что они имеют дело с позицией людей по тем или иным вопросам, с субъективным мнением. Респонденты дают нам личную оценку, расставляют приоритеты, мы фиксируем свободные высказывания. Это тоже очень ценно – принимать в расчет не только фактологию, но и эмоции и знания, ценности и установки, мечты и тревоги людей – все, что делает жизнь человека «человеческой». В этом отношении статистика и социология – радикально отличные вещи. Но эти две науки очень близки, так как используют одни и те же методы обработки и анализа больших массивов данных, когда речь идет о количественных исследованиях.

Почему порой разнятся данные опросов на схожие темы у разных исследовательских компаний?

Действительно, такое случается, и имеет собственное оправдание. Прежде всего на различия влияют особенности инструментария: как был сформулирован вопрос, какой тип вопроса использован – открытый или закрытый, сколько в нем т.н. «закрытий» — вариантов ответа на поставленный вопрос. Часто влияет даже то, в начале, середине или конце анкеты стоит вопрос. И бывает так, что одни вопросы влияют на ответы последующих – заставляя респондента «погружаться» в ту или иную тему мы можем вызвать у него самые непредсказуемые ассоциации, под влиянием которых он может ответить по-другому – не так, как это было бы в ином случае. Небольшие отличия в формулировках, даже в закрытых вопросах, тоже могут повлиять на результат опроса. Когда участники «большой тройки» — ВЦИОМ, ФОМ и «Левада-Центр» используя похожие методики и выборки, получают несколько различный результат, эти отличия являются следствием различного подхода к составлению инструментария, разного времени проведения опросов, различных традиций формирования анкет и формулировки вопросов.

С какими сложностями приходится сталкиваться при разработке инструментария?

Прежде всего – это задача творческая. И социолог сталкивается с теми же проблемами, с которыми сталкивается любой творческий человек. Придумывать вопросы – действительно искусство, однако важна ещё и глубокая погружённость в проблематику. Мы стараемся делать процесс обсуждения анкеты командным, потому что в команде всегда найдётся человек, который разбирается в той или иной теме лучше, чем остальные в силу жизненного опыта, интересов научных, практических, личных.

Каким образом происходит анализ данных и делаются выводы, которые впоследствии публикуются?

Количественные данные проходят специальную статобработку, после которой над ними работают аналитики. Они проверяют, подтвердились или не подтвердились рабочие гипотезы, предварительно сформулированные на этапе запуска исследования. Неподтверждённая гипотеза вовсе не означает неудачу исследователя. Он мог предполагать одно, а получить другое, но это тоже результат. И таким образом он накапливает капитал знаний – собственный и своей команды. Высший пилотаж для социолога-аналитика – это способность не только производить диагностику состояния различных сторон жизни общества, но ещё и проецировать полученный результат на будущее, делать прогнозы, а также давать советы и рекомендации, за которыми к нам обращаются. Поэтому и цель нашей команды звучит так: исследуя и осмысляя современность, помогать людям создавать лучшее будущее.

Социологическая кухня: блюдо первое

Этот текст для тех, кто интересуется нашей «кухней», но пока не очень хорошо понимает, как она устроена. Мы начинаем серию публикаций о этапах работы над социологическим исследованием. На первое — беседа с Марией Макушевой.

makusheva

С чего начинается исследование?

Прикладное исследование начинается с проблемы: заказчика что-то беспокоит, для принятия решения не хватает информации, и он приходит к нам. У нас есть управленческая проблема. Теперь нужно понять, что мы будем изучать — сформулировать исследовательские вопросы и задачи. Из задач следуют методы сбора информации, каждый подходит для одного и не подходит для другого. И здесь один важный тезис: исследование — это не опрос. Опрос — это метод сбора первичных данных для исследования. И к одним опросам все, конечно, не сводится. Если нашей задачей является измерение установки, фиксация связи, определение того, насколько распространено то или иное мнение, то нам, очевидно, нужен опрос (и нужно еще понять, какой — телефонный, поквартирный, уличный или интернет). Если наша задача — проанализировать, как целевая группа воспринимает что-то, изучить опыт людей, понять их мотивацию в какой-то ситуации и так далее, то мы используем другой подход — неформализованный, например, проводим фокус-группы.

 

А если задач несколько?

Если в исследовании нужно решить несколько разных задач, как это обычно и бывает, методы комбинируются. Методов в арсенале социологов много, к упомянутым массовым опросам и фокус-группам все не сводится. Сегодня на нашу «кухню» активно проникает анализ данных из социальных сетей или кликстрим-данных, например.

Но обратимся ко всеми любимым массовым опросам. Главное — правильно сформулировать вопросы?

Ранее мы сформулировали исследовательский вопрос, то есть что конкретно мы будем изучать. Его невозможно сразу преобразовать в анкету. Нам нужно разделить его на составляющие, выделить аспекты и подобрать к ним индикаторы — эмпирические проявления того, что нас интересует. Именно их мы и будем измерять нашими вопросами.

Здесь можно использовать одну популярную метафору. Нас интересует воспалительный процесс в организме. Мы знаем, что он имеет несколько внешних проявлений, в частности, повышенную температуру. Повышенная температура — это индикатор воспаления. Как измерить температуру? Инструменты измерения бывают разными: можно приложить руку ко лбу, можно поставить градусник. Точность разных способов измерения будет отличаться. Чтобы познакомиться с теорией измерений в социологии можно взять, например, работу «Теория измерений в социологии» Ю.Н. Толстовой.

К формулировке вопросов нужно подходить осторожно. Вернемся к нашему примеру с температурой. Представьте, что мы станем измерять температуру тела с помощью уличного термометра. Или представьте сломанный градусник, который не фиксирует разницы между 36,6 и 38,6. Некоторые неудачные анкетные вопросы похожи на эти примеры. О правилах формулирования вопросов написано множество работ. Интересующимся я бы посоветовала обратиться к книгам «Как правильно задавать вопросы: введение в проектирование массовых обследований» и «Как люди отвечают на вопросы. Применение когнитивного анализа в массовых обследованиях» С. Садмена, Н. Бредберна и Н. Шварца.

Конечно, не всегда можно подобрать инструмент, который максимально точно позволяет измерить то, что требуется. Например, нам нужно понять, как много людей придет на выборы и сколько из них проголосует за И.И. Иванова. Напрямую этого не измерить. Поэтому мы измеряем декларации. Декларации, как мы знаем, не всегда соответствуют действительности

Да, зачастую люди говорят одно, думают второе, а делают третье. Какие инструменты используются в таких ситуациях?

Нужно разграничить ситуации, когда респондент может по каким-то причинам соврать нам (и они не такие уж и частые) и те, в которых он сам не уверен в ответе. Для этих ситуаций существуют разные стратегии при формулировании вопросов и интерпретации данных. Если вопрос чувствительный, один из вариантов ответа социально одобряем, существуют методики смягчения формулировок, введения дополнительных вопросов, расчетов поправочных коэффициентов и т.д.

Любопытно, что даже такие социально-желательные ответы иногда можно интерпретировать. Они говорят о доминирующих стандартах, нормах или распространенных страхах.

И даже правильно выбранный метод и хорошие вопросы еще не гарантирует точность результатов?

Важный этап — это выборка. Значение имеет не только ее размер и структура (сколько в ней женщин и мужчин, молодежи и людей среднего возраста и т.д.), важен способ отбора. Представьте, что вы, изучая, как на домохозяйствах сказывается экономический кризис, наберете 1000 человек среди потока выходящих из торгового центра. Ваша выборка может идеальна по соотношению мужчин и женщин, но вы не сможете распространить свои выводы на всех жителей этого города. Поэтому отбор респондентов — это отдельная область.

Далее мы запускаем полевой этап — собственно проведение опроса. Это очень технологичный процесс. За каждое правило и процедуру, за каждое, казалось бы, неоправданное ограничение при отборе респондентов когда-то заплачено ошибками и испорченными данными. Поэтому важно работать с профессионалами.

Поле проведено. Контроль окончен. Перед нами оказывается база данных. Здесь мы вспоминаем про нашу схему — что мы измеряли и как это соотносится с исследовательскими вопросами. Методы анализа — от дескриптивной статистики (мы описываем распределение ответов на вопросы или изучаем таблицы сопряженности) до многомерных методов, — также соотносятся с задачами. И да, социологу нужна математика. Для того, чтобы лучше познакомиться с логикой применения разных методов анализа я бы посоветовала прочитать книгу Г.Г. Татаровой «Методология анализа данных в социологии».

Мало получить распределения ответов на вопросы, найти связи или построить регрессионную модель. Игра с данными может быть бесконечно увлекательной для нас как исследователей, но мы должны дать именно ту информацию, которой заказчику не хватает для принятия решения. И представить ее в оптимальной для восприятия форме, поэтому важен стиль и, конечно, визуальные средства.