Роботизированные опросы: что показал эксперимент?

Какие возможности и ограничения есть у роботизированных опросов? Где можно применять данную технологию уже сегодня? О результатах тестирования рассказали директор по развитию партнерской сети ВЦИОМ Снежана Евсеева и руководитель проекта — социолог, заведующий кафедрой социологии и психологии СГЭУ, руководитель Фонда социальных исследований Владимир Звоновский (Самара).

oooo.plus_341 (1)Снежана Евсеева, директор по развитию партнерской сети ВЦИОМ, — о тестировании возможностей роботизированных опросов.

Снежана, с какой целью мы проводили эксперименты, что мы планировали получить, выяснить?

— На этот год мы запланировали серию из четырех экспериментов для тестирования возможностей роботизированных опросов. В частности, мы должны были:

  1. Научиться проводить роботизированные опросы с нуля, изучить рынок роботизированных опросов. Отобрать партнеров для реализации проекта.
  2. Обучить робота формулировкам вопросов, предполагаемых ответов. Научиться с ним работать.
  3. Провести анализ данных роботизированных опросов с данными CATI, понять, по каким вопросам есть расхождения, с чем они связаны.
  4. По итогам экспериментов получить представление о том, в каких проектах мы можем применять роботизированные опросы.
  5. Разработать план на 2020 год по дальнейшему развитию применения роботизированных опросов в компании.

Что удалось из запланированного?

— Мы выполнили все задачи, которые ставили в начале года. Главный вывод — пока рано говорить о том, чтобы запускать роботизированные телефонные опросы в массовую эксплуатацию. Существует ряд ограничений: размер анкеты, регион, количество населенных пунктов внутри региона, отсутствие автоматической системы, распознающей брак; отсутствие комплексного решения по всем процедурам запуска. Высокая стоимость итоговой анкеты, большие сроки на организацию запуска. Но мы проработаем план на 2020 год и будем отлаживать все процессы. Параллельно планируем тестировать применение роботов в предрекруте CATI-опросов.

Кто работает над данным проектом? Каких партнеров привлекает ВЦИОМ

— Данный проект реализуется в команде. Руководителем проекта является Владимир Звоновский (руководитель Фонда социальных исследований, Самара) — наш давний друг и партнер, а также коллеги Владимира по Фонду: Юлия Соловьева, руководитель аналитического отдела, Мария Григорьева, преподаватель кафедры социологии и психологии Самарского государственного экономического университета. Мы также привлекаем к реализации проекта две компании — производителей роботов, это «Нари» и МТС.

.jpgВладимир Звоновский, руководитель Фонда социальных исследований (Самара), — о результатах экспериментов по внедрению технологии роботизированных опросов.

Владимир, расскажите, какие результаты были получены в ходе экспериментов, какие достижения уже есть?

— По результатам первой волны эксперимента мы выяснили, что «контакт» роботов с респондентами является достаточно дорогостоящим, а с распознаванием речи есть ряд проблемных моментов — мы поняли, что есть сложные вопросы, которые мы просто не сможем задавать.

О каких сложностях идет речь?

— Мы, в частности, полагали что могут возникнуть проблемы с распознаванием ответов, например, о том, за кого тот или иной респондент намеревается проголосовать или какое у него образование. Но оказалось, что самые сложные для роботов вопросы о месте проживания респондента и о его поле. Дело в том, что респонденту не сообщалось, что он разговаривает с роботом, и даже если кто-то в ходе разговора догадывался, он считал, что робот способен распознать пол говорящего по голосу.

Но роботы этого делать не могут — и в случае нечеткого ответа начинают переспрашивать, что существенно фрустрирует респондентов.

Вторая группа сложностей была связана с качеством наших сетей и с работой телефонных операторов. Сегодня все мобильные операторы борются с системами активных продаж и продвижения продуктов, поэтому они блокируют номера, из которых исходит большой объем звонков, в их число, к сожалению, попадаем и мы. Нам нужно договариваться с компаниями-операторами и решать эту проблему.

Что было сделано для того, чтобы повысить качество распознавания речи?

— Проанализировав ситуацию, мы провели вторую и третью волну эксперимента, изменили порядок вопросов, шкалы, произвели усовершенствования с двух сторон: со своей и со стороны производителей роботов, и в результате качество распознавания существенно улучшилось. Главный, ключевой признак, по которому мы смотрим результаты, это доля закончивших опрос от тех, кто его начал. И если на первой волне это было 2-3%, то к третьей волне — уже 8-9%! Прогресс налицо.

Что нового удалось узнать, открыть в ходе реализации проекта?

— Мы прежде всего проверили, как эту технологию можно использовать в работе, и убедились, что от объема эксплуатации роботов они становятся только лучше и очень быстро прогрессируют. Все остальное больше касается нюансов: как задать тот или иной вопрос, как избежать напряжения респондента при задавании вопроса, как сформулировать вопрос, чтобы респонденту было удобно ответить кратко «да» или «нет». Вот какие-то такие маленькие открытия позволяют нам надеяться на быстрый прогресс в дальнейшем.

На каких проектах мы можем применять данную технологию в дальнейшем?

— Первое, совершенно очевидное направление — это предрекрут, то есть мы можем таким образом отбирать узкие группы респондентов. Например, женщин, живущих в Хамовниках, или мужчин, работающих на заводах Роснефти в Самаре. При традиционных обзвонах мы бы потратили на это намного больше времени, а роботы позволяют быстро набрать необходимую «массу».

Второе направление — это оперативный сбор данных, например, после телевизионных дебатов, когда нужно достаточно быстро и оперативно собрать большую массу интервью, телефонные опросы незаменимы. Так, мы выяснили, что наибольшую кооперацию с респондентами мы получаем в узком промежутке от 18 до 19 часов (при робо-опросах, проводимых летом в Санкт-Петербурге, — прим. Ред.). Раньше этого времени велико число не берущих трубки и занятых номеров, а позже растет количество отказов. Так вот, представьте, какой неимоверной концентрации «белковых» операторов нам нужно достичь в этот час, чтобы опросить тысячу человек, а с роботом нет этой проблемы.

Есть большое количество тем и сфер, где роботы могут быть не только полезны, но и незаменимы. Например, в планах у нас испытать роботов на задавание чувствительных вопросов, на которые неудобно отвечать живому интервьюеру, например, политические или темы сексуального здоровья.

В то же время мы уже сейчас понимаем, где они не могут быть использованы. Речь идет о случаях сложных и длинных вопросов, длинных шкал со сложными ответами. Вот тут робот уже будет проигрывать человеку. Пока. Опять же, мы находимся сегодня в таких условиях, что не только роботы несовершенны, но и не все респонденты готовы с ними общаться.

Какие ближайшие задачи стоят перед нами в рамках проекта?

— В первую очередь мы должны подготовить отчет, он будет состоять из трех частей. Первая часть — это сравнение роботизированных опросов с «белковыми» операторами, мы ее уже выполнили. Вторая часть — это анализ параданных. Сравнение доли отказов при роботизированном опросе и при «белковом», мы сейчас на этом пути. И оставшаяся третья часть, самая объемная — это фиксация несоответствий, разночтений между «белковым» контролером робота и самим роботом. Нам необходимо выяснить, где робот не сработал, где дал больший сбой.

Еще один важный момент, который нам необходимо сделать, это придумать формулу для робота, по которой мы сможем понимать, что интервью проведено. Например, в ходе опроса ответы были получены на 8 вопросов из 15, в том числе два главных. То есть мы должны довести робота до индустриального, фабричного уровня, чтобы он мог работать как конвейер, так же как сейчас работают «белковые» операторы. И мы должны для робота создать такую рамку, по которой после того, как опрос закончен, мы получаем готовый массив, который не нужно переслушивать.

А дальше, как я уже сказал, нужно экспериментировать с постоянным наблюдением за каким-то регионом или городом, пробовать робота на ответы на чувствительные темы, а также проверять, как будут реагировать респонденты на информацию о том, что с ними разговаривает робот.

Добавить комментарий

Этот сайт использует Akismet для борьбы со спамом. Узнайте как обрабатываются ваши данные комментариев.