Кто отвечает на наши опросы, как отбираются участники, как чистятся ответы и почему у каждой цифры в результатах подписан статус.
Три способа получить красивый отчёт на плохих данных
Первый: опросить не ту аудиторию. Панель, набранная за вознаграждение, легко даёт «покупателей премиального сегмента» в любом нужном количестве — потому что человек отвечает так, чтобы его пустили в опрос.
Второй: опросить тех же людей, что и в прошлый раз. Профессиональные респонденты, которые проходят по десять опросов в неделю, отвечают быстро, логично и бесполезно.
Третий: собрать мало анкет в группе, по которой потом делается вывод. Общая выборка выглядит солидно, а решение принимается по разрезу из тридцати человек.
Ни одна из этих проблем не видна в итоговой таблице. Видна она только в том, как собирались данные. Ниже — как это устроено в отделе исследований и стратегий Mosaic Agency.
Кто отвечает на наши опросы
Основной формат — онлайн-панель по Казахстану: почти сто тысяч участников в Алматы, Астане, Шымкенте и областных центрах, от Карагандинской области до Восточно-Казахстанской. Это не рассылка по случайным контактам и не опрос в соцсетях.
Каждый участник зарегистрирован и проходит проверку до того, как его пускают в первый опрос: подтверждение почты, проверка устройства, накопительный рейтинг добросовестности. Набор идёт из нескольких независимых источников — так в панель не попадает одна и та же аудитория одного канала, а вместе с ней и её перекос.
Профиль каждого участника описан более чем по тремстам характеристикам: возраст, доход, состав семьи, что покупает, чем пользуется, где работает. Это даёт два практических следствия. Мы приглашаем в опрос сразу тех, кто подходит, а не ищем их перебором — поэтому находятся и сложные аудитории: врачи, предприниматели, владельцы бизнеса, клиенты конкретных банков. И у каждого участника есть история: как часто он участвует и насколько внимательно отвечал раньше.
Участник, который недавно проходил опрос в той же категории, в новый не попадает. Повторное участие — главный источник ответов «как надо», а не «как есть».
Вопросы, по которым человек проходит отбор, никогда не задаются в лоб. Не «покупаете ли вы продукт дороже 5000 тенге» — на такой вопрос ответит «да» тот, кому нужно вознаграждение, — а вопросы о реальном поведении, по ответам на которые мы сами решаем, подходит человек или нет.
Опрос на двух языках
Казахстан двуязычен, и опрос, доступный только на русском, отсекает часть аудитории ещё до первого вопроса — причём не случайную часть, а вполне определённую: регионы, старшие возрастные группы, сёла.
Поэтому мы рекомендуем для общенациональных выборок и регионов добавлять казахскую версию анкеты (она идёт отдельной строкой сметы); респондент переключает язык в любой момент. Казахскую версию пишут казахоязычные исследователи как второй оригинал, а не переводят словарём или нейросетью: формулировки строятся так, чтобы вопрос звучал естественно и означал ровно то же самое. Шкалы на двух языках сверяем на сопоставимость: дословно переведённая шкала — это другая шкала, и сравнивать ответы по ней с русской версией нельзя. Интервью и фокус-группы с казахоязычными участниками ведут модераторы, для которых казахский — рабочий язык.
Без казахской версии достаточно, когда вся аудитория — русскоязычные горожане, и мы прямо говорим об этом до старта.
Возрастной перекос, о котором принято молчать
Любая онлайн-панель моложе населения страны: в интернете за вознаграждение сидят не все одинаково охотно. Это не дефект конкретной панели, это свойство метода.
Мы с этим не спорим, а считаем: состав опрошенных задаётся квотами по полу, возрасту и городу под структуру вашей аудитории, а не под то, кого проще набрать. Если по какому-то сегменту панель тонкая — старшие группы, сёла, малые города, — мы говорим об этом до старта и добираем его офлайн, личными интервью в Алматы; по остальным регионам прямо называем, что панель там тонкая, а не подаём то, что набралось, как «репрезентативную выборку по Казахстану».
Что мы делаем с ответами
Каждая анкета проходит проверки, и часть анкет по их результатам в расчёт не попадает.
- Время заполнения. Анкета, заполненная втрое быстрее среднего, не читалась.
- Однообразие. Человек, поставивший одну и ту же оценку всему списку подряд, не оценивал.
- Логика. В анкете есть вопросы, ответы на которые должны сходиться между собой. Не сходятся — анкета вызывает вопросы.
- Ловушки. Один-два вопроса с заведомо известным ответом, вставленные внутрь длинных списков.
- Открытые ответы. Текст, не относящийся к вопросу, — быстрый признак, что анкета заполнялась механически. Ответы на казахском проверяют казахоязычные исследователи, а не автоматический перевод.
Отбраковка — наша зона ответственности, а не ваша проблема. Если после чистки в какой-то группе не хватает ответов, мы опрашиваем дальше, пока не наберётся объём, согласованный до старта. Оплата идёт по завершённым интервью, а сроки, объём и состав работ мы фиксируем в смете до начала поля.
Выборка: смотрим не на общую цифру
«Тысяча респондентов» звучит убедительно и почти ничего не говорит. Решения вы будете принимать не по всей тысяче, а по разрезам: по вашим клиентам в Алматы, по тем, кто уходил к конкуренту, по семьям с детьми.
Поэтому выборка планируется от узких групп. Мы заранее спрашиваем, по каким разрезам вы будете принимать решение, и считаем размер так, чтобы в каждой такой группе набралось достаточно людей. Если по какому-то разрезу данных всё же мало, в дашборде это подписано прямо — «в этой группе N ответов, вывод предварительный», — а не спрятано в проценты.
Так же честно мы относимся к бюджету: если денег хватает либо на широкий охват, либо на надёжные разрезы, мы говорим об этом до начала, а не после.
Данные из открытых источников
Кабинетные данные собраны кем-то другим, для своих целей и по своей методике. Поэтому у каждой величины в наших результатах подписан статус.
- Замер — посчитано нами.
- Расчёт — получено формулой из замеров.
- Оценка — в формуле есть допущение, поэтому величина подаётся диапазоном.
- Заявление источника — взято готовым, с указанием, кто и как мерил.
Ключевые величины берутся минимум из трёх источников, и расхождение между ними мы показываем, а не усредняем молча. Разброс источников — это и есть честная оценка точности.
Чего мы не делаем
Не добираем ответы «похожих» людей, когда нужная группа не набирается в срок, — вместо этого продолжаем опрашивать нужную или пересогласовываем состав аудитории с вами.
Не переписываем вопрос после старта, даже если по первым ответам видно, что он сформулирован неудачно. Смешивать в одном массиве ответы на две разные формулировки — значит получить среднее, которого не существует.
Не подгоняем выводы под ожидания заказчика. Если данные не подтверждают гипотезу, с которой вы пришли, в результатах будет написано именно это.
Как проверить нас
Результат вы получаете интерактивным дашбордом, где сами открываете разрезы, а вместе с ним — сырые обезличенные данные, в том числе отбракованные анкеты: любую цифру можно пересчитать самостоятельно или отдать на проверку другому подрядчику. Анкета и описание методики прикладываются к проекту целиком, включая то, как задавались условия участия.
Это не жест доброй воли, а часть работы: исследование, которое нельзя перепроверить, невозможно и защитить перед инвестором или головным офисом.
По теме
Обсудим задачу
Расскажите, какое решение нужно принять, — предложим метод, выборку и способ проверки данных.
