Коротко. Для городской аудитории онлайн-опрос не уступает телефонному и личному в надёжности, а по ряду пунктов выигрывает: нет интервьюера, который подталкивает к «правильным» ответам, можно показать упаковку или ролик, каждая анкета проверяется на качество. Слабее он там, где аудитория мало пользуется интернетом: сёла и люди старшего возраста.
Интервьюер как источник искажений
Главное отличие способов сбора не в технологии, а в том, есть ли между вопросом и ответом живой человек.
Когда есть, включается вежливость. Люди заметно чаще дают социально одобряемые ответы: приукрашивают доход, занижают траты на то, что принято считать вредным, смягчают недовольство сервисом, соглашаются с утверждением, чтобы не спорить с собеседником. Эффект тем сильнее, чем чувствительнее тема — деньги, здоровье, семья, отношение к работодателю.
Онлайн этого слоя нет. Человек отвечает экрану, никого не расстраивает отказом и не старается произвести впечатление. Для большинства коммерческих тем это прямой выигрыш в точности, а не потеря.
Второй риск живого интервью — сам интервьюер. Он может подсказать интонацией, пропустить переход, сократить длинный список, а в худшем случае — заполнить часть анкет самостоятельно. Это классическая проблема личных и телефонных опросов, и контролируется она выборочными перепроверками, то есть не полностью. В онлайне этого канала ошибки нет вовсе — у него свои риски, о которых ниже, но они другой природы.
Кто вообще берёт трубку
Аргумент про покрытие интернета давно перевернулся.
Городская аудитория Казахстана — а это основная аудитория почти любого коммерческого исследования — онлайн практически вся. Зато с телефонными опросами случилось то, чего не было пятнадцать лет назад: звонки с незнакомых номеров массово не берут, а если берут, то кладут трубку на второй фразе. Доля согласившихся упала до единиц процентов.
Это не просто дороже. Это смещает состав опрошенных. Те, кто готов двадцать минут разговаривать с незнакомым человеком по телефону, — особенная группа: в среднем старше и свободнее по времени, чем население.
У Казахстана здесь есть своя особенность: люди всерьёз опасаются телефонного мошенничества. Незнакомый номер, который просит уделить время и начинает спрашивать про покупки, доходы и банк, попадает ровно в этот страх — и неважно, что на том конце добросовестный интервьюер. Поэтому отклик на телефонные опросы здесь падает быстрее, чем объясняется одной усталостью от звонков, и оснований ждать разворота нет.
С личными опросами на улице то же самое, только резче. Вы получаете тех, кто в будний день в два часа оказался в этом месте и никуда не спешил.
Надёжность выборки определяется не тем, каким способом задан вопрос, а тем, насколько состав ответивших похож на ту аудиторию, о которой вы делаете вывод. По этому критерию у онлайна сегодня преимущество, а не отставание.
Что можно спросить только онлайн
Часть задач телефоном не решается вообще.
Показать три варианта упаковки и попросить сравнить. Дать посмотреть рекламный ролик. Открыть экран приложения. Провести конджойнт, где человек выбирает между наборами характеристик с ценами. Дать MaxDiff, где нужно видеть список глазами.
По телефону человек не удержит в голове список из десяти пунктов и не сравнит два варианта, которых не видит. Он ответит — но это будет ответ о том, что он успел запомнить, а не о том, о чём вы спрашивали.
Проверяемость ответов
В онлайне видно то, чего не видно в разговоре: сколько времени человек потратил на каждый вопрос, не ставил ли он одну и ту же оценку всему списку подряд, сходятся ли между собой ответы, которые должны сходиться, осмысленно ли заполнены открытые вопросы, попался ли он на контрольный вопрос с заведомо известным ответом.
Эти проверки проходит каждая анкета, а не выборка из них. В телефонном опросе есть запись разговора, но слушают обычно часть; в личном контроль ещё слабее.
Плюс логика показа исполняется машиной. Вопрос о последней покупке не достанется тому, кто не покупал; блок про имидж бренда — тому, кто впервые о нём слышит. Интервьюер в этом месте ошибается, а программа — нет.
Тот же бюджет — больше разрезов
Одно успешное интервью онлайн стоит в разы дешевле телефонного и тем более личного.
Практический смысл не в экономии, а в том, на что уходит разница. За те же деньги получается больше ответов, а значит — больше групп, по которым можно делать выводы: отдельно Алматы и Астана, отдельно ушедшие клиенты, отдельно семьи с детьми.
Надёжность вывода определяется числом ответов в той группе, по которой вы принимаете решение. Телефонный опрос на триста человек звучит солидно ровно до момента, когда вы захотите посмотреть внутри него четыре сегмента.
Где онлайн действительно слабее
Этот раздел важнее предыдущих, потому что честный ответ на вопрос о методе всегда содержит ограничения.
Аудитории с низкой цифровой активностью. Сельское население старшего возраста, люди за семьдесят. Здесь личный опрос по-прежнему работает лучше, и если ваша аудитория такая, онлайн ей не подходит. Личные опросы в сёлах мы не проводим: такую задачу лучше сразу обсудить с нами и подобрать другой метод. В Алматы офлайн-опрос мы проводим, и старшая возрастная группа опрашивается там так же, как любая другая. В регионах и старших группах важен и язык: анкету можно вести на двух языках, и для регионов и старших групп казахскую версию мы рекомендуем добавлять; решает заказчик. Если она нужна, её пишут казахоязычные исследователи как второй оригинал, а не переводят с русского, и респондент может переключить язык в любой момент.
Возрастной перекос панели. Любая онлайн-панель моложе населения страны — это свойство метода, а не дефект конкретной панели. Решается квотами по возрасту и городу, но требует признания и контроля, а не молчания.
Короткие открытые ответы. В личном интервью человека можно переспросить, и он развернёт мысль. Онлайн он напишет одну строку. Поэтому глубокие объяснения мы не пытаемся вытащить из анкеты, а берём из глубинных интервью.
Руководители высокого уровня. Топ-менеджеры и владельцы бизнеса в панелях встречаются редко. B2B-аудитории такого уровня набираются другими способами и опрашиваются в разговоре.
Всё, что нужно попробовать физически. Вкус, запах, тактильные свойства онлайн не передаются. Такие задачи требуют офлайн-формата, где продукт можно взять в руки. Тест продукта офлайн мы проводим в Алматы, и говорим об этом сразу, до выбора метода.
Как выбирается способ
Способ сбора данных выбирается не из принципов, а из трёх вопросов: где живёт ваша аудитория, что нужно ей показать и насколько тонкие различия вы хотите поймать.
Для городской аудитории, для задач с визуальными материалами и для замеров, где нужны надёжные разрезы, онлайн-опрос — рабочий выбор по умолчанию.
Для объяснений «почему» к нему добавляются интервью и фокус-группы. Для аудиторий без интернета — офлайн-опрос. Отдел исследований и стратегий Mosaic Agency делает онлайн-сбор, а офлайн-опросы и тесты продукта — в Алматы, поэтому формат подбирается под аудиторию и задачу, а не под один инструмент; часто их сочетают в одном проекте. Так, для стратегии BTL-активаций табачной компании мы провели 73 фокус-группы онлайн и офлайн во всех регионах Казахстана.
Итог
Надёжность исследования не определяется способом сбора. Она определяется тем, кто ответил, насколько состав ответивших похож на вашу аудиторию, как сформулированы вопросы и что сделали с ответами до расчёта.
По каждому из этих пунктов онлайн сегодня как минимум не уступает, а по части — выигрывает. Проигрывает он не в надёжности, а в охвате отдельных аудиторий, и это стоит знать заранее — до того, как выбран метод.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
