Блог

Опрос в гугл-формах: когда хватает, а когда нет

Методы и анкеты Исследования
Опрос в гугл-формах: когда хватает, а когда нет
Коротко. Гугл-формы подходят для вопросов о себе: опросов сотрудников и обратной связи от текущих клиентов. Для вопросов о рынке их не хватает: по своей базе и соцсетям ответят лояльные люди, а отбора по поведению, квот и методов вроде конджойнта и MaxDiff в бесплатной форме нет. Ниже отдел исследований и стратегий Mosaic Agency разбирает, где проходит граница.

Что гугл-формы делают хорошо

Инструмент бесплатный, собирается за час и в целом ряде задач полностью достаточен.
Внутренние опросы: что думает команда, как сотрудники оценивают процессы, какие идеи есть у людей на местах. Здесь ваша аудитория состоит ровно из тех, у кого есть доступ к форме, и никакого отбора не нужно.
Обратная связь от текущих клиентов: что понравилось, что нет, чего не хватило. Вы спрашиваете конкретных людей о конкретном опыте с вами.
Быстрая проверка формулировки: показать десяти знакомым два варианта заголовка и посмотреть, какой понятнее. Это не исследование, но это лучше, чем спор в переговорной.
Во всех трёх случаях гугл-формы будут нормальным выбором, и мы так и скажем, если вы спросите.

Где это ломается: дело не в вопросах, а в том, кто ответит

Вопросы вы напишете не хуже нас. Проблема начинается на шаг раньше.
Рассылка по своей базе даёт тех, кто у вас уже покупает, то есть людей лояльнее среднего по определению. Пост в соцсетях даёт подписчиков, то есть ту же лояльную аудиторию, только шире. Ссылка в рабочем чате даёт знакомых и знакомых знакомых.
А решение, ради которого затевался опрос, почти всегда зависит от других людей: от тех, кто вас знает и не купил, от клиентов конкурента, от тех, кто вообще не в категории. Этих людей в вашей рассылке нет физически, и никакая формулировка вопроса их туда не добавит.
Отсюда простое правило. Если вопрос про ваш собственный опыт с вашими клиентами, гугл-формы справятся. Если вопрос про рынок, не справятся, независимо от того, насколько хорошо написана анкета.

Чего в инструменте нет

Даже когда аудитория подходящая, четырёх вещей в бесплатной форме не будет.
Отбора по поведению. Вы не можете сначала выяснить, покупал ли человек категорию в последний год, и не пустить дальше тех, кто не покупал. Точнее, спросить можете, но ответят все и пройдут все.
Квот. Нельзя остановить набор ответов в группе, которая уже заполнилась. В итоге получается перекос: откликаются самые активные, а они не случайная часть аудитории.
Контроля повторных ответов. Один человек может заполнить форму пять раз, и это не гипотеза: так и происходит, если за участие что-то обещано.
Проверки добросовестности. Не видно, сколько времени человек потратил, не ставил ли он одну оценку всему списку подряд, сходятся ли между собой ответы, которые должны сходиться.

Методы, которые в гугл-формах не собираются

Отдельная история: задачи, где дело даже не в аудитории. Часть методов устроена так, что бесплатная форма их просто не выполняет.
Конджойнт. Каждому респонденту показываются наборы вариантов продукта с разными характеристиками и ценами, причём наборы генерируются по плану эксперимента и у каждого человека свои. Форма показывает всем одно и то же, поэтому расчёт после этого невозможен.
MaxDiff. То же самое: сбалансированные наборы по четыре-пять пунктов, свои у каждого. Без этого получается обычный список с оценками, то есть ровно то, от чего MaxDiff и уводит.
BPTO. Цена в следующем шаге зависит от того, что человек выбрал на предыдущем. Формы не умеют менять вопрос по ходу.
Тест креативов с распределением на версии. Когда один респондент должен увидеть один вариант, а не все сразу, нужно случайное распределение людей по версиям анкеты. В форме все видят всё и дальше сравнивают варианты между собой, чего в реальной жизни не происходит.
Замер знания без подсказки. Сначала открытый вопрос «какие бренды вы знаете», потом список с подсказкой. Работает это только при условии, что человек не может вернуться назад и дописать. В форме может.
PSM и любые ценовые вопросы с проверкой логики. Четыре вопроса о цене имеют смысл, только когда ответы не противоречат друг другу: «дёшево» не может быть больше «дорого». Без проверки на лету в массив попадают несогласованные ответы, и кривые строятся по мусору.
Кано. Формально два вопроса на каждое свойство задать можно. Но без перемешивания порядка свойств люди начинают отвечать механически уже к пятому, а категории и коэффициенты всё равно считаются отдельно.
Плюс механики, которых нет вообще: перемешивание вариантов внутри вопроса и порядка вопросов, подстановка названного бренда в следующий вопрос, ограничение времени на ответ, фиксация времени заполнения, закрытие группы при достижении квоты, переключение языка анкеты (с русского на казахский и обратно) в любой момент.
И отдельно: нет знаменателя. Вы не знаете, сколько людей увидели приглашение, а значит, не можете сказать, что «30% покупателей считают так»: тридцать процентов от ответивших, а сколько это от аудитории, неизвестно.

Вопросы, которые портят данные незаметно

Четыре ошибки встречаются почти в каждой самодельной анкете, и все четыре не видны в итоговой таблице.
Вопрос подсказывает ответ. «Насколько вам нравится наша новая, более удобная упаковка?» Ответ уже дан в вопросе.
Шкала с серединой. На нечётной шкале середину выбирают охотно, и половина ответов оказывается ни о чём.
Список без варианта «другое». Человек выбирает ближайшее из предложенного, и вы получаете подтверждение своих же гипотез.
Вопрос о будущем. «Купили бы вы такой продукт?» Люди отвечают «да» гораздо чаще, чем покупают. Намерение меряется иначе, через цену и сравнение с альтернативами.

Четыре вопроса, чтобы понять свой случай

  1. Нужен ли вам метод из списка выше? Если да, вопрос закрыт: собрать это в бесплатной форме нельзя.
  2. Решение принимается по вашим клиентам или по рынку? Если по рынку, своей базы не хватит.
  3. Будете ли вы умножать полученные доли на что-то? Если из процентов вырастает финансовая модель, нужен корректный знаменатель.
  4. Придётся ли вам защищать эти цифры? Перед инвестором, банком или головным офисом первым вопросом будет «кого вы спрашивали».
Если четыре «нет», делайте сами и не тратьте деньги. Если есть хотя бы одно «да», стоит обсудить.

Если всё-таки сами

Пять правил, которые ничего не стоят и заметно улучшают результат.
  1. Не спрашивайте условие в лоб. Вместо «покупаете ли вы премиальный сегмент» спросите, что покупали в последний раз и за сколько.
  2. Добавьте один контрольный вопрос с заведомо известным ответом: он отсечёт тех, кто щёлкает не глядя.
  3. Закройте повторные ответы настройками формы, насколько это возможно.
  4. Не считайте проценты по группе меньше тридцати ответов. Пишите абсолютные числа.
  5. В любом документе, где эти цифры появятся, напишите одной строкой, кого и как вы спрашивали. Это спасёт вас от неверного решения через полгода, когда контекст забудется.

Итог

Гугл-формы остаются нормальным инструментом для вопросов о себе и плохим для вопросов о рынке. Разница не в анкете, а в том, кто до неё доберётся.
Если сомневаетесь, к какому случаю относится ваш вопрос, напишите, скажем прямо. Иногда честный ответ звучит «делайте сами», и это тоже нормально.

По теме

Обсудим ваше исследование. Расскажите, какое решение нужно принять, и мы предложим метод, выборку и сроки.