Опрос в гугл-формах: как провести самому и где предел

Коротко. Гугл-формы подходят для вопросов о себе: опросов сотрудников и обратной связи от текущих клиентов. Для вопросов о рынке их не хватает: по своей базе и соцсетям ответят лояльные люди, а отбора по поведению, квот и методов вроде конджойнта и MaxDiff в бесплатной форме нет. Ниже отдел исследований и стратегий Mosaic Agency разбирает, где проходит граница.

Что гугл-формы делают хорошо

Инструмент бесплатный, собирается за час и в целом ряде задач полностью достаточен.

Внутренние опросы: что думает команда, как сотрудники оценивают процессы, какие идеи есть у людей на местах. Здесь ваша аудитория — это ровно те, у кого есть доступ к форме, и никакого отбора не нужно.

Обратная связь от текущих клиентов: что понравилось, что нет, чего не хватило. Вы спрашиваете конкретных людей о конкретном опыте с вами.

Быстрая проверка формулировки: показать десяти знакомым два варианта заголовка и посмотреть, какой понятнее. Это не исследование, но это лучше, чем спор в переговорной.

Во всех трёх случаях гугл-формы — нормальный выбор, и мы так и скажем, если вы спросите.

Где это ломается: дело не в вопросах, а в том, кто ответит

Вопросы вы напишете не хуже нас. Проблема начинается на шаг раньше.

Рассылка по своей базе даёт тех, кто у вас уже покупает, — людей лояльнее среднего по определению. Пост в соцсетях даёт подписчиков, то есть ту же лояльную аудиторию, только шире. Ссылка в рабочем чате даёт знакомых и знакомых знакомых.

А решение, ради которого затевался опрос, почти всегда зависит от других людей: от тех, кто вас знает и не купил, от клиентов конкурента, от тех, кто вообще не в категории. Этих людей в вашей рассылке нет физически, и никакая формулировка вопроса их туда не добавит.

Отсюда простое правило. Если вопрос про ваш собственный опыт с вашими клиентами — гугл-формы справятся. Если вопрос про рынок — нет, независимо от того, насколько хорошо написана анкета.

Чего в инструменте нет

Даже когда аудитория подходящая, четырёх вещей в бесплатной форме не будет.

Отбора по поведению. Вы не можете сначала выяснить, покупал ли человек категорию в последний год, и не пустить дальше тех, кто не покупал. Точнее, спросить можете, но ответят все и пройдут все.

Квот. Нельзя остановить набор ответов в группе, которая уже заполнилась. В итоге получается перекос: откликаются самые активные, а они не случайная часть аудитории.

Контроля повторных ответов. Один человек может заполнить форму пять раз, и это не гипотеза — так и происходит, если за участие что-то обещано.

Проверки добросовестности. Не видно, сколько времени человек потратил, не ставил ли он одну оценку всему списку подряд, сходятся ли между собой ответы, которые должны сходиться.

Методы, которые в гугл-формах не собираются

Отдельная история — задачи, где дело даже не в аудитории. Часть методов устроена так, что бесплатная форма их просто не выполняет.

Конджойнт. Каждому респонденту показываются наборы вариантов продукта с разными характеристиками и ценами, причём наборы генерируются по плану эксперимента и у каждого человека свои. Форма показывает всем одно и то же — расчёт после этого невозможен.

MaxDiff. То же самое: сбалансированные наборы по четыре-пять пунктов, свои у каждого. Без этого получается обычный список с оценками, то есть ровно то, от чего MaxDiff и уводит.

BPTO. Цена в следующем шаге зависит от того, что человек выбрал на предыдущем. Формы не умеют менять вопрос по ходу.

Тест креативов с распределением на версии. Когда один респондент должен увидеть один вариант, а не все сразу, нужно случайное распределение людей по версиям анкеты. В форме все видят всё — и дальше сравнивают варианты между собой, чего в реальной жизни не происходит.

Замер знания без подсказки. Сначала открытый вопрос «какие бренды вы знаете», потом список с подсказкой. Работает это только при условии, что человек не может вернуться назад и дописать. В форме — может.

PSM и любые ценовые вопросы с проверкой логики. Четыре вопроса о цене имеют смысл, только когда ответы не противоречат друг другу: «дёшево» не может быть больше «дорого». Без проверки на лету в массив попадают несогласованные ответы, и кривые строятся по мусору.

Кано. Формально два вопроса на каждое свойство задать можно. Но без перемешивания порядка свойств люди начинают отвечать механически уже к пятому, а категории и коэффициенты всё равно считаются отдельно.

Плюс механики, которых нет вообще: перемешивание вариантов внутри вопроса и порядка вопросов, подстановка названного бренда в следующий вопрос, ограничение времени на ответ, фиксация времени заполнения, закрытие группы при достижении квоты, переключение языка анкеты — с русского на казахский и обратно — в любой момент.

И отдельно — нет знаменателя. Вы не знаете, сколько людей увидели приглашение, а значит, не можете сказать, что «30% покупателей считают так»: тридцать процентов от ответивших, а сколько это от аудитории, неизвестно.

Вопросы, которые портят данные незаметно

Четыре ошибки встречаются почти в каждой самодельной анкете, и все четыре не видны в итоговой таблице.

Вопрос подсказывает ответ. «Насколько вам нравится наша новая, более удобная упаковка?» — ответ уже дан в вопросе.

Шкала с серединой. На нечётной шкале середину выбирают охотно, и половина ответов оказывается ни о чём.

Список без варианта «другое». Человек выбирает ближайшее из предложенного, и вы получаете подтверждение своих же гипотез.

Вопрос о будущем. «Купили бы вы такой продукт?» — люди отвечают «да» гораздо чаще, чем покупают. Намерение меряется иначе, через цену и сравнение с альтернативами.

Четыре вопроса, чтобы понять свой случай

Нужен ли вам метод из списка выше? Если да, вопрос закрыт: собрать это в бесплатной форме нельзя.
Решение принимается по вашим клиентам или по рынку? Если по рынку — своей базы не хватит.
Будете ли вы умножать полученные доли на что-то? Если из процентов вырастает финансовая модель, нужен корректный знаменатель.
Придётся ли вам защищать эти цифры? Перед инвестором, банком или головным офисом первым вопросом будет «кого вы спрашивали».

Четыре «нет» — делайте сами и не тратьте деньги. Хотя бы одно «да» — стоит обсудить.

Если всё-таки сами

Пять правил, которые ничего не стоят и заметно улучшают результат.

Не спрашивайте условие в лоб. Вместо «покупаете ли вы премиальный сегмент» спросите, что покупали в последний раз и за сколько.
Добавьте один контрольный вопрос с заведомо известным ответом — он отсечёт тех, кто щёлкает не глядя.
Закройте повторные ответы настройками формы, насколько это возможно.
Не считайте проценты по группе меньше тридцати ответов. Пишите абсолютные числа.
В любом документе, где эти цифры появятся, напишите одной строкой, кого и как вы спрашивали. Это спасёт вас от неверного решения через полгода, когда контекст забудется.