С чего начинать, если опрос вы делаете впервые, — в статье как сформулировать задачу на исследование. Здесь — про саму анкету.
Формулировки
1. Два вопроса в одном
«Насколько вы довольны или недовольны скоростью и вежливостью персонала?» У человека, которому нравится скорость и не нравится вежливость, нет верного ответа. Что бы он ни выбрал, цифра не значит ничего, а разложить её обратно на две нельзя.
Как поймать: ищите в вопросе «и», «или», «а также» между двумя предметами оценки. Каждый такой случай — два вопроса.
2. Вопрос подсказывает ответ
«Согласны ли вы, что удобное мобильное приложение важно при выборе банка?» Такой вопрос соберёт почти единодушное согласие у любой аудитории. Он не проверяет гипотезу, а подтверждает её.
Как поймать: замените в вопросе позитивное слово на негативное. «Что вам понравилось в рекламе?» → «Что вам не понравилось в рекламе?» — получились два разных вопроса, значит исходный наводящий. «Что вы думаете об этой рекламе?» от замены не меняется — он нейтрален. Если нужно понять, что важнее, вместо согласия с утверждением заставьте выбирать: ранжирование или MaxDiff.
3. Вопрос назвал только один полюс
«Насколько вы довольны обслуживанием?» Шкала под вопросом может быть честной, от «совсем недовольны» до «полностью довольны», но вопрос уже сообщил, какой ответ здесь нормален. Недовольство становится отклонением, а отклоняться от нормы в опросе не любят. Сдвиг небольшой и поэтому опасный: в трекинге он живёт из волны в волну.
Как исправить: «насколько вы довольны или недовольны», «насколько хорошо или плохо». Два лишних слова — и вопрос перестаёт подсказывать.
4. Язык клиента вместо языка респондента
«Экосистема», «омниканальность», «ценностное предложение», «премиальный сегмент». Респондент отвечает на тот вопрос, который понял, и вы никогда не узнаете, как именно он его понял.
Как поймать: прочитайте вопрос вслух так, будто спрашиваете соседа. Всё, что нельзя сказать в таком разговоре, переписывается.
Отбор и порядок
5. Отбор в лоб
«Покупаете ли вы косметику дороже 5000 тенге?» На такой вопрос «да» ответит тот, кто понял, что от ответа зависит вознаграждение за опрос. Отборочный вопрос, по которому видно, какой ответ пропустит дальше, отбирает не аудиторию, а догадливых.
Как исправить: спрашивать о поведении без подсказки нужного ответа. Не «покупаете ли вы дорогую косметику», а «сколько примерно вы потратили на косметику за последний месяц» с диапазонами, где нужный — один из многих. Или приглашать нужных людей по профилю панели, а не искать их вопросами. Как это делается для редких групп, мы разобрали в статье о том, как найти сложную аудиторию.
6. Бренд назван раньше, чем спрошено мнение
Блок про важность факторов стоит после блока брендов. Человек уже прочитал список из двенадцати банков и отметил свой. Дальше он оценивает важность не своими критериями, а через свой банк: важным оказывается то, что у его банка есть.
Как исправить: всё, что спрашивается о самом человеке, — до первого упоминания брендов. Порядок: открытый вопрос без подсказки → список с подсказкой → конкретные бренды.
7. Гипотеза вместо прошлого
«Если бы появилась такая услуга, стали бы вы ей пользоваться?» Надёжность падает по мере удаления от опыта: прошлое поведение → текущее → намерения → гипотезы. На последней ступени ответ сочиняют в момент вопроса, и сочиняют доброжелательно. Особенно страдает цена: «сколько вы готовы платить», заданное в вакууме, меряет воображение.
Как исправить: спросить сначала о том, что человек делал и тратил в последний раз, а гипотетическое ставить после. Ценовые методы гипотетичны по устройству, но и они идут после вопросов о реальной покупке.
Родственная ошибка — открытый вопрос, начинающийся с «почему». «Почему вы выбрали этот банк?» даёт сотню вариаций «удобно» и «выгодно». «Что происходило, когда вы выбирали банк?» даёт события, которые можно сгруппировать.
Шкалы
8. Несбалансированная шкала
«Отлично — хорошо — нормально — плохо». Три положительных деления против одного отрицательного: недовольству просто некуда поместиться, и средняя оценка выходит лучше, чем есть. Та же ошибка в мягкой форме — шкала «от 1 до 5», где подписан только верхний край.
Как исправить: поровну делений по обе стороны, оба полюса подписаны словами прямо в вопросе: «где 1 — совсем недовольны, а 6 — полностью довольны». Мы по умолчанию берём шкалу 1–6: у неё нет середины, куда уезжает заметная доля ответов, и нет ложной точности десятибалльной. Исключения — там, где шкалу задаёт метод или история: NPS (1–10), Кано (пять вариантов ответа, под них рассчитана таблица категорий), намерение покупки в ценовом блоке (пять делений, под них рассчитаны калибровочные веса) и вопросы, где вы продолжаете ряд прошлых волн. Подробнее — в статье шкала 1–5 или 1–6.
9. Разнонаправленные строки в одной таблице
В таблице про рекламу все утверждения позитивные, а одно — «я устал(а) видеть эту рекламу», и 6 в нём значит «полностью согласен», то есть плохо. В отчёте высокий балл по «усталости» прочитают как успех.
Как исправить: направление выравнивается в анкете, а не оговоркой в отчёте: 6 везде означает «хорошо». Для негативной строки полюса переписываются: «6 — совсем не устал(а)».
10. «Затрудняюсь ответить» не на своём месте
Здесь две противоположные ошибки. Первая — варианта нет там, где честный ответ «не знаю» возможен: вопрос о цене чужого товара, о бренде, которым человек не пользовался. Тогда он ставит случайный ответ, и тот смешивается с настоящими. То же в вопросах с несколькими ответами: без варианта «ничего из перечисленного» пустая строка неотличима от вопроса, который человеку не показали.
Вторая ошибка — «затрудняюсь» в каждой оценочной шкале по умолчанию. Там он работает как скрытая середина: в него уходят те, кому лень думать, и шкала, которую вы специально сделали без середины, её получает.
Как исправить: «не знаю» и «ничего из перечисленного» — там, где это содержательный ответ, и всегда последним пунктом, вне перемешивания. Иначе при случайном порядке он встанет посреди списка, и часть людей отметит его вместе с брендами.
Нагрузка
11. Длинные таблицы и прямые линии
Все атрибуты из брифа складываются в одну таблицу на 15 строк. После восьмой строки человек перестаёт читать и ставит одну и ту же оценку всей колонке — «прямую линию». В данных это видно как подозрительно ровные распределения по хвосту таблицы, но только если специально искать.
Как исправить: не больше 8–10 строк в таблице. Длинный список делится на две таблицы по смыслу или заменяется на MaxDiff. Общую длину держим под задачу и считаем до поля: примерно 20–30 секунд на простой вопрос, 40–60 на таблицу, около минуты на экран MaxDiff. Длинные анкеты вроде трекинга здоровья бренда собираются из коротких батарей, и каждая показывается только тем, к кому относится: имидж — знающим бренд, причины отказа — отказавшимся. Поэтому длинный список вопросов в анкете не означает, что каждый респондент проходит его целиком. Анкеты с прямыми линиями и слишком быстрым прохождением мы потом всё равно отбраковываем при чистке данных, но дешевле не провоцировать их с самого начала.
Туда же — демография в начале. Доход, образование и состав семьи в первых вопросах тратят те две минуты, когда респондент ещё готов думать. В начале — только то, по чему отбираем; остальное — в конец.
Язык
12. Дословный перевод шкал
Русская анкета переводится на казахский слово в слово, иногда переводчиком или нейросетью. Формулировка вопроса ещё может выдержать, шкала — почти никогда: подписи делений на двух языках начинают значить разное, и «скорее согласен» по-русски и его дословный перевод перестают быть одним и тем же делением. Складывать такие ответы нельзя, а в таблицах этого не видно.
Вторая сторона той же ошибки — анкеты только на русском в опросе, где есть регионы и сёла. Они отсекают не случайную часть страны: прежде всего жителей западных и южных регионов и сёл. Подробно — в статье опрос на казахском.
Как исправить: если казахская версия нужна, она пишется как второй оригинал — казахоязычными исследователями, а не переводчиком по словарю или нейросетью. Шкалы адаптируются по смыслу и проверяются на сопоставимость: деление на одном языке должно значить то же, что на другом. Обе версии собираются одновременно и сверяются построчно. Для общенациональной выборки, регионов, сёл и старших групп казахскую версию рекомендуем; если вся аудитория — русскоязычные горожане, можно обойтись русской.
Как проверить анкету до старта
Шесть проверок, которые мы делаем перед стартом каждой анкеты.
- Каждый вопрос связан с задачей. Вопрос, который ни на что не отвечает, выбрасывается. Задача, под которой нет вопроса, находится сейчас, а не на отчёте.
- Строка отчёта формулируется заранее. Если нельзя вслух сказать, как будет выглядеть таблица по вопросу, тип вопроса выбран неверно.
- Анкету проходят за трёх разных людей: того, кто знает все бренды, того, кто знает один, и того, кто везде выбрал «ничего из перечисленного». Каждый должен дойти до конца, не увидев вопроса, на который у него нет ответа.
- Время прохождения посчитано.
- Если есть казахская версия, обе языковые версии сверены построчно.
- Во всех открытых полях запрещена вставка скопированного текста, включая поля «другое». Запрет ставится при программировании анкеты: иначе туда вставляют ответы из нейросетей и чужие формулировки — подробнее в статье про ответы, написанные ИИ. Проверяется по тестовой ссылке, в том числе с телефона.
Как мы это делаем
Анкету мы собираем под решение, которое вы примете по итогам, и отдаём вам на чтение до того, как начали опрашивать людей. Это самый важный шаг проекта с вашей стороны: после старта опроса формулировки не меняются, иначе ответы первых респондентов не сложатся с остальными. Основа — анкета на русском; казахскую версию мы делаем по вашему решению и рекомендуем для общенациональных выборок, регионов, сёл и старших групп. Анкету можно вести на двух языках — тогда респондент выбирает язык и может переключить его в любой момент, а казахскую версию пишут казахоязычные исследователи как второй оригинал. Интервью и фокус-группы на казахском в этом случае тоже модерируются на казахском. Язык фиксируем вместе с вами при согласовании анкеты и сметы. Подробнее о том, как устроен сам сбор, — на странице онлайн-опрос.
Двенадцать проверок из этой статьи можно задать любому подрядчику, включая нас: покажите анкету до старта, покажите казахскую версию (если она нужна) рядом с русской и объясните, почему в этой таблице десять строк, а не пятнадцать.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
