Коротко. Плохое исследование выдаёт себя не цифрами, а тем, что написано вокруг них. Главные признаки: не сказано, кого и как спрашивали; выборка описана одной цифрой без баз по группам; яркие выводы сделаны по тридцати людям; подрядчик не отдаёт массив данных; ни одна гипотеза заказчика не опровергнута. Два-три признака вместе — повод не принимать по отчёту дорогих решений.
Первый признак: не написано, кого спрашивали
Откройте отчёт и найдите описание того, как набирали людей. Не «опрошено 1000 респондентов», а откуда эти люди взялись: панель, база клиента, рассылка, опрос на улице.
Если этого нет, дальше можно не читать. Проценты в отчёте — это проценты от какой-то группы людей, и пока неизвестно, что это за люди, проценты ничего не значат.
Отдельный случай — опрос по базе клиента, поданный как опрос рынка. Ваши покупатели знают ваш бренд и относятся к нему лучше среднего по определению. Это ценные данные, но на вопрос «что думает рынок» они не отвечают.
Второй признак: выборка описана одной цифрой
«1000 респондентов, погрешность 3%» — фраза, которая должна настораживать.
Решения принимаются не по всей тысяче. Они принимаются по разрезам: по городу, по возрасту, по тем, кто покупает у конкурента. И если в отчёте есть вывод про жителей Шымкента, а сколько их было в выборке — не написано, то, скорее всего, их было немного.
Хороший отчёт показывает число ответов в каждой группе, по которой делается вывод. Прямо на слайде или в дашборде, рядом с процентами.
Третий признак: проценты от тридцати человек
Найдите в отчёте самый интересный для вас вывод — обычно самый неожиданный — и посмотрите, по какой группе он сделан.
Очень часто именно яркие находки обнаруживаются в самых маленьких группах. Это не совпадение: чем меньше людей в группе, тем сильнее там колеблются цифры, и тем легче увидеть закономерность там, где её нет.
Нормальный отчёт в таком месте пишет прямо: в этой группе ответов мало, вывод предварительный. Плохой — рисует такую же диаграмму, как везде.
Четвёртый признак: сырых данных не отдают
Спросите, отдадут ли вам обезличенный массив ответов.
Нормальный ответ — да, вместе с отчётом. Отказ обычно объясняют методологией или коммерческой тайной, но настоящая причина чаще другая: массив позволяет пересчитать любую цифру из отчёта и проверить, сходится ли она.
Это не значит, что вы обязательно будете что-то пересчитывать. Это значит, что подрядчик работал так, будто это возможно. Мы по умолчанию отдаём результат интерактивным дашбордом, где разрезы клиент открывает сам, а массив передаём вместе с ним.
Пятый признак: все цифры выглядят одинаково уверенно
Признак кабинетных исследований, где данные собраны из открытых источников.
В таком отчёте рядом стоят величины совершенно разной природы: что-то посчитано напрямую, что-то получено формулой, что-то оценено с допущением, а что-то просто взято из чужого пресс-релиза. Выглядят они одинаково — аккуратными числами с точностью до единицы.
В хорошем отчёте у каждой величины подписан статус: замер, расчёт, оценка или заявление источника. И оценки в нём поданы диапазоном, а не точным числом, потому что «108 221 человек» обещает точность, которой в данных нет, — а планы вы будете строить именно на этой цифре.
Второй маркер того же рода: ключевые величины взяты из одного источника. Нормальная практика — брать минимум из трёх и показывать расхождение между ними, потому что разброс источников и есть честная оценка точности.
Шестой признак: ни одна гипотеза заказчика не опровергнута
Пролистайте выводы и задайте себе вопрос: есть ли здесь хоть что-то, что противоречит тому, с чем заказчик пришёл.
Если исследование подтвердило всё, что от него ждали, это подозрительно. Реальность почти всегда вносит поправки — не в главное, так в детали. Отчёт без единого неудобного вывода обычно означает, что вопросы были заданы так, чтобы получить нужный ответ.
Седьмой признак: в анкете не продумана логика
Попросите анкету целиком — обычно её показывают без возражений. Смотреть в ней нужно не столько на текст вопросов, сколько на то, кому какой вопрос задаётся.
Плохая анкета плоская: все вопросы задаются всем подряд. Человека, который не покупал категорию два года, спрашивают, что ему понравилось в последней покупке. Человека, который впервые слышит бренд, просят оценить его имидж по десяти параметрам.
Ответы он всё равно даст — пропустить вопрос обычно нельзя, а «затрудняюсь ответить» люди выбирают неохотно. Дальше эти ответы попадают в общий массив и разбавляют мнения тех, у кого опыт действительно есть. Оценка имиджа, посчитанная по всем подряд, — это уже не оценка имиджа.
Хорошая анкета ветвится: вопрос показывается тому, у кого есть релевантный опыт, и не показывается остальным. В документе это видно по пометкам о переходах и условиях показа рядом с вопросами. Если таких пометок нет вообще, значит, спрашивали всех одинаково.
Заодно посмотрите на формулировки: подсказывает ли вопрос ответ. «Насколько вас привлекает новая, улучшенная упаковка?» — вопрос, на который ответ уже дан. Как и любой вопрос, начинающийся с «согласны ли вы, что».
Если опрос шёл по регионам Казахстана, попросите и казахскую версию анкеты. Её стоит писать как второй оригинал силами казахоязычных исследователей, а не переводить словарём или нейросетью, и проверять шкалы на сопоставимость между языками. Иначе часть различий между группами — это различия в переводе, а не во мнениях.
Что с этим делать
Ни один из признаков сам по себе не означает, что исследование негодное. Два-три вместе — означают почти наверняка.
Если отчёт уже куплен и оказался таким, это не всегда потеря. Иногда из него можно вытащить ту часть, которая держится: описательные данные обычно надёжнее, чем объяснения и прогнозы. А вот решения, стоящие денег, лучше не принимать по цифрам, происхождение которых непонятно.
Итог
Качество исследования проверяется не по цифрам, а по тому, что подрядчик рассказывает о своей работе: кого спрашивал, сколько их было в каждой группе, где у данных границы и готов ли он отдать массив на проверку. Всё это видно из отчёта за полчаса.
Подрядчик, который пишет об ограничениях своих данных, не выглядит слабее. Он выглядит как человек, который знает, что делает.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
