Задача, которую это решает
Исследование заканчивается решением: запускаем концепт или нет, меняем упаковку или оставляем, повышаем цену или ждём. Когда порога нет, после поля происходит одно из двух.
Результат объявляют успехом: «22% готовы покупать, для новой категории это хорошо». Или провалом: «всего 22%, рынок не готов». Оба высказывания делаются об одном и том же числе, оба звучат профессионально, и выбор между ними определяется не данными, а тем, чего ждали от проекта.
Решающее правило убирает эту развилку. Порог записан заранее, и после поля спорить уже не о трактовке, а только о том, пройден он или нет. Это продолжение постановки задачи: если задача сформулирована как решение, правило для неё почти пишется само.
Из чего состоит правило: семь полей
Правило — это не число, а семь полей. Пропуск любого возвращает в ситуацию, ради выхода из которой всё делается.
- Показатель. Не «интерес к продукту», а «доля ответивших „точно куплю“». Формулировка та же, что будет в отчёте.
- Вопрос анкеты. Из какого вопроса показатель считается. Правило, привязанное к вопросу, видно при вычитке и при программировании опроса — там, где вопрос ещё можно поправить.
- База. От кого считается доля. «25%» без базы не проверяется: 25% от всей выборки и 25% от тех, кто пользуется категорией, — разные требования к продукту.
- Порог и направление. Число и с какой стороны оно проходится. Для вредных показателей — отторжение, доля отказов, доля тех, кто не понял выгоду, — направление обратное: «не больше». Это отдельная строка, а не оговорка: правило «не больше», прочитанное как «не меньше», переворачивает вывод, и обе цифры при этом выглядят правдоподобно.
- Что делаем, если порог не пройден. Конкретное действие: снимаем концепт, возвращаем на доработку, тестируем следующую версию. Без этого поля правило превращается в ожидание, а ожидание после поля всегда корректируется.
- Что делаем, если результат попал в зону неопределённости. Об этом ниже — это самое важное поле и самое часто пропускаемое.
- Кто принимает решение. Не исследовательское агентство. Мы приносим цифру, интервал и исход правила; решение о судьбе продукта принимает тот, кто за продукт отвечает. Роль, записанная в документе заранее, снимает спор «кто решает» на защите результатов.
Зона неопределённости
Любая цифра из опроса — это интервал, а не точка. На выборке в 800 человек доля около четверти измеряется с точностью примерно плюс-минус три процентных пункта. Как это считается и от чего зависит, мы разбирали в статье сколько человек нужно опросить.
Значит, при пороге 25% возможны три исхода, а не два:
Третья строка — самая частая, и именно для неё решение обычно не придумано. Дальше начинается разговор, в котором побеждает тот, кто настойчивее, а цифра служит аргументом обеим сторонам.
Поэтому правило заранее отвечает и на этот случай. Варианты ответа: добираем выборку, решаем по дополнительному показателю, выносим на обсуждение вместе с открытыми ответами, тестируем следующую версию. Любой из ответов работает — не работает только отсутствие ответа.
Есть и четвёртый исход: база не позволила. Если правило считается от узкой группы, например от тех, кто покупал категорию за последний месяц, а в поле их набралось меньше плана, интервал расползается так, что правило не может сработать ни в одну сторону. Это тоже исход, и он печатается в отчёте, а не пропускается.
Порог проверяется против выборки
Правило можно написать так, что оно не сработает никогда. Если два концепта тестируются на подвыборках по 150 человек, то при долях около четверти разница меньше примерно десяти процентных пунктов на такой базе неотличима от случайной. Правило «концепт A лучше B хотя бы на 2 пункта» в этих условиях бессмысленно: оно будет выполняться и не выполняться случайным образом.
Это проверяется арифметикой до поля, когда ещё можно выбрать одно из трёх: укрупнить порог, увеличить выборку или честно сказать, что на такой выборке этот вопрос не решается. После поля остаётся только первое, и тогда оно выглядит как подгонка.
Для одной доли проверка — полуширина интервала вокруг порога. Для разницы двух долей — минимальная различимая разница на плановой выборке. Обе цифры стоят в том же документе, что и правило, и выборку считают от самой узкой группы, которую будут сравнивать.
Условный пример: правило для теста двух упаковок
Производитель выбирает между двумя вариантами упаковки. Выборка — 800 покупателей категории, каждый видит один вариант, по 400 на вариант.
Проверка до поля: на 400 человек в группе разница двух долей около четверти различима, начиная примерно с шести пунктов. Порог отторжения в 15% на той же базе измеряется с точностью около ±3,5 пункта, то есть отторжение 13% ещё не гарантирует прохождения. Обе цифры записаны рядом с правилом, и все стороны знают, какой результат будет считаться неопределённым, до того как он пришёл.
Где правило живёт в проекте
На этапе анкеты. Правила согласуются вместе с анкетой, отдельным листом файла. Текст каждого правила дополнительно стоит в комментарии рядом с тем вопросом, из которого показатель считается: так его видят и те, кто вычитывает формулировки, и те, кто программирует опрос. Если опрос идёт на русском и казахском, правило одно для обеих версий. Казахскую версию мы добавляем по решению заказчика; если она нужна, её пишут казахоязычные исследователи как второй оригинал, а шкалы проверяются на сопоставимость до поля: иначе разница между языками ляжет в зону неопределённости.
На этапе отчёта. По каждому правилу печатается факт, интервал, исход и согласованное действие. Печатаются все правила, включая непройденные: отчёт, в котором остались только сработавшие, — это не отчёт, а подборка.
Если правило меняется. Бывает, что по ходу проекта выясняется: показатель выбран неудачно. Тогда изменение фиксируется как отдельное решение — с датой, причиной и тем, кто его принял. Разница между «уточнили порог до поля» и «поправили порог, увидев результат» существенна, и документ должен позволять её увидеть.
Примеры правил по типам исследований
Чего метод не делает
Не заменяет обсуждение результатов. Правило отвечает на один вопрос — пройден порог или нет. Что именно не сработало и почему, по-прежнему выясняется чтением данных.
Не гарантирует удобного результата. Скорее наоборот: заранее зафиксированный порог чаще даёт ответ «нет», чем трактовка после факта. В этом и смысл — решение «нет», принятое до запуска, стоит дешевле того же решения, принятого после.
Не применяется к разведочным задачам. Когда задача — понять, как люди вообще выбирают в категории, порога нет и быть не может. Правила ставятся там, где на входе есть гипотеза и решение, которое от неё зависит.
Не работает без дисциплины заказчика. Согласовать порог — значит принять на себя обязательство. Заказчик вправе от этого отказаться; тогда мы фиксируем отказ и работаем как обычно. Но выбор между «договорились заранее» и «договоримся потом» лучше делать осознанно, а не по умолчанию.
Как мы это делаем
В тестах концепций, названий, упаковки, креативов и в волнах трекинга отдел исследований и стратегий Mosaic Agency предлагает решающие правила вместе с первой версией анкеты: отдельным листом и комментарием у каждого вопроса, из которого считается показатель. Для каждого правила считаем, какой порог различим на плановой выборке, и если не различим — говорим об этом до поля, а не в отчёте.
Результат вы получаете интерактивным дашбордом: у каждого правила там факт, интервал, один из четырёх исходов и действие, о котором договорились заранее, а новые волны трекинга доливаются туда же. Если нужна презентация для совета директоров или головного офиса, готовим её по запросу с той же логикой. Непройденные правила остаются на своём месте. Если порог после поля всё-таки меняется, это видно по дате и причине в том же документе. Остальные этапы проекта описаны на странице «Как мы работаем», а что можно заказать под разные решения — в разделе «Заказ исследования».
Спросите у любого подрядчика, включая нас: какой результат вы будете считать успехом, что мы делаем, если цифра ляжет рядом с порогом, и различим ли этот порог на нашей выборке. Если ответов нет до поля, после поля их придумают. Это один из признаков, по которым видно, что исследование сделано плохо, и хороший аргумент, когда первое исследование в компании нужно защитить перед собственником.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
