Как считается сам индекс, почему нейтралы не входят в формулу и какую шкалу нельзя менять, разобрано в статье о том, как считать NPS. Чем NPS отличается от CSAT и CSI и когда нужна другая метрика — в статье «CSAT, CSI или NPS». Здесь — только о сравнении.
Причина 1. Разная база: клиенты или все, кто знает марку
Самое большое расхождение даёт вопрос, кого спросили.
NPS по своей базе — это оценка тех, кто сейчас у вас покупает. Ушедшие в неё не попадают, покупатели конкурентов тоже. Такой NPS почти всегда выше: люди, которым вы не подошли, уже ушли.
NPS по всем, кто знает марку, — это отношение рынка: в выборке и ваши клиенты, и бывшие, и те, кто покупает у конкурента и знает вас по рекламе или отзывам. Такой NPS ниже и честнее описывает репутацию.
Если свой NPS вы считаете по базе, а цифру конкурента нашли в его пресс-релизе, где непонятно, кого опрашивали, сравнение ничего не говорит. Разница может быть целиком в том, что в одном замере были только довольные.
Причина 2. Канал опроса
Один и тот же человек отвечает по-разному в разных условиях.
- Опрос сразу после покупки или обслуживания ловит эмоцию момента: благодарность за быстро решённый вопрос или раздражение от очереди.
- Звонок оператора даёт более высокие оценки, чем анонимная онлайн-анкета: живому человеку труднее поставить три балла.
- SMS или письмо от самой компании собирает ответы тех, кто захотел ответить, а это обычно самые довольные и самые недовольные.
- Онлайн-опрос от третьей стороны, где марка не знает, кто ответил, даёт самые сдержанные оценки.
Компания, которая меряет NPS звонком после покупки, и компания, которая меряет онлайн-опросом покупателей категории раз в год, получат разные цифры при одинаковой лояльности клиентов.
Причина 3. Момент опроса
NPS после закрытого обращения в поддержку — это оценка обращения. NPS через месяц после покупки — оценка покупки. NPS в годовом трекинге бренда — оценка отношения к марке в целом. Все три называются NPS и отвечают на разные вопросы.
Сезон тоже важен. Опрос сразу после массовой акции или громкого сбоя сервиса сдвигает индекс у одной компании, а у конкурента в тот же месяц ничего не происходило.
Причина 4. Погрешность на малой выборке
NPS — разность двух долей, и его погрешность больше, чем у одной доли. Стандартная ошибка считается так: SE = √((p₊ + p₋ − (p₊ − p₋)²) / n), где p₊ — доля промоутеров, p₋ — доля критиков, n — число ответивших. Интервал 95% — это NPS ± 1,96 × SE.
Условный пример. У вас 40% промоутеров и 20% критиков — NPS 20. У конкурента 45% и 15% — NPS 30. Разница 10 пунктов выглядит как отставание.
Расчёт для 150 ответов: SE = √((0,40 + 0,20 − 0,20²) / 150) = √(0,56 / 150) ≈ 0,061, то есть ±12,0 пункта. У конкурента SE = √((0,45 + 0,15 − 0,30²) / 150) = √(0,51 / 150) ≈ 0,058, ±11,4 пункта. Погрешность разницы двух независимых замеров — корень из суммы квадратов: √(0,061² + 0,058²) ≈ 0,084, ±16,6 пункта. Разница в 10 пунктов в неё помещается.
При таких долях около 410 ответов на каждую марку нужно, чтобы интервал 95% для разницы сузился до ±10 пунктов. Но это граница: если настоящая разница ровно 10 пунктов, при 410 ответах опрос покажет её значимой лишь примерно в половине случаев. Чтобы обнаруживать разницу в 10 пунктов в 80% замеров (мощность 80%, уровень значимости 5%), нужно около 840 ответов на марку: n = (1,96 + 0,84)² × (0,56 + 0,51) / 0,10² ≈ 840. Если вы хотите видеть меньшие различия, выборка растёт квадратично: для 5 пунктов — примерно в четыре раза больше. Как считать выборку под сравнение групп, разобрано в статье о том, сколько человек нужно опросить.
Обратите внимание на порядок величин. На 150 ответах ваш интервал — 24 пункта в ширину. Это больше, чем разница между большинством компаний в одной категории. Сравнение с конкурентом на такой выборке — это сравнение двух размытых пятен.
Отраслевые «нормы» NPS
В интернете легко найти таблицы «средний NPS по отраслям». Использовать их как ориентир для своей компании в Казахстане рискованно по тем же четырём причинам: неизвестно, кого, каким каналом, когда и на какой выборке опрашивали. Чаще всего это замеры по другим странам, где культура оценок иная: в одних странах десятку ставят легко, в других — почти никогда.
Норма для вашего NPS — это NPS ваших конкурентов, измеренный тем же способом в то же время. 30 пунктов могут быть отличным результатом в категории, где у всех 10, и провальным там, где у всех 50. Без замера категории целиком цифра не с чем сравнить.
Как сравнивать честно
Честное сравнение держится на трёх «одинаково»:
Плюс два правила чтения. Рядом с каждым NPS стоит база и интервал. И разница между марками или волнами называется разницей, только если она больше погрешности; иначе пишем «на уровне».
Если свой NPS вы продолжаете мерить по базе после каждой покупки — это нормально, и это полезно для операционного контроля. Просто этот ряд сравнивается сам с собой от месяца к месяцу, а не с конкурентами.
И последнее. Даже честное сравнение говорит только «где вы стоите». Почему вы там стоите, отвечают причины оценок: что люди называют своими словами, когда ставят 3 или 9. Без них разница с конкурентом остаётся цифрой, с которой нечего делать. Если низкий NPS связан с уходом клиентов, поможет разбор причин оттока, а если NPS нужен как часть регулярного замера марки — статья о воронке бренда.
Как мы это делаем
Мы меряем NPS всей категории в одном поле: вашу марку и конкурентов, по всем, кто знает каждую из них, одной анкетой, которую можно вести на двух языках. Основа — анкета на русском; казахскую версию мы рекомендуем добавлять, если в аудитории есть регионы, сёла или старшие группы, или выборка общенациональная, а язык фиксируем с вами при согласовании анкеты и сметы. Если казахская версия нужна, её пишут казахоязычные исследователи как второй оригинал, а не переводят с русского; шкалу мы проверяем на сопоставимость, чтобы разница между казахо- и русскоязычными респондентами не появилась из-за формулировки вопроса, а респондент выбирает язык и может переключить его в любой момент. Выборку считаем от того сравнения, которое вам важно: если нужно видеть разницу в 10 пунктов с главным конкурентом, это закладывается в смету до поля, а не обнаруживается в отчёте. Анкету вы читаете до старта.
Результат вы получаете в интерактивном дашборде: у каждого NPS — база и интервал, разница с конкурентами помечена, только если она больше погрешности, а рядом — причины оценок, сгруппированные по темам из слов самих людей. Следующая волна доливается в тот же дашборд. Презентация с выводами — по запросу. Так устроен, например, трекинг здоровья бренда, который мы делали для банка из топ-6 по знанию: 1 200 респондентов и 4 фокус-группы на русском и казахском. Описание продукта — на странице замера NPS, другие метрики клиентского опыта — в разделе «Путь и голос клиента».
Спросите у любого подрядчика, включая нас: какой интервал будет у NPS каждой марки на предложенной выборке и какую разницу с конкурентом опрос сможет различить. Если ответа нет, сравнение в отчёте будет точнее, чем его можно измерить.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
