Блог

CSAT, CSI или NPS: какую метрику клиентского опыта выбрать

Клиентский опыт Исследования
CSAT, CSI или NPS: какую метрику клиентского опыта выбрать

Три метрики в одной таблице

CSAT
CSI
NPS
На какой вопрос отвечает
Доволен ли клиент этим контактом
Чем клиент доволен и что сильнее связано с общей оценкой
Готов ли клиент рекомендовать компанию
Что спрашиваем
Одна оценка сразу после события: звонка, доставки, визита
Общая удовлетворённость + батарея по 3–10 атрибутам + важность тех же атрибутов
«Насколько вероятно, что вы порекомендуете…», шкала 1–10
Шкала
У нас 1–6
У нас 1–6
1–10, задана методом
Как считается
Доля оценок 5–6
Средние по атрибутам, заявленная и выводимая важность, матрица приоритетов
% промоутеров (9–10) − % критиков (1–6)
Результат
Одна доля на этап
Таблица атрибутов и четыре квадранта
Индекс от −100 до +100 и три сегмента
Под какое решение
Какой этап обслуживания чинить прямо сейчас
Во что вкладываться в сервисе, а во что нет
Как меняется отношение к бренду, сравнение с конкурентами
Где обычно меряют
Опрос после контакта, по своей базе
Опрос клиентов или покупателей категории
В трекинге бренда, по всем известным маркам
Чего не покажет
Почему клиент недоволен и что будет дальше
Причинность: вес атрибута показывает связь, а не «атрибут определяет»
Что именно исправлять

CSAT: точечная оценка события

CSAT отвечает на вопрос, как прошёл конкретный контакт. Его задают сразу после события: закрыли обращение, привезли заказ, клиент вышел из отделения. Одна оценка по шкале, одна доля довольных на выходе.
Сила CSAT заключается в частоте и привязке к этапу. Если доля довольных после звонка в поддержку просела за неделю, вы знаете, где искать. Слабость заключается в узости: CSAT не говорит, почему клиент недоволен, а оценка одного контакта сама по себе мало говорит о том, останется ли клиент. Клиент может быть доволен каждым звонком и уйти к конкуренту из-за цены.
Одна деталь расчёта, которую стоит проверить у любого подрядчика, включая нас. Доля довольных в одиночку скрывает недовольных: 30% довольных при 45% недовольных и 30% довольных при 8% недовольных означают противоположные ситуации с одной цифрой в отчёте. Поэтому долю оценок 1–2 мы выводим рядом с долей 5–6, когда недовольных много или разрыв между довольными и недовольными меньше 10 процентных пунктов.

CSI: что из сервиса действительно связано с удовлетворённостью

CSI отвечает на вопрос, куда вкладываться. Блок состоит из трёх вопросов: общая удовлетворённость, удовлетворённость по атрибутам (скорость, вежливость, цена, удобство приложения) и заявленная важность тех же атрибутов («насколько это важно лично для вас»).
Классически: по средним оценкам атрибутов и заявленной важности. Это понятно и привычно, но у заявленной важности известная беда: почти всё называют важным. Цена, скорость и вежливость получают 5 из 6 у большинства, и приоритетов из этого не выходит.
С выводимой важностью по методу Johnson’s Relative Weights. Метод смотрит, насколько удовлетворённость каждым атрибутом связана с общей удовлетворённостью, и делит между атрибутами ту часть общей оценки, которую батарея вообще объясняет. Обычную регрессию здесь использовать нельзя: оценки атрибутов всегда скоррелированы между собой, и её коэффициенты прыгают от волны к волне, вплоть до смены знака на тех же данных.
Главный сюжет CSI-отчёта: расхождение двух важностей. Условный пример, клиенты сервиса, шкала 1–6, доля объяснённой батареей вариации общей удовлетворённости (R2) равна 0,46:
Атрибут
Удовлетворённость, средняя
Заявленная важность, средняя
Выводимый вес, % от R2
Квадрант
Скорость обслуживания
4,1
5,2
38%
Срочно чинить
Удобство приложения
4,4
4,3
36%
Поддерживать
Цена и условия
3,9
5,5
14%
Низкий приоритет
Вежливость персонала
4,9
4,8
12%
Не переинвестировать
Сумма весов
100%
Квадранты считаются относительно средних по этой батарее: средняя удовлетворённость 4,33, средний вес 25%. Скорость обслуживания: вес выше среднего, оценка ниже, её чинить первой. Удобство приложения заявленно важно меньше всех, но по связи с общей оценкой стоит вторым: клиенты не называют его важным, а удовлетворённость от него зависит. Цену все называют самой важной, но недовольство ценой в этом примере мало связано с общей оценкой сервиса: вероятно, её воспринимают как данность рынка. Вежливость и так на высоте, вкладываться в неё дополнительно значит получить меньшую отдачу.
Три оговорки, которые мы пишем в отчёте прямо. Вес показывает связь, а не причину: формулировка вывода «атрибут связан с удовлетворённостью», а не «определяет её». Атрибуты, скоррелированные сильнее 0,8, делят вес между собой, и разводить их по разным рекомендациям нельзя. Низкий R2 тоже результат: удовлетворённость определяется чем-то, чего в батарее нет. И ещё: для устойчивых весов нужно хотя бы около 200 ответов в базе модели, а для сравнения весов в срезах нужна такая база в каждом срезе. Это считается до поля.

NPS: отношение к бренду, а не оценка сервиса

NPS отвечает на вопрос, готовы ли клиенты за вас поручиться. Десятибалльная шкала и классическая формулировка здесь обязательны: иначе волны нельзя сравнивать между собой. Как считать NPS, почему нейтралы не входят в формулу и на какой базе разница между волнами значима, мы подробно разобрали в отдельной статье о расчёте NPS, здесь повторять не будем.
Для выбора метрики важно одно: NPS не равен удовлетворённости. Человек может быть доволен сервисом и не рекомендовать его, потому что в его кругу это не принято, или рекомендовать, будучи недовольным мелочами. Поэтому NPS нельзя ставить критерием в модель CSI вместо общей удовлетворённости, потому что это другая переменная, и веса атрибутов получатся про другое.

Как выбрать: от решения к метрике

Ваше решение
Метрика
Что добавить
Найти этап обслуживания, который портит впечатление
CSAT по этапам
Карту пути клиента, чтобы видеть охват каждого этапа
Распределить бюджет на улучшение сервиса
CSI с выводимой важностью
Заявленную важность (для сравнения)
CSI + вопросы о причинах ухода
Опрос ушедших, а не только текущих
Следить за отношением к бренду и сравниться с конкурентами
NPS по всем известным маркам
Перевести «клиенту должно быть удобно» в проверяемый стандарт
Ни одна из трёх
Последняя строка описывает частый случай. Все три метрики остаются оценками, а оценка не говорит сотруднику, что именно делать завтра. Если нужен стандарт, который можно проверить, работают вопросы о фактах: «перезвонили ли вам в течение часа: да или нет», и доля клиентов, столкнувшихся с дефектом, по каждому этапу пути.

Можно ли мерить все три сразу

Можно, и в одной анкете они не мешают друг другу, если соблюдён порядок. Общая удовлетворённость спрашивается раньше списка атрибутов и раньше любых вопросов о неприятностях: после перечня проблем общая оценка съезжает вниз. NPS по своему бренду ставится рядом с общей удовлетворённостью или сразу после неё. Оценки конкретных этапов пути, то есть CSAT по этапам, идут после общих вопросов, в том порядке, в котором клиент проходит путь.
Условный пример состава: общая удовлетворённость сервисом, NPS, батарея удовлетворённости по восьми атрибутам, важность тех же восьми атрибутов, оценка трёх последних контактов. Это около двадцати вопросов, и их хватает, чтобы ответить сразу на три вопроса: как клиент относится к компании, что в сервисе сильнее всего связано с этим отношением и на каком этапе пути он чаще всего разочаровывается.
Одно ограничение: три метрики в одном отчёте нельзя сводить в одну «сводную оценку клиентского опыта». Они меряют разные вещи на разных шкалах, и любое их усреднение означает веса, которые выбрал аналитик, а не клиент.

Три ошибки выбора метрики

Одна метрика на все решения. NPS в качестве KPI поддержки даёт команде цифру, на которую она почти не влияет: рекомендация зависит от цены, продукта и репутации больше, чем от одного звонка.
CSAT по своей базе как оценка рынка. Опрос после контакта отвечают те, кто остался и кто согласился ответить. Уходящие клиенты и покупатели конкурентов в него не попадают.
Разные шкалы в разных волнах. CSAT по 1–5 в прошлом году и по 1–6 в этом не сравниваются: доля «довольных» считается от разных делений. Если шкала меняется, ряд начинается заново, и это записывается.

Как мы это делаем

Мы начинаем с решения, которое вы примете по результатам, и только потом выбираем метрику: часто клиент приходит за NPS, а его задача решается CSI по этапам пути. В анкете общая удовлетворённость стоит до батареи атрибутов, заявленная важность стоит рядом с удовлетворённостью, шкала 1–6 без середины, у NPS строго 1–10. Анкету вы согласуете до поля на русском; казахскую версию мы рекомендуем добавлять для общенациональных выборок, регионов, сёл и старших групп. Если она нужна, её пишут казахоязычные исследователи как второй оригинал, а не перевод, и шкалы в обеих версиях проверяются на сопоставимость, иначе оценки казахоязычных и русскоязычных клиентов нельзя положить в одну таблицу.
В дашборде CSI показан таблицей атрибутов с двумя важностями и матрицей квадрантов, R2 указан в подписи. Если CSAT, CSI или NPS меряются волнами, следующая волна доливается в тот же дашборд, и сдвиг по каждому атрибуту видно без сверки двух презентаций.

По теме

Обсудим ваше исследование. Расскажите, какое решение нужно принять, и мы предложим метод, выборку и сроки.