Три метрики в одной таблице
CSAT: точечная оценка события
CSAT отвечает на вопрос, как прошёл конкретный контакт. Его задают сразу после события: закрыли обращение, привезли заказ, клиент вышел из отделения. Одна оценка по шкале, одна доля довольных на выходе.
Сила CSAT — в частоте и привязке к этапу. Если доля довольных после звонка в поддержку просела за неделю, вы знаете, где искать. Слабость — в узости: CSAT не говорит, почему клиент недоволен, а оценка одного контакта сама по себе мало говорит о том, останется ли клиент. Клиент может быть доволен каждым звонком и уйти к конкуренту из-за цены.
Одна деталь расчёта, которую стоит проверить у любого подрядчика, включая нас. Доля довольных в одиночку скрывает недовольных: 30% довольных при 45% недовольных и 30% довольных при 8% недовольных — противоположные ситуации с одной цифрой в отчёте. Поэтому долю оценок 1–2 мы выводим рядом с долей 5–6, когда недовольных много или разрыв между довольными и недовольными меньше 10 процентных пунктов.
CSI: что из сервиса действительно связано с удовлетворённостью
CSI отвечает на вопрос, куда вкладываться. Блок состоит из трёх вопросов: общая удовлетворённость, удовлетворённость по атрибутам (скорость, вежливость, цена, удобство приложения) и заявленная важность тех же атрибутов — «насколько это важно лично для вас».
Классически — по средним оценкам атрибутов и заявленной важности. Это понятно и привычно, но у заявленной важности известная беда: почти всё называют важным. Цена, скорость и вежливость получают 5 из 6 у большинства, и приоритетов из этого не выходит.
С выводимой важностью по методу Johnson’s Relative Weights. Метод смотрит, насколько удовлетворённость каждым атрибутом связана с общей удовлетворённостью, и делит между атрибутами ту часть общей оценки, которую батарея вообще объясняет. Обычную регрессию здесь использовать нельзя: оценки атрибутов всегда скоррелированы между собой, и её коэффициенты прыгают от волны к волне — вплоть до смены знака на тех же данных.
Главный сюжет CSI-отчёта — расхождение двух важностей. Условный пример, клиенты сервиса, шкала 1–6, доля объяснённой батареей вариации общей удовлетворённости (R²) — 0,46:
Квадранты считаются относительно средних по этой батарее: средняя удовлетворённость — 4,33, средний вес — 25%. Скорость обслуживания — вес выше среднего, оценка ниже, её чинить первой. Удобство приложения заявленно важно меньше всех, но по связи с общей оценкой стоит вторым: клиенты не называют его важным, а удовлетворённость от него зависит. Цену все называют самой важной, но недовольство ценой в этом примере мало связано с общей оценкой сервиса — вероятно, её воспринимают как данность рынка. Вежливость и так на высоте, вкладываться в неё дополнительно — меньшая отдача.
Три оговорки, которые мы пишем в отчёте прямо. Вес — это связь, а не причина: формулировка вывода «атрибут связан с удовлетворённостью», а не «определяет её». Атрибуты, скоррелированные сильнее 0,8, делят вес между собой, и разводить их по разным рекомендациям нельзя. Низкий R² — тоже результат: удовлетворённость определяется чем-то, чего в батарее нет. И ещё: для устойчивых весов нужно хотя бы около 200 ответов в базе модели, а для сравнения весов в срезах — такая база в каждом срезе. Это считается до поля.
NPS: отношение к бренду, а не оценка сервиса
NPS отвечает на вопрос, готовы ли клиенты за вас поручиться. Десятибалльная шкала и классическая формулировка здесь обязательны: иначе волны нельзя сравнивать между собой. Как считать NPS, почему нейтралы не входят в формулу и на какой базе разница между волнами значима, мы подробно разобрали в отдельной статье о расчёте NPS — здесь повторять не будем.
Для выбора метрики важно одно: NPS — это не удовлетворённость. Человек может быть доволен сервисом и не рекомендовать его, потому что в его кругу это не принято, или рекомендовать, будучи недовольным мелочами. Поэтому NPS нельзя ставить критерием в модель CSI вместо общей удовлетворённости — это другая переменная, и веса атрибутов получатся про другое.
Как выбрать: от решения к метрике
Последняя строка — частый случай. Все три метрики — оценки, а оценка не говорит сотруднику, что именно делать завтра. Если нужен стандарт, который можно проверить, работают вопросы о фактах: «перезвонили ли вам в течение часа — да или нет», и доля клиентов, столкнувшихся с дефектом, по каждому этапу пути.
Можно ли мерить все три сразу
Можно, и в одной анкете они не мешают друг другу, если соблюдён порядок. Общая удовлетворённость спрашивается раньше списка атрибутов и раньше любых вопросов о неприятностях: после перечня проблем общая оценка съезжает вниз. NPS по своему бренду — рядом с общей удовлетворённостью или сразу после неё. Оценки конкретных этапов пути, то есть CSAT по этапам, — после общих вопросов, в том порядке, в котором клиент проходит путь.
Условный пример состава: общая удовлетворённость сервисом, NPS, батарея удовлетворённости по восьми атрибутам, важность тех же восьми атрибутов, оценка трёх последних контактов. Это около двадцати вопросов, и их хватает, чтобы ответить сразу на три вопроса: как клиент относится к компании, что в сервисе сильнее всего связано с этим отношением и на каком этапе пути он чаще всего разочаровывается.
Одно ограничение: три метрики в одном отчёте нельзя сводить в одну «сводную оценку клиентского опыта». Они меряют разные вещи на разных шкалах, и любое их усреднение — это веса, которые выбрал аналитик, а не клиент.
Три ошибки выбора метрики
Одна метрика на все решения. NPS в качестве KPI поддержки даёт команде цифру, на которую она почти не влияет: рекомендация зависит от цены, продукта и репутации больше, чем от одного звонка.
CSAT по своей базе как оценка рынка. Опрос после контакта отвечают те, кто остался и кто согласился ответить. Уходящие клиенты и покупатели конкурентов в него не попадают.
Разные шкалы в разных волнах. CSAT по 1–5 в прошлом году и по 1–6 в этом не сравниваются: доля «довольных» считается от разных делений. Если шкала меняется, ряд начинается заново, и это записывается.
Как мы это делаем
Мы начинаем с решения, которое вы примете по результатам, и только потом выбираем метрику: часто клиент приходит за NPS, а его задача решается CSI по этапам пути. В анкете общая удовлетворённость стоит до батареи атрибутов, заявленная важность — рядом с удовлетворённостью, шкала 1–6 без середины, NPS — строго 1–10. Анкету вы согласуете до поля на русском; казахскую версию мы рекомендуем добавлять для общенациональных выборок, регионов, сёл и старших групп. Если она нужна, её пишут казахоязычные исследователи как второй оригинал, а не перевод, и шкалы в обеих версиях проверяются на сопоставимость — иначе оценки казахоязычных и русскоязычных клиентов нельзя положить в одну таблицу.
В дашборде CSI показан таблицей атрибутов с двумя важностями и матрицей квадрантов, R² — в подписи. Если CSAT, CSI или NPS меряются волнами, следующая волна доливается в тот же дашборд, и сдвиг по каждому атрибуту видно без сверки двух презентаций.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
