Когда брать MaxDiff, а когда Кано или конджойнт, мы разобрали в статье Кано, MaxDiff или конджойнт. Коротко: MaxDiff отвечает, что должно быть в продукте, а в каком порядке это разрабатывать, показывает метод Кано.
Как проходит опрос
Условный пример из онлайн-образования. Респондент видит экран:
Какой из этих пунктов для вас самый важный при выборе онлайн-курса, а какой — наименее важный? — Обратная связь преподавателя по каждому заданию — Рассрочка без переплаты — Мобильное приложение для занятий — Возврат денег в первые две недели
Он отмечает один пункт как самый важный и один как наименее важный. Потом следующий экран с другой четвёркой, и так 9 раз. Каждый пункт он видит одинаковое число раз, и каждый раз в другом соседстве.
Список атрибутов: шесть правил
1. Однородность
В одном списке — пункты одного типа и одного уровня. Нельзя смешивать «цену» и «цвет кнопки оплаты»: первый пункт выиграет у всего, и список расскажет только то, что цена важна. Нельзя смешивать гигиенические пункты с привлекательными: «курс действительно проходит онлайн» и «сообщество выпускников» — вопросы разных решений. Обязательное проверяют отдельно, иначе рейтинг скажет, что людям нужна парковка, а не парк.
2. Один пункт — одна вещь
«Быстрая и вежливая поддержка» — два пункта. Если человеку важна скорость и всё равно на вежливость, выбрать ему нечего, а разложить оценку обратно нельзя.
3. Короткая формулировка на языке покупателя
Пункт читается за секунду-две: в сете их четыре-пять, сетов около десяти. «Омниканальная поддержка» в список не идёт, идёт «можно написать в поддержку в мессенджер». Если пункт требует пояснения, он не готов.
4. Длина списка — 12–25 пунктов
Меньше 10–12 пунктов MaxDiff избыточен: на 5–7 пунктах хватает ранжирования. Длиннее 20 блок становится тяжёлым, а 25 — практический потолок. Длина задаёт число экранов:
сетов = пункты × показы ÷ размер сета
Это тождество, а не оценка. Сет занимает около минуты, поэтому 15 сетов — это четверть часа только на одном блоке, а длину анкеты мы держим под задачу. Хотите короче — режьте список или число показов, а не число сетов. Если урезать сеты, план перестанет быть сбалансированным, и оценка станет следствием того, какие пункты кому чаще показывали.
5. Баланс плана проверяется до поля
Каждый пункт показывается ровно одинаковое число раз, в сете нет повторов, пары пунктов встречаются настолько равномерно, насколько возможно. Полное покрытие пар бывает не всегда, и это математика: 12 пунктов по 4 при трёх показах дают 54 пары из 66 возможных. Обещать клиенту «каждый пункт сравнили с каждым» в такой конфигурации нельзя.
6. Дизайн по блокам, если список длинный
Когда пунктов 20–25, а время ограничено, выборку делят на версии: каждая группа респондентов проходит свою часть плана, и в каждой версии план сбалансирован сам по себе. Цена — на каждый пункт приходится меньше показов, поэтому выборка должна быть больше.
Отдельный случай — две ветки: разные сегменты оценивают разные списки. Например, люди, которые разбираются в характеристиках, видят пункты на языке спецификаций, остальные — те же свойства на языке результата. Тогда у веток разная нумерация, а несколько пунктов-якорей в обеих ветках дословно совпадают. Без якорей ветки нельзя сравнивать вообще. С якорями сравнивают место пункта в рейтинге, но не саму оценку.
Как читать оценки
Оценка пункта считается так:
оценка = (выборов «самый важный» − выборов «наименее важный») ÷ число показов пункта
Диапазон от −1 до +1. Знаменатель — показы, а не респонденты: пункт показывается не каждому и не в каждом сете, а часть людей до блока не доходит.
Условный пример: 500 респондентов, 12 пунктов, сеты по 4, 3 показа — 9 сетов, 1500 показов на пункт.
Проверка первой строки: (660 − 95) ÷ 1500 = 0,377, округляем до +0,38.
Четыре правила чтения.
Оценка — не процент. Её нельзя складывать в 100% и нельзя говорить «38% считают обратную связь важной». Правильно: из 12 пунктов обратная связь выбиралась важной чаще всех и почти никогда — неважной.
Смотрите на расстояния, а не только на ранг. Места 3 и 4 разделяют 0,01 — это одна ступень, а не две. Места 11 и 12 разделяет пропасть до остальных: эти пункты уверенно проигрывают.
Рядом с оценкой — число выборов. Оценка −0,01 может значить «все равнодушны» (мало выборов в обе стороны) или «аудитория расколота» (много выборов в обе стороны). У рассрочки 360 и 370 выборов — это раскол: для части покупателей она решающая, для другой не значит ничего. Такой пункт стоит проверить по срезам, например по доходу.
Контрольная строка обязательна. В каждом сете ровно один «важный» и ровно один «неважный», поэтому суммы по столбцам совпадают и равны 9 × 500 = 4500. Расхождение означает, что в выгрузке потерялись или задвоились ответы.
Типичные ошибки
- Список собран из брифа, а не из покупателей. Пункты, о которых покупатели не думают, займут дно рейтинга, а то, что для них важно, в список не попало. Если нет интервью, хотя бы открытый вопрос в пилоте.
- Цена в списке рядом с функциями. Цена побеждает и сжимает всё остальное в середину. Для цены есть отдельные методы.
- Разнородный список. Гигиена рядом с «приятным», стратегические свойства рядом с мелкими деталями интерфейса.
- Сеты урезаны под длину анкеты. Дисбаланс показов даёт пунктам разные знаменатели, и оценки становятся несравнимы.
- Знаменатель — число респондентов. Респондентов меньше, чем показов, поэтому оценка завышается по модулю и может выйти за −1…+1.
- Сравнение оценок двух веток. Оценка — вес внутри своего списка. Между ветками сравнивают только ранги с опорой на якоря.
- Вывод «пункт не нужен» из последнего места. Последнее место значит «проигрывает остальным в этом списке», а не «не нужен вовсе». Обязательная функция может оказаться внизу, если все считают её само собой разумеющейся.
Как мы это делаем
Список пунктов мы собираем из интервью и вашего брифа, а вы читаете и правите его вместе с анкетой до старта поля. На этом этапе мы вычищаем двойные пункты, выносим гигиену в отдельный блок и считаем длину: сколько сетов и сколько минут они добавят к анкете. План сетов проверяется до поля — на повторы, чужие пункты и баланс показов.
Опрос по Казахстану может идти на двух языках — для общенациональной выборки это рекомендуем, — и для MaxDiff это особенно важно: пункт должен читаться за секунду-две на любом из них. Поэтому, если казахская версия нужна, её список пишут казахоязычные исследователи как второй оригинал, а не переводят дословно, и сверяют с русской по смыслу и длине формулировок. Среди проектов отдела — MaxDiff для FMCG-бренда на новой технологии: 440 молодых мам с детьми до трёх лет по всему Казахстану.
Результат вы получаете в интерактивном дашборде: у каждого пункта — оценка, число выборов в обе стороны, число показов и ранг, под таблицей — контрольная строка, и рейтинг открывается по срезам. Презентация с выводами — по запросу. Если к MaxDiff нужна карта возможностей по тем же формулировкам, их можно совместить в одной анкете — так мы делаем в карте возможностей ODI, когда заявленной важности нет веры.
Подробнее о продукте — на странице исследования MaxDiff.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
