Коротко. Размер выборки считается не от общей цифры, а от самой узкой группы, по которой вы будете принимать решение. Ориентиры: от 300–400 ответов в группе — уверенные выводы и сравнение, 100–200 — рабочий минимум для крупных различий, меньше 100 — только направление. Общий объём складывается из этих групп.
Откуда берётся «погрешность 3%»
Классическая формула расчёта выборки для опроса связывает три вещи: желаемую точность, уверенность в результате и разброс ответов.
При стандартных допущениях она даёт знакомые числа. Около 1000 ответов — погрешность порядка ±3 процентных пункта. Около 400 — примерно ±5 пунктов. Около 100 — уже ±10.
В формуле есть деталь, которая многих удивляет: численность населения в неё почти не входит. Выборка в тысячу человек даёт одинаковую точность и в Казахстане с двадцатью миллионами жителей, и в стране с тремястами миллионами. Размер генеральной совокупности начинает играть роль только тогда, когда она сама мала — например, если вы опрашиваете двести компаний из трёхсот существующих на рынке.
Почему общая погрешность мало что значит
Теперь неприятная часть. Погрешность ±3 пункта относится к выборке целиком — то есть к цифре «по всем опрошенным». А решения вы будете принимать не по ней.
Вы будете смотреть отдельно Алматы и Астану. Отдельно тех, кто покупает у вас, и тех, кто ушёл к конкуренту. Отдельно семьи с детьми. И как только вы открываете такой разрез, в нём остаётся уже не тысяча человек, а полторы сотни или полсотни — со своей, гораздо большей погрешностью.
Именно здесь рождаются самые эффектные и самые опасные находки отчётов. Чем меньше группа, тем сильнее в ней колеблются цифры, и тем легче принять случайный разброс за закономерность. Это особенно важно, когда результат приходит интерактивным дашбордом и разрезы вы открываете сами: открыть можно любой, но выводы стоит делать только там, где группа набрана.
Считаем от узких групп
Поэтому разговор о размере выборки начинается с другого вопроса: по каким группам вы будете принимать решения.
Допустим, банк хочет понять, почему уходят клиенты. Если решение будет одним для всех — хватит небольшого замера. Если решения будут разными для Алматы и для регионов, для молодых и для клиентов сорока пяти плюс, для зарплатных и для пришедших самостоятельно — это уже восемь групп, и каждая должна набраться сама по себе.
Дальше считается просто. Нужный объём каждой группы умножается на число групп, добавляется запас на отбраковку — и получается общий размер. Он может оказаться и четыреста, и две тысячи, но теперь это не круглое число из воздуха, а следствие ваших решений. Например, RFM-модель для запуска офлайн-точки в Астане мы строили на опросе 680 респондентов со срезами по районам города.
Список разрезов и есть настоящее техническое задание на выборку.
Сколько нужно в одной группе
Ориентиры, которыми пользуемся мы.
От 300–400 ответов — группа, по которой можно делать самостоятельные выводы и уверенно сравнивать её с другой.
100–200 ответов — рабочий минимум. Различия видны, но только крупные: чтобы уверенно утверждать, что две такие группы отличаются, разница между ними должна быть не меньше десяти-пятнадцати процентных пунктов.
50–100 ответов — осторожно. Годится, чтобы увидеть направление, но не чтобы измерить величину.
Меньше 30 — не цифра, а подсказка. Мы в таких случаях пишем в отчёте число ответов и помечаем вывод как предварительный, а не рисуем такую же диаграмму, как везде.
Что ещё влияет на размер и цену
Размер выборки и стоимость её сбора — разные вещи, и путать их не стоит.
На надёжность влияет только количество ответов в группе. На цену — насколько редко нужный человек встречается среди тех, кого мы приглашаем. Чтобы собрать двести владельцев премиального автомобиля, нужно куда больше приглашений, чем чтобы собрать двести горожан.
Поэтому дешевле всего сделать исследование надёжнее — не докупать ответы, а сократить число разрезов до тех, по которым действительно будут приниматься решения.
Отдельно о языке. Основа опроса — анкета на русском; для общенациональной выборки мы рекомендуем добавить казахскую версию, и тогда респондент выбирает язык сам. Сам по себе второй язык выборку не увеличивает. Но если язык ответа становится разрезом, по которому вы принимаете решение, — например, разные сообщения для казахоязычной и русскоязычной аудитории, — каждая языковая группа должна набраться сама по себе, как любая другая.
Когда тысяча действительно нужна
Когда разрезов много и они пересекаются: три города на два пола на три возрастные группы — это восемнадцать ячеек, и тысяча здесь не роскошь, а минимум.
Когда вы измеряете редкое явление. Если ожидаемая доля ответа — около двух процентов, на маленькой выборке её просто не видно.
Когда замер повторяется волнами, и вам важно ловить небольшие изменения между ними, а не только крупные сдвиги.
А когда решение одно и общее для всей аудитории, честный ответ — триста-четыреста ответов, и сэкономленные деньги лучше потратить на качественную часть, которая объяснит, почему цифры такие.
Итог
Размер выборки не берётся из головы и не берётся из чужого отчёта. Он считается от списка групп, по которым вы будете принимать решения, и от того, насколько тонкие различия вам нужно поймать.
Если кто-то называет размер выборки до того, как спросил про разрезы, он называет не расчёт, а привычку.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
