Коротко. Опрос только на русском отсекает не случайную часть страны, а регионы, старшие группы и сёла, поэтому данные описывают не весь Казахстан. Если казахская версия нужна, её делают как второй оригинал, а не как перевод: дословно переведённая шкала работает иначе, чем исходная. Поэтому опрос по Казахстану может идти на двух языках, и для общенациональной выборки в отделе исследований и стратегий Mosaic Agency мы это рекомендуем.
Что теряется, когда опрос только на русском
Часть людей просто не пройдёт анкету — но проблема не в объёме, а в составе.
Уходит не случайная выборка населения, а вполне определённая: регионы, старшие возрастные группы, сёла и малые города. То есть именно те, кого в онлайн-панели и так меньше.
В результате два смещения накладываются друг на друга, и итоговая аудитория оказывается заметно моложе, городской и более русскоязычной, чем страна. Дальше по этим данным считается ёмкость рынка.
Заметить это по отчёту невозможно: в нём будет написано «1000 респондентов по Казахстану», и формально это правда.
Почему переведённая шкала — это другая шкала
Самое тонкое место, и оно не про качество перевода.
Шкала работает, когда расстояния между делениями примерно одинаковы в голове у отвечающего. У переводчика — хоть у человека, хоть у машины — нет задачи сохранить эти расстояния: его задача передать смысл слова, а не его интенсивность.
Поэтому дословно переведённая шкала может оказаться сдвинутой: одно деление становится сильнее оригинала, другое — слабее. Формально шкала та же, фактически люди отвечают по другой линейке.
Практическое следствие простое и неприятное: ответы двух версий нельзя складывать в один массив. А именно это и делают, потому что в выгрузке они выглядят одинаково.
Где машинный перевод ломается особенно сильно
Названия категории и продуктов. Бытовые названия, которыми люди пользуются на самом деле, редко совпадают со словарными. Человек читает незнакомое слово и отвечает не о том продукте.
Формулировки, завязанные на культурный контекст. Вопросы о семье, о праздниках, о том, что считается нормой, требуют не перевода, а адаптации.
Устойчивые выражения. Переведённые буквально, они превращаются в конструкции, которые никто не произносит вслух, и вызывают у человека ощущение чужого текста. Дальше он отвечает быстрее и формальнее.
Открытые вопросы. Человек отвечает на языке, на котором думает. Если анкета написана неестественно, ответы будут короче и беднее.
Как это устроено у нас
Основа опроса — анкета на русском. Казахскую версию мы добавляем по решению заказчика и рекомендуем её для общенациональных выборок, регионов, сёл и старших возрастных групп, где русскоязычная анкета отсекает часть аудитории. Если вся аудитория проекта — русскоязычные городские жители, можно обойтись русской версией: вторая ничего не изменит в результате, и мы прямо говорим об этом на этапе методики, а не молча экономим. Язык фиксируем вместе с вами при согласовании анкеты и сметы.
Если казахская версия нужна, она готовится как второй оригинал, а не как перевод. Формулировки пишут казахоязычные исследователи, а не переводчик по словарю и не нейросеть.
Респондент выбирает язык и может переключить его в любой момент, в том числе посередине анкеты. Это важнее, чем кажется: люди часто начинают на одном языке, а на сложном вопросе переходят на другой — и это нормально, если инструмент позволяет.
Шкалы проверяются отдельно от вопросов: их смотрят на сопоставимость, а не на дословность.
То же правило касается качественной части. Глубинные интервью и фокус-группы модерируются на казахском, а не ведутся на русском с расчётом, что участник «и так поймёт». Например, в трекинге здоровья бренда для банка из топ-6 по знанию мы опросили 1 200 респондентов и провели 4 фокус-группы — на русском и на казахском.
Как проверить это у подрядчика
Один вопрос, на который сложно ответить формально: попросите показать казахскую версию анкеты рядом с русской и спросите, кто именно её готовил и кто проверял шкалы.
Ответ «у нас есть казахская версия» получить легко. Показать две версии рядом и назвать человека, который отвечал за адаптацию, — заметно труднее.
Этот вопрос стоит задать всем, кого вы сравниваете, включая нас.
На каком языке приходит результат
Результат исследования вы по умолчанию получаете интерактивным дашбордом: разрезы по регионам, возрасту и языку анкеты открываете сами. Доступ к нему остаётся после проекта, а новые волны доливаются туда же. Презентация с выводами — по запросу, например для совета директоров или головного офиса.
Отчёт по умолчанию готовится на русском. Английская версия делается по запросу — обычно её просят компании, которым результаты нужно нести в головной офис за рубежом. Казахская версия отчёта — тоже по запросу. Язык результата оговаривается в смете заранее, а не всплывает в конце.
Главное при этом не меняется: язык критичен там, где он влияет на ответы людей, то есть при сборе данных.
Итог
Двуязычный опрос — это не дополнительная опция для галочки в предложении. Это условие, при котором ваши данные описывают страну, а не её русскоязычную городскую часть.
И проверяется это одним вопросом, который стоит задавать каждому подрядчику: покажите обе версии и скажите, кто готовил казахскую.
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
