Зачем опросу вообще нужна казахская версия и кого теряет анкета только на русском, мы разобрали в статье опрос на казахском. В каких регионах без неё выборка ломается, а где теряется только край, показывают данные в материале о казахском языке по регионам. Здесь — только о качестве самой казахской версии.
Почему перевод выглядит нормально
Грамматические ошибки — не главная проблема машинного перевода анкеты: даже грамотный перевод меняет интенсивность делений шкалы и бытовые слова. При этом с казахским языком модели в целом справляются слабее: авторы бенчмарка KazMMLU (ACL 2025) пишут, что казахский язык недостаточно представлен в обработке естественного языка, а модели в их тестах на казахском заметно отстают от результатов на языках с большим объёмом данных. Но даже там, где текст безупречен, задача переводчика анкеты — не передать слова, а задать тот же вопрос. European Social Survey строит перевод именно на этом подходе — «задать тот же вопрос» (Ask-the-Same-Question): каждая языковая версия должна спрашивать о том же, а не повторять слова оригинала. ESS требует переводить анкету на каждый язык, который родной хотя бы для 5% населения страны, и ведёт перевод по схеме TRAPD: перевод, обсуждение, решение спорных мест, пилот и документирование. Машинный перевод закрывает только первую букву этой схемы.
Нейросеть не знает, что должен измерить вопрос. Она не видит, что «скорее» и «полностью» — это соседние деления одной шкалы, что слово в пятом вопросе должно совпадать со словом в двенадцатом и что вопрос про частоту покупок задаётся человеку, который покупает раз в месяц на рынке, а не в интернет-магазине. Всё это знает автор анкеты и человек, который адаптирует её на казахский. Поэтому ошибки перевода — не в грамматике, а в смысле.
Пять мест, где теряется смысл
1. Шкалы: сдвигается интенсивность делений
Шкала работает, только если расстояние между делениями одинаково понятно всем. В русской версии «скорее доволен» и «полностью доволен» — два соседних шага. Дословный перевод подбирает к каждой подписи ближайшее словарное слово, и у этого слова может быть другая сила: «скорее» превращается в «в основном», «в какой-то мере» — в «немного». Одно деление становится сильнее, другое сливается с соседним.
Отдельный риск — двухполюсность. Вопрос «насколько вы довольны или недовольны» называет оба полюса, и это защищает от подсказки. При переводе второй полюс легко теряется, и вопрос снова начинает подсказывать ответ. Если в анкете шкала без середины, переводчик иногда «чинит» её, добавляя нейтральный вариант, — и шкала меняется целиком. Почему мы убираем середину там, где нужно решение, разобрано в статье «Шкала 1–5 или 1–6».
2. Бытовые названия категорий
Люди называют товары и услуги так, как говорят дома и в магазине, а не так, как написано в словаре. Нейросеть часто выбирает литературный или официальный термин. Респондент может не узнать в нём свою категорию или решить, что речь о чём-то другом, более формальном. Особенно это заметно в вопросах о знании марок и о каналах покупки: в быту категорию могут называть заимствованием или названием самой известной марки.
Здесь помогает простая проверка, которую мы советуем и для русской версии: прочитать вопрос вслух так, будто спрашиваете соседа. Если так никто не скажет, формулировку нужно переписать.
3. Устойчивые выражения и термины
Обороты вроде «в целом», «время от времени», «по карману», «стоит своих денег» при дословном переводе либо теряют смысл, либо получают новый. Частотные подписи — «иногда», «часто», «регулярно» — на двух языках могут иметь разные границы, и тогда доли «покупаю часто» не сравниваются.
Есть и риск, характерный для машинного перевода, который надо проверять: один и тот же русский термин в разных вопросах может получить разные переводы, особенно если вопросы переводились по отдельности. Для модели это синонимы, для респондента — разные вещи. Если в пятом вопросе «покупка» названа одним словом, а в двенадцатом другим, человек может решить, что его спрашивают о другом действии.
4. Вежливые формы и обращение
В казахском, как и в русском, есть вежливое «сіз» и неформальное «сен». Анкета обращается к респонденту на «сіз», и это обращение должно быть одинаковым во всех вопросах, вступлении и экранах благодарности. Машинный перевод фраз по отдельности может смешивать формы. Второй перекос — слишком официальный тон: анкета, звучащая как государственный бланк, подталкивает отвечать «правильно», а не честно. Русскую версию обычно пишут живым языком, и казахская должна звучать так же.
5. Открытые вопросы
В открытом вопросе формулировка задаёт, сколько и о чём писать. Если перевод сделал вопрос шире или уже, ответы на двух языках будут о разном. Например, «что вам запомнилось в рекламе» после перевода может читаться как «что вы помните о бренде», и в казахских ответах окажутся другие темы.
Вторая сторона — сами ответы. Их нужно читать и кодировать тому, кто читает по-казахски. Если ответы на казахском при обработке уходят в «прочее», из данных тихо выпадает не случайная часть выборки. Как это происходит при автоматической обработке, разобрано в статье об ИИ в кодировке открытых ответов.
Почему ответы двух версий нельзя складывать
Опрос на двух языках складывает ответы в одну таблицу: доля довольных считается по всем. Это корректно, только если деление «5» на русском и на казахском значит одно и то же. Если шкала «поехала», итог смешивает два разных измерения.
Хуже то, что язык анкеты связан с регионом и возрастом. Поэтому ошибка перевода не размазывается ровно, а выглядит как разница между регионами.
Условный пример. Шкала удовлетворённости из шести делений, доля довольных — сумма двух верхних. На самом деле довольны 60% и тех, кто отвечает по-русски, и тех, кто отвечает по-казахски. Но в казахской версии подпись деления «5» перевели словом, которое читается как «очень доволен», и часть людей выбрала «4». Замер по казахской версии — 48%.
Расчёт: вся выборка — (420 × 0,60 + 180 × 0,48) / 600 = 338,4 / 600 = 56,4%. Первый регион — 0,7 × 48 + 0,3 × 60 = 51,6%. Второй — 0,1 × 48 + 0,9 × 60 = 58,8%.
В отчёте появится разрыв в 7,2 пункта между регионами, которого нет. Решение по нему — «в первом регионе проблемы с сервисом» — будет ошибкой перевода, превращённой в вывод. Исправить это после поля нельзя: неизвестно, какая версия шкалы «правильная», а перевзвешивание не лечит смысл делений.
Как проверить качество казахской версии
Четыре шага, от дешёвого к дорогому. Их можно спросить у любого подрядчика.
1. Носитель адаптирует, а не переводит
Казахскую версию пишет человек, для которого казахский родной, и работает он не со словами, а с задачами вопросов. Для этого ему нужна не только русская анкета, но и комментарий: что должен измерить каждый вопрос, какая шкала и почему, какие слова должны совпадать во всей анкете. Второй носитель вычитывает текст и отмечает места, где понял вопрос иначе. Спорные места решает автор анкеты вместе с обоими.
2. Обратный перевод — как проверка, а не как метод
Обратный перевод — это перевод казахской версии обратно на русский другим человеком, который не видел оригинал. Он ловит грубое: потерянное отрицание, пропущенный вариант ответа, перепутанные числа, вопрос, ставший двойным.
Но у него есть слепое пятно. Самый дословный перевод даёт самый чистый обратный перевод: слово в слово туда и обратно. А именно дословный перевод и ломает шкалы и бытовые названия. Поэтому чистый обратный перевод не доказывает, что казахский текст звучит естественно и задаёт тот же вопрос. Он дополняет адаптацию носителем, но не заменяет её.
3. Пилот на обоих языках
До основного поля анкету проходят несколько человек на каждом языке, и их спрашивают не только об ответах, но и о понимании: «как вы поняли этот вопрос», «чем для вас отличаются эти два деления», «как вы называете эту категорию». Так находятся места, где версии расходятся по смыслу. Заодно видно время прохождения и вопросы, на которых люди бросают анкету.
4. Сравнение распределений
Пилотные ответы по каждой шкале сравнивают между языками внутри похожих групп: один регион, один возраст. Разница в одном вопросе ничего не доказывает — люди, выбравшие разные языки, действительно могут отличаться. Сигнал другой: если по всем шкалам, в том числе не связанным друг с другом, казахская версия сдвинута в одну сторону, скорее всего, дело в подписях делений. Такие места правят до старта основного поля: после старта формулировки не меняются, иначе ответы первых респондентов не сложатся с остальными.
Про нейросеть на этом этапе честный ответ такой: она может помочь найти в черновике опечатки или непоследовательные термины, но решение «задаёт ли вопрос то же самое» принимает человек, читающий на обоих языках. Место ИИ в остальных этапах исследования разобрано в опорной статье «Заменит ли ИИ маркетинговые исследования».
Как мы это делаем
Основа — анкета на русском; казахскую версию мы рекомендуем добавлять, если выборка общенациональная или в аудитории есть регионы, сёла или старшие группы. Язык фиксируем вместе с заказчиком при согласовании анкеты и сметы. Анкету можно вести на двух языках — тогда респондент выбирает язык и может переключить его в любой момент. Если казахская версия нужна, её пишут казахоязычные исследователи как второй оригинал, а не переводят словарём или нейросетью; шкалы двух версий адаптируются по смыслу и проверяются на сопоставимость. Обе версии сверяются построчно: тот же номер вопроса, те же коды вариантов, одинаковые термины во всей анкете. Вы читаете казахскую версию рядом с русской на согласовании, до старта поля. Глубинные интервью и фокус-группы с казахоязычными участниками модерируются на казахском. Как устроен сам сбор, описано на странице онлайн-опрос, другие методы — в разделе «Методы».
Анкета на двух языках защищает от ошибок перевода, но не от других проблем с открытыми полями. Что делать, если в поле вставляют текст из нейросетей, — в статье об ответах, написанных ИИ, в онлайн-опросах. Остальные типовые ошибки анкет собраны в статье «Как составить анкету: 12 ошибок».
Спросите у любого подрядчика, включая нас: кто готовил казахскую версию, кто её вычитывал, был ли пилот на обоих языках и можно ли увидеть обе версии рядом.
Источники
- European Social Survey. Questionnaire Translation — требования к переводу анкеты (языки, родные для 5% населения и больше), подход Ask-the-Same-Question и схема TRAPD. europeansocialsurvey.org
- Togmanov M. et al. KazMMLU: Evaluating Language Models on Kazakh, Russian, and Regional Knowledge of Kazakhstan // ACL 2025. aclanthology.org
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
