Блог

Анкета, переведённая нейросетью: что теряется при переводе на казахский

Методы и анкеты Исследования
Анкета, переведённая нейросетью: что теряется при переводе на казахский
Зачем опросу вообще нужна казахская версия и кого теряет анкета только на русском, мы разобрали в статье опрос на казахском. В каких регионах без неё выборка ломается, а где теряется только край, показывают данные в материале о казахском языке по регионам. Здесь пишем только о качестве самой казахской версии.

Почему перевод выглядит нормально

Главная проблема машинного перевода анкеты не в грамматических ошибках: даже грамотный перевод меняет интенсивность делений шкалы и бытовые слова. При этом с казахским языком модели в целом справляются слабее: авторы бенчмарка KazMMLU (ACL 2025) пишут, что казахский язык недостаточно представлен в обработке естественного языка, а модели в их тестах на казахском заметно отстают от результатов на языках с большим объёмом данных. Но даже там, где текст безупречен, задача переводчика анкеты состоит не в том, чтобы передать слова, а в том, чтобы задать тот же вопрос. European Social Survey строит перевод именно на этом подходе, «задать тот же вопрос» (Ask-the-Same-Question): каждая языковая версия должна спрашивать о том же, а не повторять слова оригинала. ESS требует переводить анкету на каждый язык, который родной хотя бы для 5% населения страны, и ведёт перевод по схеме TRAPD: перевод, обсуждение, решение спорных мест, пилот и документирование. Машинный перевод закрывает только первую букву этой схемы.
Нейросеть не знает, что должен измерить вопрос. Она не видит, что «скорее» и «полностью» обозначают соседние деления одной шкалы, что слово в пятом вопросе должно совпадать со словом в двенадцатом и что вопрос про частоту покупок задаётся человеку, который покупает раз в месяц на рынке, а не в интернет-магазине. Всё это знает автор анкеты и человек, который адаптирует её на казахский. Поэтому ошибки перевода кроются не в грамматике, а в смысле.

Пять мест, где теряется смысл

1. Шкалы: сдвигается интенсивность делений

Шкала работает, только если расстояние между делениями одинаково понятно всем. В русской версии «скорее доволен» и «полностью доволен» идут соседними шагами. Дословный перевод подбирает к каждой подписи ближайшее словарное слово, и у этого слова может быть другая сила: «скорее» превращается в «в основном», «в какой-то мере» в «немного». Одно деление становится сильнее, другое сливается с соседним.
Отдельный риск: двухполюсность. Вопрос «насколько вы довольны или недовольны» называет оба полюса, и это защищает от подсказки. При переводе второй полюс легко теряется, и вопрос снова начинает подсказывать ответ. Если в анкете шкала без середины, переводчик иногда «чинит» её, добавляя нейтральный вариант, и шкала меняется целиком. Почему мы убираем середину там, где нужно решение, разобрано в статье «Шкала 1–5 или 1–6».

2. Бытовые названия категорий

Люди называют товары и услуги так, как говорят дома и в магазине, а не так, как написано в словаре. Нейросеть часто выбирает литературный или официальный термин. Респондент может не узнать в нём свою категорию или решить, что речь о чём-то другом, более формальном. Особенно это заметно в вопросах о знании марок и о каналах покупки: в быту категорию могут называть заимствованием или названием самой известной марки.
Здесь помогает простая проверка, которую мы советуем и для русской версии: прочитать вопрос вслух так, будто спрашиваете соседа. Если так никто не скажет, формулировку нужно переписать.

3. Устойчивые выражения и термины

Обороты вроде «в целом», «время от времени», «по карману», «стоит своих денег» при дословном переводе либо теряют смысл, либо получают новый. Частотные подписи («иногда», «часто», «регулярно») на двух языках могут иметь разные границы, и тогда доли «покупаю часто» не сравниваются.
Есть и риск, характерный для машинного перевода, который надо проверять: один и тот же русский термин в разных вопросах может получить разные переводы, особенно если вопросы переводились по отдельности. Для модели это синонимы, для респондента разные вещи. Если в пятом вопросе «покупка» названа одним словом, а в двенадцатом другим, человек может решить, что его спрашивают о другом действии.

4. Вежливые формы и обращение

В казахском, как и в русском, есть вежливое «сіз» и неформальное «сен». Анкета обращается к респонденту на «сіз», и это обращение должно быть одинаковым во всех вопросах, вступлении и экранах благодарности. Машинный перевод фраз по отдельности может смешивать формы. Второй перекос создаёт слишком официальный тон: анкета, звучащая как государственный бланк, подталкивает отвечать «правильно», а не честно. Русскую версию обычно пишут живым языком, и казахская должна звучать так же.

5. Открытые вопросы

В открытом вопросе формулировка задаёт, сколько и о чём писать. Если перевод сделал вопрос шире или уже, ответы на двух языках будут о разном. Например, «что вам запомнилось в рекламе» после перевода может читаться как «что вы помните о бренде», и в казахских ответах окажутся другие темы.
Вторая сторона: сами ответы. Их нужно читать и кодировать тому, кто читает по-казахски. Если ответы на казахском при обработке уходят в «прочее», из данных тихо выпадает не случайная часть выборки. Как это происходит при автоматической обработке, разобрано в статье об ИИ в кодировке открытых ответов.

Почему ответы двух версий нельзя складывать

Опрос на двух языках складывает ответы в одну таблицу: доля довольных считается по всем. Это корректно, только если деление «5» на русском и на казахском значит одно и то же. Если шкала «поехала», итог смешивает два разных измерения.
Хуже то, что язык анкеты связан с регионом и возрастом. Поэтому ошибка перевода не размазывается ровно, а выглядит как разница между регионами.
Условный пример. Шкала удовлетворённости из шести делений, доля довольных считается как сумма двух верхних. На самом деле довольны 60% и тех, кто отвечает по-русски, и тех, кто отвечает по-казахски. Но в казахской версии подпись деления «5» перевели словом, которое читается как «очень доволен», и часть людей выбрала «4». Замер по казахской версии показал 48%.
Группа
Доля выбравших казахскую версию
Довольных по замеру
Довольных на самом деле
Вся выборка, 600 анкет
30% (180 анкет)
56,4%
60%
Регион, где по-казахски отвечают 70%
70%
51,6%
60%
Регион, где по-казахски отвечают 10%
10%
58,8%
60%
Расчёт для всей выборки: (420 × 0,60 + 180 × 0,48) / 600 = 338,4 / 600 = 56,4%. Первый регион: 0,7 × 48 + 0,3 × 60 = 51,6%. Второй: 0,1 × 48 + 0,9 × 60 = 58,8%.
В отчёте появится разрыв в 7,2 пункта между регионами, которого нет. Решение по нему («в первом регионе проблемы с сервисом») будет ошибкой перевода, превращённой в вывод. Исправить это после поля нельзя: неизвестно, какая версия шкалы «правильная», а перевзвешивание не лечит смысл делений.

Как проверить качество казахской версии

Четыре шага, от дешёвого к дорогому. Их можно спросить у любого подрядчика.

1. Носитель адаптирует, а не переводит

Казахскую версию пишет человек, для которого казахский родной, и работает он не со словами, а с задачами вопросов. Для этого ему нужна не только русская анкета, но и комментарий: что должен измерить каждый вопрос, какая шкала и почему, какие слова должны совпадать во всей анкете. Второй носитель вычитывает текст и отмечает места, где понял вопрос иначе. Спорные места решает автор анкеты вместе с обоими.

2. Обратный перевод как проверка, а не как метод

Обратный перевод означает перевод казахской версии обратно на русский другим человеком, который не видел оригинал. Он ловит грубое: потерянное отрицание, пропущенный вариант ответа, перепутанные числа, вопрос, ставший двойным.
Но у него есть слепое пятно. Самый дословный перевод даёт самый чистый обратный перевод: слово в слово туда и обратно. А именно дословный перевод и ломает шкалы и бытовые названия. Поэтому чистый обратный перевод не доказывает, что казахский текст звучит естественно и задаёт тот же вопрос. Он дополняет адаптацию носителем, но не заменяет её.

3. Пилот на обоих языках

До основного поля анкету проходят несколько человек на каждом языке, и их спрашивают не только об ответах, но и о понимании: «как вы поняли этот вопрос», «чем для вас отличаются эти два деления», «как вы называете эту категорию». Так находятся места, где версии расходятся по смыслу. Заодно видно время прохождения и вопросы, на которых люди бросают анкету.

4. Сравнение распределений

Пилотные ответы по каждой шкале сравнивают между языками внутри похожих групп: один регион, один возраст. Разница в одном вопросе ничего не доказывает: люди, выбравшие разные языки, действительно могут отличаться. Сигнал другой: если по всем шкалам, в том числе не связанным друг с другом, казахская версия сдвинута в одну сторону, скорее всего, дело в подписях делений. Такие места правят до старта основного поля: после старта формулировки не меняются, иначе ответы первых респондентов не сложатся с остальными.
Проверка
Что ловит
Чего не ловит
Адаптация носителем и вычитка
Неестественный язык, книжные термины, сдвиг смысла
Расхождения, которые проявляются только в ответах
Обратный перевод
Потерянные отрицания, варианты, числа
Дословность, силу делений шкалы
Пилот с вопросами о понимании
Разное понимание вопроса и делений
Мелкие сдвиги на больших долях
Сравнение распределений
Систематический сдвиг шкалы
Причину сдвига ищут в тексте
Про нейросеть на этом этапе честный ответ такой: она может помочь найти в черновике опечатки или непоследовательные термины, но решение «задаёт ли вопрос то же самое» принимает человек, читающий на обоих языках. Место ИИ в остальных этапах исследования разобрано в опорной статье «Заменит ли ИИ маркетинговые исследования».

Как мы это делаем

Основа: анкета на русском; казахскую версию мы рекомендуем добавлять, если выборка общенациональная или в аудитории есть регионы, сёла или старшие группы. Язык фиксируем вместе с заказчиком при согласовании анкеты и сметы. Анкету можно вести на двух языках, тогда респондент выбирает язык и может переключить его в любой момент. Если казахская версия нужна, её пишут казахоязычные исследователи как второй оригинал, а не переводят словарём или нейросетью; шкалы двух версий адаптируются по смыслу и проверяются на сопоставимость. Обе версии сверяются построчно: тот же номер вопроса, те же коды вариантов, одинаковые термины во всей анкете. Вы читаете казахскую версию рядом с русской на согласовании, до старта поля. Глубинные интервью и фокус-группы с казахоязычными участниками модерируются на казахском. Как устроен сам сбор, описано на странице онлайн-опрос, другие методы описаны в разделе «Методы».
Анкета на двух языках защищает от ошибок перевода, но не от других проблем с открытыми полями. Что делать, если в поле вставляют текст из нейросетей, читайте в статье об ответах, написанных ИИ, в онлайн-опросах. Остальные типовые ошибки анкет собраны в статье «Как составить анкету: 12 ошибок».
Спросите у любого подрядчика, включая нас: кто готовил казахскую версию, кто её вычитывал, был ли пилот на обоих языках и можно ли увидеть обе версии рядом.

Источники

  • European Social Survey. Questionnaire Translation: требования к переводу анкеты (языки, родные для 5% населения и больше), подход Ask-the-Same-Question и схема TRAPD. europeansocialsurvey.org
  • Togmanov M. et al. KazMMLU: Evaluating Language Models on Kazakh, Russian, and Regional Knowledge of Kazakhstan // ACL 2025. aclanthology.org

По теме

Обсудим ваше исследование. Расскажите, какое решение нужно принять, и мы предложим метод, выборку и сроки.

Анкеты на казахском и русском языках входят в наши маркетинговые исследования в Казахстане.