Главное различие: текст о людях и ответы людей
Исследование продаёт не текст, а измерение. Когда вы спрашиваете 600 покупателей категории, сколько из них знают вашу марку, вы получаете долю, у которой есть база, дата и погрешность. Когда вы спрашиваете о том же нейросеть, вы получаете правдоподобный текст, собранный из того, что уже было опубликовано. Он может совпасть с реальностью, а может нет, и из самого ответа этого не видно.
Это не спекуляция. В работе Bisbee и соавторов, опубликованной в Political Analysis, модель просили отвечать от лица разных «персон» на вопросы американского электорального опроса. Средние оценки получились близкими к реальным, но разброс ответов оказался меньше, чем у людей, связи между переменными отличались от настоящих, а тот же запрос через три месяца дал заметно другие результаты. Средняя похожа, а всё, на чём строятся решения (различия между группами, распределения, устойчивость), нет. Подробнее о том, что показывают такие эксперименты, читайте в статье о синтетических респондентах.
Семь этапов исследования и место ИИ в каждом
1. Постановка задачи
ИИ помогает сформулировать гипотезы, накидать список вопросов, сыграть «адвоката дьявола» против уверенности команды. Это полезно, если результат будет черновиком для обсуждения, а не выводами. Риск в том, что модель охотно соглашается с формулировкой, которую ей дали: спросите «почему наши клиенты уходят из-за цены», и получите аккуратный список причин, связанных с ценой. Главное решение этапа (какое действие компания предпримет по итогам) принимает команда. Как это сделать, разобрано в статье о том, как сформулировать задачу. Где можно опираться на ответы модели о клиентах, а где нельзя, читайте в статье «Можно ли спросить ChatGPT, чего хотят клиенты».
2. Анкета
Нейросеть быстро проверяет черновик на двойные вопросы, пропущенные варианты ответа, слишком длинные формулировки. Но анкета собирается под решение, и логика «какой вопрос закрывает какую часть решения» не выводится из текста. Отдельный риск связан с языком. Казахская версия, прогнанная через нейросеть, может быть грамматически чистой и при этом задавать другой вопрос: сдвигается смысл шкалы, пропадает оттенок. Поэтому, если казахская версия нужна, её пишут казахоязычные исследователи как второй оригинал анкеты, а шкалы двух версий проверяются на сопоставимость. Что именно теряется при переводе нейросетью, разобрано в статье об анкете, переведённой нейросетью, а типовые ошибки любой анкеты описаны в статье «Как составить анкету: ошибки».
3. Выборка и поле
Здесь ИИ не ускоряет, а создаёт новый риск. Респондент онлайн-опроса может вставить в открытое поле текст, сгенерированный нейросетью, или чужую формулировку из интернета. Ответ выглядит развёрнутым и грамотным, но это не мнение человека. Практическое правило: при программировании анкеты запрещать вставку скопированного текста в открытые поля. Иначе открытые ответы искажаются, и в отчёт попадают формулировки, которых респондент не писал. Как ещё не пустить такие ответы в данные, читайте в статье об ответах, написанных ИИ, в онлайн-опросах.
Сама выборка (кто отвечает, сколько их и как их нашли) остаётся работой с людьми. Как считается нужный объём, разобрано в статье о том, сколько человек нужно опросить.
4. Чистка данных
Алгоритмы давно помогают находить спидеров, прямые линии в таблицах и бессмысленный текст в открытых ответах. На рынке к этому добавляют оценку осмысленности открытых ответов нейросетью. Риск в том, что модель может принять за мусор честный короткий или неграмотный ответ, поэтому её отметка служит поводом прочитать анкету, а решение о браке принимается только после чтения человеком: ответ не по теме автоматически не отбраковывается. Решение «выбросить анкету» остаётся за человеком, и у каждого исключения должна быть записанная причина. Иначе можно отбраковать не брак, а неудобных респондентов. Порядок работы описан в статье о чистке данных опроса.
5. Анализ
Кодировка открытых ответов является этапом, где ИИ экономит больше всего времени: ответы на вопрос «почему вы перестали покупать» модель быстро раскладывает по темам. Риск в уверенности: модель редко говорит «не знаю» (Kalai и соавторы показывают, что обучение и оценка моделей поощряют уверенную догадку, а не признание неуверенности) и относит спорный ответ в ближайшую категорию. Поэтому кодификатор проверяется на выборке ответов вручную, а спорные случаи смотрит человек. Подробно в статье об ИИ в кодировке открытых ответов.
Кабинетный этап требует отдельного разговора. Нейросеть, которую просят найти размер рынка, может выдать правдоподобную цифру со ссылкой на отчёт, которого не существует. Как с этим работать, разобрано в статье о кабинетном исследовании с нейросетью.
6. Выводы
Вывод представляет собой ответ на вопрос «что делать», и он опирается на то, что знает только команда: бюджет, сроки, позиции в сетях, что уже пробовали. Модель может сформулировать гладкий вывод из таблицы, но не знает, какой из трёх возможных выводов важен для вашего решения. Здесь же риск перепутать размер различий: модель не видит, что разрез на 30 человек не даёт вывода.
7. Отчёт
Черновики подписей, резюме, перевод дашборда относятся к работе, которую ИИ ускоряет без большого риска, если цифры в тексте сверяются с таблицами. Ошибка здесь дешёвая, но заметная: одна неверная цифра в резюме подрывает доверие ко всему отчёту.
Сводная таблица: этап, польза, риск, проверка
Спросите у любого подрядчика, включая нас, про каждую строку этой таблицы. Если на вопрос о блокировке вставки или о проверке кодификатора нет ответа, это не значит, что ИИ используется плохо, это значит, что никто не решил, кто отвечает за качество на этом этапе.
Почему модель не знает вашу аудиторию
Модель не знает вашу аудиторию по трём причинам, и все три касаются данных, а не качества моделей.
Она знает прошлое. Модель обучена на текстах до определённой даты. Реакции на новую цену, новую упаковку или нового конкурента в этих текстах нет.
Она знает тех, кто пишет. В интернете много текста от одних групп и почти нет от других. Исследование Santurkar и соавторов (ICML 2023) сравнило мнения языковых моделей с ответами разных демографических групп США и нашло значительные расхождения, которые сохранялись даже тогда, когда модели прямо указывали, от лица какой группы отвечать.
Она не знает вашего контекста. Что лежит на полке рядом с вашим товаром, как его продают в регионах, какие у вас цены относительно конкурентов: этого в обучающих данных нет.
Казахстан: отдельное ограничение
Для рынка Казахстана к этим трём причинам добавляется четвёртая: казахоязычных текстов и локальных данных о стране в обучении моделей заметно меньше, чем англоязычных. Точную долю мы не приводим, потому что открытых данных о составе обучающих корпусов нет. Но есть косвенная проверка: авторы бенчмарка KazMMLU (ACL 2025), собранного из учебных материалов на казахском и русском с вопросами в том числе о Казахстане, пишут, что казахский язык и культура недостаточно представлены в обработке естественного языка, а лучшие модели в их тестах заметно отстают на казахском и русском от результатов на языках с большим объёмом данных.
Для исследования это значит две вещи. Ответ нейросети о казахстанском потребителе стоит считать гипотезой, которую надо проверять, а не знанием. И казахоязычная часть аудитории (сёла, регионы, старшие группы) хуже всего описана в том, на чём учились модели, а в опросе без казахской версии она ещё и выпадает из выборки. Поэтому для опросов по Казахстану мы рекомендуем казахскую версию анкеты, особенно для общенациональной выборки, регионов, сёл и старших групп; добавляем её по решению заказчика. Анкету можно вести на двух языках, тогда респондент выбирает язык и может переключить его в любой момент, а интервью и фокус-группы при необходимости модерируются на казахском. Почему опрос на двух языках даёт другие результаты, чем только на русском, рассказано в статье об опросе на казахском.
Две новые темы, которые ИИ добавил исследованиям
Кроме вопроса «заменит ли», ИИ поставил два практических вопроса. Первый: можно ли вести интервью чат-ботом. Коротко: собирать структурированные ответы можно, а вести глубинное интервью, где интервьюер замечает оговорку и уходит в неё, пока можно лишь с большими оговорками. Подробно в статье о том, может ли чат-бот провести глубинное интервью. Второй: люди начинают спрашивать нейросети, что купить, и компании хотят знать, как в этих ответах выглядит их бренд. Об этом статья о том, как ваш бренд выглядит в ответах нейросетей. Если вам важно, советуются ли ваши покупатели с ИИ при выборе, такой вопрос можно добавить в анкету, в блок факторов выбора или медиапотребления.
Что это значит для вашего решения
Если решение зависит от доли, цены, размера аудитории или различий между группами, его источником служит опрос людей из этой аудитории. ИИ может сократить путь к анкете и ускорить обработку, но не может заменить поле. Если решение ещё не сформулировано, нейросеть станет неплохим собеседником для черновика гипотез, но проверять их придётся всё равно на людях.
Поэтому главный вопрос к любому исследованию с ИИ не «использовали ли нейросеть», а «откуда данные». Требования к данным, которые стоит предъявлять к любому подрядчику, собраны на странице о качестве данных: как набирается выборка, как проверяются ответы, что исключается и почему. Как устроен сам онлайн-опрос и чем он отличается от других методов, описано в разделе «Методы».
Источники
- Bisbee J. et al. Synthetic Replacements for Human Survey Data? The Perils of Large Language Models // Political Analysis, 2024. cambridge.org
- Santurkar S. et al. Whose Opinions Do Language Models Reflect? // ICML 2023. proceedings.mlr.press
- Kalai A. T., Nachum O., Vempala S. S., Zhang E. Why Language Models Hallucinate // arXiv, 2025. arxiv.org
- Togmanov M. et al. KazMMLU: Evaluating Language Models on Kazakh, Russian, and Regional Knowledge of Kazakhstan // ACL 2025. aclanthology.org
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, и мы предложим метод, выборку и сроки.