Главное различие: текст о людях и ответы людей
Исследование продаёт не текст, а измерение. Когда вы спрашиваете 600 покупателей категории, сколько из них знают вашу марку, вы получаете долю, у которой есть база, дата и погрешность. Когда вы спрашиваете о том же нейросеть, вы получаете правдоподобный текст, собранный из того, что уже было опубликовано. Он может совпасть с реальностью, а может нет, и из самого ответа этого не видно.
Это не спекуляция. В работе Bisbee и соавторов, опубликованной в Political Analysis, модель просили отвечать от лица разных «персон» на вопросы американского электорального опроса. Средние оценки получились близкими к реальным, но разброс ответов оказался меньше, чем у людей, связи между переменными отличались от настоящих, а тот же запрос через три месяца дал заметно другие результаты. Средняя похожа, а всё, на чём строятся решения — различия между группами, распределения, устойчивость, — нет. Подробнее о том, что показывают такие эксперименты, — в статье о синтетических респондентах.
Семь этапов исследования и место ИИ в каждом
1. Постановка задачи
ИИ помогает сформулировать гипотезы, накидать список вопросов, сыграть «адвоката дьявола» против уверенности команды. Это полезно, если результат — черновик для обсуждения, а не выводы. Риск в том, что модель охотно соглашается с формулировкой, которую ей дали: спросите «почему наши клиенты уходят из-за цены» — и получите аккуратный список причин, связанных с ценой. Главное решение этапа — какое действие компания предпримет по итогам — принимает команда. Как это сделать, разобрано в статье о том, как сформулировать задачу. Где можно опираться на ответы модели о клиентах, а где нельзя, — в статье «Можно ли спросить ChatGPT, чего хотят клиенты».
2. Анкета
Нейросеть быстро проверяет черновик на двойные вопросы, пропущенные варианты ответа, слишком длинные формулировки. Но анкета собирается под решение, и логика «какой вопрос закрывает какую часть решения» не выводится из текста. Отдельный риск — язык. Казахская версия, прогнанная через нейросеть, может быть грамматически чистой и при этом задавать другой вопрос: сдвигается смысл шкалы, пропадает оттенок. Поэтому, если казахская версия нужна, её пишут казахоязычные исследователи как второй оригинал анкеты, а шкалы двух версий проверяются на сопоставимость. Что именно теряется при переводе нейросетью, разобрано в статье об анкете, переведённой нейросетью, а типовые ошибки любой анкеты — в статье «Как составить анкету: ошибки».
3. Выборка и поле
Здесь ИИ не ускоряет, а создаёт новый риск. Респондент онлайн-опроса может вставить в открытое поле текст, сгенерированный нейросетью, или чужую формулировку из интернета. Ответ выглядит развёрнутым и грамотным, но это не мнение человека. Практическое правило: при программировании анкеты запрещать вставку скопированного текста в открытые поля. Иначе открытые ответы искажаются, и в отчёт попадают формулировки, которых респондент не писал. Как ещё не пустить такие ответы в данные — в статье об ответах, написанных ИИ, в онлайн-опросах.
Сама выборка — кто отвечает, сколько их и как их нашли — остаётся работой с людьми. Как считается нужный объём, разобрано в статье о том, сколько человек нужно опросить.
4. Чистка данных
Алгоритмы давно помогают находить спидеров, прямые линии в таблицах и бессмысленный текст в открытых ответах. На рынке к этому добавляют оценку осмысленности открытых ответов нейросетью. Риск в том, что модель может принять за мусор честный короткий или неграмотный ответ, поэтому её отметка — повод прочитать анкету, а решение о браке принимается только после чтения человеком: ответ не по теме автоматически не отбраковывается. Решение «выбросить анкету» остаётся за человеком, и у каждого исключения должна быть записанная причина. Иначе можно отбраковать не брак, а неудобных респондентов. Порядок работы — в статье о чистке данных опроса.
5. Анализ
Кодировка открытых ответов — этап, где ИИ экономит больше всего времени: ответы на вопрос «почему вы перестали покупать» модель быстро раскладывает по темам. Риск — в уверенности: модель редко говорит «не знаю» — Kalai и соавторы показывают, что обучение и оценка моделей поощряют уверенную догадку, а не признание неуверенности, — и относит спорный ответ в ближайшую категорию. Поэтому кодификатор проверяется на выборке ответов вручную, а спорные случаи смотрит человек. Подробно — в статье об ИИ в кодировке открытых ответов.
Кабинетный этап — отдельная история. Нейросеть, которую просят найти размер рынка, может выдать правдоподобную цифру со ссылкой на отчёт, которого не существует. Как с этим работать, разобрано в статье о кабинетном исследовании с нейросетью.
6. Выводы
Вывод — это ответ на вопрос «что делать», и он опирается на то, что знает только команда: бюджет, сроки, позиции в сетях, что уже пробовали. Модель может сформулировать гладкий вывод из таблицы, но не знает, какой из трёх возможных выводов важен для вашего решения. Здесь же риск перепутать размер различий: модель не видит, что разрез на 30 человек — это не вывод.
7. Отчёт
Черновики подписей, резюме, перевод дашборда — работа, которую ИИ ускоряет без большого риска, если цифры в тексте сверяются с таблицами. Ошибка здесь дешёвая, но заметная: одна неверная цифра в резюме подрывает доверие ко всему отчёту.
Сводная таблица: этап, польза, риск, проверка
Спросите у любого подрядчика, включая нас, про каждую строку этой таблицы. Если на вопрос о блокировке вставки или о проверке кодификатора нет ответа, это не значит, что ИИ используется плохо, — это значит, что никто не решил, кто отвечает за качество на этом этапе.
Почему модель не знает вашу аудиторию
Модель не знает вашу аудиторию по трём причинам, и все три касаются данных, а не качества моделей.
Она знает прошлое. Модель обучена на текстах до определённой даты. Реакции на новую цену, новую упаковку или нового конкурента в этих текстах нет.
Она знает тех, кто пишет. В интернете много текста от одних групп и почти нет от других. Исследование Santurkar и соавторов (ICML 2023) сравнило мнения языковых моделей с ответами разных демографических групп США и нашло значительные расхождения, которые сохранялись даже тогда, когда модели прямо указывали, от лица какой группы отвечать.
Она не знает вашего контекста. Что лежит на полке рядом с вашим товаром, как его продают в регионах, какие у вас цены относительно конкурентов — этого в обучающих данных нет.
Казахстан: отдельное ограничение
Для рынка Казахстана к этим трём причинам добавляется четвёртая: казахоязычных текстов и локальных данных о стране в обучении моделей заметно меньше, чем англоязычных. Точную долю мы не приводим — открытых данных о составе обучающих корпусов нет. Но есть косвенная проверка: авторы бенчмарка KazMMLU (ACL 2025), собранного из учебных материалов на казахском и русском с вопросами в том числе о Казахстане, пишут, что казахский язык и культура недостаточно представлены в обработке естественного языка, а лучшие модели в их тестах заметно отстают на казахском и русском от результатов на языках с большим объёмом данных.
Для исследования это значит две вещи. Ответ нейросети о казахстанском потребителе стоит считать гипотезой, которую надо проверять, а не знанием. И казахоязычная часть аудитории — сёла, регионы, старшие группы — хуже всего описана в том, на чём учились модели, а в опросе без казахской версии она ещё и выпадает из выборки. Поэтому для опросов по Казахстану мы рекомендуем казахскую версию анкеты, особенно для общенациональной выборки, регионов, сёл и старших групп; добавляем её по решению заказчика. Анкету можно вести на двух языках — тогда респондент выбирает язык и может переключить его в любой момент, а интервью и фокус-группы при необходимости модерируются на казахском. Почему опрос на двух языках даёт другие результаты, чем только на русском, — в статье об опросе на казахском.
Две новые темы, которые ИИ добавил исследованиям
Кроме вопроса «заменит ли», ИИ поставил два практических вопроса. Первый — можно ли вести интервью чат-ботом. Коротко: собирать структурированные ответы — да, вести глубинное интервью, где интервьюер замечает оговорку и уходит в неё, — пока с большими оговорками. Подробно — в статье о том, может ли чат-бот провести глубинное интервью. Второй — люди начинают спрашивать нейросети, что купить, и компании хотят знать, как в этих ответах выглядит их бренд. Об этом — статья о том, как ваш бренд выглядит в ответах нейросетей. Если вам важно, советуются ли ваши покупатели с ИИ при выборе, такой вопрос можно добавить в анкету — в блок факторов выбора или медиапотребления.
Что это значит для вашего решения
Если решение зависит от доли, цены, размера аудитории или различий между группами, его источник — опрос людей из этой аудитории. ИИ может сократить путь к анкете и ускорить обработку, но не может заменить поле. Если решение ещё не сформулировано, нейросеть — неплохой собеседник для черновика гипотез, но проверять их придётся всё равно на людях.
Поэтому главный вопрос к любому исследованию с ИИ не «использовали ли нейросеть», а «откуда данные». Требования к данным, которые стоит предъявлять к любому подрядчику, собраны на странице о качестве данных: как набирается выборка, как проверяются ответы, что исключается и почему. Как устроен сам онлайн-опрос и чем он отличается от других методов — в разделе «Методы».
Источники
- Bisbee J. et al. Synthetic Replacements for Human Survey Data? The Perils of Large Language Models // Political Analysis, 2024. cambridge.org
- Santurkar S. et al. Whose Opinions Do Language Models Reflect? // ICML 2023. proceedings.mlr.press
- Kalai A. T., Nachum O., Vempala S. S., Zhang E. Why Language Models Hallucinate // arXiv, 2025. arxiv.org
- Togmanov M. et al. KazMMLU: Evaluating Language Models on Kazakh, Russian, and Regional Knowledge of Kazakhstan // ACL 2025. aclanthology.org
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
