Что это такое
Синтетический респондент: языковая модель, которой задают профиль («женщина, 34 года, Шымкент, двое детей, покупает детское питание онлайн») и просят ответить на вопросы анкеты от его лица. Запусков сотни или тысячи, у каждого свой профиль, ответы складываются в таблицу, похожую на результаты опроса.
Цифровой двойник: модель, которую настраивают на данные конкретного реального человека или группы: его интервью, прошлые ответы на опросы, историю покупок. Двойник должен отвечать так, как ответил бы именно этот человек.
Разница важная. Синтетический респондент знает о профиле только то, что было в текстах, на которых училась модель. Двойник знает то, что рассказали реальные люди. Поэтому качество двойника упирается в качество исходного исследования.
Что показали опубликованные исследования
Ниже собраны работы с открытой методикой, которые чаще всего цитируют в споре о синтетических данных. Все они сделаны не на рынке Казахстана, а в основном на американских данных. Это важно: даже там, где результаты хорошие, они не переносятся автоматически на другую страну и другой язык.
Общая картина: синтетика неплохо угадывает среднее по широкой, хорошо описанной в текстах аудитории на известные темы. Хуже всего получается там, где нужен разброс, различия между группами, новые продукты и цены. А лучший результат в таблице получили двойники, за которыми стоят интервью с реальными людьми.
Где синтетика работает
Пилот анкеты. Прогон анкеты через синтетические профили до поля помогает найти непонятные и двусмысленные формулировки, а также варианты ответа, которые не покрывают возможные ситуации. Логику показа так не проверяют: её проверяют прохождением уже запрограммированной анкеты по тестовой ссылке. И это не заменяет пилот на живых людях, но ловит часть ошибок в тексте раньше. О типовых ошибках анкеты читайте в статье о том, как составить анкету.
Поиск непонятных формулировок. Попросите модель объяснить своими словами, что спрашивает вопрос. Если пересказ расходится с замыслом, формулировку стоит переписать. Это проверка текста, а не мнения аудитории.
Генерация гипотез. Список причин, по которым человек может отказаться от покупки, или вариантов ответа на открытый вопрос. Гипотезы потом проверяются опросом. Как использовать нейросеть на этом этапе и как сверить её ответы с реальными, разобрано в статье о том, можно ли спросить ChatGPT, чего хотят клиенты.
Где синтетика врёт
Три строки стоит пояснить.
Размер рынка. Потенциал спроса считается цепочкой: численность аудитории, умноженная на вероятность покупки, знание о продукте и доступность на полке. Вероятность покупки берётся из ответов людей, и если синтетика ошиблась в ней, ошибка переносится на весь расчёт. Как считается потенциал на реальных данных, разобрано в статье о потенциале спроса.
Узкие аудитории. Владельцы кофеен в Актобе, мамы детей до трёх лет, те, кто делает ремонт прямо сейчас: каждую такую группу в реальном опросе находят адресно и считают выборку от неё. Синтетический профиль «владелец кофейни» строится из того, что модель читала о владельцах кофеен вообще. Как искать такие группы среди людей, читайте в статье о сложной аудитории.
Казахоязычная аудитория. Авторы бенчмарка KazMMLU (ACL 2025) пишут, что казахский язык и культура недостаточно представлены в обработке естественного языка, а модели заметно отстают в их тестах на казахском и русском от результатов на языках с большим объёмом данных. Синтетический «житель аула в Туркестанской области» будет ещё дальше от реального человека, чем синтетический американец в работах из таблицы. Поэтому для опросов по Казахстану мы рекомендуем казахскую версию анкеты, особенно для общенациональной выборки, регионов и сёл; добавляем её по решению заказчика, и пишут её казахоязычные исследователи, а не переводит словарь или нейросеть. Как меняются ответы, когда у людей есть казахская версия анкеты, читайте в статье об опросе на казахском.
Чек-лист: что спросить подрядчика, который продаёт синтетические данные
- На чём построены респонденты? Только на общей языковой модели или на данных реальных людей? Если на данных, то каких, из какой страны, какого года и сколько человек за ними стоит?
- Есть ли сравнение с реальным опросом в моей категории? Не в «похожем проекте», а в той же категории и стране. Какое было расхождение по долям и по различиям между группами?
- Как вы проверяете разброс, а не только средние? Покажите распределение ответов рядом с реальным.
- Что будет, если немного изменить формулировку запроса? Повторяемы ли результаты через месяц на той же модели?
- Какая погрешность у результата и как она посчитана? Тысяча синтетических ответов не заменяет выборку в тысячу человек: все ответы из одного источника.
- Как синтетика отвечает за казахоязычную часть аудитории и за регионы? Есть ли проверка на реальных данных по Казахстану?
- Какие задачи вы сами не берёте? Подрядчик, который готов синтетикой оценить цену нового продукта и размер рынка, берёт на себя больше, чем подтверждают открытые проверки.
- Можно ли увидеть сырые ответы и запросы, по которым их получили? Без этого результат нельзя перепроверить.
Эти вопросы можно задать любому подрядчику, включая нас: к классическому опросу применимы те же пункты про происхождение ответов, погрешность и сырые данные. Общие признаки того, что исследование не выдержит проверки, собраны в статье о признаках плохого исследования.
Что это значит для вашего решения
Если решение зависит от доли, цены, размера рынка или различий между группами, его источником должен быть опрос реальных людей из нужной аудитории. Синтетика может сократить подготовку: поймать ошибки в анкете и набросать гипотезы. Но измерение она не заменяет, и открытые проверки это пока подтверждают. Место ИИ на каждом этапе исследования разобрано в опорной статье «Заменит ли ИИ маркетинговые исследования».
Отдельный риск: синтетика, которая попадает в обычный опрос: когда респондент вставляет в открытый ответ текст из нейросети. Поэтому при программировании анкеты вставку скопированного текста в открытые поля стоит запрещать. Как ещё отсечь такие ответы, читайте в статье об ответах, написанных ИИ. Требования к данным, которые стоит предъявлять любому исследованию, описаны на странице о качестве данных, а устройство онлайн-опроса описано в разделе «Методы».
Источники
- Argyle L. P. et al. Out of One, Many: Using Language Models to Simulate Human Samples // Political Analysis, 2023. Препринт: arxiv.org
- Bisbee J. et al. Synthetic Replacements for Human Survey Data? The Perils of Large Language Models // Political Analysis, 2024. cambridge.org
- Santurkar S. et al. Whose Opinions Do Language Models Reflect? // ICML 2023. proceedings.mlr.press
- Brand J., Israeli A., Ngwe D. Using LLMs for Market Research // Harvard Business School Working Paper 23-062, 2023. papers.ssrn.com
- Park J. S. et al. Generative Agent Simulations of 1,000 People, 2024. arxiv.org
- Togmanov M. et al. KazMMLU: Evaluating Language Models on Kazakh, Russian, and Regional Knowledge of Kazakhstan // ACL 2025. aclanthology.org
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, и мы предложим метод, выборку и сроки.