Откуда в опросе берутся ответы нейросети
Открытый вопрос — самая медленная часть анкеты. Человеку нужно подумать и напечатать, а вознаграждение за анкету от этого не растёт. Если рядом открыт чат-бот, соблазн понятен: спросить его и вставить ответ. Туда же попадают чужие формулировки — отзывы, тексты с сайта марки, ответ из соседнего вопроса.
Насколько это распространено, меряли на краудсорсинговых платформах. В исследовании Веселовского, Рибейро и Уэста 2023 года работников Amazon Mechanical Turk попросили кратко пересказать научные аннотации. По нажатиям клавиш и классификатору текста авторы оценили, что нейросетью пользовались 33–46% исполнителей. Оговорка авторов важна: задача была как раз из тех, что нейросеть делает легко, и переносить эту долю на другие вопросы нельзя. Это не данные о казахстанских панелях — это показатель того, что проблема не теоретическая.
Есть и второй уровень — анкету целиком заполняет программа. В 2025 году в журнале PNAS описан автоматический агент, который отвечает от лица заданной «персоны», помнит свои прошлые ответы и пишет открытые ответы в стиле, соответствующем её образованию. В 6 000 попыток он прошёл стандартные проверки на внимательность в 99,8% случаев. Это уже не вставленный ответ, а бот, и против него работают другие меры — о них ниже.
Первое правило: запретить вставку текста в открытые поля
При программировании анкеты в каждом открытом поле ставится запрет вставки скопированного текста. Респондент может печатать сколько угодно, но не может вставить готовый текст из буфера обмена. Это первое и обязательное правило для открытых вопросов, включая поля «другое».
Зачем. Без запрета открытые ответы искажаются. В них попадают текст из нейросетей и чужие формулировки, которые выглядят как развёрнутое мнение, но не принадлежат человеку. Такой ответ проходит проверку на мусор: в нём нет наборов символов и мата, он по теме и длиннее среднего. А потом он попадает в кодировку и в отчёт как «голос клиента». Запрет заодно отсекает копирование собственного ответа из предыдущего вопроса, когда человек вставляет один и тот же текст везде.
Почему это работает. Запрет делает использование нейросети дороже: ответ придётся перепечатать руками, это требует усилий, и часть людей на это не пойдёт. В продолжении того же исследования на краудсорсинговой платформе просьба не пользоваться нейросетями вместе с мерами, повышающими цену их использования, например запретом копирования и вставки, снизила долю ответов из нейросетей примерно вдвое. Но не до нуля.
Чего запрет не делает. Он не ловит текст, перепечатанный вручную с другого экрана. Не защищает от автоматических агентов, которые заполняют анкету целиком. И не проверяет, по теме ли ответ. Поэтому после запрета остаются проверки данных.
Что проверить до старта. Запрет должен реально работать в каждом открытом поле, в том числе на телефоне. Это проверяется при приёмке анкеты по тестовой ссылке: попробовать вставить текст в каждое открытое поле и убедиться, что он не вставляется, а длина ответа не обрезается.
Четыре признака ответа, похожего на сгенерированный
Ни один из признаков сам по себе не доказывает, что ответ написала нейросеть. Грамотные люди пишут гладко, а короткие честные ответы бывают похожи друг на друга. Признаки нужны, чтобы понять, какие анкеты читать целиком.
Про одинаковую структуру есть и данные: в том же исследовании на краудсорсинговой платформе ответы, написанные с помощью нейросети, оказались качественными, но однородными. Для исследования, которому нужны различия между людьми, это главная проблема: сто одинаково гладких ответов дают один ответ, повторённый сто раз.
Четвёртый признак важно проверять внутри анкеты одного человека. Если в одном вопросе он пишет коротко, с опечатками и разговорно, а в другом — выверенным абзацем с перечислением, это сильнее любого общего впечатления о «слишком хорошем» тексте.
Как проверять вместе со всей чисткой
Признаки ИИ-текста не живут отдельно от обычной чистки данных. Спидеры, прямые линии в таблицах, мусор в открытых ответах и дубли проверяются по тем же правилам, что описаны в статье о том, как чистят данные опроса. Главное из них: в брак уходит только то, что можно доказать одной строкой с цифрой.
Поэтому признаки ИИ-текста распределяются так:
- Одного впечатления «похоже на нейросеть» мало. Такая анкета попадает в группу «под вопросом». Исследователь открывает её целиком и решает, оставить её или отбраковать.
- Признак плюс скорость — отбраковка. Время записывает система, его не оспорить. Если гладкий ответ сочетается со слишком быстрым прохождением сложных вопросов, строка доказательства готова.
- Дословные совпадения у разных людей — отбраковка. Если два респондента совпали слово в слово в двух и более развёрнутых ответах на разные вопросы, так выглядят фермы и боты. Одно совпадение ничего не доказывает, а вопросы на вспоминание, где люди честно пишут слоган дословно, в проверку не входят.
- Ответ не по теме — после чтения. Скопированный текст часто отвечает на другой вопрос: про категорию вообще, про другую марку. Это смысловая проверка, её делает человек.
Условный пример. В опросе 800 полных интервью. По признакам ИИ-текста отмечено 40 анкет. У 9 из них сложные вопросы пройдены быстрее, чем их можно прочитать, — отбраковка. Ещё 4 анкеты — две пары, дословно совпавшие в двух развёрнутых ответах, — отбраковка как боты. Оставшиеся 27 — под вопросом. После чтения анкет целиком отбраковано 5, где ответы не по теме, 22 оставлены. Итого из-за этих признаков ушло 18 анкет, 2,25% выборки, и 22 человека, которые просто хорошо пишут, остались в данных.
Если бы все 40 выбросили по впечатлению, 22 честных респондента заменили бы другими людьми той же квоты, и этого не увидела бы ни одна проверка.
А детекторы ИИ-текста
Проверки детекторов ИИ-текста показали, что они ошибаются на текстах неносителей языка и легко обходятся (Liang et al.), — полагаться на них как на доказательство и строить на них отбраковку нельзя. В исследовании 2023 года несколько популярных детекторов проверили на эссе носителей английского и тех, для кого английский неродной. Тексты неносителей детекторы систематически помечали как сгенерированные, а простая просьба к нейросети переписать текст позволяла обойти детектор.
Исследование было на английском, и переносить его цифры на русский и казахский нельзя. Но риск понятный: в двуязычной стране многие пишут открытые ответы не на первом языке, и детектор может бить именно по ним. Если подрядчик использует такой инструмент, его оценка — максимум повод прочитать анкету, а не причина её выбросить.
Против автоматических агентов, заполняющих анкету целиком, работает не анализ текста, а источник выборки: кого и как приглашают в опрос, как ловят повторное участие, совпадают ли ответы в анкете с тем, что известно об участнике заранее. Какие требования к выборке и проверкам стоит предъявлять — на странице о качестве данных.
Что спросить у подрядчика
Пять вопросов, которые можно задать любому подрядчику, включая нас:
- Стоит ли в открытых полях запрет вставки скопированного текста и проверяется ли он по тестовой ссылке на телефоне.
- По каким правилам отбраковываются анкеты с подозрительными открытыми ответами и что считается доказательством.
- Используется ли детектор ИИ-текста и что происходит с анкетой, которую он пометил.
- Как ловятся дубли и боты: совпадения ответов, повторное участие, сверка с профилем.
- Можно ли получить список отбракованных анкет с причиной у каждой.
Если на первый вопрос ответ «нет», открытые ответы в отчёте стоит читать с оговоркой. Как запрет вставки выглядит в общей логике составления анкеты — в статье «Как составить анкету: 12 ошибок», а как подозрительные ответы разбирают после поля — в статье о проверках при чистке данных.
Что это значит для вашего решения
Если решение строится на открытых ответах — причины ухода, что запомнилось в рекламе, чего не хватает в продукте, — их качество важнее числа. Сто живых коротких ответов полезнее тысячи гладких, половину из которых написала нейросеть. Запрет вставки ставится один раз при программировании анкеты и не удлиняет её, а проверки по признакам встраиваются в обычную чистку данных.
Открытые ответы потом кодируются, и там у ИИ своя роль и свои риски — они разобраны в статье об ИИ в кодировке открытых ответов. Почему нейросеть не может заменить самих респондентов, — в статье о синтетических респондентах, а общая картина по этапам исследования — в опорной статье «Заменит ли ИИ маркетинговые исследования». Как устроен сам онлайн-опрос, описано на странице метода, другие методы — в разделе «Методы».
Источники
- Veselovsky V., Horta Ribeiro M., West R. Artificial Artificial Artificial Intelligence: Crowd Workers Widely Use Large Language Models for Text Production Tasks // arXiv, 2023. arxiv.org
- Veselovsky V., Horta Ribeiro M., Cozzolino P., Gordon A., Rothschild D., West R. Prevalence and prevention of large language model use in crowd work // arXiv, 2023. arxiv.org
- Westwood S. J. The potential existential threat of large language models to online survey research // PNAS, 2025. pnas.org
- Liang W., Yuksekgonul M., Mao Y., Wu E., Zou J. GPT detectors are biased against non-native English writers // Patterns, 2023. arxiv.org
По теме
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
