Почему модель придумывает цифры
Языковая модель не ищет число в таблице, а продолжает текст так, как он правдоподобно должен продолжиться. Если в данных, на которых её обучали, нужной цифры не было или она встречалась в разных версиях, модель всё равно ответит — числом, которое звучит уместно.
Это не случайный сбой, а свойство того, как модели учат и оценивают. В работе Калаи и соавторов 2025 года «Why Language Models Hallucinate» разобрано, что обучение и большинство тестов поощряют модель угадывать, а не признавать, что она не знает: угаданный ответ иногда засчитывается, а «не знаю» не засчитывается никогда. Поэтому правдоподобная ошибка остаётся даже у самых сильных систем.
То же касается ссылок. В исследовании Уолтерса и Уайлдер, опубликованном в Scientific Reports в 2023 году, две версии популярного чат-бота написали 84 коротких обзора литературы с 636 ссылками. У ранней версии выдуманными оказались 55% ссылок, у более новой — 18%. И среди настоящих ссылок заметная доля содержала существенные ошибки. Новая версия ошибалась реже старой, но проверять ссылку всё равно приходится: по её виду нельзя понять, существует ли она.
Есть и третья причина — время. Модель знает то, что было опубликовано до даты её обучения. Официальная статистика в это время продолжает выходить, уточняться и пересчитываться. Даже если модель умеет искать в интернете, она может найти пересказ в СМИ вместо самой таблицы, а пересказ — это ссылка на источник, а не источник.
Шесть ошибок, которые надо ловить
Все цифры в этом разделе — из таблиц БНС и других открытых источников, которые мы разбирали в материалах о статистике рынков Казахстана и о малом бизнесе по регионам, дата обращения — 25 сентября 2026 года.
1. Выдуманная цифра и выдуманная ссылка
Самая неприятная ошибка — отчёт, которого нет, или реальный отчёт, в котором нет этой цифры. Обычно она выглядит убедительнее остальных: название организации, год, иногда номер страницы. Проверка простая и обязательная: открыть источник и найти в нём число. Не нашли — цифры нет.
2. Устаревшие данные
Модель легко выдаёт цифру прошлого года как текущую. В спокойном ряду это даёт небольшую погрешность, но иногда правила учёта меняются. Действующих субъектов МСП на 1 января 2026 года было 2 175 605, на 1 сентября 2026 года — 1 984 663. Бизнеса не стало меньше на 190 тысяч: с 2026 года часть ИП перешла в режим самозанятых и выпала из счёта МСП. Цифра начала года для планирования B2B-выборки в конце 2026 года уже не годится.
Даже одна и та же дата бывает в двух версиях. Численность Алматы на начало 2026 года в предварительной публикации БНС — 2 347 924, в уточнённой — 2 348 103. Если в одном расчёте смешать версии, суммы по регионам перестанут сходиться с итогом.
3. Смешение стран, источников и лет
Модель соединяет в одном ответе цифры из разных мест. Население Казахстана по Всемирному банку — 20,84 млн, по БНС — 20,6 млн. Обе цифры настоящие, но в одном ряду их не смешивают: у источников разная методика и разное запаздывание. С рынками хуже: оценка по соседней стране или по региону целиком может быть подана как казахстанская.
С годами то же самое. В 2022 году появились три новые области — Абай, Жетісу и Ұлытау, и сравнение «до» и «после» требует проверки границ. А после переписи 2021 года БНС пересчитало базу оценок численности. Актау как городская администрация — 204 551 человек на 1 января 2021 года и 262 511 годом позже. Прочтение «город вырос на 28% за год» неверно: в прирост вошёл пересчёт после переписи.
4. «По данным БНС» без таблицы
У БНС сотни таблиц, и под одним словом в них разные показатели. На 1 сентября 2026 года в стране 2 140 771 зарегистрированный субъект МСП и 1 984 663 действующих. «Малых юрлиц» в одной таблице 441 356, а «юрлиц малого предпринимательства» в другой — 385 246: в первую цифру, по нашему прочтению методики, входят госучреждения и НКО.
Ответ модели «по данным БНС, малых компаний около 400 тысяч» ничего не говорит: какая таблица, какой показатель, на какую дату. Без этого цифру нельзя ни проверить, ни обновить через год.
5. Город или городская администрация
Городская администрация (г.а.) включает подчинённые городу посёлки и сёла. На начало 2026 года в Уральске как г.а. 372 372 человека, а в самом городе — 259 361. В Атырау 431 254 и 328 616. Модель часто не уточняет, о каком уровне цифра, — проверяйте это сами: для расчёта зоны охвата или квоты выборки разница от четверти до трети — это другая задача. Уровень каждой цифры по 20 городам указан в карточках городов.
6. Счета, назначения и записи — не люди
Многие открытые цифры считают не людей, а записи: счета, договоры, назначенные выплаты, регистрации. Один человек может держать несколько брокерских счетов у разных брокеров и в двух депозитариях, и сумма счетов не равна числу инвесторов. Как из числа счетов получить оценку числа людей и почему она выходит только диапазоном, разобрано на примере розничных инвесторов. Нейросеть такую разницу обычно не делает: «5 млн счетов» в ответе легко становится «5 млн инвесторов».
Условный пример: ответ нейросети и что нашлось в первоисточнике
Левая колонка — условные формулировки, какие встречаются в ответах нейросетей; они придуманы для примера и не принадлежат конкретной модели. Правая — реальные данные из таблиц.
Ни одна из ошибок не видна по самому ответу. Все цифры правдоподобны, округлены «как в жизни» и сопровождаются ссылкой на уважаемый источник.
Как проверить цифру за 10 минут
Если знать, где искать, на одну ключевую цифру уходит около десяти минут.
- Выписать утверждение целиком (1–2 минуты). Какая величина, по какой территории, на какую дату. «Сколько жителей в городе Уральске на начало 2026 года», а не «население Уральска».
- Найти первоисточник (3–4 минуты). Не статью в СМИ и не пересказ агрегатора, а таблицу: публикацию БНС на stat.gov.kz или показатель в Taldau, отчёт регулятора, отчётность компании. Где что лежит, собрано в каталоге 29 источников открытых данных.
- Сверить три вещи (2–3 минуты). Отчётную дату, уровень территории и определение показателя: действующие или зарегистрированные, город или г.а., счета или люди. Прочитать примечание к таблице.
- Записать в реестр (1 минута). Источник, название таблицы, отчётная дата, дата обращения и статус: заявление источника, расчёт или оценка. Оценку — только диапазоном.
- Не нашли — вычеркнуть. Цифра без первоисточника не попадает в отчёт, даже если она «похожа на правду». Если величина важна, её придётся посчитать из других показателей или спросить у людей.
Для ключевой величины одного источника мало. Три независимых подтверждения — сильный аргумент, расхождение между ними — честная оценка точности. Как это работает в разделе бизнес-плана, разобрано в статье об анализе рынка в бизнес-плане.
Где нейросеть в кабинетной работе всё же полезна
Нейросеть экономит время там, где результат можно проверить глазами: подсказать, как может называться показатель в статистике, составить план поиска, разобрать длинный документ на разделы, проверить формулу пересчёта. Во всех этих случаях она работает с текстом, а не выдаёт факты. Как только ответ содержит число, которое вы не видели в таблице сами, — это гипотеза, а не данные.
И ещё одно ограничение, которого не снимает никакая проверка: статистика отвечает на вопрос «сколько и где», но не «почему» и «что выберут». Спрашивать об этом нейросеть — значит получать усреднённый текст из интернета, а не ответ вашей аудитории. Почему, разобрано в статье о том, можно ли спросить ChatGPT, чего хотят клиенты. Если вас интересует, что нейросети рассказывают о вашей марке покупателям, — это отдельная тема, о ней статья о том, как ваш бренд выглядит в ответах нейросетей. Общая картина по этапам исследования — в опорной статье «Заменит ли ИИ маркетинговые исследования».
Как мы это делаем
Кабинетное исследование у нас держится на реестре: у каждой цифры есть источник, таблица, отчётная дата, дата обращения и статус. Замер, расчёт и оценка разведены подписью, оценка подаётся только диапазоном. Константы и допущения лежат на отдельном листе, поэтому уточнённая публикация пересчитывает итог без ручной правки. Мы называем три параметра, которые сильнее всего двигают результат, и пишем, чем закрыть каждый: запросом в статистическое ведомство, документом или вопросом в анкете. Результат вы получаете в дашборде: рядом с каждой цифрой — её источник и дата из реестра, разрезы по городам и регионам открываются без запроса аналитику, доступ остаётся после проекта, и обновлённые публикации доливаются туда же. Отчёт-презентацию собираем по запросу. Другие методы — в разделе «Методы».
Спросите у любого подрядчика, включая нас: можно ли увидеть реестр источников по отчёту — с таблицами и датами обращения. Если такого реестра нет, цифры в отчёте проверить нельзя, кто бы их ни нашёл.
Источники
- Kalai A. T., Nachum O., Vempala S. S., Zhang E. Why Language Models Hallucinate // arXiv, 2025. arxiv.org
- Walters W. H., Wilder E. I. Fabrication and errors in the bibliographic citations generated by ChatGPT // Scientific Reports, 2023, 13. doi.org
- Цифры по Казахстану: Бюро национальной статистики АСПиР РК (stat.gov.kz) — численность населения на начало 2026 года, публикации от 13.02.2026 и 13.03.2026; мониторинг МСП на 01.01.2026 и 01.09.2026; оценка численности населения Всемирного банка (data.worldbank.org). Дата обращения — 25.09.2026.
- Переход части ИП в режим самозанятых с 2026 года: Бюро национальной статистики АСПиР РК, таблица Т-02-11-М «Количество зарегистрированных и действующих субъектов МСП в РК» к публикации «Основные показатели количества субъектов в РК (на 1 сентября 2026 г.)», сноска о переходе ИП на специальный налоговый режим для самозанятых с 01.01.2026. stat.gov.kz
- Новые области 2022 года: Указ Президента РК от 3 мая 2022 г. № 887 «О некоторых вопросах административно-территориального устройства Республики Казахстан», вводится в действие с 8 июня 2022 г. akorda.kz
По теме
- Статистика рынков Казахстана: как найти цифру у Бюро национальной статистики и не ошибиться
- Сколько в Казахстане малого и среднего бизнеса: регионы, города, отрасли
- Розничный инвестор в Казахстане: сколько счетов у физлиц и сколько за ними людей
- Открытые данные для маркетолога в Казахстане: 29 источников
- Раздел «анализ рынка» в бизнес-плане
Обсудим ваше исследование. Расскажите, какое решение нужно принять, — предложим метод, выборку и сроки.
