Как научить нейросеть не выдумывать факты: рабочие приёмы

Нейросеть выдумывает факты не потому, что «обманывает», а потому что устроена отвечать связно даже при нехватке точных данных — и без явного разрешения сказать «не знаю» заполняет пробел правдоподобной, но не обязательно верной деталью. Снизить это получится прямым запретом додумывать, ссылкой на конкретный источник вместо памяти модели и отдельной проверкой цифр, но не получится свести риск к нулю полностью.

Почему модель выдумывает факты

Модель обучена предсказывать связный правдоподобный текст, а не сверяться с базой проверенных фактов перед каждым ответом. Когда во входных данных не хватает конкретной цифры, даты или названия, модель не останавливается с пометкой «недостаточно данных» — она продолжает фразу самым вероятным с её точки зрения продолжением, которое звучит уверенно независимо от того, насколько оно точное.

Это особенно заметно там, где входных данных точно недостаточно физически: точные показатели компании, малоизвестные имена, узкоспециальные нормы закона, статистика по конкретному узкому рынку. Чем уже и специфичнее запрос, тем выше шанс, что модель заполнит пробел деталью из общего знания, которая выглядит похоже на правду, но относится к другому случаю.

Приём 1: прямой запрет додумывать

Самый простой и рабочий приём — явно разрешить модели сказать «не знаю» вместо того, чтобы формулировать вопрос так, будто ответ обязательно существует.

Ответь на вопрос ниже, используя только факты, в которых ты
уверен. Если точного ответа нет или ты не уверен в цифре,
дате или названии — прямо напиши «не хватает данных для
точного ответа», а не предполагай и не округляй приблизительно.

Без этой строки модель почти всегда выбирает дать какой-то ответ, потому что молчание или отказ противоречит её базовой настройке быть полезной. С явным разрешением сказать «не знаю» эта настройка не мешает честному ответу.

Приём 2: источник вместо памяти модели

Там, где есть документ, таблица или конкретный текст с нужными фактами, правильнее не спрашивать модель «по памяти», а дать ей сам источник и ограничить ответ только им.

Ответь на вопросы ниже, используя только информацию из
документа, приложенного к этому сообщению. Если ответа в
документе нет — прямо скажи, что данных недостаточно, не
дополняй ответ знаниями за пределами документа.

Этот приём работает заметно надёжнее запроса «по памяти», потому что убирает саму возможность подмешать общие знания туда, где нужен точный факт из конкретного текста. Разница особенно заметна на юридических и финансовых документах, где почти в каждом абзаце есть конкретные цифры и формулировки.

Приём 3: отдельная проверка цифр и имён

После того как черновик ответа готов, полезно попросить модель отдельно перечислить все цифры, даты, имена и названия, которые встречаются в тексте, — и для каждой явно указать источник.

Перечисли все цифры, даты, имена и названия компаний из
текста выше. Для каждого пункта укажи, откуда взята эта
информация: из приложенного документа, из общих знаний или
предположения. Пункты из общих знаний и предположений отметь
отдельно.

Этот запрос заставляет модель явно разметить, какие детали взяты из надёжного источника, а какие добавлены из общих знаний, — и такие отмеченные пункты проверяются человеком в первую очередь, вместо того чтобы перепроверять весь текст подряд.

Приём 4: конкретная формулировка вместо общей

Расплывчатый вопрос почти гарантированно получает расплывчатый, но уверенно звучащий ответ. Вопрос «расскажи про рынок X» провоцирует модель собрать правдоподобное обобщение из разрозненных знаний. Вопрос с явной границей снижает это.

Не обобщай рынок X в целом. Ответь только на конкретный
вопрос: [узкий вопрос с границами по периоду, региону или
сегменту]. Если для такого узкого вопроса у тебя нет точных
данных, скажи об этом прямо вместо общего ответа по рынку.

Узкая граница вопроса оставляет модели меньше пространства для правдоподобного, но неточного обобщения.

Таблица: где риск выдумывания выше

Задачи, где проверка нужна каждый раз

Любой текст, который уходит клиенту, партнёру или в официальный документ, проверяется человеком независимо от того, насколько уверенно он звучит. Это касается цифр в коммерческом предложении, ссылок на нормы закона в договоре, характеристик товара в описании для маркетплейса, статистики в презентации для руководства.

Уверенный тон ответа не говорит о его точности — модель формулирует придуманную деталь так же гладко, как проверенный факт, и внешне отличить одно от другого в большинстве случаев невозможно без отдельной проверки.

Где проверка менее критична

Черновик письма без конкретных цифр, набросок структуры презентации, вариант формулировки хука для рилса — здесь риск выдумывания не критичен, потому что сам текст ещё дорабатывается человеком и не выдаётся за готовый факт. Требовать строгую проверку источника на каждом черновом этапе работы избыточно и замедляет процесс там, где это не нужно.

Разумная граница — проверка нужна не на каждом шаге работы с моделью, а в момент, когда текст с конкретными фактами готовится к отправке за пределы черновика: клиенту, в документ, в публичную публикацию.

Частая ошибка при борьбе с выдумыванием

Самая частая ошибка — просить модель в общих словах «не выдумывай» без конкретики, что именно проверить и как поступить при нехватке данных. Такая формулировка слишком абстрактна: модель не получает чёткого правила, что делать в момент, когда данных действительно не хватает, и по-прежнему заполняет пробел правдоподобной деталью.

Работает конкретное правило — что именно считать недостаточными данными и что писать в этом случае вместо выдуманного ответа, — а не общая просьба быть точнее.

Приём 5: просьба спорить с собственным ответом

Ещё один рабочий способ — попросить модель критически разобрать собственный черновик, прежде чем отдавать его как финальный, вместо того чтобы сразу принимать первый ответ.

Посмотри на ответ выше ещё раз как придирчивый редактор.
Для каждого факта, цифры или утверждения отметь, насколько
ты уверен в его точности, и укажи, какие пункты стоит
перепроверить по внешнему источнику перед публикацией.

Такой повторный проход не гарантирует, что модель сама найдёт все ошибки, — она может одинаково уверенно подтвердить и точный, и неточный факт при поверхностной проверке. Но на практике часть явных неточностей, особенно противоречащих друг другу деталей в одном тексте, модель действительно находит и отмечает при втором внимательном проходе.

Как встроить эти приёмы в постоянную практику

Если задача с фактами повторяется регулярно — анализ договоров, подготовка коммерческих предложений, сводки по документам, — разумно не формулировать запрет на выдумывание заново каждый раз, а закрепить его как часть постоянного правила для таких запросов. Подробнее о том, как перевести разовую формулировку в системное правило для всех новых сообщений, — в статье про системный промпт.

Где ИИ ошибается

Уверенно называет цифру или дату, похожую на правду, но относящуюся к другому периоду или другому объекту, если явно не ограничить её одним конкретным источником.

Додумывает деталь, которой не было в документе, если вопрос сформулирован так, будто ответ обязательно есть, — явное разрешение сказать «не хватает данных» снижает этот риск заметнее любых других формулировок.

Путает похожие по названию компании, продукты или термины между собой при генерации по памяти без источника — особенно заметно на узкоспециальных и малоизвестных названиях.

Не исправляет сама свою ошибку при повторном вопросе «ты уверен?» — модель чаще подтверждает прежний ответ тем же уверенным тоном, чем признаёт неточность, если не попросить её явно перепроверить источник, а не просто согласиться с сомнением.

Что дальше

Базовая структура промпта и то, как формулировать задачу по шагам, — в статье как писать промпты. Как перевести рабочую формулировку в постоянное правило — в статье системный промпт. Практический пример работы с документом и проверкой фактов — в статье промпт для анализа договора.

Ярослав Сажнев — преподаватель ИИ в РАНХиГС, внедрение ИИ в компании. Подробнее об авторе