Галлюцинации нейросети: почему ИИ выдумывает факты
Галлюцинация — это когда нейросеть уверенно выдаёт информацию, которой не существует: несуществующий пункт закона, выдуманную статистику, нерабочую ссылку. Причина в устройстве модели: она предсказывает правдоподобное продолжение текста, а не проверяет факты по базе.
Как это устроено
Опаснее всего не грубые ошибки, а правдоподобные детали: номер статьи выглядит настоящим, цифра — разумной, ссылка — рабочей. Человек, не знающий темы, такое не поймает.
Вероятность растёт, когда модели не дали материалов и попросили рассказать о чём-то конкретном: узкой отрасли, недавних событиях, внутренних данных компании. Падает, когда источник приложен прямо в задачу.
Где это встречается в компании
В компаниях риск закрывают тремя правилами. Первое: всё, что уходит наружу — клиенту, в отчёт, в договор, — проверяет человек. Второе: для фактических задач модели дают источник, а не просят вспомнить. Третье: в системах поиска по документам ответы возвращаются со ссылкой на фрагмент, чтобы проверка занимала секунды.
Эти правила — часть регламента, который остаётся у компании после внедрения.
Что дальше
Соседние термины: токены в нейросетях, mcp. Полный список — в словаре.
Частые вопросы
Можно ли полностью избавиться от галлюцинаций?
Нет. Их частоту снижают источниками, форматом ответа и проверкой, но полностью исключить нельзя — это свойство технологии.
Какие задачи безопаснее?
Переформулирование, структурирование, черновики по приложенным материалам. Опаснее — вопросы о фактах без источника.
Как быстро проверять ответы?
Просить модель указывать, на каком фрагменте основан каждый вывод, и держать под рукой первоисточник.
Аудит процессов, практикум с командой на её данных, регламенты. От 10 до 30 участников.
Обсудить задачи компании →