Контекст нейросети: почему модель забывает начало разговора
Контекст — это всё, что нейросеть держит перед глазами в текущем диалоге: ваши сообщения, приложенные документы и собственные ответы. У окна контекста есть предел, и когда он исчерпан, самое раннее вытесняется — поэтому модель «забывает» договорённости из начала разговора.
Как это устроено
Контекст стоит воспринимать как рабочий стол, а не как память. Всё, что на столе, модель видит; всё, что убрано, — нет. Между разными диалогами информация по умолчанию не переносится: новый чат начинается с чистого листа.
Отсюда два приёма. Первый: в начале важного диалога давать короткую вводную о компании и задаче. Второй: при переходе к новой части работы просить выжимку договорённостей и начинать следующий диалог с неё.
Где это встречается в компании
В работе компании это определяет, как обращаться с большими документами. Загрузка договора на сто страниц в каждый запрос съедает контекст и деньги. Правильнее — искать нужные фрагменты и подавать только их, а для постоянных знаний собирать базу с поиском по документам.
Что дальше
Соседние термины: ии-агент, промпт. Полный список — в словаре.
Частые вопросы
Модель помнит прошлые диалоги?
По умолчанию нет. Отдельные сервисы добавляют память о пользователе, но рабочие материалы туда класть не стоит.
Что делать, если документ не помещается?
Разбить на части и работать по фрагментам либо использовать поиск по документам.
Влияет ли длина контекста на качество?
Да. Чем больше лишнего в контексте, тем выше шанс, что модель зацепится не за то.
Аудит процессов, практикум с командой на её данных, регламенты. От 10 до 30 участников.
Обсудить задачи компании →