Токены Claude: что это и как от них зависит лимит

Токены Claude — единицы, на которые модель делит текст запроса и ответа: куски текста переменной длины, не совпадающие ни со словами, ни с буквами впрямую, по которым считается и обрабатывается весь объём переписки. Лимит использования Claude измеряется именно в токенах, а количество сообщений тут вторично, поэтому один длинный диалог с историей может расходовать лимит быстрее, чем десяток коротких отдельных вопросов.

Ниже — как устроено деление на токены простыми словами, почему от этого зависит скорость исчерпания лимита и что реально помогает экономить расход в ежедневной работе.

Что такое токен простыми словами

Модель не читает текст как человек — по словам и предложениям. Она делит его на токены — фрагменты, которые могут быть целым словом, частью слова или даже знаком пунктуации, в зависимости от того, как часто такая последовательность символов встречается в текстах, на которых модель обучалась. Частые короткие слова в английском языке нередко занимают один токен, а на русском языке из-за особенностей словообразования одно слово иногда делится на два-три токена.

Это объясняет, почему оценка «один токен — это примерно одно слово» работает приблизительно, а не точно, и почему один и тот же текст на русском может занимать заметно больше токенов, чем его перевод на английский той же длины по смыслу.

Как токены связаны с лимитом

Лимит использования Claude считает за определённый период именно объём токенов, количество отдельных сообщений само по себе роли не играет. Каждое новое сообщение в диалоге добавляет к расходу не только свой собственный текст, но и весь предыдущий разговор целиком, потому что модель должна учитывать контекст беседы, чтобы ответить осмысленно. Из-за этого диалог, который длится час и состоит из двадцати коротких сообщений, может израсходовать заметно больше токенов, чем двадцать отдельных новых чатов с теми же самыми вопросами.

Что реально помогает экономить токены

Открывать новый чат для новой темы. Если тема разговора сменилась, продолжение в старом чате тянет за собой весь прежний контекст, который для новой задачи не нужен.

Формулировать запрос короче. Длинное вступление с историей и контекстом, который не важен для конкретного вопроса, увеличивает расход без пользы для качества ответа.

Не пересказывать то, что уже в файле. Если документ уже загружен в проект, достаточно сослаться на него, а не копировать содержимое в текст сообщения ещё раз.

Разбивать большую задачу на части. Вместо одного огромного запроса с десятком условий разумнее задать несколько последовательных вопросов — это не всегда снижает суммарный расход, но упрощает проверку и часто даёт точнее результат на каждом шаге.

Запрос без экономии: [длинный пересказ ситуации на несколько
абзацев, затем вопрос].

Запрос с экономией: см. файл [название] в проекте. Вопрос:
[конкретный вопрос по содержанию файла, без пересказа].

Токены в Claude Code

В Claude Code, где модель работает прямо с файлами проекта, расход токенов обычно заметно выше, чем в обычном текстовом диалоге. Причина в том, что в контекст попадает не только переписка, но и содержимое файлов, которые модель читает по пути, вывод команд, которые она запускает, и промежуточные результаты каждого шага агентной работы. Небольшая задача на один файл расходует немного, но задача, где модель исследует структуру всего проекта перед правкой, может быстро накопить объём токенов, сопоставимый с долгим текстовым разговором.

Снижает расход в Claude Code то же, что и в обычном чате: более узкая и конкретная формулировка задачи, работа с одним модулем проекта за раз вместо требования «разберись во всём коде», и явное указание, какие файлы точно не нужно трогать или изучать для этой задачи.

Как оценить расход заранее

Прежде чем задавать особо объёмный запрос — с большим документом или длинной историей, — полезно прикинуть расход заранее. Примерное правило: одна страница обычного текста на русском языке занимает несколько сотен токенов, а объёмный договор или отчёт на десятки страниц может занять значительную часть лимита за один запрос. Если под рукой есть счётчик токенов, разумно проверить объём документа перед загрузкой, особенно если лимит уже близок к исчерпанию и важно разумно распределить его на оставшийся день.

Для задач с несколькими большими документами иногда выгоднее не загружать все файлы в один чат сразу, а обрабатывать их по одному в отдельных диалогах, если итоговая задача позволяет разделить работу на независимые части.

Токены и выбор модели

Расход токенов не зависит от выбранной версии модели напрямую — токенизация текста устроена одинаково. Но стоимость токена и скорость исчерпания лимита тарифа отличаются между версиями: более мощная модель обычно учитывается в лимите заметнее, чем быстрая и лёгкая, при одинаковом объёме текста. Поэтому перевод простых задач на более быструю модель растягивает лимит не только за счёт более короткой обработки, но и за счёт более экономного расхода на тот же объём текста. Подробный разбор того, какую модель выбрать под задачу, — в статье какую модель Claude выбрать.

Контекст и токены — разные, но связанные понятия

Контекст — это объём текста, который модель удерживает и учитывает при формировании ответа: весь текущий диалог, загруженные файлы, системная инструкция. Токены — единица, в которой этот объём измеряется. У каждой модели есть ограничение на размер контекста в токенах: если переписка и документы превышают этот размер, модель начинает терять детали из начала разговора. Подробнее про то, как устроен контекст и почему модель иногда забывает ранние сообщения, — в статье контекст нейросети.

Было и стало: работа с документом в одном чате

Было. Специалист держит открытым один длинный чат, куда раз за разом задаёт вопросы по разным документам и темам. Через несколько дней лимит заканчивается заметно быстрее, чем кажется по числу заданных вопросов.

Стало. Для каждого документа или темы открывается отдельный чат, а старые закрытые темы не продолжаются в одном окне. Расход токенов на тот же объём вопросов становится заметно ниже, потому что каждый новый вопрос не тянет за собой историю разговоров на другие темы.

Частая ошибка в расчёте расхода

Частая ошибка — судить о расходе токенов только по видимой длине собственного сообщения, не учитывая, что в расход входит весь контекст диалога и содержимое загруженных файлов. Короткий вопрос в конце длинного рабочего дня в одном и том же чате может стоить заметно больше токенов, чем кажется, именно из-за накопленной истории разговора, которая пересчитывается заново при каждом новом ответе.

Где ИИ ошибается

Неточно оценивает собственный расход токенов. На прямой вопрос «сколько токенов займёт этот текст» модель может дать только приблизительную оценку. Для точного числа надёжнее отдельный счётчик токенов, если он доступен в интерфейсе.

Путает лимит токенов с лимитом сообщений. В объяснении того, как работает ограничение подписки, модель иногда упрощает механику и описывает лимит как количество сообщений, хотя фактически считается объём токенов.

Не всегда точно описывает текущие лимиты тарифов. Тарифы и ограничения меняются, и ответ модели о текущих условиях подписки может не отражать последние изменения. Актуальные цифры лучше проверять в официальных условиях тарифа.

Что дальше

Как экономить лимит Claude на практике — в статье лимиты Claude: как экономить. Как устроен контекст и почему модель забывает длинный разговор — в статье контекст нейросети. Какую модель выбрать под конкретную задачу — в статье какую модель Claude выбрать.

Ярослав Сажнев — преподаватель ИИ в РАНХиГС, внедрение ИИ в компании. Подробнее об авторе