Что такое токен?
Токен — это базовая единица текста, с которой работает языковая модель: слово, часть слова или знак препинания. Предел контекста модели, её скорость и цена измеряются в токенах.
Как текст превращается в токены
У каждого семейства моделей свой токенизатор, поэтому один и тот же текст на разных моделях может дать разное число токенов. В английском токен в среднем равен примерно четырём символам. Языкам с длинными словоизменяемыми словами, как правило, для того же содержания нужно больше токенов, а код считается иначе, чем проза, из-за отступов, символов и длинных идентификаторов.
Входные и выходные токены
Цены и лимиты по-разному учитывают разные виды токенов.
- Входные: всё, что отправляется модели, включая инструкции, историю, файлы и результаты инструментов.
- Выходные: ответ модели, обычно стоит дороже входных за токен.
- Кэшированный ввод: повторяющийся префикс, прочитанный из кэша, стоит гораздо дешевле.
- Токены рассуждений: у моделей с рассуждением то, что она «обдумала» до ответа, считается выходными токенами.
Почему агенты тратят так много токенов
Кодинг-агент на каждом ходе заново отправляет модели весь контекст. За долгую сессию накапливаются прочитанные файлы, вывод тестов и история, и каждый новый шаг добавляет к этой нагрузке. Поэтому основная часть расхода приходится не на код, который пишет агент, а на файлы и вывод команд, которые он читает.
Как сократить расход
Самая большая экономия получается на тексте, которому вообще не нужно было попадать к модели.
- Сокращайте длинный вывод команд или передавайте только строки с ошибками.
- Отдавайте небольшие задачи более дешёвой модели.
- Начинайте новый диалог при смене темы.
- Отключайте инструменты и MCP-серверы, которыми не пользуетесь.
Токены в AgentVera
В AgentVera есть инструменты и для сокращения расхода токенов, и для его измерения.
- RTK сокращает вывод тестов, сборки и git у агентов до того, как он попадёт к модели, обычно на 60–90% меньше токенов.
- Smart tools убирают повторные чтения и ненужные полные запуски тестов в Claude Code.
- Автоматический выбор модели отдаёт небольшие задачи более дешёвой модели.
- Вкладка AI ROI показывает токены на успешную задачу, сравнение моделей и сэкономленные токены; стоимость выражена в токенах, а не в деньгах.
- Экономия токеновПрофили контекста, более короткий вывод команд с RTK, размер контекста вживую и автосжатие, по умолчанию для каждого агента.
- Умные инструментыОтсекают повторные чтения, полные прогоны тестов и повторяющиеся команды до того, как они дойдут до модели.
- Аналитика AI ROIДоля успешных задач агентов, токены на задачу, доработки и коммиты, которые позже пришлось чинить.
FAQ
Сколько слов в одном токене?
Фиксированного соотношения нет. В английском токен — примерно четыре символа, или около трёх четвертей слова; в других языках и в коде часто нужно больше.
Почему один и тот же текст стоит по-разному на разных моделях?
У каждого семейства моделей свой токенизатор и своя цена за токен, поэтому могут различаться и число токенов, и тариф.
Как узнать, сколько токенов я использую?
Провайдеры предлагают инструменты подсчёта токенов, а ответы API содержат поля с расходом. Кодинг-агенты обычно тоже показывают размер контекста или расход сессии.
Важны ли токены при подписке?
Да. Даже если плата не берётся за каждый токен, лимиты использования заполняются в зависимости от объёма, так что меньше токенов — позже упрётесь в лимит.