Что такое кэширование промптов?

Коротко

Кэширование промптов означает, что провайдер модели сохраняет неизменную начальную часть запроса и использует её в следующих запросах, не обрабатывая заново. Ввод, прочитанный из кэша, намного дешевле и быстрее обычного.

Как это работает

Кэш работает по префиксу: если запрос с самого начала в точности совпадает с предыдущим, эта часть читается из кэша. Первый запрос записывает кэш, а последующие его читают. Одно изменение в префиксе означает, что всё после него обрабатывается заново.

Почему это важно для кодинг-агентов

Агент на каждом ходе заново отправляет системные инструкции, определения инструментов и историю диалога. Поскольку эта часть почти не меняется, при тёплом кэше большая часть ввода долгой сессии берётся из дешёвых чтений кэша. Агенты вроде Claude Code и Codex используют кэширование сами; ничего настраивать не нужно.

Что ломает кэш

Промах кэша означает, что весь диалог записывается заново.

Долгие паузы: у Anthropic кэш по умолчанию живёт 5 минут; если подождать дольше, он перезаписывается.
Смена модели: кэш привязан к модели.
Изменение префикса: правка системного промпта, списка инструментов или MCP-серверов посреди сессии.
Компактификация: /compact переписывает диалог, и кэш начинается заново.

Цены

Провайдеры оценивают кэшированный ввод заметно ниже обычного. У Anthropic запись в кэш стоит чуть дороже обычного ввода, а OpenAI применяет кэширование автоматически к достаточно длинным промптам. Актуальные тарифы смотрите на странице цен вашего провайдера.

Кэширование промптов в AgentVera

Карточка prompt cache на вкладке AI ROI показывает, насколько хорошо диалоги ваших агентов используют кэш. Всё вычисляется на вашем компьютере.

Доля ввода, прочитанного из кэша, и токены, которые сэкономил кэш.
Почему кэш был перезаписан: ожидание дольше 5 минут либо смена модели и контекста.
Список больших диалогов, которые меньше всего использовали кэш.

FAQ

Нужно ли включать кэширование промптов?

В агентах вроде Claude Code и Codex нет; они используют его сами. Если вы строите решение на API, изучите документацию провайдера: в одних нужно отмечать точки кэша в запросе, другие кэшируют автоматически.

Как долго живёт кэш?

Зависит от провайдера. У Anthropic по умолчанию 5 минут, срок продлевается при каждом использовании кэша, а также есть вариант подольше.

Меняет ли кэширование ответы?

Нет. Оно лишь избавляет от повторной обработки идентичного ввода; модель видит тот же контекст.

Почему после долгой паузы следующий ход дорогой?

Когда пауза дольше жизни кэша, следующий запрос заново записывает в кэш весь диалог. В длинном диалоге это большая стоимость ввода сразу.