O que é prompt caching?
Prompt caching significa que o provedor do modelo guarda a parte inicial e inalterada de uma requisição e a reaproveita nas requisições seguintes, em vez de processá-la de novo. A entrada lida do cache é bem mais barata e rápida do que a entrada comum.
Como funciona
O cache atua sobre o prefixo: se uma requisição bate exatamente com a anterior desde o início, essa parte é lida do cache. A primeira requisição grava o cache e as seguintes o leem. Uma única mudança no prefixo faz tudo o que vem depois ser processado de novo.
Por que importa para agentes de código
Um agente reenvia suas instruções de sistema, definições de ferramentas e histórico da conversa a cada turno. Como essa parte quase não muda, um cache quente faz com que a maior parte da entrada de uma sessão longa venha de leituras baratas do cache. Agentes como Claude Code e Codex usam cache por conta própria; você não precisa configurar nada.
O que invalida o cache
Um cache miss significa que a conversa inteira é gravada de novo.
- Pausas longas: na Anthropic, o cache dura 5 minutos por padrão; espere mais que isso e ele é regravado.
- Trocar de modelo: o cache é específico de cada modelo.
- Mudar o prefixo: editar o system prompt, a lista de ferramentas ou os servidores MCP no meio da sessão.
- Compaction: o /compact reescreve a conversa, então o cache recomeça.
Preços
Os provedores cobram bem menos pela entrada em cache do que pela entrada comum. Na Anthropic, gravar no cache custa um pouco mais do que a entrada comum, enquanto a OpenAI aplica o cache automaticamente a prompts longos o suficiente. Confira a página de preços do seu provedor para ver os valores atuais.
Prompt caching no AgentVera
O cartão de prompt cache na aba AI ROI mostra o quão bem as conversas dos seus agentes aproveitam o cache. Tudo é calculado no seu computador.
- A parcela da entrada lida do cache e os tokens que o cache economizou.
- Por que o cache foi regravado: esperas acima de 5 minutos, ou mudanças de modelo e de contexto.
- Uma lista das conversas grandes que menos aproveitaram o cache.
Perguntas frequentes
Preciso ativar o prompt caching?
Não em agentes como Claude Code e Codex; eles usam o cache sozinhos. Se você está desenvolvendo sobre a API, confira a documentação do seu provedor: alguns exigem que você marque pontos de cache na requisição, outros fazem cache automaticamente.
Quanto tempo o cache dura?
Depende do provedor. Na Anthropic, o padrão é 5 minutos, renovados a cada uso do cache, e há uma opção mais longa disponível.
O cache muda as respostas?
Não. Ele só evita reprocessar uma entrada idêntica; o modelo vê o mesmo contexto.
Por que uma pausa longa deixa o próximo turno caro?
Quando a pausa dura mais que o cache, a próxima requisição grava a conversa inteira no cache de novo. Em uma conversa longa, isso é um custo de entrada grande de uma vez só.