Was ist Prompt Caching?
Prompt Caching bedeutet, dass der Modellanbieter den unveränderten Anfang einer Anfrage speichert und bei späteren Anfragen wiederverwendet, statt ihn erneut zu verarbeiten. Aus dem Cache gelesener Input ist deutlich günstiger und schneller als normaler Input.
So funktioniert es
Der Cache arbeitet mit dem Präfix: Stimmt eine Anfrage von Anfang an exakt mit der vorherigen überein, wird dieser Teil aus dem Cache gelesen. Die erste Anfrage schreibt den Cache, spätere lesen ihn. Eine einzige Änderung im Präfix bedeutet, dass alles danach neu verarbeitet wird.
Warum es für Coding-Agenten wichtig ist
Ein Agent sendet seine Systemanweisungen, Tool-Definitionen und den Unterhaltungsverlauf bei jedem Zug erneut. Da sich dieser Teil kaum ändert, stammt bei warmem Cache der Großteil des Inputs einer langen Session aus günstigen Cache-Lesezugriffen. Agenten wie Claude Code und Codex nutzen Caching von selbst; du musst nichts konfigurieren.
Was den Cache bricht
Ein Cache-Miss bedeutet, dass die gesamte Unterhaltung neu geschrieben wird.
- Lange Pausen: Bei Anthropic lebt der Cache standardmäßig 5 Minuten; wartest du länger, wird er neu geschrieben.
- Modellwechsel: Der Cache gilt jeweils nur für ein Modell.
- Änderung des Präfix: System-Prompt, Tool-Liste oder MCP-Server mitten in der Session ändern.
- Compaction: /compact schreibt die Unterhaltung um, sodass der Cache von vorn beginnt.
Preise
Anbieter berechnen gecachten Input deutlich günstiger als normalen Input. Bei Anthropic kostet das Schreiben in den Cache etwas mehr als normaler Input, während OpenAI Caching bei ausreichend langen Prompts automatisch anwendet. Aktuelle Preise findest du auf der Preisseite deines Anbieters.
Prompt Caching in AgentVera
Die Karte „Prompt cache“ im Tab AI ROI zeigt, wie gut die Unterhaltungen deiner Agenten den Cache nutzen. Alles wird auf deinem Computer berechnet.
- Der Anteil des aus dem Cache gelesenen Inputs und die Tokens, die der Cache gespart hat.
- Warum der Cache neu geschrieben wurde: Pausen über 5 Minuten oder Änderungen an Modell und Kontext.
- Eine Liste großer Unterhaltungen, die den Cache am wenigsten genutzt haben.
FAQ
Muss ich Prompt Caching einschalten?
Nicht bei Agenten wie Claude Code und Codex; sie nutzen es selbst. Wenn du auf der API aufbaust, schau in die Dokumentation deines Anbieters: Manche verlangen, dass du Cache-Punkte in der Anfrage markierst, andere cachen automatisch.
Wie lange hält der Cache?
Das hängt vom Anbieter ab. Bei Anthropic sind es standardmäßig 5 Minuten, bei jeder Nutzung des Caches erneuert, und es gibt eine längere Option.
Verändert Caching die Antworten?
Nein. Es vermeidet nur, identischen Input erneut zu verarbeiten; das Modell sieht denselben Kontext.
Warum wird der nächste Zug nach einer langen Pause teuer?
Dauert die Pause länger als der Cache, schreibt die nächste Anfrage die gesamte Unterhaltung erneut in den Cache. Bei einer langen Unterhaltung sind das auf einen Schlag hohe Input-Kosten.