Prompt önbelleği (prompt caching) nedir?

Kısaca

Prompt önbelleği, bir isteğin daha önce gönderilmiş ve değişmemiş baş kısmının model sağlayıcısında saklanıp sonraki isteklerde yeniden işlenmeden kullanılmasıdır. Önbellekten okunan girdi, normal girdiden çok daha ucuz ve hızlıdır.

Nasıl çalışır?

Önbellek baş kısım (prefix) üzerinden çalışır: istek baştan itibaren bir öncekiyle birebir aynıysa o kısım önbellekten okunur. İlk istekte önbelleğe yazılır, sonraki isteklerde okunur. Baş kısımda tek bir değişiklik olursa, ondan sonraki her şey yeniden işlenir.

Kodlama ajanları için neden kritik?

Ajan her turda sistem talimatlarını, araç tanımlarını ve konuşma geçmişini yeniden gönderir. Bu kısım büyük ölçüde aynı kaldığı için önbellek tutarsa uzun bir oturumun girdisinin çoğu ucuz önbellek okumalarından oluşur. Claude Code ve Codex gibi ajanlar önbelleği kendileri kullanır; senin bir ayar yapman gerekmez.

Önbelleği ne bozar?

Önbellek kaçırmanın bedeli, konuşmanın tamamının yeniden yazılmasıdır.

Uzun bekleme: Anthropic’te önbellek varsayılan olarak 5 dakika yaşar; arada daha uzun süre geçerse yeniden yazılır.
Model değişikliği: önbellek modele özeldir.
Baş kısımda değişiklik: sistem talimatını, araç listesini ya da MCP sunucularını oturum ortasında değiştirmek.
Sıkıştırma: /compact konuşmayı yeniden yazar, önbellek baştan kurulur.

Fiyatlandırma

Sağlayıcılar önbellekten okunan girdiyi normal girdiden belirgin biçimde ucuza fiyatlar. Anthropic’te önbelleğe yazmak normal girdiden biraz pahalıdır; OpenAI ise yeterince uzun istemlerde önbelleği otomatik uygular. Güncel oranlar için sağlayıcının fiyat sayfasına bak.

AgentVera’da prompt önbelleği

AI verimi sekmesindeki prompt önbelleği kartı, ajan konuşmalarının önbelleği ne kadar iyi kullandığını gösterir. Hepsi bilgisayarında hesaplanır.

Girdinin ne kadarının önbellekten okunduğu ve önbellek sayesinde kazanılan token.
Önbelleğin neden yeniden yazıldığı: 5 dakikadan uzun bekleme ya da model ve bağlam değişikliği.
Önbelleği en az kullanan büyük konuşmaların listesi.

Sık sorulanlar

Prompt önbelleğini açmam gerekir mi?

Claude Code ve Codex gibi ajanlarda hayır; önbelleği kendileri kullanır. API ile kendi uygulamanı yazıyorsan sağlayıcının belgelerine bak; bazılarında önbellek noktasını isteğinde işaretlemen gerekir, bazılarında otomatik çalışır.

Önbellek ne kadar süre tutar?

Sağlayıcıya göre değişir. Anthropic’te varsayılan süre 5 dakikadır ve önbellek her kullanıldığında yenilenir; daha uzun süreli bir seçenek de vardır.

Önbellek yanıtların kalitesini etkiler mi?

Hayır. Önbellek yalnızca aynı girdinin yeniden işlenmesini önler; model aynı bağlamı görür.

Ajanı uzun süre beklettiğimde neden daha pahalı?

Bekleme önbellek süresini aşınca bir sonraki istekte konuşmanın tamamı önbelleğe yeniden yazılır. Uzun konuşmalarda bu tek seferde büyük bir girdi maliyeti demektir.