not · büyüyor
Context bir bütçedir
Önce kararlı prefix, en sona değişken kısım — yoksa iki kere ödersin.
Büyük bir context window kova değil, bütçedir. İçine koyduğun her şey modelin dikkati ve senin latency hedefin için yarışır.
System prompt + tool’lar4,000 tok
Getirilen chunk’lar12,000 tok
Konuşma geçmişi9,000 tok
Cevap için pay7,000 tok
Hep döndüğüm kurallar
- Kararlı kısmı başa koy — system prompt, tool tanımları, uzun referans dokümanlar. Prompt caching’in yeniden kullanabildiği şey kararlı prefix’ler.
- Değişken kısmı sona koy — kullanıcının turu, yeni getirilen chunk’lar. Üst taraftaki tek bir düzenleme, sonrasındaki her şey için cache’i geçersiz kılar.
- Geçmişi her turda değil, bir eşikte özetle. Her tur kendini yeniden yazan yuvarlanan özetler cache’i yok eder ve sapar.
Kırpmadan önce ölç. "Context çok büyük" problemlerinin yarısı aslında sayfalanmamış bir JSON yığını döndüren tek bir tool.