açık soru · tohum
Chunk mı, parent mı, özet mi?
Retrieval birimi embedding birimine göre nerede durmalı — hâlâ çözülmedi.
Benim için hâlâ çözülmemiş: retrieval biriminin embedding birimine göre nerede durması gerektiği.
Chunk’ı embed etucuz, context kaybediyor
Özeti embed etdaha iyi recall, daha çok depolama
Etrafında dönüp durduğum seçenekler:
- Chunk’ı embed et, chunk’ı döndür. Basit ve herkesin başladığı yer. Anlamın bölümler arasına yayıldığı dokümanlarda kırılıyor.
- Chunk’ı embed et, parent’ı döndür. Küçük vektörler, geniş context. Context bütçesini hızla yiyor.
- Üretilmiş bir özeti embed et, orijinali döndür. Retrieval kalitesi artıyor; artık ingest pipeline’ında kaynaktan sapabilecek bir generation adımının sahibisin.
Şüphem şu: doğru cevap doküman tipine bağlı; yani asıl iş tek bir global stratejiyi ayarlamak değil, ingest sırasında dokümanları sınıflandırmak.