deney · büyüyor
Uçtan uca eval
Faithfulness, answer relevancy, context precision ve recall. Etiketsiz ve etiketli modlar.
İzole eval’ler retrieval’ı denetler; uçtan uca eval’ler kullanıcının gördüğü cevabı denetler. İkisi de gerekli, hiçbiri diğerinin yerine geçmez.
Soru
RAG pipeline
Cevap + context
Değerlendirici
| Metrik | Sorduğu soru |
|---|---|
| Faithfulness | her iddia gösterilen context’te var mı |
| Answer relevancy | cevap soruyu karşılıyor mu |
| Context precision | getirilen context’in ne kadarı gerekliydi |
| Context recall | gereken context’in ne kadarı geldi |
İki mod
- Etiketsiz. Referans cevap yok: faithfulness, relevancy, ton, toksisite. Her commit’te çalıştıracak kadar ucuz.
- Etiketli. Ground-truth cevaplar var: doğruluk, kapsam. Yazması pahalı, regresyonları en keskin yakalayan da bu.