not · büyüyor

Hybrid search ve reranking

Dense + BM25, RRF ile birleştir, cross-encoder ile top-5’e kes. Geniş getir, dar ver.

Dense vektörler anlamı yakalar ve birebir eşleşmeleri kaçırır: hata kodları, SKU’lar, kişi adları, sürüm numaraları. BM25 tam da bunlarda iyidir.

getir → birleştir → sırala → kes
Densetop-50
BM25top-50
RRFbirleştir
Rerankcross-encoder
Top-5

Neden bu sıra

  • Geniş getir, dar ver. top-50 çekip top-5’e kesmek, ham bir top-20’yi context’e boca etmekten hem daha ucuz hem daha iyi.
  • RRF iki listeyi skorlarını normalize etmeye hiç kalkışmadan birleştirir; onun yerine sıraları toplar.
  • Cross-encoder soruyla chunk’ı birlikte okur. Bi-encoder’ın kaçırdığı ilişkiyi yakalar — latency pahasına; o yüzden en sona ve az sayıda aday üzerine gelir.

Cevapta chunk id’leri iste. Hiçbir şeye atıf yapmayan bir RAG sistemi halüsinasyonu ortadan kaldırmaz — sadece görünmez yapar.

#bm25 #rerank #hybrid

Bu notu beyaz tahtada gör →