Dense vs Sparse Retrieval

Vergleich von BM25-Keyword-Suche und Embedding-basierten Ansätzen

Dense vs. Sparse Retrieval vergleicht zwei Paradigmen: Embedding-basierte Suche (Dense) vs. Token-Match (Sparse/BM25). Moderne RAG-Systeme kombinieren beide für optimale Ergebnisse.

📖 Lern-Kontext

🎯 Lernziele

Dense Retrieval verstehen (Embeddings, semantische Suche)
Sparse Retrieval verstehen (BM25, lexikalischer Match)
Hybrid-Ansätze kennen (Kombination beider)

🧭 Kontext

Schritt 4/5 in Kapitel 2 „Moderne Architekturvarianten"

Anwendung von Sparse-Konzepten in RAG. Zeigt, wie Retrieval-Optimierung Inference-Qualität beeinflusst.

💡 Warum wichtig?

Hybrid Retrieval (z.B. Cohere Rerank) kombiniert BM25 + Embeddings für beste Ergebnisse. 30% BM25 + 70% Dense ist ein bewährter Production-Standard.

🔑 Key Takeaways

Dense = semantisch: Findet Paraphrasen und ähnliche Bedeutungen
Sparse = lexikalisch: Findet exakte Wort-Matches schnell
Hybrid + Reranking: Kombiniert Stärken beider Ansätze

BM25: Schnell und einfach

Keyword-basierter Ansatz, der auf Wort-Häufigkeiten und Positionen basiert. Keine ML-Training nötig, extrem schnell.

Dense: Semantisch intelligent

Embedding-basiert, versteht Bedeutung. Besser bei Paraphrasen und semantisch ähnlichen Dokumenten.

Trade-off: Speed vs Quality

BM25 ist 10-100× schneller, aber Dense hat bessere semantische Qualität. Wahl je nach Anwendungsfall.

Hybrid Approach

Kombination: 30% BM25 + 70% Dense. Beste Balance zwischen Geschwindigkeit und Genauigkeit in Production.

Skalierung

BM25 skaliert linear, Dense benötigt Vector-DB (FAISS, Milvus). Für große Corpora: Hybrid oder nur Dense.

Real-World Einsatz

Google Search: BM25 als Filter, dann Ranker. RAG-Systeme: Dense Retrieval, BM25 als Fallback.