KAPITEL 4.4c · RAG

Embedding-Raum: Retrieval & Nearest Neighbors

Visualisierung des Embedding-Raums: Wie eine Query-Anfrage in 2D projiziert wird und die k nächsten Nachbarn gefunden werden

Embedding Retrieval macht die Magie hinter RAG sichtbar. Texte werden zu Punkten im hochdimensionalen Raum, und „ähnlich" bedeutet „nah beieinander". Diese 2D-Projektion zeigt, wie k-Nearest-Neighbor-Suche die relevantesten Dokumente für eine Query findet.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Die geometrische Intuition hinter Embedding-Similarity verstehen
  • Nachvollziehen, wie k-NN-Suche Retrieval-Kandidaten findet
  • Die Rolle von Dimensionsreduktion (PCA/t-SNE) für Visualisierung erkennen
🗺️

Kontext: Wo sind wir?

Schritt 6/6 Optimizations & Memory

Ergänzt die RAG-Pipeline mit einer interaktiven Visualisierung des Embedding-Raums. Zeigt, warum semantische Suche besser funktioniert als Keyword-Matching.

💡

Warum wichtig

OpenAI Embeddings, Cohere Embed, und BGE sind die Arbeitstiere hinter RAG-Systemen. Zu verstehen, was „semantische Nähe" geometrisch bedeutet, erklärt, warum RAG manchmal irrelevante Dokumente findet.

📌

Key Takeaways

  • Cosine Similarity: Winkel zwischen Vektoren = semantische Ähnlichkeit
  • Approximate NN: Bei Millionen Dokumenten nutzt man HNSW oder IVF statt Brute-Force
  • Dimensionalität: Reale Embeddings haben 768-1536 Dimensionen, nicht 2
3
💡 Klicke auf die Canvas, um eine neue Query zu setzen
Fig. 1 | 2D Projektion des Embedding-Raums mit 50 Dokumenten (blaue Punkte). Rote Punkt = Query. Orangene Linien = k nächste Nachbarn (bestimmt durch euklidische Distanz).
Durchschn. Distanz (k Nachbarn)
—
Max Distanz (k Nachbarn)
—
Retrieval Erfolgsrate
—
Ähnlichste Dok (cosine)
—

Schlüssel-Erkenntnisse

1
k-NN Retrieval: RAG-Systeme verwenden typisch k=3, 5, oder 10 nächste Nachbarn. Der Balance zwischen zu wenig (gemisst Quality) und zu viel (Kontext-Überladung) ist kritisch.
2
Embedding-Qualität ist alles: Wenn Embeddings gut trainiert sind (auf relevanten Daten), clustern semantisch ähnliche Dokumente zusammen. Schlechte Embeddings führen zu zufälligen Retrieval.
3
Curse of Dimensionality: In hohen Dimensionen (d=768 oder d=1536) werden Distanzen unintuativ. Alle Punkte sind etwa gleich weit entfernt. Dies ist ein bekanntes Problem bei Dense Retrieval.
4
Reranking Phase: Einfaches k-NN kann suboptimal sein. Moderne RAG-Systeme benutzen Stage-1 (schnelle Dense Retrieval, top-100) → Stage-2 (langsamer Cross-Encoder Reranker, top-10).
5
Negative Sampling: Bei Training von Embeddings ist "hard negative mining" wichtig: Dokumente die ähnlich (aber falsch) sind sollten trainiert werden, um getrennt zu werden. Random Negatives sind ineffektiv.
6
Praktische Implikation: Für deine RAG-Pipeline: Nutze vortrainierte Dense Embeddings (bge-large-en, voyage-2), nicht zufällige Initialisierungen. Fine-Tuning auf deiner Domain hilft 5-10% Performance-Gewinn.