KAPITEL 2.4b · SPARSE ATTENTION

Lightning Indexer Animation

Schritt für Schritt: Wie der Lightning Indexer funktioniert – von Query-Token über Index-Score bis zur finalen Sparse Attention.

Lightning Indexer ist das Herzstück von DSA: Er identifiziert in O(n log n) die wichtigsten Token-Paare, bevor die eigentliche Attention berechnet wird. Pre-Filtering statt Post-Filtering.

📖 Lern-Kontext
🎯 Lernziele
  • Indexing-Strategie verstehen (Pre-Filtering)
  • Top-k Token-Selektion nachvollziehen
  • Approximation vs. Exaktheit abwägen
🧭 Kontext

Schritt 4/5 in Kapitel 2 „Moderne Architekturvarianten"

Detailansicht der DSA-Implementierung. Zeigt, wie der Indexer entscheidet, welche Tokens relevant sind.

💡 Warum wichtig?

Der Indexer nutzt Locality-Sensitive Hashing (LSH) oder learned routing für effiziente Kandidaten-Suche. Das ermöglicht O(n log n) statt O(n²).

🔑 Key Takeaways
  • Pre-Filtering: Spart Compute durch frühe Selektion
  • LSH: Approximiert Nearest Neighbors effizient
  • Zweistufig: Index berechnen → Attend auf Top-k
1
Query Token wird aktiviert
Sequenz (Tokens)
Index Scores
Top-K Selection
Sparse Attention
Schritt 1: Der Query-Token (rot hervorgehoben) wird aktiviert. Der Lightning Indexer beginnt zu berechnen, welche Key-Tokens relevant sind.
⚡
Lightning Indexer
Der Indexer berechnet schnell Relevanz-Scores für alle Tokens, ohne dabei alle Attention-Gewichte zu berechnen.
🎯
Top-K Selection
Nur die Top-K relevantesten Tokens werden ausgewählt. Der Rest wird ignoriert, spart aber enorm Memory und Compute.
⚙️
Effiziente Berechnung
Statt O(n²) Attention-Berechnung wird nur O(k) berechnet, wobei k << n. Das ist der Schlüssel zur Skalierbarkeit.
🚀
Production Ready
DSA mit Lightning Indexer ist die erste production-ready Sparse Attention Methode mit Zero Accuracy Regression.