KAPITEL 2.4 · SPARSE ATTENTION

Dense vs. Sparse Attention

DeepSeek Sparse Attention (DSA): Schiebe den Sparsity-Slider und vergleiche Dense Attention (chaotisch, speicherintensiv) mit Sparse Attention (strukturiert, 70% weniger Memory).

Sparse Attention berechnet nur relevante Token-Paare statt der vollen n×n Matrix. Dense Semantic Attention (DSA) nutzt ML, um die wichtigsten Verbindungen zu identifizieren — mit 70% weniger Memory bei minimaler Qualitätseinbuße.

📖 Lern-Kontext
🎯 Lernziele
  • Dense vs. Sparse Attention-Patterns verstehen
  • Sparsity-Muster erkennen (lokal, diagonal, semantisch)
  • Qualitäts-Trade-offs kennen
🧭 Kontext

Schritt 4/5 in Kapitel 2 „Moderne Architekturvarianten"

Nach Flash Attention: Algorithmische Optimierung für extreme Kontextlängen (200K+). DSA macht 1M+ Token-Kontexte praktikabel.

💡 Warum wichtig?

DSA ist Production-ready in Claude 4.5 für 200K+ Kontexte. Selektiert nur ~10-20% der Token-Paare, ohne messbare Qualitätsverluste bei den meisten Tasks.

🔑 Key Takeaways
  • Sparse = selektiv: Nur relevante Token-Paare werden berechnet
  • Heatmap: Zeigt Aktivierungsmuster — lokal + semantisch
  • 10-20% reichen: Für die meisten Tasks ohne Qualitätsverlust
50%
Sparsity
Speed
1.5x
Memory
65%
Accuracy
99.8%
Inference Cost
-30%
🔴 Dense Attention (128K Sequenz)
Vollständige Attention-Matrix: Jeder Token attends auf alle anderen. Chaotisch, speicherintensiv, aber vollständig.
🟢 Sparse Attention (mit DSA)
Lightning Indexer wählt nur relevante Tokens. Strukturierte Patterns, 70% weniger Memory, keine Regression.
Starke Attention (Ausgewählt)
Mittlere Attention
Schwache/Ignoriert
💡 DeepSeek Sparse Attention (DSA) Mechanik

• Lightning Indexer: Berechnet Relevanz-Score für jeden Token
• Top-K Selection: Wählt nur die relevantesten Tokens (basierend auf Sparsity-Level)
• Sparse Attention: Berechnet Attention nur auf ausgewählten Tokens
• Resultat: 60% niedrigere Kosten, 3.5x schneller, keine Accuracy-Regression
⚡
Speed Boost
Sparse Attention kann bis zu 3.5x schneller sein als Dense Attention. Perfekt für lange Sequenzen (128K+).
💾
Memory Savings
Mit DSA brauchst du 70% weniger Memory. Das macht 1M+ Kontext-Fenster praktisch möglich.
🎯
Smart Selection
Der Lightning Indexer lernt, welche Tokens relevant sind. Keine Regression in Accuracy – nur Effizienz!
🚀
Skalierbarkeit
DSA ermöglicht echte Skalierung zu sehr langen Sequenzen, während Dense Attention sofort zum Bottleneck wird.