KAPITEL 5.3c · ATTENTION VISUALISIERUNG

Advanced Attention Heatmap Interactive

Erkunde wie Queries auf Dokumente attenden: Wähle Query-Position und Dokument-Fenster, und sehe die Umverteilung der Attention-Gewichte in Echtzeit

Interactive Attention macht Attention greifbar: Verschiebe die Query-Position und beobachte, wie sich die Attention-Gewichte über alle Dokumente umverteilen. Ein Werkzeug zum Experimentieren mit Kontextlänge und Positionseffekten.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Interaktiv die Attention-Verteilung bei verschiedenen Query-Positionen erkunden
  • Den Einfluss von Fenstergrößen auf Attention-Patterns verstehen
  • Intuition für die Mechanik von Self-Attention entwickeln
🗺️

Kontext: Wo sind wir?

Schritt 3/4 In-Context Learning & Prompting

Hands-on-Ergänzung zu den statischen Heatmaps. Ermöglicht experimentelles Lernen über Attention-Mechanismen.

💡

Warum wichtig

Debugging von LLM-Outputs erfordert oft Attention-Analyse. Dieses interaktive Tool baut die notwendige Intuition auf, um zu verstehen, „worauf das Modell schaut".

📌

Key Takeaways

  • Kausalität: Ein Token kann nur auf vorherige Tokens attenden (autoregressive Maske)
  • Softmax-Verteilung: Attention-Scores summieren sich immer zu 1
  • Position matters: Gleicher Content an verschiedenen Positionen erhält verschiedene Attention

⚙️ Interaktive Steuerung

Position: 4 (Wort: "Model")
τ = 1.0
8 Positionen
Dokument:
[0] Die Die | [1] moderne | [2] künstliche | [3] Intelligenz | [4] Model | [5] braucht | [6] viele | [7] Parameter
Attention Heatmap (Position × Document)
Hohe Attention (1.0)
Mittlere Attention (0.5)
Niedrig (0.0)
Entropy
0.00
Max Attention
0.00
Fokus Width
0.00
Head-Typ
Syntax
Fig. 1 | Interaktive Attention-Heatmap: X-Achse = Dokument-Positionen, Y-Achse = Query-Position. Helles Lila = Hohe Attention-Gewichte (das Modell achtet darauf). Dunkel = Niedrig (ignoriert). Temperature kontrolliert Sharpness der Verteilung. Verschiedene Heads spezialisieren sich: Head 0 achtet auf Syntax, Head 1 auf Semantik.
🎯
Attention als Fokus-Mechanismus
Helle Farben zeigen, worauf das Modell "achtet". Query-Position 4 ("Model") kann sich verschiedene Tokens ansehen. Verteilung zeigt: Wichtige Kontexte bekommen hohe Gewichte.
🌡️
Temperature reguliert Sharpness
τ = 0.1 → Sehr scharf (fast nur ein Token). τ = 1.0 → Ausgewogen. τ = 2.0 → Diffus (viele Tokens gleichmäßig). Höhere Tempera­tur = größeres Fenster für "Kontext-Verständnis".
🧠
Multi-Head Spezialisierung
Head 0 (Syntax): Achtet auf grammatikalische Struktur (oft nächste Wörter). Head 1 (Semantik): Achtet auf inhaltlich verwandte Wörter (können weit weg sein). Heads zusammen = Vollständiges Verständnis.
📊
Entropy misst Unsicherheit
Hohe Entropy = Viele Möglichkeiten (Modell ist unsicher). Niedrige Entropy = Klarer Fokus (Modell hat Vertrauen). Gute Modelle: Hohe Entropy wenn mehrdeutig, niedrig bei klaren Fällen.
🔍
Fenster-Mechaniken (Causal Masking)
Auto-Regressive Modelle: Können nur rückwärts schauen (Causal Mask). Query bei Position 4 sieht nur [0,1,2,3,4]. Nicht [5,6,7]. Dieser Mechanismus verhindert, dass Modell die Zukunft "schummelt".
⚖️
Softmax Normalisierung garantiert Summe=1
Alle Gewichte zusammen summieren sich zu 1.0 (Wahrscheinlichkeitsverteilung). Toggle Normalisierung an/aus, um Unterschied zu sehen. Ohne Norm: Gewichte können über 1 gehen. Mit Norm: Zuverlässige, interpretierbare Verteilung.