KAPITEL 5.2 · SYSTEM PROMPTS & LOST-IN-THE-MIDDLE

Attention auf System Prompts

Wie viel Aufmerksamkeit gibt das LLM dem System Prompt vs User Query vs Retrieved Documents? Das U-Curve Phänomen.

System Prompt Attention visualisiert, wohin das Modell wirklich „schaut". Die U-Kurve zeigt: Anfang und Ende des Kontexts bekommen die meiste Aufmerksamkeit, die Mitte wird vernachlässigt. Das hat direkte Konsequenzen für RAG und lange Dokumente.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Die U-Kurve der Attention-Verteilung verstehen
  • Erkennen, wie System Prompts Position und Gewicht beeinflussen
  • Strategien für bessere Informationsplatzierung ableiten
🗺️

Kontext: Wo sind wir?

Schritt 2/4 In-Context Learning & Prompting

System Prompts sind die „Persönlichkeit" eines LLMs. Diese Visualisierung zeigt, wie stark sie die Attention-Verteilung prägen – und warum Prompt-Engineering Wissenschaft ist, nicht Kunst.

💡

Warum wichtig

Anthropic's Claude und OpenAI's GPT nutzen massive System Prompts (10K+ Tokens). Zu verstehen, wie diese die Attention beeinflussen, erklärt, warum manchmal Instruktionen „vergessen" werden.

📌

Key Takeaways

  • Primacy-Effekt: System Prompt am Anfang bekommt hohe initiale Attention
  • Recency-Effekt: Letzte Tokens (User Query) dominieren bei der Generierung
  • Mittel-Loch: Dokumente in der Mitte werden effektiv ignoriert
2000 Tokens
Input Sequenz Struktur

Attention Pattern nach Layer

Position in Sequenz (System → Query → Documents) | Farbskala: Rot (niedrig) → Grün (hoch)
Farbskala
Niedrig Hoch
Statistiken
System Prompt Attn 25%
Query Attn 30%
Docs Attn 45%
U-Curve Score 0.68

Warum das wichtig ist

🎯
Lost-in-the-Middle Phänomen
Documents in der Mitte der Kontext-Fenster erhalten weniger Attention. Das erste und letzte Dokument werden bevorzugt – ein klassisches U-Curve Muster.
📍
System Prompt Position
Am Anfang platziert, aber keine Garantie für hohe Attention. Oft wird Query stärker beachtet. Moderne Prompting Techniken adressieren das.
🔄
Layer-abhängig
Early Layers fokussieren auf Syntaktisches (System Prompt Tokens). Later Layers fokussieren auf Semantik (Dokumente, Query). Unterschiedliche Rollen.
⚡
RAG-Impakt
Bei RAG mit 20+ Retrieved Docs können mittlere Dokumente ignoriert werden, auch wenn sie hochrelevant sind. Ranking und Ordering sind kritisch.
💡
Mitigations-Strategien
System Prompt am Ende, wichtigste Docs zuerst/zuletzt, oder rephrasing in Query. Verschiedene Ansätze mit unterschiedlichem Erfolg.
📊
Empirische Evidence
LLaMA, GPT-4 und Claude zeigen ähnliche U-Curve Muster. Es ist architekturales Phänomen, nicht modellspezifisch.

Schlüssel-Erkenntnisse

1
U-Curve ist real: Literatur (Liu et al., 2024) zeigt empirisch: Position am Anfang/Ende → 80% Accuracy, Mitte → 50% Accuracy. Mit 30 Retrieved Docs ist die Mitte praktisch verloren.
2
System Prompt konkurriert: System Prompt am Anfang, aber Query/Docs nach vorne verschoben → Modell fokussiert auf Query. System Prompt allein nicht genug, muss wiederholt werden.
3
Layer-weise Unterschiede: Frühe Layers (1-20) fokussieren auf Token-Level-Syntax (System Format). Späte Layers (60+) fokussieren auf semantische Bedeutung (Query/Docs). Training Stack hat unterschiedliche Jobs.
4
Recency Bias: Letzte Tokens bekommen ~15-20% mehr Attention als mittlere. Daher "Schlussfolgerung am Ende" Prompt-Tricks funktionieren besser als erwartet.
5
RAG-Konsequenzen sind groß: Mit KNN-Retrieval (Top-10 Docs) können Positionen 4-7 < 20% Attention bekommen. Doc-Ranking ist entscheidender als Retrieval selbst.
6
Training kann das nicht beheben: Auch mit Supervised Fine-Tuning auf langen Kontexten bleibt U-Curve. Es scheint Architektur-Level Limitation zu sein, nicht Daten-Level.