KAPITEL 5.2c · PROMPT ENGINEERING

Lost in the Middle

Warum LLMs wichtige Informationen in der Mitte von Prompts übersehen

Attention Distribution (Start)

Hohe Attention (60-100%)
Mittlere Attention (20-60%)
Niedrige Attention (<20%)

Attention Distribution (Ende)

Query-Token Attention
U-Kurve: Start & End hoch
Mitte: Low (Problem!)

Das "Lost in the Middle" Phänomen

LLMs besuchen Anfang und Ende von Prompts mit hoher Attention, aber die Mitte wird vernachlässigt. System Prompt: 90% Attention. User Query (am Ende): 85%. Mittlere Infos: nur 20%!

U-Kurve: Empirisches Muster

Lost-in-the-Middle Paper (2023): Messbare U-Form in Attention. Position 0: ~100%. Position 50% (Mitte): ~15%. Position 100%: ~95%. Betrifft alle gängigen Models (GPT, Llama, Claude).

System Prompt im Vorteil

System Prompt wird IMMER am Anfang platziert → bekommt maximale Attention. User Message am Ende → auch hohe Attention. Kontextdokumente in der Mitte: Verlieren! RAG-Integration problematisch.

Mitigation Strategien

1. Wichtige Infos an Start/Ende. 2. Repetition in der Mitte. 3. Hierarchische Struktur (Zusammenfassung oben). 4. Neuere Models (Claude 4.5+) zeigen bessere Mittel-Attention, aber U-Kurve bleibt.

RAG-Implikationen

Wenn Retrieval 20 Dokumente in Mitte positioniert: Qualität leidet! Lösung: Top-K Reranking basierend auf Attention-Mustern. oder: Wichtigste Dokumente am Anfang/Ende.

Zukunftsaussicht

Längere Kontexte (1M+) verschärfen Problem. Forschung zeigt: Transformer-Architektur für dieses Muster verantwortlich. Neue Attention-Mechanismen (z.B. linear) zeigen bessere Mittel-Preserving.