KAPITEL 5.2b · PROMPT ENGINEERING

System Prompts

Wie System Prompts das Modellverhalten steuern: Token-Sequenz, Attention-Gewichte und praktische Beispiele

System Prompts sind die unsichtbare Hand hinter ChatGPT und Claude. Diese Demo zeigt, wie verschiedene System-Prompt-Stile (kurz vs. lang, vage vs. präzise) das Modellverhalten beeinflussen – von der Tonalität bis zur Faktentreue.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Die Struktur effektiver System Prompts verstehen
  • Best Practices für Rollenanweisungen, Constraints und Beispiele kennenlernen
  • Token-Effizienz vs. Präzision abwägen können
🗺️

Kontext: Wo sind wir?

Schritt 2/4 In-Context Learning & Prompting

Praktische Ergänzung zur Attention-Heatmap. Zeigt, wie die Theorie (Attention-Verteilung) in die Praxis (Prompt-Formulierung) übersetzt wird.

💡

Warum wichtig

Anthropic veröffentlicht Claude's System Prompt; OpenAI hält GPT-4's geheim. Beides sind Kernteile des Produkts. Gute System Prompts können die Qualität dramatisch verbessern.

📌

Key Takeaways

  • Struktur: Rolle → Kontext → Constraints → Beispiele → Output-Format
  • Länge: Längere Prompts geben mehr Kontrolle, kosten aber Tokens
  • Jailbreak-Resistenz: Klare Boundaries reduzieren unerwünschtes Verhalten

Prompt-Struktur (Token-Sequenz)

<|system|> System Prompt Start
Token: You are a helpful assistant. Answer questions accurately.
<|/system|> System Prompt End
<|user|> User Message Start
Token: What is machine learning?
<|/user|> User Message End
<|assist|> Model Output Tokens (generated)
System Prompt (speichert Instruktionen)
User Message (aktuelle Anfrage)
Assistant Output (generiert)
Wichtig: System Prompt ist eine normale Token-Sequenz mit speziellen Markern. Es gibt keine "magische" interne Behandlung - es wird wie andere Tokens verarbeitet.

Attention auf System Prompt

Wie sehr attendiert das Modell auf unterschiedliche Positionen (System vs. User)?

User (neu)
↕
System (alt)
System
→
User
Beobachtung: System Prompt (oben) erhält mehr Attention-Gewicht. User Message (unten) attendiert stark auf System Prompt am Anfang aufgrund von Causal Masking und Recency Bias.

Claude (Anthropic)

System Prompt Größe: ~16.739 Wörter
Zweck: Tool-Definitionen, Richtlinien
Beispiel-Hotfix: "Sei hilfreicher"
Steuerung: Detailliert

GPT-4 (OpenAI)

System Prompt Größe: ~2.218 Wörter
Zweck: Minimale Instruktionen
Beispiel-Hotfix: "Assistant ist hilfreich"
Steuerung: Minimal
Key Insights

🔑 Schlüssel-Erkenntnisse