Training-Loss Kurven – LLM Explorer

Interaktive Visualisierung eines typischen LLM-Pretrainings mit Phasenwechseln

Tokens (Billionen): 5.0T

Phase 1 – Early Learning (0-2T):
Steiler Loss-Rückgang. Modell lernt Basis-Patterns (Syntax, häufige Konzepte)

Phase 2 – Deep Learning (2-8T):
Gradueller Loss-Rückgang. Lernt komplexe Konzepte, Abstraktionen, Generalisierung

Training-Loss besteht aus mehreren Komponenten, die unterschiedlich lernen

Aufgabe: Nächstes Token vorhersagen

Schwierigkeit: Mittel

Lernen: Schnell → früh plateaut

Aufgabe: Weit entfernte Context nutzen

Schwierigkeit: Hoch

Lernen: Langsam → später verbesserung

Loss folgt Potenz-Gesetzen: Loss ∝ N^(-α) mit α ≈ 0.07 (Chinchilla Laws)

Optimales Verhältnis: ~20 Tokens pro Parameter Größe und Daten gleichmäßig skalieren

Early Learning (steil) → Deep Learning (graduell) Indikation für Emergent Abilities

Großes Vokabular + lange Sequenzen Weniger Data-Diversity = höheres Risiko

Steigt später als Training Loss Kann als Early Stopping Kriterium dienen

Nicht direkt proportional zu Training Loss Emergent Abilities erscheinen "plötzlich"

GPT-3: ~300B Tokens

GPT-3.5: ~1T Tokens

GPT-4: ~13T Tokens

Claude 3: ~4T Tokens

Learning Rate: 3e-4 → Cosine Decay

Batch Size: 1-4M Tokens

Warmup: 1-2% der Steps

Weight Decay: 0.1