KAPITEL 8.2 · WERKZEUGE

Parameter-Rechner

Berechne die Gesamtparameterzahl eines LLM basierend auf Architektur-Details wie Layers, Heads, Dimensionen und MoE-Konfiguration.

Der Parameter-Rechner zeigt, wie Architektur-Entscheidungen die Modellgröße bestimmen: Layers, Heads, Dimensionen und MoE-Konfiguration addieren sich zu Milliarden von Parametern. Verstehe die Zusammenhänge durch Experimente.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Die Parameterformel für Transformer verstehen
  • Welche Architektur-Entscheidungen am meisten zählen lernen
  • Bekannte Modelle nachrechnen können
🗺️

Kontext: Wo sind wir?

Schritt 3/5 Kapitel 8: Werkzeuge & Glossar

Calculators (3/5) machen Theorie praktisch – berechne selbst, was Architekturentscheidungen bedeuten.

💡

Warum wichtig

Parameter ≠ Qualität, aber Parameter = Kosten. Das Verständnis der Formel hilft, Modellankündigungen einzuordnen und Hardware-Requirements abzuschätzen.

📌

Key Takeaways

  • Hauptfaktor: Hidden Dimension × Layers dominiert
  • FFN: Macht ~2/3 der Parameter aus
  • Embeddings: Vocab × dmodel ist fix pro Modell

Architektur-Parameter

Anzahl Transformer-Blöcke im Stack
Hidden State Dimension
Multi-Head Attention Heads
MHA: gleich wie Q. GQA: weniger. MQA: 1
Feedforward Intermediate Dimension
Anzahl verschiedener Tokens
FFN wird zu N Experten repliziert

Ergebnisse

Gesamtparameter
0 Milliarden
Speicherbedarf (FP16)
0 GB
Inference FLOPs pro Token
0 TFLOPs

Parameter-Verteilung

Embedding Matrix 0 M
Attention (Q, K, V, O) 0 M
Feedforward Network 0 M
Layer Normalization 0 M
Output Projection 0 M
Formeln
Attention: 4 × dmodel² (Q, K, V, O)
FFN (ReLU): 2 × dmodel × dff (W1, W2)
FFN (SwiGLU): 3 × dmodel × dff (W, V, W2)
LayerNorm: 2 × dmodel pro Layer (Gain, Bias)
Embedding: vocab_size × dmodel
Output: dmodel × vocab_size (wenn kein Weight Tying)
GQA-Anpassung
Grouped Query Attention reduziert die K/V-Projektion. Statt h × (dk+dv) nur nkv_heads × (dk+dv). Bei Llama 2 70B: 64 Q-Heads, 8 KV-Heads.
MoE-Effizienz
Bei Mixture of Experts werden FFN-Parameter repliziert. Aber nur Top-k Experten sind pro Token aktiv. Mixtral 8x7B: 47B total, 13B aktiv.
Speicherüberlegungen
FP16: 2 Bytes pro Parameter. FP32: 4 Bytes. INT8: 1 Byte. INT4: 0.5 Bytes. Zusätzlich: Gradienten (Training), KV-Cache (Inferenz), Activations.
FLOPs-Schätzung
Inference: ~2 × Parameter pro Token generiert. Training: ~6 × Parameter × Tokens (Forward + Backward). Bei MoE: Nur aktive Parameter zählen.