KAPITEL 6.4 · INFERENZ-OPTIMIERUNGEN

Quantization Vergleich

Wie verschiedene Kompressionsverfahren (FP32, FP16, INT8, FP8, INT4, FP4) den Trade-off zwischen Modellgröße, Geschwindigkeit und Qualität verändern

Quantization komprimiert LLMs von FP32 (volle Präzision) auf FP16, INT8 oder sogar INT4 – mit dramatischen Einsparungen bei Memory und Geschwindigkeit. Der Trade-off: Leichte Qualitätsverluste, die je nach Methode variieren.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Die verschiedenen Quantization-Levels (FP16, INT8, INT4) verstehen
  • Trade-offs zwischen Größe, Speed und Qualität abwägen
  • Praktische Einsatzszenarien kennenlernen
🗺️

Kontext: Wo sind wir?

Schritt 4/4 Training & Inference

Nach Training (1/4), RLHF (2/4) und Sampling (3/4) kommen wir zu Inferenz-Optimierung (4/4) – wie man Modelle effizienter macht.

💡

Warum wichtig

Quantization ermöglicht es, 70B-Modelle auf Consumer-GPUs zu betreiben. Ohne diese Technik wäre lokale LLM-Nutzung für die meisten unpraktikabel.

📌

Key Takeaways

  • FP16: Standard für Training, minimaler Qualitätsverlust
  • INT8: ~4× kleiner, kaum messbare Einbußen
  • INT4: ~8× kleiner, merkliche aber oft akzeptable Einbußen

Quantization-Methoden im Detail

Quantization Bits Größe (70B) Speedup Qualitätsverlust Training Primär Use-Case

Detaillierte Übersicht

Größe-vs-Qualität Trade-off

Training notwendig (QAT)
Post-Training möglich (PTQ)
Edge/Mobile Fokus
Fig. 1 | Trade-off zwischen Modellgröße und Qualitätsverlust für verschiedene Quantization-Verfahren. Größere Bubbles zeigen höhere praktische Adoption.
Key Insights

Schlüssel-Erkenntnisse

1
FP32 ist der Baseline: Alle anderen Verfahren vergleichen sich gegen Full Precision. Modernes Training nutzt allerdings schon FP16/BF16 für Effizienz.
2
FP16 ist praktisch verlustfrei: Mit nur 2 Bytes pro Wert reduziert FP16 Speicher um 50% ohne merkliche Qualitätsverluste. Der Standard für Cloud-Inferenz.
3
INT8 ist das ältere Standard-Verfahren: Post-Training Quantization (PTQ) ohne Retraining möglich, aber FP8 übertrifft INT8 bei modernen Transformern.
4
FP8 ist die moderne Wahl: Auf neueren Hardwares (NVIDIA H100, TPU v5e) ist FP8 der optimale Kompromiss: 8 Bits, besseres Qualitäts-Verhältnis als INT8, kaum Overhead.
5
INT4/FP4 sind Edge-fokussiert: Extreme Kompression (16× weniger Speicher), aber erfordert Kalibrierung und LoRA-Finetunes. Praktisch für Smartphones, aber mit Qualitätsverluste.
6
Quantization-Aware Training schlägt PTQ: QAT (mit retraining) ergibt bessere Qualität, kostet aber Trainings-Zeit. Praktisch meist PTQ für schnelle Deployment.