LLM Explorer

Inhaltsverzeichnis

Alle 85+ interaktiven Visualisierungen zur Erkundung moderner Large Language Models

1 Transformer 2 Architekturen 3 Reasoning 4 Memory 5 Prompting 6 Training 7 Trends 8 Werkzeuge

1

Transformer Grundlagen

Von Tokens zu Attention: Die Bausteine moderner LLMs

15 Seiten

1.1 – 1.3 Eingabeverarbeitung

1.1 BPE Tokenisierung Animation 1.2 Embedding-Raum 2D Interaktiv 1.3a Sinusoidal Position Encoding Interaktiv 1.3b Position Encoding Matrix Interaktiv

1.4 – 1.5 Self-Attention

1.4 Q·K Matrixmultiplikation Animation 1.5a Multi-Head Attention Interaktiv 1.5b Head Concatenation Animation

1.6 – 1.7 FFN & Residuals

1.6a Activation Functions Interaktiv 1.6b FFN als Memory Interaktiv 1.6c SwiGLU Gate Interaktiv 1.7a Residual & LayerNorm Animation 1.7b Gradient Flow Animation

1.8 – 1.9 Gesamtbild

1.8a Transformer Block Scrollytelling 1.8b LayerNorm Live Interaktiv 1.9 Architektur-Vergleich Vergleich

→ Kapitelabschluss: Transformer Grundlagen → Moderne Architekturvarianten

2

Moderne Architekturvarianten

MoE, GQA, Flash Attention und Multimodal

11 Seiten

2.1 Mixture of Experts

2.1a MoE Router Simulation Interaktiv 2.1b Load Balancing Problem Interaktiv

2.2 – 2.3 Attention Optimierungen

2.2 Grouped Query Attention Interaktiv 2.3 Flash Attention Animation

2.4 Sparse Attention

2.4a Sparse Attention Heatmap Interaktiv 2.4b Lightning Indexer Animation 2.4c Sparsity Slider Interaktiv 2.4d Dense vs. Sparse Retrieval Vergleich

2.5 Native Multimodal

2.5a Native Multimodal Interaktiv 2.5b Early Fusion Animation Animation 2.5c Interleaved Context Interaktiv

→ Kapitelabschluss: Moderne Architekturvarianten → Reasoning & Test-Time Compute

3

Reasoning & Test-Time Compute

Chain-of-Thought, o1/o3, DeepSeek R1, und Flexible Inference

11 Seiten

3.1 Chain-of-Thought

3.1a Chain-of-Thought Demo Demo 3.1b Model Size vs. CoT Interaktiv

3.2 – 3.3 Reasoning-Modelle

3.2 o1/o3 Hidden Reasoning Interaktiv 3.3 DeepSeek R1 & GRPO Interaktiv

3.4 Test-Time Compute

3.4a Compute Allocation Interaktiv 3.4b Test-Time Scaling Interaktiv 3.4c Scaling Strategies Vergleich

3.6 Flexible Inference

3.6a Flexible Inference Interaktiv 3.6b Effort Parameter (Claude) Demo 3.6c Thinking Budget (Qwen3) Interaktiv 3.6d Dual-Mode Comparison Vergleich

→ Kapitelabschluss: Reasoning & Test-Time Compute → Optimierungen & Memory

4

Optimierungen & Memory

KV-Cache, Positional Encodings, und Context-Erweiterung

12 Seiten

4.1 KV-Cache

4.1a KV-Cache Animation Animation 4.1b KV-Cache Calculator Rechner 4.1c Memory Growth Chart Interaktiv

4.2 Positional Encodings

4.2a RoPE vs. ALiBi Vergleich 4.2b RoPE Rotation Animation 4.2c ALiBi Bias Heatmap Interaktiv 4.2d Sliding Window Attention Interaktiv 4.2e Context Extrapolation Test Interaktiv

4.3 – 4.4 Memory Management

4.3 Ring Topology Animation Animation 4.4a Paged Attention Animation 4.4b RAG Pipeline Interaktiv 4.4c Embedding Retrieval 2D Interaktiv

→ Kapitelabschluss: Optimierungen & Memory → In-Context Learning & Prompting

5

In-Context Learning & Prompting

ICL, System Prompts, und Few-Shot Learning

10 Seiten

5.1 In-Context Learning

5.1 In-Context Learning Demo Demo

5.2 System Prompts

5.2a System Prompt Attention Interaktiv 5.2b Attention Analyse Interaktiv 5.2c System Prompts Demo Demo

5.3 Attention Patterns

5.3a Lost-in-the-Middle Interaktiv 5.3b Attention-Verteilung Interaktiv 5.3c Attention Heatmap Interaktiv

5.4 Few-Shot Learning

5.4a Format vs. Content Interaktiv 5.4b N-Shot Plateau Scaling Interaktiv 5.4c Few-Shot Learning Demo Demo

→ Kapitelabschluss: In-Context Learning & Prompting → Training & Inference

6

Training & Inference

RLHF, Sampling, Quantization und Speculative Decoding

9 Seiten

6.1 Training

6.1 Training Loss Curves Interaktiv

6.2 RLHF & DPO

6.2a RLHF Training Interaktiv 6.2b RLHF vs. DPO Vergleich 6.2c RLHF Pipeline Scrollytelling

6.3 Sampling

6.3a Sampling Settings Guide Interaktiv 6.3b Top-K & Top-P Interaktiv

6.4 Inference Optimierung

6.4a Quantization Comparison Vergleich 6.4b Speculative Decoding Animation

→ Kapitelabschluss: Training & Inference → Trends & Zukunft

7

Trends & Zukunft

Benchmarks, Emergenz und Attention-Skalierung

4 Seiten

7.1 – 7.3 Entwicklungen

7.1 Benchmark Evolution Timeline Interaktiv 7.2a Emergenz Timeline Animation 7.2b DeepSeek Emergence Interaktiv 7.3 Attention Complexity Scaling Interaktiv

→ Kapitelabschluss: Trends & Zukunft → Werkzeuge & Glossar

8

Werkzeuge & Glossar

Rechner, Referenzen und Nachschlagewerke

15 Seiten

8.1 Glossar & Grundlagen

8.1a Glossar Referenz 8.1b Causal Mask Interaktiv 8.1c Induction Heads Interaktiv 8.1d Data Composition Interaktiv 8.1e Chinchilla Scaling Laws Interaktiv 8.1f Parameter vs. Compute Interaktiv

8.2 Vocabulary & Embeddings

8.2a Vocabulary Explorer Interaktiv 8.2b Word Analogies Demo 8.2c Embedding Lookup Interaktiv 8.2d Next-Token Prediction Demo

8.3 Modell-Datenbank

8.3a Parameter Calculator Rechner 8.3b Modell-Datenbank Referenz

8.4 – 8.5 Research & Tools

8.4a Research Timeline Interaktiv 8.4b Benchmark Explorer Interaktiv 8.5a Inference Cost Calculator Rechner 8.5b Token Economy Calculator Rechner