Interaktives Tutorial

Wie moderne Large Language Models funktionieren

Von der Eingabe bis zur Antwort – erkunde die Architektur hinter GPT-4, Claude und Llama. Klicke auf einen Baustein, um mehr zu erfahren.

📝

Eingabe

Text / Prompt

✂

Tokenizer

BPE / ~100k Tokens

🎯

Embeddings

d = 8.192 dim

🔮

Transformer Stack

x80 Blöcke (Llama 3 70B)

Transformer-Block Struktur

🔮

Multi-Head Attention

➕

Residual + RMSNorm

⚡

SwiGLU Feedforward

➕

Residual + RMSNorm

📊

Output Layer

🎲

Sampling

📝 Eingabe

Kapitel 1

Der Nutzer gibt einen Text-Prompt ein. Dieser kann eine Frage, eine Anweisung oder ein Kontext sein.