Kapitel 1.2 · Visualisierung

Embedding-Raum in 2D

Wörter als Punkte im semantischen Raum – ähnliche Bedeutungen liegen nahe beieinander. Diese t-SNE-Projektion reduziert ~8.000 Dimensionen auf 2D.

Embeddings wandeln diskrete Token-IDs in kontinuierliche Vektoren um. Diese Vektoren leben in einem hochdimensionalen Raum, in dem semantische Ähnlichkeit durch geometrische Nähe repräsentiert wird: "König" und "Königin" liegen nah beieinander.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Verstehen, wie Token-IDs in kontinuierliche Vektoren transformiert werden
  • Erkennen, dass semantische Ähnlichkeit geometrische Nähe bedeutet
  • Die Rolle der Embedding-Dimension (dmodel) für Modellkapazität nachvollziehen
🗺️

Kontext: Wo sind wir?

Schritt 2/8 Transformer Grundlagen

Nach der Tokenisierung (Schritt 1) liegen diskrete Token-IDs vor. Embeddings wandeln diese in kontinuierliche Vektoren um, mit denen mathematische Operationen möglich werden. Diese Vektoren fließen dann über Positional Encoding (Schritt 3) in die Attention-Berechnung.

💡

Warum wichtig

Die Embedding-Dimension (dmodel) definiert die Kapazität des Modells, Bedeutungen zu repräsentieren. Größere Dimensionen (GPT-4: 12.288, Llama 3 70B: 8.192) ermöglichen feinere semantische Unterscheidungen, erfordern aber mehr Compute. Die Embedding-Matrix enthält oft das erste Viertel aller Modellparameter.

📌

Key Takeaways

  • Embeddings sind lernbare Lookup-Tabellen (Vokabular × dmodel Parameter)
  • Cosinus-Ähnlichkeit misst semantische Nähe zwischen Vektoren
  • Typische Dimensionen: 4.096-12.288 (je nach Modellgröße)
Word Embedding Space (t-SNE Projektion)
Dimension 1 (t-SNE)
Dimension 2
Wort suchen
Kategorien
Ausgewähltes Wort
-
-
Nächste Nachbarn:
Klicke auf einen Punkt, um Details zu sehen.
Vektor-Arithmetik
− + = Königin

Klassische Demonstration semantischer Beziehungen im Vektorraum.

💡 Was zeigt diese Visualisierung?

Jedes Wort in einem LLM wird durch einen hochdimensionalen Vektor repräsentiert (z.B. d = 8.192 bei Llama 3 70B). Diese Vektoren erfassen semantische Beziehungen: Wörter mit ähnlicher Bedeutung haben ähnliche Vektoren und liegen im Raum nahe beieinander. Die t-SNE-Projektion macht diese Struktur in 2D sichtbar – beachte die klaren Cluster für Tiere, Länder, Verben und Adjektive.