KAPITEL 8.2c · EMBEDDINGS

Wort-Analogien durch Vektorarithmetik

Embeddings kodieren semantische Beziehungen: "king - man + woman = queen". Durch einfache Vektoraddition und -subtraktion können Analogien gelöst werden.

Wort-Analogien zeigen die bemerkenswerte Eigenschaft von Embeddings: Semantische Beziehungen werden zu geometrischen Relationen. "king - man + woman = queen" funktioniert, weil Geschlecht und Königtum als Richtungen im Vektorraum kodiert sind.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Vektorarithmetik auf Embeddings anwenden
  • Semantische Richtungen im Raum verstehen
  • Grenzen von Analogien kennenlernen
🗺️

Kontext: Wo sind wir?

Schritt 4/5 Kapitel 8: Werkzeuge & Glossar

Embeddings & Tokens (4/5) – die geometrische Interpretation von Bedeutung.

💡

Warum wichtig

Analogien beweisen, dass Embeddings echte Semantik lernen – nicht nur Worthäufigkeiten. Das ist die Grundlage für Transfer Learning und Zero-Shot Generalisierung.

📌

Key Takeaways

  • Vektoraddition: a - b + c ≈ d für Analogien
  • Richtungen: Geschlecht, Zeitform, Größe sind Vektoren
  • Grenzen: Nicht alle Beziehungen sind linear kodiert
Wähle eine Analogie:
Nächster Nachbar (Ergebnis)
queen
Cosine-Similarity: 0.94
Wie funktioniert es?
Embeddings lernen semantische Beziehungen während des Trainings. "king" und "queen" haben ähnliche Vektoren, aber die Differenz zu "man"/"woman" kodiert Gender. Diese Differenzvektoren sind konsistent.
Vektorarithmetik
result = E["king"] - E["man"] + E["woman"]. Wir berechnen den nächsten Nachbarn zu diesem Resultat-Vektor (via Cosine-Similarity), oft ist es das erwartete Wort.
Limitation
Diese Analogien funktionieren nicht immer perfekt. Sie hängen von der Trainingsdaten-Qualität ab und können Biases reflektieren. Moderne kontextuelle Embeddings (BERT, GPT) sind komplexer.
Historische Bedeutung
Word2Vec (2013) machte diese Analogien berühmt. Sie zeigten, dass neuronale Embeddings semantische Struktur lernen – ein Durchbruch im NLP.