Q·K^T Matrix-Multiplikation

Sequenzlänge: d_k:

Tempo:

Schritt 0 / 16 0%

Bereit

Klicken Sie "Nächster Schritt" oder "Abspielen" um die Berechnung zu starten.

Query Matrix

Q (Query)

n × d_k

Key Matrix (Transposed)

K^T (Key transponiert)

d_k × n

Attention Scores

n × n

Aktuelle Berechnung

Wählen Sie einen Schritt, um die Berechnung zu sehen.

Attention(Q, K, V) = softmax(QK^T / √d_k) · V

Die Skalierung durch √d_k verhindert, dass große Werte den Softmax sättigen.

💡 Was passiert hier?

Jede Zelle in der Attention-Score-Matrix ist das Skalarprodukt einer Query-Zeile mit einer Key-Spalte. Der Wert Score[i,j] misst, wie stark Token i auf Token j "achten" sollte. Hohe Werte bedeuten hohe Relevanz. Nach dem Softmax werden diese Scores zu Gewichten normalisiert, die bestimmen, wie viel Information von jedem Token fließt.

Verwandte Visualisierungen