Kapitel 4 abgeschlossen
Du hast gelernt
Optimierungen & Memory
Du kennst jetzt die Techniken, die LLMs effizient machen:
Wie KV-Cache die Inferenz beschleunigt, wie verschiedene
Positional Encodings funktionieren, und wie lange Kontexte
durch innovative Speichertechniken möglich werden.
KV-Cache
Memory Growth
ALiBi Bias
RoPE
Sliding Window Attention
Ring Topology
Paged Attention
RAG Pipeline
Weiter mit Kapitel 5
In-Context Learning & Prompting
Verstehe, wie LLMs aus Beispielen im Kontext lernen:
In-Context Learning, System Prompts, das Lost-in-the-Middle Problem,
und warum das Format der Beispiele manchmal wichtiger ist als der Inhalt.
Fortschritt: Kapitel 4 von 8 – Halbzeit!