Optimierungen & Memory

Du kennst jetzt die Techniken, die LLMs effizient machen: Wie KV-Cache die Inferenz beschleunigt, wie verschiedene Positional Encodings funktionieren, und wie lange Kontexte durch innovative Speichertechniken möglich werden.

KV-Cache Memory Growth ALiBi Bias RoPE Sliding Window Attention Ring Topology Paged Attention RAG Pipeline

Weiter mit Kapitel 5

In-Context Learning & Prompting

Verstehe, wie LLMs aus Beispielen im Kontext lernen: In-Context Learning, System Prompts, das Lost-in-the-Middle Problem, und warum das Format der Beispiele manchmal wichtiger ist als der Inhalt.

Fortschritt: Kapitel 4 von 8 – Halbzeit!