Moderne Architekturvarianten

Du kennst jetzt die fortgeschrittenen Architekturen, die moderne LLMs effizienter und leistungsfähiger machen: Von Mixture of Experts über Flash Attention bis hin zu Sparse Attention und nativer Multimodalität.

Mixture of Experts (MoE) Load Balancing Grouped Query Attention Flash Attention Sparse Attention (DSA) Dense vs. Sparse Retrieval Native Multimodal Early Fusion

Weiter mit Kapitel 3

Reasoning & Test-Time Compute

Erfahre, wie LLMs "denken" lernen: Chain-of-Thought Reasoning, verstecktes Reasoning bei o1/o3, DeepSeek R1, und wie flexible Inference-Strategien die Leistung bei komplexen Aufgaben verbessern.

Fortschritt: Kapitel 2 von 8