KAPITEL 3.6b · FLEXIBLE INFERENCE-SCALING

Thinking Budget Allocator

Qwen3 Framework: Stelle dein Thinking-Budget ein und sehe, wie die Antwortqualität je nach Task-Typ mit dem investierten Token-Budget skaliert. Accuracykurven für Math, Code und kreative Aufgaben.

Thinking Budget Allocator: Qwen3's Ansatz — direktes Token-Budget statt abstraktem Effort-Level. Definiere, wie viele Tokens das Modell „denken" darf, bevor es antwortet.

📖 Lern-Kontext ▼
🎯

Lernziele

  • Token-basiertes Thinking-Budget verstehen
  • Task-spezifische Skalierungskurven lesen
  • Optimales Budget für verschiedene Tasks finden
🗺️

Kontext: Wo sind wir?

Schritt 4/5 Reasoning & Test-Time Compute

Ergänzt Effort Parameter mit dem direkteren Token-Budget-Ansatz.

💡

Warum wichtig

Math braucht ~2000 Thinking-Tokens für optimale Ergebnisse, kreative Aufgaben nur ~500. Mit Token-Budget-Kontrolle kann man Kosten um 60-80% senken.

📌

Key Takeaways

  • Direkte Kontrolle: Exakte Token-Anzahl statt abstraktem Level
  • Task-abhängig: Math > Code > Creative in Token-Bedarf
  • Plateau: Ab gewissem Budget keine Verbesserung mehr
1.000
Tokens
Estimated Cost
$0.02
Math Accuracy
72%
Code Accuracy
68%
Creative Quality
65%
Accuracy vs. Thinking Budget
Math Problems (Steep)
Code Generation (Moderate)
Creative Writing (Flat)
💡 Thinking Budget Framework (Qwen3)

• 100-500 Tokens: Leichte Aufgaben, schnelle Antworten
• 500-1500 Tokens: Mittelschwere Probleme, gute Balance
• 1500-3000 Tokens: Komplexe Aufgaben, tiefes Reasoning
• 3000-5000 Tokens: Sehr schwierige Probleme, maximale Tiefe
📊
Task-abhängige Kurven
Unterschiedliche Aufgabentypen profitieren unterschiedlich: Math braucht viel Budget, Creative Writing nur wenig.
🎯
Optimales Budget
Finde das perfekte Budget für deine Use-Case: Mehr Budget = höhere Qualität, aber auch höhere Kosten.
⚡
Unified Framework
Thinking und Non-Thinking arbeiten zusammen. Budget beeinflusst die interne Reasoning-Tiefe.
💰
ROI Analyse
Mit unserem Calculator findest du den sweet spot zwischen Qualität und Kosteneffizienz.