Wie senkt man Token-Kosten bei produktiven LLM-Anwendungen?
Direkte Antwort
Die drei wirksamsten Hebel sind Prompt-Caching für wiederkehrende Kontextteile, die bewusste Wahl kleinerer Modelle für einfache Teilaufgaben statt eines einzigen großen Modells für alles, und die Reduktion des tatsächlich benötigten Kontexts pro Anfrage, statt vorsorglich möglichst viel Kontext mitzuschicken.
"Die teuerste Annahme in LLM-Projekten ist, dass mehr Kontext automatisch zu besseren Antworten führt — meistens führt er nur zu höheren Rechnungen.
Ein Beispiel aus der Praxis zeigt die Größenordnung: Ein Support-Assistent mit 50.000 Anfragen im Monat und im Schnitt 4.000 Tokens Kontext pro Anfrage kann allein durch Prompt-Caching des wiederkehrenden System-Prompts und der FAQ-Basis einen relevanten Teil der Eingabe-Token-Kosten einsparen, ohne die Antwortqualität zu verändern.
Prompt-Caching für wiederkehrende Kontextteile
Anbieter wie Anthropic und OpenAI bieten Prompt-Caching an, bei dem ein wiederholt genutzter Kontextblock (System-Prompt, Few-Shot-Beispiele, statische Wissensbasis) nach dem ersten Aufruf zu einem Bruchteil der regulären Kosten wiederverwendet wird.
Beispielrechnung: Bei 50.000 Anfragen im Monat mit 3.000 Tokens statischem Kontext und 1.000 Tokens variablem Anteil pro Anfrage lässt sich der gecachte Anteil deutlich günstiger abrechnen als eine vollständige Neuverarbeitung bei jeder Anfrage — der genaue Faktor hängt vom Anbieter und Modell ab und sollte anhand der aktuellen Preisliste des jeweiligen Anbieters nachgerechnet werden.
Modellwahl nach Aufgabenkomplexität statt pauschal
Nicht jede Teilaufgabe braucht das leistungsfähigste verfügbare Modell. Klassifikation, Extraktion einfacher Felder oder Zusammenfassungen kurzer Texte lassen sich oft mit kleineren, deutlich günstigeren Modellen zuverlässig lösen.
Ein Routing-Layer, der Anfragen nach geschätzter Komplexität auf unterschiedliche Modelle verteilt, senkt die Durchschnittskosten pro Anfrage, ohne bei komplexen Fällen Qualität zu verlieren, weil dort weiterhin das größere Modell greift.
Kontextgröße als bewusster Kostenfaktor
Viele Systeme schicken pauschal mehr Kontext mit, als für die konkrete Anfrage nötig wäre, aus Vorsicht vor unvollständigen Antworten.
Ein gezieltes Retrieval mit engerem Top-k, striktere Chunk-Filterung nach Relevanz-Schwellenwert und das Entfernen redundanter Passagen reduzieren die Eingabe-Tokens spürbar, meist ohne messbaren Qualitätsverlust, wenn die Filterung sauber kalibriert ist.
Wann passt es — wann nicht?
Passt gut
- ✓Die Anwendung hat wiederkehrende, große statische Kontextanteile (System-Prompt, FAQ-Basis)
- ✓Anfragen unterscheiden sich stark in Komplexität
Passt nicht
- ✗Das Anfragevolumen ist gering und die absoluten Kosten sind bereits niedrig
- ✗Jede Anfrage braucht ohnehin das leistungsfähigste Modell wegen hoher Fehlerkosten