Das Modell für Ihren Agenten wählen: Fähigkeit, Latenz, Kosten
Gefragt wird meist, welches Modell für Agenten das beste sei. Zu einem guten System führt die Frage, welches Modell für diesen Schritt, auf unseren Daten, in unserem Latenzbudget das beste ist — und die Antwort lautet meist: mehr als eines.
Ein Agentenlauf ist nicht homogen. Die nächste Handlung zu wählen braucht Denkarbeit. Drei Felder aus einem Dokument zu ziehen nicht. Ein Ergebnis für Nutzer zusammenzufassen auch nicht. Alles als eine Beschaffungsentscheidung zu behandeln führt dazu, dass Sie Spitzenpreise fürs Umformatieren von JSON zahlen.
Den Lauf vor der Wahl aufteilen#
| Schritt | Was er braucht | Sinnvolle Modellstufe |
|---|---|---|
| Planen oder Handlung wählen | Denkarbeit, Anweisungstreue | Das stärkste, das Sie sich leisten |
| Werkzeug mit Argumenten aufrufen | Verlässliche strukturierte Ausgabe | Mittelklasse mit strengen Schemata |
| Felder aus einem Ergebnis ziehen | Genauigkeit auf kurzem Text | Klein und schnell |
| Klassifizieren oder routen | Konsistenz | Klein oder feinjustierter Klassifikator |
| Nutzerantwort schreiben | Ton und Klarheit | Mittelklasse |
Benchmarks sind Shortlist, nicht Entscheidung#
Öffentliche Benchmarks sagen, welche Modelle plausibel sind. Sie sagen nicht, welches mit Ihren Werkzeugschemata, Dokumentformaten und schwierigen Kundinnen zurechtkommt, denn nichts davon steckt im Benchmark. Bauen Sie dreißig echte Fälle aus Ihren Logs — inklusive der fünf peinlichen — und lassen Sie die Shortlist darauf laufen. Die Reihenfolge weicht regelmäßig genug ab, um die Entscheidung zu drehen.
Nehmen Sie Fälle auf, in denen Ablehnen oder Nachfragen richtig ist. Modelle unterscheiden sich stärker darin, wann sie aufhören, als darin, was sie sagen.
Die drei Grenzen, die wirklich binden#
- Latenzuntergrenze: jeder Aufruf hat eine, und ein Agent macht mehrere. Messen Sie den ganzen Lauf.
- Verlässlichkeit strukturierter Ausgabe: 97 % gültige Argumente bedeuten bei drei Aufrufen jeden zehnten Lauf kaputt.
- Kontextverhalten: langer Kontext kostet und verwässert Aufmerksamkeit; messen Sie bei realer, nicht maximaler Länge.
Routing ohne Forschungsprojekt#
Modell-Routing klingt anspruchsvoll und ist meist eine Konfigurationsdatei. Standardmodell pro Schritttyp, Override pro Werkzeug, und protokollieren, welches Modell welche Entscheidung erzeugt hat. Beginnen Sie damit, nur Extraktion und Klassifikation eine Stufe tiefer zu legen; allein das entfernt oft ein Drittel bis die Hälfte der Tokenrechnung, ohne die sichtbare Qualität zu berühren.
Mit Abkündigung rechnen#
Modellversionen werden nach dem Kalender des Anbieters abgeschaltet. Zwei Gewohnheiten machen daraus ein Nichtereignis: eine explizite Version pinnen statt eines gleitenden Alias, und das Eval-Set mit einem Befehl lauffähig halten, damit die Requalifizierung ein Nachmittag statt eines Projekts ist. Ohne diese Gewohnheiten kommen Abkündigungsmail und Vorfall am selben Morgen.
Häufige Fragen
Soll ich überall das größte Modell nehmen?
Nur wenn Sie nicht gemessen haben. Der Entscheidungsschritt profitiert meist; Extraktion, Klassifikation und Formatierung selten. Die Aufteilung nach Schritten ist die einfachste Kostensenkung, ohne die sichtbare Qualität anzutasten.
Taugen offene Modelle für Agenten?
Für enge, klar definierte Schritte mit strengen Schemata häufig ja, und bei Volumen ist die Ökonomie überzeugend. Für offenes Planen über viele Werkzeuge brauchen sie meist mehr Gerüst. Testen Sie an Ihren dreißig Fällen.
Wie oft die Modellwahl prüfen?
Bei jeder Version, die Sie übernehmen könnten, und sonst etwa alle zwei Quartale. Das ist nur tragbar, wenn das Eval-Set ein Befehl ist — der eigentliche Grund, dort zu investieren.
llm auswahlmodellwahl agentenllm routingagenten latenzstrukturierte ausgabe
