Eine Roadmap für KI-Agenten, die tatsächlich in Produktion führt
Das Scheitermuster von Agentenprojekten ist nicht technisch. Es ist ein guter Prototyp in Woche drei, gefolgt von drei Monaten ungerichteter Verbesserung und einer stillen Absage, weil niemand sagen konnte, ob es fertig war.
Diese Roadmap behebt das mit Ausstiegstests. Jede Phase hat eine Bedingung, die vorher aufgeschrieben wird und entweder erfüllt ist oder nicht. Besteht eine Phase ihren Test nicht, beheben Sie die konkrete Lücke oder hören auf — beides besser als Treiben.
Phase 1 — Abstecken (1–2 Wochen)#
Schreiben Sie die Aufgabe als Satz auf, den jemand als richtig oder falsch markieren kann. Listen Sie die Werkzeuge mit Argumentschemata. Entscheiden Sie, welche Handlungen unumkehrbar sind und hinter einem Menschen stehen. Sammeln Sie zwanzig echte Beispiele, auch die unangenehmen.
Ausstiegstest: Eine Kollegin, die in keinem Meeting war, liest das Briefing und bewertet fünf Beispielläufe korrekt.
Phase 2 — Prototypen (2–3 Wochen)#
Bauen Sie die kleinste Schleife, die die Aufgabe mit echten Werkzeugen gegen eine Testumgebung erledigt. Möglichst noch keine Frameworkentscheidung; eine handgeschriebene Schleife zeigt, was Sie wirklich brauchen. Lassen Sie Ihre zwanzig Fälle laufen und beheben Sie eher Werkzeugdesign als Prompts.
Ausstiegstest: 60 % der zwanzig Fälle laufen Ende zu Ende durch, und neben jedem Fehler steht eine identifizierte Ursache.
Phase 3 — Härten (3–5 Wochen)#
Hier liegt die meiste echte Arbeit, und hier sterben unterbudgetierte Projekte. Rechte auf die Endnutzeridentität, Freigabetore, Argumentprüfung, lesbares Tracing, Monitoring mit wenigen Verhaltensmetriken, ein auf fünfzig Fälle gewachsenes Eval-Set samt adversarialer Fälle und ein Degradationsmodus.
- Autorisierung serverseitig bei jedem Werkzeugaufruf.
- Menschliches Tor vor jeder unumkehrbaren Handlung, mit entscheidungsreifem Kontext.
- Schritt- und Ausgabengrenzen plus Wiederholungserkennung.
- Traces mit Lauf-ID an jedem Aufruf und bewusst gesetzter Aufbewahrung.
- Adversariale Fälle im Eval-Set, ausgeführt wie jeder andere Test.
Ausstiegstest: 85 % im Eval-Set, 100 % bei den Ablehnungsfällen und kein offener Sicherheitsbefund.
Phase 4 — Starten (2 Wochen, dann laufend)#
Beginnen Sie mit begrenztem Publikum — ein Team, ein Kundensegment oder ein Prozentsatz des Traffics. Lesen Sie täglich Läufe. Halten Sie den Eskalationsweg sichtbar und besetzt, denn die erste Woche überrascht immer. Weiten Sie aus, wenn die Zahlen zwei Wochen halten, nicht weil der Kalender es sagt.
| Woche | Publikum | Worauf Sie achten |
|---|---|---|
| 1 | Nur internes Team | Traces, offensichtliche Fehler, Werkzeugfehler |
| 2 | 5 % des echten Traffics | Eskalationsrate, Erfolgsquote |
| 3–4 | 25 % | Kosten pro Aufgabe, Latenz zur Spitze |
| 5+ | Voll, wenn die Zahlen halten | Drift, neue Anfragekategorien |
Was nach dem Start passiert#
Ein Agent ist ein Dienst, kein Projekt. Jemand besitzt ihn, das Eval-Set wächst aus echtem Traffic, Modellversionen werden bei Abkündigung requalifiziert, und menschliche Tore werden selektiv entfernt, sobald Belege es rechtfertigen. Wer nur vier Phasen plant, hat einen Agenten, der im Oktober exzellent und im März still falsch ist.
Häufige Fragen
Zwölf Wochen wirken lang für eine Demo, die in drei Tagen lief.
Die Demo lief tatsächlich. Die restlichen neun Wochen sind Rechte, Evaluation, Monitoring und Fehlerpfade — genau das, was über Vertrauenswürdigkeit entscheidet. Überspringen verschiebt die Arbeit hinter den Vorfall.
Dürfen Phasen überlappen?
Härten darf im Prototyp beginnen und sollte es bei Rechten. Starten Sie nicht vor bestandenem Härtungstest: ein begrenzter Start ohne Freigabetore ist kein begrenztes Risiko.
Was, wenn der Prototyp den Test nicht besteht?
Sehen Sie sich die notierten Ursachen an. Sind es Werkzeugdesign und Datenzugang, beheben Sie sie. Braucht die Aufgabe ein Urteil, das niemand definieren kann, hören Sie auf. In Woche fünf aufzuhören ist ein gutes Ergebnis.
ki agenten roadmapagenten projektplanllm projektphasenki lieferplanagenten launch checkliste
