Att anlita utvecklare för AI-agenter utan att bli lurad
Marknaden är full av leverantörer vars demo ser identisk ut. Skillnaden mellan ett team som byggt en agent som överlevt ett år och ett som byggt fem demos syns inte i portföljen, men den syns i svaren på fyra frågor.
Fyra frågor som avgör#
- "Visa ett spår från en körning som gick fel och berätta hur ni hittade orsaken." Team utan spår svarar undflyende.
- "Hur ser er utvärderingsmängd ut och vem skriver fallen?" Rätt svar involverar verksamheten, inte bara utvecklare.
- "Hur begränsar ni vad agenten får göra åt en enskild användare?" Rätt svar handlar om rättigheter på serversidan, inte om prompten.
- "Vad gick sönder efter lansering i ert senaste projekt?" Ett ärligt konkret svar är det starkaste tecknet som finns.
Vad ni ska kräva som leverabler#
| Leverabel | Varför |
|---|---|
| Repo och driftsättningsanvisning | Ni ska kunna byta leverantör |
| Utvärderingsmängd med fall | Utan den kan ingen förbättra agenten |
| Spårformat och loggåtkomst | Felsökning och revision |
| Körbok med nedgraderingsväg | Incidenter kommer |
| Kostnadsmodell per körning | Skalbeslut senare |
Varningstecken#
- Träffsäkerhetslöften i procent utan en fallmängd att mäta mot.
- Skyddsräcken som beskrivs enbart som prompttext.
- Ovilja att lämna ifrån sig repot.
- Ingen fråga om era interna system och rättigheter under första mötet.
- Fast pris utan definierad omfattning av gränsfall.
Formen på engagemanget#
Börja med en betald avgränsad förstudie på två till tre veckor som ger utvärderingsmängd, en teknisk plan och ett fungerande men litet flöde. Den kostar lite och avslöjar allt.
Vanliga frågor
Frilans, byrå eller anställa?
Frilans för avgränsat bygge, byrå när integrationen är bred, anställning när agenten är en produktyta.
Hur bedöms teknisk nivå utan egen expert?
Be om spåret och utvärderingsmängden. Båda är svåra att förfalska.
Vad är rimlig tid till första version?
Fyra till åtta veckor för en avgränsad agent mot ett eller två system.
anlita agentutvecklareai-byråupphandla ai-projektfrilans llm-utvecklareleverantörsval
