Contratar programadores de agentes de IA: o que procurar e como avaliar
O título é novo, a competência não. Quem constrói agentes que aguentam produção são bons engenheiros de sempre que aprenderam a trabalhar com um componente rápido, capaz e por vezes confiante e errado.
Esta reformulação torna a contratação muito mais fácil. Não procuram uma especialista em prompts. Procuram alguém que pergunte por instinto o que acontece quando a ferramenta não devolve nada.
O que conta, por ordem#
- Engenharia de APIs e integrações: a maior parte do trabalho é falar bem com os vossos sistemas.
- Instinto de teste: perguntam pela avaliação antes de perguntar pelo modelo.
- Pensar em modos de falha: resultados vazios, permissões, tempos esgotados, sucesso parcial.
- Consciência de segurança: privilégio mínimo, injection, auditoria, portões.
- Consciência de custo: explicam para onde vão os tokens sem consultar.
- Familiaridade com modelos: útil, aprende-se em semanas.
- Conhecimento de frameworks: o item menos importante e o mais publicitado.
Um exercício de noventa minutos que resulta#
Deem um briefing curto: um agente que responde a perguntas sobre encomendas e pode emitir reembolsos abaixo de cinquenta euros. Peçam a lista de ferramentas com esquemas, as condições de paragem, dez casos de avaliação e o que fica atrás de um portão humano.
Bons candidatos fazem perguntas sobre permissões e casos limite nos primeiros cinco minutos.
Perguntas que separam experiência de entusiasmo#
| Pergunta | Resposta fraca | Resposta forte |
|---|---|---|
| Como sabem que uma alteração ajudou? | Testamos à mão | Um conjunto fixo, antes e depois |
| O que fazem se uma ferramenta não devolver nada? | Repetimos | Um vazio explícito sobre o qual o agente pode agir |
| Como travam a injection? | Dizemos ao modelo para ignorar | Privilégio mínimo, isolamento, portões |
| Porque estava lento o vosso último agente? | O modelo era lento | Seis chamadas em série; paralelizei duas |
| Como escolhem o modelo? | O melhor | Por passo, medido nos nossos casos |
Agência, freelancer ou interno#
Uma agência serve para uma primeira construção com prazo: compram uma equipa que já cometeu os erros habituais, e devem exigir a entrega do conjunto de avaliação e dos esquemas.
Perguntas frequentes
É preciso um engenheiro de machine learning?
Normalmente não. Isto é engenharia de sistemas contra uma API de modelo.
Que dimensão deve ter a equipa?
Dois engenheiros e uma especialista de domínio a tempo parcial cobrem a maioria dos primeiros projetos.
O que deve uma agência entregar?
Repositório, prompts, esquemas, conjunto de avaliação com resultados, rastos do último mês e uma nota sobre falhas conhecidas.
contratar programadores de agentesescolher agência iaentrevista engenheiro llmequipa de agentesentrega de projeto ia
