Escolher um modelo para o agente: capacidade, latência e custo
A pergunta que se faz é qual o melhor modelo para agentes. A que produz um bom sistema é: qual o melhor modelo para este passo, nos nossos dados, dentro do nosso orçamento de latência — e a resposta é normalmente mais do que um.
Uma execução não é homogénea. Decidir a ação seguinte exige raciocínio. Extrair três campos de um documento não. Resumir um resultado para o utilizador também não.
Dividam a execução antes de escolher#
| Passo | O que exige | Nível de modelo sensato |
|---|---|---|
| Planear ou escolher ação | Raciocínio, seguir instruções | O mais forte que puderem pagar |
| Chamar ferramenta com argumentos | Saída estruturada fiável | Gama média com esquemas estritos |
| Extrair campos de um resultado | Precisão em texto curto | Pequeno e rápido |
| Classificar ou encaminhar | Consistência | Pequeno ou classificador afinado |
| Escrever a resposta ao utilizador | Tom e clareza | Gama média |
Os benchmarks fazem a lista curta, não a decisão#
Os benchmarks públicos dizem que modelos são plausíveis. Não dizem qual aguenta os vossos esquemas, formatos e clientes difíceis. Construam trinta casos reais dos vossos registos e passem a lista curta por eles.
Incluam casos em que o correto é recusar ou perguntar.
As três restrições que apertam#
- Piso de latência: cada chamada tem um e um agente faz várias.
- Fiabilidade da saída estruturada: 97% de argumentos válidos parte uma execução em dez com três chamadas.
- Comportamento com contexto: contexto longo custa e dilui a atenção.
Encaminhamento sem projeto de investigação#
O encaminhamento de modelos soa sofisticado e costuma ser um ficheiro de configuração. Modelo por omissão por tipo de passo, substituição por ferramenta e registo de que modelo produziu que decisão.
Perguntas frequentes
Uso o maior modelo para tudo?
Só se não mediram. O passo de decisão costuma beneficiar; extração, classificação e formatação raramente.
Os modelos abertos servem para agentes?
Para passos estreitos com esquemas estritos muitas vezes sim.
Com que frequência rever a escolha?
Em cada versão que possam adotar e, de resto, a cada dois trimestres.
escolher llmseleção de modelo para agentesencaminhamento de modeloslatência de agentessaída estruturada
