Wybór modelu dla agenta: możliwości, opóźnienie i koszt
Zadawane pytanie brzmi: który model jest najlepszy do agentów. Pytanie, które daje dobry system, brzmi: który model jest najlepszy do tego kroku, na naszych danych, w naszym budżecie opóźnienia — a odpowiedź to zwykle więcej niż jeden.
Przebieg nie jest jednorodny. Wybór kolejnej akcji wymaga rozumowania. Wyciągnięcie trzech pól z dokumentu nie. Podsumowanie wyniku dla użytkownika też nie.
Podzielcie przebieg przed wyborem#
| Krok | Czego wymaga | Rozsądny poziom modelu |
|---|---|---|
| Planowanie lub wybór akcji | Rozumowanie, trzymanie się instrukcji | Najmocniejszy, na jaki was stać |
| Wywołanie narzędzia z argumentami | Niezawodne wyjście strukturalne | Średnia półka ze ścisłymi schematami |
| Wyciąganie pól z wyniku | Trafność na krótkim tekście | Mały i szybki |
| Klasyfikacja lub routing | Spójność | Mały albo dostrojony klasyfikator |
| Napisanie odpowiedzi do użytkownika | Ton i jasność | Średnia półka |
Benchmarki tworzą krótką listę, nie decyzję#
Publiczne benchmarki mówią, które modele są prawdopodobne. Nie mówią, który poradzi sobie z waszymi schematami, formatami dokumentów i trudnymi klientami. Zbudujcie trzydzieści realnych przypadków z własnych logów i przepuśćcie przez nie krótką listę.
Uwzględnijcie przypadki, w których właściwe jest odmówić albo dopytać.
Trzy ograniczenia, które naprawdę wiążą#
- Podłoga opóźnienia: każde wywołanie ma swoją, a agent robi ich kilka.
- Niezawodność wyjścia strukturalnego: 97% poprawnych argumentów psuje jeden na dziesięć przebiegów z trzema wywołaniami.
- Zachowanie przy kontekście: długi kontekst kosztuje i rozrzedza uwagę.
Routing bez projektu badawczego#
Routing modeli brzmi wyrafinowanie, a zwykle jest plikiem konfiguracyjnym. Domyślny model na typ kroku, nadpisanie na narzędzie i log, który model wyprodukował którą decyzję.
Najczęstsze pytania
Czy używać wszędzie największego modelu?
Tylko jeśli nie mierzyliście. Krok decyzyjny zwykle zyskuje; ekstrakcja, klasyfikacja i formatowanie rzadko.
Czy modele otwarte nadają się do agentów?
Do wąskich kroków ze ścisłymi schematami często tak, a przy wolumenie ekonomia bywa przekonująca.
Jak często rewidować wybór?
Przy każdej wersji, którą moglibyście przyjąć, a poza tym co dwa kwartały.
wybór llmdobór modelu dla agentówrouting modeliopóźnienie agentawyjście strukturalne
