Ajan Maliyetini Kaliteyi Bozmadan Düşürmek
Bir token faturası birini şaşırttığında ilk içgüdü, her yerde daha ucuz modele geçip kalite kaybını kabullenmektir. Bu nadiren gereklidir. İncelediğimiz sistemlerde harcamanın çoğu, orada olması gerekmeyen bağlamdan ve pahalı modele ihtiyaç duymayan adımlardan geliyordu.
Aşağıdaki yöntem sıkıcı ve etkili: önce ölçün, sonra dört değişikliği getiri sırasına göre uygulayın, ardından hâlâ bir sorununuz olup olmadığına karar verin. Ekiplerin çoğu ikinci değişiklikten sonra duruyor.
Bir şeyi değiştirmeden önce koşu başına ölçün#
Aylık toplam harcama size uygulanabilir hiçbir şey söylemez. Her koşu için şunları kaydedin: girdi token'ı, çıktı token'ı, model çağrısı sayısı, çağrı başına kullanılan model ve görev türü. Sonra görev türüne göre ayrılmış, tamamlanan görev başına maliyete bakın. Neredeyse her zaman bir ya da iki görev türü baskındır ve onların içinde bir adım baskındır. Başka bir şeyi optimize etmek, paranın olmadığı yere harcanan emektir.
Başarısız ve yarıda bırakılmış koşuları da paydaya katın. Başarmadan önce üç deneme yakan bir tekrar döngüsü, kalite sorunu kılığında bir maliyet sorunudur.
Dört değişiklik, getiri sırasıyla#
| Değişiklik | Tipik tasarruf | Risk |
|---|---|---|
| Bağlamı buda: kullanılan belgeleri at, geçmişi sıkıştır | %20–40 | Hedef sabit kaldıkça düşük |
| Ucuz adımları küçük modele yönlendir | %20–40 | Adım bazlı değerlendirmeyle düşük |
| Sabit prompt ön ekini önbellekle | Tekrarlı trafikte %10–30 | Düşük |
| Adımları azalt: daha iyi araç, daha az tekrar | %10–25 | Orta — araç işi gerektirir |
Fatura bağlamdır#
Her tur biriken bağlamı yeniden gönderir; yani sekiz adımlık bir koşu aynı belgeyi sekiz kez ödeyebilir. Üç alışkanlık bunun çoğunu çözer: getirilen pasajları, onlara ihtiyaç duyan adım bittiğinde atın; eski turları döküm taşımak yerine kısa olgusal notlara sıkıştırın; ve araç sonuçlarını tüm API yanıtı yerine ajanın kullandığı alanlara budayın. Bunların hiçbiri yeteneği azaltmaz — modelin zaten kullanmadığı metni kaldırır ve dikkat daha az seyreldiği için kalite çoğu zaman artar.
Zevke göre değil adıma göre yönlendirin#
Çıkarma, sınıflandırma ve biçimlendirme nadiren en güçlü modelinizi ister; planlama ve kullanıcıya dönük düzyazı çoğu zaman ister. İlk grubu bir kademe aşağı taşıyın, değerlendirme setinizi koşturun ve sayılar tutuyorsa değişikliği koruyun. Bunu genel değil adım bazında yapmak, kimsenin okuduğu çıktıda fark görmeden faturanın üçte birini kesmenizi sağlar.
- En yüksek hacimli, en az muhakeme gerektiren adımla başlayın.
- Her seferinde tek adım değiştirin ve sonrasında değerlendirme setini yeniden koşturun.
- Hangi kararı hangi modelin ürettiğini kaydedin ki sonraki bir gerileme ilişkilendirilebilsin.
- Koşu başına harcama sınırı koyun ki patolojik bir vaka sınırsız olamasın.
Yapılmaması gerekenler#
Cevaplarınızı dayanaklandıran getirimi kesmeyin — biri düzeltmek zorunda kaldığında halüsinasyon token'dan çok daha pahalıdır. Bir çağrı tasarruf etmek için geri alınamaz eylemlerdeki eleştirmen turunu kaldırmayın. Ve prompt kelimelerinde mikro optimizasyon peşinde koşmayın; tasarruf, bağlam budamanın yanında gürültüdür ve aradaki farktan daha değerli mühendis saati harcarsınız.
Sık sorulan sorular
Önbellekleme kurmaya değer mi?
Koşularınız uzun ve sabit bir ön ek paylaşıyorsa — sistem talimatları, araç tanımları, politika metni — evet ve elinizdeki en ucuz kazançlardan biridir. Prompt'u sabit kısım önde, değişken kısım sonda olacak şekilde kurun; aksi hâlde önbellek işe yaramaz.
Tasarruf için ince ayar yapmalı mıyım?
Yalnız yüksek hacimli, dar ve kararlı bir adımda, küçük bir modelin ince ayarla büyüğüne yetiştiği durumda. İnce ayar bir bakım yükümlülüğü ve yeniden eğitim döngüsü ekler; düşük hacimde yönlendirme ve bağlam budama onu rahatça döver.
Tek bir patolojik koşunun servet yakmasını nasıl engellerim?
Koşu başına adım ve harcamayı sınırlayın, tekrarlanan aynı araç çağrılarını tespit edin ve devam etmek yerine kısmi sonuçla durun. Sonra sınıra çarpan koşular için uyarı kurun — bunlar genelde sadece bir gider değil, düzeltilmeye değer bir hatadır.
ajan maliyetillm maliyet optimizasyonutoken maliyeti azaltmaprompt önbelleklememodel yönlendirme
