प्रोडक्शन और ऑपरेशन — AI एजेंट डेवलपमेंट
डेमो चलने के बाद का सब कुछ: eval सेट, ट्रेसिंग और मॉनिटरिंग, prompt injection और सुरक्षा-रेखाएँ, लेटेंसी व टोकन लागत का नियंत्रण, और असली ट्रैफ़िक तक स्केलिंग।
5 गाइड
AI एजेंट को स्केल करना: विलंब, समवर्तीता और दर सीमाएँ
एजेंट अलग तरह से स्केल होते हैं: अड़चन आपका CPU नहीं, एक दर सीमा और कई सेकंड की कॉल है। धीमे को क़तार में, तेज़ को स्ट्रीम, और जान-बूझकर गिरावट।
AI एजेंट सुरक्षा: सुरक्षा-रेखाएँ, अनुमतियाँ और prompt injection
एजेंट आपके सिस्टम का ऐसा उपयोगकर्ता है जिसे बहलाया जा सकता है। न्यूनतम विशेषाधिकार, हर लाई गई सामग्री अविश्वसनीय, और अपरिवर्तनीय के आगे एक इंसान।
प्रोडक्शन में एजेंट की निगरानी: क्या दर्ज करें, किस पर अलर्ट
अपटाइम एजेंट के बारे में कुछ नहीं बताता। हर रन ट्रेस कीजिए, छह व्यवहार मीट्रिक देखिए और केवल त्रुटियों पर नहीं, व्यवहार-बहाव पर अलर्ट कीजिए।
गुणवत्ता बिगाड़े बिना एजेंट की लागत घटाना
अधिकतर बिल संदर्भ का होता है, बुद्धिमत्ता का नहीं। प्रति रन मापिए, सस्ते कदम नीचे भेजिए, स्थिर उपसर्ग कैश कीजिए और इस्तेमाल हो चुके दस्तावेज़ ढोना बंद कीजिए।
AI एजेंट का परीक्षण: ऐसा मूल्यांकन सेट जो अपनी क़ीमत निकाले
पचास असली मामले किसी भी बेंचमार्क से बेहतर हैं। प्रतिलेख नहीं, नतीजे को अंक दीजिए, ठीक की गई विफलताएँ रखिए और हर बदलाव से पहले सेट चलाइए।