प्रोडक्शन में एजेंट की निगरानी: क्या दर्ज करें, किस पर अलर्ट
पारंपरिक सेवा तब स्वस्थ है जब वह तेज़ जवाब दे और त्रुटि न फेंके। एजेंट दोनों करते हुए भी पूरी तरह ग़लत हो सकता है — हर अनुरोध दो सेकंड में और हर एक मार्च में वापस ली गई नीति का हवाला देते हुए।
इसलिए एजेंट निगरानी अलग अनुशासन है। यह दो चीज़ों पर टिकी है: हर रन की ऐसी ट्रेस जिससे जो हुआ वह दोबारा बनाया जा सके, और थोड़े व्यवहार मीट्रिक जिनकी हलचल का अर्थ हो। बाक़ी सजावट है।
काम की ट्रेस में क्या होता है#
- हर लॉग पंक्ति, मॉडल कॉल और बाहर जाते अनुरोध पर रन पहचानकर्ता।
- हर कदम पर मॉडल को भेजा गया सटीक संदर्भ, या हैश और जुड़े हिस्से।
- हर टूल कॉल आर्ग्युमेंट, नतीजे, अवधि और परिणाम सहित।
- प्रति कॉल मॉडल नाम और संस्करण, साथ में टोकन गिनती।
- रुकने का कारण: पूर्ण, कदम सीमा, ख़र्च सीमा, इंसानी दरवाज़ा, त्रुटि।
- अंतिम आउटपुट और क्या किसी ने बाद में उसे सुधारा या पलटा।
छह मीट्रिक जो सचमुच हिलती हैं#
| मीट्रिक | क्या देखें | आमतौर पर मतलब |
|---|---|---|
| सफलता दर | लगातार गिरावट | मॉडल बदला, डेटा बहाव, API बदला |
| प्रति रन कदम | धीरे बढ़ते | टूल त्रुटियाँ दोहराई जा रहीं; retrieval बिगड़ा |
| प्रति टूल त्रुटि दर | एक टूल पर उछाल | ऊपर का सिस्टम टूटा — एजेंट नहीं |
| इंसानी दख़ल दर | बढ़त | भरोसा गिर रहा या नई श्रेणी |
| बेबुनियाद दावे | कोई भी बढ़त | Retrieval चुपचाप विफल |
| प्रति कार्य लागत | हैसियत स्थिर पर बढ़त | संदर्भ फूला या रीट्राई बढ़े |
केवल त्रुटि नहीं, व्यवहार पर अलर्ट#
एजेंट शायद ही शोर के साथ विफल होता है। वह धीरे बिगड़ता है: थोड़े और कदम, थोड़ी और रीट्राई, थोड़े और एस्केलेशन — और एक सुबह वह बासी दस्तावेज़ों से जवाब दे रहा होता है। निरपेक्ष सीमा नहीं, चलती खिड़की में बदलाव की दर पर अलर्ट कीजिए। हर अलर्ट के साथ एक प्रतिनिधि रन की ट्रेस जोड़िए।
हर दिन असली रन पढ़िए#
कोई डैशबोर्ड पढ़ने की जगह नहीं लेता। रोज़ कुछ रन चुनिए — कुछ सफल, हर एस्केलेशन, सीमा छूने वाला हर रन — और पूरा पढ़िए। प्रोडक्शन में मिली हर गंभीर समस्या मीट्रिक से पहले ट्रेस में दिखी थी। पढ़ने वाला बदलते रहिए।
जो चौंकाए उसे उसी दिन मूल्यांकन सेट में जोड़िए। यही आदत निगरानी को सुधार में बदलती है।
जो नहीं जुटाना, उसे जुटाए बिना दर्ज करना#
ट्रेस में स्वाभाविक रूप से ग्राहक डेटा होता है। पहचानकर्ता लॉग करते समय ही ढकिए, पूरे संदर्भों की अवधारण मीट्रिक से छोटी रखिए और टूल आर्ग्युमेंट को वही पहुँच नियंत्रण दीजिए जो अंतर्निहित सिस्टम को।
अक्सर पूछे जाने वाले प्रश्न
पूरी ट्रेस कितने समय रखें?
डीबग और ऑडिट के लिए जितनी चाहिए — पूरे संदर्भों के लिए आमतौर पर 30–90 दिन, जबकि मीट्रिक और सारांश बहुत लंबे। यह जान-बूझकर तय कीजिए।
सबसे मूल्यवान अलर्ट कौन-सा?
एस्केलेशन या इंसानी सुधार में बढ़त। बहाव का सबसे शुरुआती ईमानदार संकेत, और इसे लेबलिंग नहीं चाहिए।
क्या विशेष ऑब्ज़र्वेबिलिटी टूल चाहिए?
शुरू में नहीं। क्वेरी करने योग्य ट्रेस तालिका अधिकांश ज़रूरत पूरी करती है।
एजेंट निगरानीllm ऑब्ज़र्वेबिलिटीएजेंट ट्रेसिंगप्रोडक्शन ai मीट्रिकएजेंट बहाव
