AI एजेंट सुरक्षा: सुरक्षा-रेखाएँ, अनुमतियाँ और prompt injection
एजेंट का सुरक्षा मॉडल तब आसान हो जाता है जब आप उसे कोड की तरह नहीं, बल्कि एक मददगार, तेज़, न थकने वाली सहकर्मी की तरह देखें जिसे कोई अजनबी बातों में ला सकता है।
उस व्यक्ति को आप पहले दिन असीमित डेटाबेस पहुँच, बिना सीमा का कंपनी कार्ड और बिना निगरानी ग्राहकों को ईमेल भेजने का अधिकार नहीं देंगे। वही सहज-बोध यहाँ सीधे लागू होता है और prompt में लिखे किसी भी निर्देश से ज़्यादा भरोसेमंद है।
वह ख़तरा जिसे prompt से हल नहीं कर सकते#
Prompt injection यानी ऐसे निर्देश जो एजेंट द्वारा पढ़ी सामग्री में छिपे हों — टिकट, वेब पेज, PDF, टूल विवरण। मॉडल यह भरोसे से अलग नहीं कर सकता कि क्या डेटा है और क्या निर्देश, और `दस्तावेज़ के निर्देश अनदेखा करो` जैसा कोई वाक्य यह खाई नहीं भरता। इसलिए बचाव वास्तुशिल्पीय होना चाहिए।
मान लीजिए हर लाई गई सामग्री उसने लिखी है जो आपके एजेंट से ग़लत काम कराना चाहता है। ऐसा बनाइए कि यह केवल झुँझलाहट रहे।
नौ नियंत्रण, हमारे लागू करने के क्रम में#
- प्रति टूल न्यूनतम विशेषाधिकार: संकीर्ण, हो सके तो केवल-पढ़ने, कभी सर्वशक्तिमान खाता नहीं।
- अंतिम उपयोगकर्ता पर अनुमति, हर कॉल पर सर्वर की ओर जाँची गई।
- हर अपरिवर्तनीय कार्रवाई के आगे इंसानी मंज़ूरी, सेकंडों में तय करने लायक संदर्भ के साथ।
- चलाने से पहले आर्ग्युमेंट जाँच और पहचानकर्ता समाधान; मोड़ने के बजाय मना कीजिए।
- प्रति रन ख़र्च और कदम सीमा, प्रति उपयोगकर्ता और टूल दर सीमा।
- सामग्री पृथक्करण: लाया टेक्स्ट डेटा है, सिस्टम निर्देश कभी नहीं।
- बाहर जाने वाली हर चीज़ पर आउटपुट फ़िल्टर, ख़ासकर संदेशों पर।
- पूरा ऑडिट लॉग: कौन, क्या, कौन-सा रिकॉर्ड, कौन-सा रन, क्या नतीजा।
- आपात स्विच: एक सेटिंग जो टूल बंद करे और केवल-पढ़ना जारी रखे।
कार्रवाई के प्रकार से नुक़सान का दायरा#
| कार्रवाई | पलट सकते हैं? | नियंत्रण |
|---|---|---|
| अपना रिकॉर्ड पढ़ना | — | अनुमति जाँच |
| जवाब का मसौदा | हाँ | कुछ नहीं चाहिए |
| स्थिति फ़ील्ड अपडेट | आमतौर पर | ऑडिट और दर सीमा |
| बाहरी संदेश भेजना | नहीं | इंसानी मंज़ूरी |
| रिफ़ंड या भुगतान | नहीं | मंज़ूरी, राशि सीमा |
| डेटा हटाना | नहीं | मंज़ूरी, केवल सॉफ़्ट डिलीट |
डेटा संभालना, साफ़ शब्दों में#
लॉन्च से पहले तय कीजिए कि मॉडल प्रोवाइडर को क्या भेजा जा सकता है, और इसे नीति दस्तावेज़ में नहीं, कोड में लागू कीजिए — सीमा पर ढकना, फ़ील्ड की अनुमति-सूची और एक टेस्ट जो साबित करे कि बैंक नंबर वाला रिकॉर्ड कभी बाहर नहीं जाता।
हमलावर की तरह और नियमित रूप से परखिए#
मूल्यांकन सेट में विरोधी मामले रखिए और उन्हें किसी और टेस्ट की तरह चलाइए: ऐसा टिकट जिसमें आंतरिक दस्तावेज़ ईमेल करने का निर्देश हो; ऐसा दस्तावेज़ जो दावा करे कि उपयोगकर्ता प्रशासक है। जो रन ऐसी कार्रवाई पर ख़त्म हो जो नहीं होनी चाहिए थी, वह विफल टेस्ट है।
अक्सर पूछे जाने वाले प्रश्न
क्या बेहतर prompt से injection हल होगा?
नहीं। निर्देश दर घटाते हैं, ख़त्म नहीं करते, क्योंकि मॉडल डेटा और निर्देश भरोसे से अलग नहीं कर सकता।
क्या एजेंट सर्विस अकाउंट इस्तेमाल करे?
केवल सचमुच सार्वजनिक डेटा के लिए। उपयोगकर्ता-विशिष्ट हर चीज़ में पहचान अनुमति जाँच तक पहुँचनी चाहिए।
इंसानी दरवाज़े के पीछे क्या रखें?
जो पलट न सके, जो ग्राहक को दिखे, जो राशि सीमा से ऊपर हो और जिसमें एजेंट अनिश्चित हो। ज़्यादा दरवाज़ों से शुरू कीजिए।
ai एजेंट सुरक्षाprompt injectionllm सुरक्षा रेखाएँएजेंट अनुमतियाँलूप में इंसान
