एजेंट के लिए RAG: संदर्भ में डूबे बिना जवाब को आधार देना
Retrieval-augmented generation को आमतौर पर एक पाइपलाइन की तरह पेश किया जाता है: सवाल एम्बेड करो, शीर्ष टुकड़े लाओ, चिपकाओ, बनाओ। यह प्रश्नोत्तर बॉक्स के लिए ठीक है। एजेंट के भीतर यह ग़लत रूप है, क्योंकि एजेंट को तब तक पता नहीं होता कि उसे क्या चाहिए जब तक वह एक कदम न ले ले।
काम करने वाला संस्करण retrieval को उस टूल की तरह देखता है जिसे एजेंट तब बुलाता है जब उसे प्रमाण चाहिए — कभी अलग सवालों के साथ दो बार, कभी बिल्कुल नहीं। यही एक बदलाव बहुत सारा अप्रासंगिक संदर्भ हटाता है।
Retrieval प्रस्तावना नहीं, टूल है#
खोज को सामान्य टूल की तरह खोलिए: सवाल का आर्ग्युमेंट और छोटा संरचित रिटर्न — कुछ पैराग्राफ़, हर एक पहचानकर्ता और स्रोत के साथ। एजेंट तय करता है कब बुलाए, लौटा देखकर सवाल सुधार सकता है और जवाब संरचित डेटा हो तो दूसरा टूल बुला सकता है।
एजेंट के लिखे सवाल दर्ज कीजिए। आपके उपयोगकर्ता असल में क्या पूछते हैं, इसका सबसे ईमानदार विवरण वही है।
एम्बेडिंग मॉडल से ज़्यादा मायने रखते चंकिंग निर्णय#
- तय अक्षर संख्या नहीं, संरचना पर बाँटिए — शीर्षक, अनुभाग, सूची आइटम।
- हर टुकड़ा अपने आप में समझ में आए: `यह भी ज़रूरी है` से शुरू होता टुकड़ा बेकार है।
- हर टुकड़े के साथ दस्तावेज़ शीर्षक और अनुभाग शीर्षक जोड़िए।
- हर टुकड़े के साथ पहचानकर्ता और URL रखिए ताकि जवाब स्रोत दिखा सके।
- कम, बड़े और अर्थपूर्ण टुकड़े बेहतर; ओवरलैप ख़राब सीमाओं का पैबंद है।
असली संग्रहों पर मिश्रित खोज शुद्ध वेक्टर को हराती है#
| सवाल का प्रकार | वेक्टर खोज | कीवर्ड | सबसे अच्छा |
|---|---|---|---|
| अवधारणात्मक सवाल | मज़बूत | कमज़ोर | वेक्टर |
| सटीक कोड या त्रुटि टेक्स्ट | कमज़ोर | मज़बूत | कीवर्ड |
| दुर्लभ नाम | मिश्रित | मज़बूत | कीवर्ड |
| दोबारा कहे नीति सवाल | मज़बूत | कमज़ोर | वेक्टर |
| कुल असली ट्रैफ़िक | मिश्रित | मिश्रित | दोनों, मिलाकर पुनःक्रमित |
स्रोत दिलवाइए और विफल होने दीजिए#
भरोसे का अधिकांश काम दो शर्तें करती हैं। पहली, retrieval से आया हर दावा अपने पैराग्राफ़ का पहचानकर्ता रखता है और आपका इंटरफ़ेस उसे लिंक बनाता है। दूसरी, खोज कुछ न लौटा सके और एजेंट को सिखाया जाए कि `यह हमारे दस्तावेज़ों में नहीं मिला` सही नतीजा है। जो एजेंट खोज में विफल नहीं हो सकता, वह गढ़ेगा।
इंडेक्स को ईमानदार रखना#
Retrieval गुणवत्ता चुपचाप गिरती है। दस्तावेज़ बदलते हैं, अनुभाग हटते हैं और इंडेक्स वही परोसता रहता है जो उसने आख़िरी बार देखा। नियमित पुनः-इंडेक्स कीजिए, हटे स्रोत वाले टुकड़े मिटाइए और ज्ञात सही पैराग्राफ़ वाले सवालों का छोटा सेट रखिए।
अक्सर पूछे जाने वाले प्रश्न
क्या एजेंट हमेशा जवाब से पहले खोजे?
नहीं। हर अनुरोध पर खोज विलंब बर्बाद करती है और उन सवालों में संदर्भ भरती है जिन्हें प्रमाण चाहिए ही नहीं।
कितने पैराग्राफ़ लौटाएँ?
तीन से छह अच्छे चुने पैराग्राफ़ बीस से बेहतर हैं। ज़्यादा टेक्स्ट ध्यान बाँटता है और लागत बढ़ाता है।
अगर retrieval कुछ काम का न लौटाए?
यह समर्थित नतीजा होना चाहिए। स्पष्ट ख़ाली नतीजा लौटाइए और एजेंट को कहने दीजिए कि नहीं मिला और अगला कदम सुझाइए।
एजेंट के लिए ragretrieval augmented generationमिश्रित खोजचंकिंग रणनीतिआधारित जवाब
