पाठ 25 / 31

Agentic Apps के लिए Guardrails

सीमित करें कि agents क्या कर सकते हैं और जो बनाते हैं उसे जाँचें।

लेखक: · 15 साल से वेब डेवलपर

स्वायत्तता को सीमाएँ चाहिए

Agents पाठ पर कार्य करते हैं, और पाठ शत्रुतापूर्ण हो सकता है (web page, ईमेल या दस्तावेज़ में prompt injection)। बचाव: tools को न्यूनतम विशेषाधिकार दें (जहाँ संभव केवल-पढ़ना, सीमित credentials, allow-list की कार्रवाइयाँ और domains); कोड में tool arguments validate करें; अपरिवर्तनीय या महँगी कार्रवाइयों (भुगतान, हटाना, बाहरी ईमेल) के लिए मानव अनुमोदन माँगें; कोड sandbox में चलाएँ; retrieved या tool आउटपुट को डेटा मानें, निर्देश नहीं; चरण, token, समय और लागत सीमाएँ रखें; audit के लिए हर call log करें; और विरोधी उदाहरणों से परखें। जब भी संभव हो खुली स्वायत्तता की जगह सरल, सीमित workflows चुनें।

पूछें: इस tool का सबसे बुरा असर क्या हो सकता है?

उत्तर डरावना हो तो अनुमोदन चरण जोड़ें या tool हटाएँ।

त्वरित जाँच: किस कार्रवाई को मानव अनुमोदन की सबसे स्पष्ट ज़रूरत है?

  • तिथि format करना
  • सार्वजनिक FAQ पढ़ना
  • ग्राहक को refund जारी करना
  • शब्द गिनना
Answer

ग्राहक को refund जारी करना — अपरिवर्तनीय वित्तीय कार्रवाइयों को मानव जाँच चाहिए।