AI एजेंट ठीक इसलिए उपयोगी हैं क्योंकि वे अकेले काम करते हैं — और यही उन्हें जोखिम भरा भी बनाता है। यहाँ वे चार जोखिम हैं जिनसे उपयोगकर्ता सच में मिलते हैं, और वे सुरक्षा-रेल जो काम करती हैं, बिना अलार्म या भोलेपन के।
Un agent ne dit presque jamais « je ne sais pas » : il produit des réponses fluides, y compris quand elles sont fausses — un prix inventé, une date décalée, un résumé qui inverse une nuance. Le danger n'est pas l'erreur grossière, que vous repérez, मईs l'erreur plausible que vous laissez passer. Garde-fou : जो कुछ भी प्रतिबद्ध करता है (पैसा, ग्राहक, प्रतिष्ठा), उसके लिए उद्धृत स्रोत माँगें और महत्वपूर्ण अंश दोबारा पढ़ें — या कार्रवाई से पहले मानवीय सत्यापन कॉन्फ़िगर करें।
उपयोग पर भुगतान किया जाने वाला एजेंट जो लक्ष्य से भटक जाए, वह एक ही कार्रवाई सैकड़ों बार दोहरा सकता है: दस्तावेज़ित मामले दिखाते हैं कि कोड एजेंट एक ही ग़लत ढंग से परिभाषित कार्यदिवस में सैकड़ों डॉलर के API कॉल खर्च कर देते हैं। Garde-fous : प्रति काम चरणों की अधिकतम संख्या, प्रति दिन और प्रति एजेंट खर्च की सीमा — असली रोक के साथ, केवल अलर्ट नहीं — और हर सप्ताह देखी जाने वाली लागत रिपोर्ट। तकनीकी उपयोगों के लिए, LiteLLM ठीक इसके लिए बनाया गया टूल है; Langfuse हर निष्पादन को बाद में दोबारा चलाने योग्य बनाता है।
Pour travailler, un agent lit vos courriels, vos documents, parfois vos dossiers entiers. Ces données transitent chez l'éditeur de l'outil et celui du modèle — souvent aux अमेरिका. Garde-fous : केवल ज़रूरी फ़ोल्डरों को अनुमति दें, जाँचें कि डेटा कहाँ होस्ट किया गया है और क्या यह मॉडलों को प्रशिक्षित करने के काम आता है (और जब संभव हो तो इसे बंद करें), और सच में संवेदनशील डेटा के लिए, स्थानीय रूप से चलने वाले मॉडलों को प्राथमिकता दें (Ollama (agents locaux)) या एक यूरोपीय प्रकाशक जैसे Mistral Vibe (ex-Le Chat)। Québec में, Loi 25 Québec के बाहर व्यक्तिगत जानकारी के संचार को नियंत्रित करती है; यूरोप में, यह RGPD है: दोनों मामलों में, ज़िम्मेदारी आपकी ही रहती है।
पहले उपयोगकर्ताओं द्वारा बताए गए अधिकांश घटनाओं का एक ही कारण है: एक एजेंट जिसे पहले दिन से ही भेजने, भुगतान करने या हटाने की अनुमति थी। Garde-fous : केवल-पढ़ने के मोड से शुरू करें, फिर « ड्राफ़्ट » मोड में (एजेंट तैयार करता है, आप भेजते हैं), और स्वायत्त कार्रवाई केवल उन कामों पर खोलें जिनके परिणाम आपने कई सप्ताह तक दोबारा पढ़े हों। डिफ़ॉल्ट रूप से मना करें: बिना सत्यापन के भुगतान, नए प्राप्तकर्ताओं को भेजना, स्थायी हटाना।
एक एजेंट को परिवीक्षा अवधि में बहुत तेज़ कर्मचारी की तरह मानें: एक लिखित दायरा, संख्यात्मक सीमाएँ, उसने क्या किया उसका एक जर्नल, और ज़िम्मेदारियाँ जो सिद्ध विश्वास के साथ बढ़ती हैं — कभी उल्टा नहीं। इस रिपॉज़िटरी की सभी फ़िश टूल की अपनी सुरक्षा-रेल के साथ ख़त्म होती हैं; उन्हें गंभीरता से लें, वे पहले उपयोगकर्ताओं की असली घटनाओं से आती हैं।
रिपॉज़िटरी की 111 फ़िश देखें →