Le Répertoire des AgentsFR · EN · ES · JA · HI
मुखपृष्ठ › उन्नत एजेंट

« मेरे एजेंट बिना नियंत्रण के ख़र्च करते हैं और API बिल फट जाता है »

डेवलपर्स और छोटी टीमें जिन्हें पहले से एक नमकीन API बिल मिला है : एक सप्ताहांत में लूप में गया एक एजेंट, पूरी टीम द्वारा साझा एक कुंजी, यह जानना असंभव कि किस प्रोजेक्ट ने बजट जलाया।

अनुशंसित एजेंट : LiteLLM
💰 सेल्फ़-होस्टेड में मुफ़्त (open source) ; आप अपने मॉडलों को कॉल का भुगतान जारी रखते हैं — लेकिन इस बार सीमित। स्तर : उन्नत 🌍 अमेरिका खुद होस्ट करने के लिए मुफ़्त open source वर्शन (MIT लाइसेंस) ; समर्थन के साथ Enterprise ऑफ़र कोटेशन पर

प्रकार : विशेष एजेंट — मॉडल एक्सेस विशेषज्ञ : सभी मॉडल प्रदाताओं के लिए एकमात्र गेटवे, API ख़र्च के रूटिंग और नियंत्रण के साथ।

तकनीकी

कीमत सत्यापित 29 अक्टूबर 2026.

LiteLLM (litellm.ai), एक open source प्रॉक्सी जो आपकी एप्लिकेशनों और मॉडल प्रदाताओं (OpenAI, Anthropic, Google…) के बीच स्थित होता है। सब कुछ उससे होकर गुज़रता है : वह प्रति व्यक्ति, प्रोजेक्ट या एजेंट आभासी कुंजियाँ वितरित करता है, हर ख़र्च को ट्रैक करता है और जब कोई बजट पूरा हो जाता है तो साफ़ रोक देता है — महीने के अंत में बिल खोजने के बजाय।

यह कैसे काम करता है

ट्रिगर : आपके एजेंटों या एप्लिकेशनों में से एक मॉडल को कॉल करता है — कुंजी और उसके शेष बजट की जाँच करता है, कॉल को सही मॉडल की ओर भेजता है और ख़र्च का हिसाब रखता है, और आपको मिलता है सही कुंजी को आरोपित एक ख़र्च, और सीमा पार होते ही अवरुद्ध कॉल.

चरण-दर-चरण सेटअप

  1. LiteLLM को उसके डेटाबेस के साथ सेल्फ़-होस्टेड (Docker) में इंस्टॉल करें — अनिवार्य : उसके बिना, बजट लागू नहीं होते।
  2. अपने मॉडल प्रदाता खातों (आपकी OpenAI, Anthropic keys…) को प्रॉक्सी में जोड़ें।
  3. प्रति एप्लिकेशन, व्यक्ति या एजेंट एक आभासी कुंजी बनाएँ, मासिक बजट और अधिकृत मॉडलों के साथ।
  4. अपने एजेंटों को प्रॉक्सी के पते की ओर इंगित करें, और हर बजट के 50 % और 80 % पर एक अलर्ट लगाएँ।
⚠️ सुरक्षा-रेल : सुरक्षा-रेल तभी मूल्यवान है जब वह सक्रिय हो : LiteLLM का दस्तावेज़ीकरण निर्दिष्ट करता है कि बिना जुड़े डेटाबेस के, बजट बस जाँचे ही नहीं जाते। व्यवस्था पर भरोसा करने से पहले एक छोटी कुंजी से अवरोध को टेस्ट करें, और रक्षा की दूसरी पंक्ति के रूप में प्रदाताओं की मूल सीमाएँ भी बनाए रखें।
क्विज़ के साथ अपना एजेंट खोजें →
🔧 तकनीकी विवरण
स्थापना
Auto-hébergé
पूर्वापेक्षाएँ
uv/pip के माध्यम से Python (SDK या प्रॉक्सी « litellm[proxy] ») या Docker ; लक्षित मॉडल प्रदाताओं की API keys ; आधिकारिक दस्तावेज़ीकरण के अनुसार, प्रॉक्सी सर्वर सुविधाओं (आभासी कुंजियाँ, ख़र्च ट्रैकिंग) के लिए डेटाबेस आवश्यक।
हार्डवेयर
non_applicable
सेल्फ़-होस्टिंग
हाँ — सेल्फ़-होस्टेड AI Gateway (Python बाइनरी या Docker, AWS/GCP Terraform टेम्पलेट प्रदान किए गए) ; प्रकाशक के यहाँ एक होस्टेड प्रॉक्सी ऑफ़र भी मौजूद है।
लाइसेंस
open_core — संपूर्ण रिपॉज़िटरी के लिए MIT License, enterprise/ फ़ोल्डर को छोड़कर, जो एक अलग Enterprise लाइसेंस के अंतर्गत है (आधिकारिक LICENSE फ़ाइल) ; इस कारण GitHub लाइसेंस को « Other (NOASSERTION) » वर्गीकृत करता है।
API और एकीकरण
API : oui — गेटवे द्वारा प्रदर्शित OpenAI-संगत API (/chat/completions, /responses, /embeddings, /images, /audio, /batches, /rerank, /messages, आदि)। · SDK : oui — आधिकारिक Python SDK (litellm / litellm-core), और एक Rust कोर। · CLI : oui — प्रॉक्सी शुरू करने के लिए litellm CLI (जैसे litellm --model …)। · Webhooks : Non documenté · MCP : oui — दस्तावेज़ित MCP Bridge (SDK) और MCP Gateway (गेटवे) ; A2A प्रोटोकॉल का भी समर्थन।
मॉडल
OpenAI प्रारूप में 100 से अधिक LLM प्रदाता (OpenAI, Anthropic, Gemini, Bedrock, Azure, Vertex AI, vLLM, NVIDIA NIM, आदि), आपके अपने प्रदाता keys के साथ (BYOK) ; संगत प्रदाताओं के माध्यम से स्थानीय मॉडल सुलभ (जैसे Ollama, vLLM)।
डेटा
अनुरोध आपकी गेटवे से होकर प्रदाताओं तक जाते हैं ; लॉग और ख़र्च ट्रैकिंग आपके डिप्लॉयमेंट में केंद्रीकृत हैं (बिल्ट-इन प्रशासन इंटरफ़ेस), आधिकारिक दस्तावेज़ीकरण के अनुसार।
दस्तावेज़ित सीमाएँ
बजट और दर सीमाएँ प्रति आभासी कुंजी कॉन्फ़िगर करने योग्य सुविधाएँ हैं, प्रकाशित तकनीकी सीमाएँ नहीं।
संचालन
आधिकारिक दस्तावेज़ीकरण के अनुसार, गेटवे में एकीकृत आभासी कुंजियाँ, ख़र्च ट्रैकिंग, सुरक्षा-रेल, लोड संतुलन, केंद्रीकृत लॉगिंग और वेब प्रशासन इंटरफ़ेस।

आधिकारिक स्रोत : docs.litellm.ai · github.com · github.com — सत्यापित 1 नवंबर 2026.

अक्सर पूछे जाने वाले सवाल

LiteLLM का खर्च कितना आता है ?

सेल्फ़-होस्टेड में मुफ़्त (open source) ; आप अपने मॉडलों को कॉल का भुगतान जारी रखते हैं — लेकिन इस बार सीमित। खुद होस्ट करने के लिए मुफ़्त open source वर्शन (MIT लाइसेंस) ; समर्थन के साथ Enterprise ऑफ़र कोटेशन पर. कीमत सत्यापित 29 अक्टूबर 2026.

क्या LiteLLM मुफ़्त है ?

Oui. खुद होस्ट करने के लिए मुफ़्त open source वर्शन (MIT लाइसेंस) ; समर्थन के साथ Enterprise ऑफ़र कोटेशन पर.

क्या LiteLLM को संभालना मुश्किल है ?

स्तर : उन्नत। स्थापना 4 चरणों में होती है ; पहला चरण : LiteLLM को उसके डेटाबेस के साथ सेल्फ़-होस्टेड (Docker) में इंस्टॉल करें — अनिवार्य : उसके बिना, बजट लागू नहीं होते।

LiteLLM के साथ जानने योग्य सीमाएँ और सुरक्षा-रेल क्या हैं ?

सुरक्षा-रेल तभी मूल्यवान है जब वह सक्रिय हो : LiteLLM का दस्तावेज़ीकरण निर्दिष्ट करता है कि बिना जुड़े डेटाबेस के, बजट बस जाँचे ही नहीं जाते। व्यवस्था पर भरोसा करने से पहले एक छोटी कुंजी से अवरोध को टेस्ट करें, और रक्षा की दूसरी पंक्ति के रूप में प्रदाताओं की मूल सीमाएँ भी बनाए रखें।

इस समस्या के लिए अन्य एजेंट

LLM Council

मैं एक बड़े फ़ैसले से पहले एक ठोस दूसरी राय चाहता हूँ

मुफ़्त सॉफ़्टवेयर (सार्वजनिक रिपॉज़िटरी, बिना open source लाइसेंस के) ; आप मॉडलों को कॉल का भुगतान करते हैं (एक अकेले मॉडल से पूछे गए सवाल की लागत का लगभग 2 से 3 गुना)।

CrewAI

मैं एक एजेंटों की टीम चाहता हूँ जो एक बड़ा काम बाँट ले

open source फ़्रेमवर्क और आधार प्लेटफ़ॉर्म (50 निष्पादन/माह) के लिए 0 $ ; उद्यम प्लेटफ़ॉर्म कोटेशन पर, मॉडलों को कॉल की लागत के अतिरिक्त।

LangGraph

मैं एक अनुकूलित एजेंट वर्कफ़्लो चाहता हूँ, हर चरण नियंत्रित

मुफ़्त open source लाइब्रेरी ; आप मॉडलों को कॉल का भुगतान करते हैं, और LangSmith का अगर आप उसे लेते हैं (शुरू में मुफ़्त, फिर 39 $/उपयोगकर्ता/माह)।

AutoGen

मैं ऐसे एजेंट चाहता हूँ जो समाधान खोजने तक आपस में बहस करें

मुफ़्त open source ; आप एजेंटों द्वारा उपयोग किए जाने वाले मॉडलों को कॉल का भुगतान करते हैं — कई चक्करों की बहस एक साधारण उत्तर की कई गुना लागत देती है।

MCP (Model Context Protocol)

मैं अपने स्वयं के टूल और डेटा को अपने एजेंटों से जोड़ना चाहता हूँ

मुफ़्त : यह एक खुला मानक है, कोई उत्पाद नहीं ; आप जो भी टूल जोड़ते हैं वह अपना स्वयं का मूल्य रखता है।

इसी श्रेणी में

« मैं एक बड़े फ़ैसले से पहले एक ठोस दूसरी राय चाहता हूँ » — LLM Council« मैं एक एजेंटों की टीम चाहता हूँ जो एक बड़ा काम बाँट ले » — CrewAI« मैं एक अनुकूलित एजेंट वर्कफ़्लो चाहता हूँ, हर चरण नियंत्रित » — LangGraph

फ़िश अद्यतन 1 नवंबर 2026 — देखें निर्देशिका की नवीनताएँ.