Model Router
इस पेज पर
Model Router आपकी सुविधा को एक ही, OpenAI-संगत एंडपॉइंट के माध्यम से अग्रणी एआई मॉडलों के कैटलॉग तक प्रीपेड पहुँच देता है। आपके Performance Hub AI Agents बिना किसी सेटअप के इससे स्वचालित रूप से जुड़ जाते हैं, Workflows भी जुड़ सकते हैं, और आप अपनी API कुंजियाँ बनाकर उन्हीं मॉडलों को थर्ड-पार्टी या इन-हाउस सॉफ़्टवेयर में जोड़ सकते हैं — जैसे बुकिंग सहायक, क्लिनिक का इनटेक फ़ॉर्म या होटल कंसीयर्ज ऐप। आप USD बैलेंस टॉप अप करते हैं, खर्च की सीमाएँ सेट करते हैं, और हर अनुरोध को रीयल टाइम में देखते हैं — यह सब एक ही जगह से।
त्वरित संदर्भ
कहाँ मिलेगा: मुख्य मेनू → Model Router (Technology Stack सुविधाएँ)। यह मॉड्यूल मुख्य मेनू के AI Modules & Agents समूह में है।
कौन एक्सेस कर सकता है: केवल Organisation Administrators (Technology Stack सुविधाएँ)।
उद्देश्य: प्रीपेड बैलेंस पर एआई इन्फ़रेंस खरीदना: API कुंजियाँ, खर्च की सीमाएँ, ऑटो टॉप-अप और उपयोग प्रबंधित करना।
यह सब एक साथ कैसे काम करता है
- आपकी सुविधा के पास USD में एक प्रीपेड बैलेंस होता है। आप इसे अपने सहेजे गए बिलिंग कार्ड से (मैन्युअल रूप से या स्वचालित रूप से) टॉप अप करते हैं, और हर एआई अनुरोध उस मॉडल की कीमत पर बैलेंस घटाता है जिसने उसे पूरा किया।
- मॉडल कैटलॉग में कई प्रदाताओं के मॉडल शामिल हैं। सभी मॉडल डिफ़ॉल्ट रूप से सक्षम होते हैं; आप अपनी सुविधा के लिए अलग-अलग मॉडल चालू या बंद कर सकते हैं, और उन्हें प्रति API कुंजी या प्रति कनेक्टेड सेवा और भी सीमित कर सकते हैं।
- मॉडलों का उपयोग करने के दो तरीके हैं:
- Connected Services — पेयर किए गए एआई एजेंट डिवाइस बिना किसी API कुंजी के स्वचालित रूप से जुड़ जाते हैं, और Workflows भी जुड़ सकते हैं।
- आपकी अपनी API कुंजियाँ — कुंजियाँ बनाएँ और किसी भी OpenAI-संगत SDK या टूल को Performance Hub एंडपॉइंट पर पॉइंट करें।
- खर्च की सीमाएँ (दैनिक, मासिक, और आजीवन हार्ड कैप) आपको हर कुंजी और कनेक्टेड सेवा में, बैलेंस से स्वतंत्र रूप से खर्च को सीमित करने देती हैं — और इनके ऊपर प्रति-कुंजी तथा प्रति-सेवा अधिक कड़ी सीमाएँ भी उपलब्ध हैं।
- हर अनुरोध — मॉडल, टोकन, लागत, विलंबता और स्थिति — Activity एनालिटिक्स और Logs टैब में दर्ज होता है। प्रॉम्प्ट और प्रतिक्रिया की सामग्री कभी संग्रहीत नहीं की जाती।
मुख्य क्षेत्र
मॉड्यूल में चार टैब और एक Settings क्षेत्र (कॉग आइकन, ऊपर दाईं ओर) है:
| क्षेत्र | आप वहाँ क्या करते हैं |
|---|---|
| Overview | डैशबोर्ड: उपलब्ध बैलेंस, आज और इस महीने का खर्च, अनुमानित रनवे, खर्च और अनुरोध चार्ट, विश्वसनीयता एक नज़र में, बजट उपयोग, और शीर्ष एजेंट व कुंजियाँ। |
| Activity | चार दृश्यों (Overview, Trends, Performance, Explore) के साथ विस्तृत उपयोग एनालिटिक्स, कुंजी/एजेंट और मॉडल के अनुसार फ़िल्टर, और CSV निर्यात। |
| Budgets & Limits | दो उप-टैब: Spend Limits (पूरे खाते की दैनिक/मासिक/आजीवन सीमाएँ और प्रति-सेवा सीमाएँ) और Balance & Top-up (मैन्युअल टॉप-अप, ऑटो टॉप-अप, लेन-देन इतिहास और मासिक उपयोग)। |
| Logs | प्रति-अनुरोध ऑडिट ट्रेल: हर अनुरोध का मॉडल, टोकन, लागत, गति और स्थिति, लाइव रीफ़्रेश, खोज, फ़िल्टर और विवरण ड्रॉअर के साथ। |
| Settings (कॉग) | Models (कैटलॉग मॉडल सक्षम/अक्षम करें, Auto Router संपादित करें), Service Access & API Keys (कनेक्टेड सेवाएँ, API कुंजियाँ और API कनेक्शन विवरण), और Guardrails (सामग्री सुरक्षा और कस्टम सामग्री फ़िल्टर)। |
Overview डैशबोर्ड
Overview टैब आपके खाते का सारांश एक नज़र में देता है।
चित्र 1: स्टैट बैंड (Available balance, Spent today, Spent this month और Estimated runway) और ऑटो टॉप-अप, सीमाओं, मॉडलों तथा कनेक्टेड सेवाओं के लिए त्वरित-झलक चिप्स
स्टैट बैंड के नीचे, चिप्स ऑटो टॉप-अप, खर्च की सीमाओं, सक्षम मॉडलों और कितनी कनेक्टेड सेवाएँ ऑनलाइन हैं, इसका सारांश देते हैं। जब बैलेंस ऑटो टॉप-अप सीमा के बराबर या उससे कम होता है, तो उनके बगल में एक Low balance चिप दिखाई देता है।
- Available balance — इस समय शेष प्रीपेड क्रेडिट।
- Spent today / Spent this month — वर्तमान दिन और कैलेंडर महीने में उपयोग शुल्क (सुविधा का स्थानीय समय)।
- Estimated runway — "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."
चित्र 2: समय के साथ खर्च (पिछले 14 दिन, पिछली अवधि की तुलना में परिवर्तन के साथ) और मॉडल के अनुसार खर्च
चित्र 3: मॉडल के अनुसार समय के साथ अनुरोध, और त्रुटि दर, p95 विलंबता तथा समय के साथ विलंबता के साथ विश्वसनीयता व गति
चित्र 4: बजट उपयोग और खर्च के अनुसार क्रमबद्ध शीर्ष एजेंट व कुंजियाँ
चित्र 5: Activity हीटमैप: एक वर्ष का उपयोग, जिसे Tokens, Spend और Requests के बीच बदला जा सकता है, साथ में सबसे लंबी लगातार अवधि और दैनिक तथा साप्ताहिक औसत
दस्तावेज़ीकरण गाइड
अवधारणाएँ
- यह कैसे काम करता है — वैचारिक मॉडल: प्रीपेड बैलेंस बनाम खर्च की सीमाएँ, पहुँच के दो मार्ग, अनुरोधों का मूल्य कैसे तय होता है, और पूरी शब्दावली।
शुरुआत करना
- शुरुआत करना — मॉड्यूल सक्षम करना, आपका पहला टॉप-अप, और आपका पहला अनुरोध।
- अपना एप्लिकेशन कनेक्ट करना — आपके अपने सॉफ़्टवेयर के लिए क्विकस्टार्ट: बेस URL, प्रमाणीकरण, और curl / Python / TypeScript उदाहरण।
पहुँच का प्रबंधन
- Models — कैटलॉग, मॉडलों को सक्षम और अक्षम करना, त्वरित प्रीसेट, और Auto Router।
- API कुंजियाँ — कुंजियाँ बनाना, एक बार दिखाया जाने वाला सीक्रेट, प्रति-कुंजी खर्च सीमा, रेट लिमिट, मॉडल प्रतिबंध, और रोटेट/रद्द/हटाने का जीवनचक्र।
- Connected Services — पेयर किए गए AI Agents और Workflows कैसे जुड़ते हैं, और हर एक को कैसे सीमित करें।
- Guardrails — सामग्री सुरक्षा (PII मास्किंग, सीक्रेट रिडैक्शन, प्रॉम्प्ट-इंजेक्शन शील्ड) और कस्टम सामग्री फ़िल्टर।
पैसा और निगरानी
- बजट और टॉप-अप — बैलेंस, मैन्युअल और ऑटो टॉप-अप, रसीदें, लेन-देन इतिहास, मासिक उपयोग, और खर्च की सीमाएँ।
- गतिविधि और लॉग — एनालिटिक्स दृश्य, CSV निर्यात, और अनुरोध लॉग।
संदर्भ
- संदर्भ — हर सेटिंग, डिफ़ॉल्ट, सीमा और त्रुटि प्रतिक्रिया एक ही जगह पर।
- समस्या निवारण — अवरुद्ध अनुरोधों, कुंजी समस्याओं और बैलेंस से जुड़े प्रश्नों के लिए लक्षण-दर-लक्षण समाधान।
- सामान्य प्रश्न — अक्सर पूछे जाने वाले प्रश्न।
शुरुआत करने की चेकलिस्ट
आगे बढ़ते हुए आइटम पर टिक लगाएँ — आपकी प्रगति इस ब्राउज़र में सहेजी जाती है, और आप सूची प्रिंट कर सकते हैं।
सुविधा चुनना
मॉड्यूल प्रति सुविधा कॉन्फ़िगर किया जाता है। आप किस सुविधा को कॉन्फ़िगर कर रहे हैं, यह चुनने के लिए मुख्य Performance Hub टूलबार में सुविधा चयनकर्ता का उपयोग करें। सुविधा का संदर्भ लोड होने के दौरान, मॉड्यूल "Loading facility context…" दिखाता है।