यह कैसे काम करता है

यह पेज Model Router के पीछे की अवधारणाओं को समझाता है — इसे एक बार पढ़ें, और बाकी हर पेज अधिक आसानी से समझ में आएगा।

प्रीपेड बैलेंस

आपकी सुविधा के पास USD में एक प्रीपेड बैलेंस होता है। यह केवल दो दिशाओं में बदलता है:

• बढ़ता है जब आप टॉप-अप करते हैं (मैन्युअल रूप से, ऑटो टॉप-अप के ज़रिए, या आपके खाते में क्रेडिट किए गए किसी समायोजन से)। टॉप-अप तुरंत दिखते हैं।
• घटता है जैसे-जैसे उपयोग होता है। उपयोग इन्फ़रेंस सेवा द्वारा लाइव रिपोर्ट किया जाता है और हर 15 मिनट में आपके प्रीपेड बैलेंस से मिलाया जाता है, इसलिए बहुत हाल की गतिविधि को Monthly usage में दिखने में कुछ मिनट लग सकते हैं। लेन-देन के इतिहास में केवल टॉप-अप और बैलेंस समायोजन होते हैं।

बैलेंस वित्तीय सीमा है: जब यह शून्य पर पहुँचता है, तो टॉप-अप करने तक इन्फ़रेंस अनुरोध insufficient credits त्रुटि के साथ ब्लॉक रहते हैं। शून्य बैलेंस पर भी मॉडलों की सूची मिलती रहती है, ताकि आपके खाते में पैसे जमा करने से पहले ही इंटीग्रेशन कैटलॉग खोज सकें।

मॉडल कैटलॉग

कैटलॉग में कई प्रोवाइडरों के मॉडल हैं, हर एक की कीमत प्रति मिलियन टोकन तय होती है (इनपुट और आउटपुट की कीमत अलग-अलग, Models सेटिंग्स में दिखाई जाती है)। आपकी सुविधा के लिए सभी मॉडल डिफ़ॉल्ट रूप से सक्षम होते हैं; आप:

• Settings → Models में पूरे खाते के लिए मॉडल अक्षम कर सकते हैं (कम से कम एक मॉडल सक्षम रहना चाहिए)।
• प्रति API कुंजी या प्रति कनेक्टेड सेवा मॉडल सीमित कर सकते हैं — सुविधा के सक्षम मॉडलों के ऊपर एक और छोटी सूची।

कैटलॉग की एक विशेष प्रविष्टि, auto (Auto Router), की अपनी कोई कीमत नहीं है। हर अनुरोध के लिए यह प्रॉम्प्ट की जटिलता के आधार पर सबसे अच्छा मॉडल अपने-आप चुनता है, और आपसे उस मॉडल की दर पर शुल्क लिया जाता है जिसे यह चुनता है। Models देखें।

मॉडल उपयोग करने के दो तरीके

1. कनेक्टेड सेवाएँ

आपकी सुविधा के साथ पेयर किए गए एआई एजेंट डिवाइस Model Router से अपने-आप कनेक्ट होते हैं — डिवाइस पर कभी कोई API कुंजी दर्ज नहीं की जाती — और Workflows भी कनेक्ट हो सकते हैं। हर कनेक्टेड सेवा अपने खर्च के आँकड़ों के साथ Settings → Service Access & API Keys में Connected Services के अंतर्गत दिखती है, और आप हर एक को उसकी अपनी खर्च सीमाएँ, मॉडल प्रतिबंध और गार्डरेल ओवरराइड दे सकते हैं। Connected Services देखें।

2. आपकी अपनी API कुंजियाँ

आप API कुंजियाँ (ये phk_ से शुरू होती हैं) प्रोविज़न कर सकते हैं, ताकि BYOK (Bring Your Own Key) का समर्थन करने वाले थर्ड-पार्टी सॉफ़्टवेयर और सिस्टम Performance Hub द्वारा प्रकाशित मॉडलों से कनेक्ट हो सकें। एंडपॉइंट OpenAI-संगत है — किसी भी OpenAI SDK या टूल को बेस URL पर पॉइंट करें और अपनी कुंजी से प्रमाणित करें। API कुंजियाँ और अपना एप्लिकेशन कनेक्ट करना देखें।

दोनों रास्ते एक ही बैलेंस से खर्च करते हैं, खाते-भर की एक जैसी खर्च सीमाओं का पालन करते हैं, एक ही Activity एनालिटिक्स और Logs में दिखते हैं, और इन्हें अलग-अलग सीमित किया जा सकता है।

बैलेंस बनाम खर्च सीमाएँ

ये दो अलग-अलग तंत्र हैं, और दोनों लागू होते हैं:

खाते की खर्च सीमाएँ तीन समय-खंडों में आती हैं — दैनिक (हर दिन आधी रात को, सुविधा के स्थानीय समय के अनुसार रीसेट होती है), मासिक (हर महीने की 1 तारीख को, सुविधा के स्थानीय समय के अनुसार रीसेट होती है), और एक आजीवन हार्ड कैप (पिछले मैन्युअल रीसेट के बाद से खर्च गिनता है; अपने-आप कभी रीसेट नहीं होता)। कोई भी संयोजन एक साथ सक्रिय हो सकता है, और सीमाएँ सभी API कुंजियों और कनेक्टेड सेवाओं पर मिलाकर लागू होती हैं। प्रीपेड बैलेंस इसके ऊपर भी लागू रहता है।

प्रति-कुंजी और प्रति-सेवा सीमाएँ भी इसी तरह काम करती हैं (दैनिक, मासिक, आजीवन), लेकिन केवल उसी कुंजी या सेवा का खर्च गिनती हैं। जब कोई सीमा पूरी होती है, तो केवल वही कुंजी या सेवा ब्लॉक होती है — बाकी सुविधा काम करती रहती है।

अनुरोध कैसे प्रोसेस होता है

जब कोई अनुरोध एंडपॉइंट पर आता है, तो जाँचें इस क्रम में चलती हैं:

1. प्रमाणीकरण — एक मान्य API कुंजी या कनेक्टेड सेवा की पहचान। API कुंजी के लिए, जिस सुविधा में Model Router सक्षम नहीं है, उसे यहीं HTTP 403 ("Model Router is not enabled for this facility") के साथ अस्वीकार कर दिया जाता है। मॉडलों की सूची (GET /v1/models) का उत्तर प्रमाणीकरण के तुरंत बाद दिया जाता है, इसलिए यह शून्य बैलेंस पर भी काम करती रहती है।
2. प्रीपेड क्रेडिट जाँच — उपलब्ध बैलेंस $0 से अधिक होना चाहिए (कनेक्टेड सेवाओं के लिए, Model Router का सक्षम होना भी ज़रूरी है); अन्यथा अनुरोध insufficient credits त्रुटि (HTTP 402) के साथ अस्वीकार कर दिया जाता है।
3. खाते की खर्च सीमाएँ — अगर कोई दैनिक, मासिक या आजीवन सीमा पार होती है, तो अनुरोध budget exceeded त्रुटि (HTTP 402) के साथ अस्वीकार कर दिया जाता है, जो आपकी सुविधा के टाइमज़ोन में बताती है कि समय-खंड कब रीसेट होगा।
4. प्रति-कुंजी / प्रति-सेवा खर्च सीमाएँ — वही जाँच, कॉल करने वाली कुंजी या सेवा तक सीमित।
5. प्रॉम्प्ट जाँच — प्रॉम्प्ट पर प्रॉम्प्ट-इंजेक्शन शील्ड और आपके कस्टम सामग्री फ़िल्टर चलते हैं। कोई block फ़िल्टर या इंजेक्शन मिलने पर अनुरोध अस्वीकार हो जाता है (HTTP 403, content policy violation); redact फ़िल्टर मेल खाने वाले हिस्सों को [REDACTED] में बदलते हैं और अनुरोध को जारी रहने देते हैं।
6. मॉडल रूटिंग — Auto Router auto को किसी ठोस मॉडल में बदलता है (इमेज वाला अनुरोध आपके द्वारा अनुमत, विज़न-सक्षम मॉडल पर भेजा जाता है)। फ़ॉलबैक मॉडल उन मॉडलों तक फ़िल्टर किए जाते हैं जिनका उपयोग कुंजी कर सकती है, जब अनुरोध अपनी रीज़निंग सेटिंग नहीं देता तो आपकी रीज़निंग सेटिंग लागू होती है, और अनुरोधित आउटपुट सीमाएँ मॉडल की समर्थित सीमा तक घटा दी जाती हैं।
7. इन्फ़रेंस — प्रॉम्प्ट के मॉडल तक पहुँचने से पहले इन्फ़रेंस सेवा PII मास्किंग और सीक्रेट रिडैक्शन (सक्षम होने पर) लागू करती है; फिर अनुरोध मॉडल प्रोवाइडर के पास जाता है और रिस्पॉन्स स्ट्रीम होकर वापस आता है।

रेट सीमाएँ (अनुरोध/मिनट और टोकन/मिनट, अगर कुंजी या सेवा पर सेट हों) पूरी प्रक्रिया में लागू रहती हैं; इन्हें पार करने पर HTTP 429 लौटता है।

क्या रिकॉर्ड किया जाता है

हर अनुरोध उसके मेटाडेटा के साथ लॉग होता है: समय, मॉडल (अनुरोधित मॉडल और राउटर द्वारा चुना गया मॉडल दोनों), प्रोवाइडर, टोकन (प्रॉम्प्ट, कंप्लीशन, कैश्ड, रीज़निंग), लागत, लेटेंसी, पहले टोकन तक का समय, गति, स्थिति, और कॉल करने वाली कुंजी या सेवा। प्रॉम्प्ट और रिस्पॉन्स की सामग्री कभी संग्रहीत नहीं की जाती।

मॉड्यूल में दिखाए गए उपयोग और खर्च के आँकड़े वही हैं जिनका उपयोग सीमाएँ लागू करने के लिए होता है, इसलिए जो आपको "limit reached" के रूप में दिखता है, ठीक वही ब्लॉक होता है।

शब्दावली