Hoe het werkt

Deze pagina legt de concepten achter Model Router uit. Lees haar één keer en alle andere pagina's worden duidelijker.

Het prepaid saldo

Je faciliteit heeft een prepaid saldo in USD. Het beweegt maar in twee richtingen:

• Omhoog wanneer je aanvult (handmatig, via automatisch aanvullen of door een correctie die op je account wordt bijgeschreven). Aanvullingen verschijnen direct.
• Omlaag naarmate er gebruik ontstaat. Het gebruik wordt live gerapporteerd door de inferentieservice en elke 15 minuten verrekend met je prepaid saldo, dus zeer recente activiteit kan een paar minuten nodig hebben om in Monthly usage te verschijnen. De transactiegeschiedenis toont alleen aanvullingen en saldocorrecties.

Het saldo is de financiële grens: wanneer het nul bereikt, worden inferentieaanvragen geblokkeerd met een fout insufficient credits totdat je aanvult. Modellen opvragen werkt ook met een saldo van nul, zodat integraties de catalogus kunnen verkennen voordat je het account van tegoed voorziet.

De modelcatalogus

De catalogus bevat modellen van veel aanbieders, elk geprijsd per miljoen tokens (invoer en uitvoer apart geprijsd, weergegeven in de instellingen van Models). Alle modellen zijn standaard ingeschakeld voor je faciliteit; je kunt:

• Modellen voor het hele account uitschakelen onder Settings → Models (er moet minstens één model ingeschakeld blijven).
• Modellen beperken per API-sleutel of per verbonden service: een strengere lijst bovenop de ingeschakelde set van de faciliteit.

Een speciaal item in de catalogus, auto (de Auto Router), heeft geen eigen prijs. Voor elke aanvraag kiest het automatisch het beste model op basis van de complexiteit van de prompt, en je betaalt het tarief van het gekozen model. Zie Models.

Twee manieren om modellen te gebruiken

1. Verbonden services

AI-agent-apparaten die aan je faciliteit zijn gekoppeld, maken automatisch verbinding met Model Router (er wordt nooit een API-sleutel op het apparaat ingevoerd), en ook Workflows kunnen verbinding maken. Elke verbonden service verschijnt onder Settings → Service Access & API Keys bij Connected Services met eigen uitgavencijfers, en je kunt elke service eigen uitgavenlimieten, modelbeperkingen en afwijkende guardrails geven. Zie Connected Services.

2. Je eigen API-sleutels

Je kunt API-sleutels aanmaken (ze beginnen met phk_) zodat software en systemen van derden die BYOK (Bring Your Own Key) ondersteunen, verbinding kunnen maken met modellen die Performance Hub publiceert. Het endpoint is OpenAI-compatibel: laat een OpenAI-SDK of -tool naar de basis-URL verwijzen en authenticeer met je sleutel. Zie API-sleutels en Je applicatie verbinden.

Beide routes gebruiken hetzelfde saldo, houden zich aan dezelfde uitgavenlimieten voor het hele account, verschijnen in dezelfde analyses onder Activity en in Logs, en kunnen afzonderlijk worden begrensd.

Saldo versus uitgavenlimieten

Dit zijn twee verschillende mechanismen, en ze gelden allebei:

Uitgavenlimieten voor het account zijn er voor drie periodes: per dag (wordt elke dag om middernacht gereset, lokale tijd van de faciliteit), per maand (wordt op de 1e van elke maand gereset, lokale tijd van de faciliteit) en een harde limiet voor de hele looptijd (telt de uitgaven sinds de laatste handmatige reset en wordt nooit vanzelf gereset). Elke combinatie kan tegelijk actief zijn, en de limieten gelden voor alle API-sleutels en verbonden services samen. Het prepaid saldo geldt daarbovenop.

Limieten per sleutel en per service werken op dezelfde manier (per dag, per maand, hele looptijd), maar tellen alleen de uitgaven van die sleutel of service. Wanneer een limiet wordt bereikt, wordt alleen die sleutel of service geblokkeerd; de rest van de faciliteit blijft werken.

Hoe een aanvraag wordt verwerkt

Wanneer een aanvraag bij het endpoint binnenkomt, worden de controles in deze volgorde uitgevoerd:

1. Authenticatie: een geldige API-sleutel of identiteit van een verbonden service. Bij een API-sleutel wordt een faciliteit waar Model Router niet is ingeschakeld hier geweigerd met HTTP 403 ("Model Router is not enabled for this facility"). Modellen opvragen (GET /v1/models) wordt direct na de authenticatie beantwoord, zodat het ook bij een saldo van nul blijft werken.
2. Controle van het prepaid tegoed: het beschikbare saldo moet boven $0 liggen (bij verbonden services moet Model Router ook zijn ingeschakeld); anders wordt de aanvraag geweigerd met een fout insufficient credits (HTTP 402).
3. Uitgavenlimieten voor het account: als een limiet per dag, per maand of voor de hele looptijd wordt overschreden, wordt de aanvraag geweigerd met een fout budget exceeded (HTTP 402) die vermeldt wanneer de periode wordt gereset, in de tijdzone van je faciliteit.
4. Uitgavenlimieten per sleutel / per service: dezelfde controle, voor de aanroepende sleutel of service.
5. Promptcontroles: het schild tegen promptinjectie en je aangepaste inhoudsfilters worden op de prompt toegepast. Een filter block of een gedetecteerde injectie weigert de aanvraag (HTTP 403, content policy violation); filters redact herschrijven overeenkomsten naar [REDACTED] en laten de aanvraag doorgaan.
6. Modelroutering: auto wordt door de Auto Router omgezet naar een concreet model (een aanvraag met een afbeelding gaat naar een model met beeldherkenning dat je toestaat). Terugvalmodellen worden gefilterd op de modellen die de sleutel mag gebruiken, je redeneerinstelling wordt toegepast wanneer de aanvraag geen eigen instelling heeft, en gevraagde uitvoerlimieten worden begrensd tot wat het model ondersteunt.
7. Inferentie: het maskeren van persoonsgegevens en het verwijderen van geheimen (indien ingeschakeld) worden door de inferentieservice toegepast voordat de prompt het model bereikt; daarna gaat de aanvraag naar de modelaanbieder en wordt het antwoord teruggestreamd.

Snelheidslimieten (aanvragen/min en tokens/min, indien ingesteld op de sleutel of service) worden voortdurend gehandhaafd; bij overschrijding wordt HTTP 429 teruggegeven.

Wat er wordt vastgelegd

Elke aanvraag wordt vastgelegd met de metadata: tijd, model (zowel het gevraagde model als het model dat de router heeft gekozen), aanbieder, tokens (prompt, voltooiing, cache, redeneren), kosten, latentie, tijd tot het eerste token, snelheid, status en de aanroepende sleutel of service. De inhoud van prompts en antwoorden wordt nooit opgeslagen.

De gebruiks- en uitgavencijfers in de module zijn dezelfde cijfers die voor de handhaving worden gebruikt, dus wat je als "limit reached" ziet, is precies wat wordt geblokkeerd.

Woordenlijst