Model Router

Op deze pagina

Model Router geeft je locatie prepaid toegang tot een catalogus van toonaangevende AI-modellen via één OpenAI-compatibel endpoint. Je Performance Hub AI Agents maken er automatisch verbinding mee zonder enige configuratie, Workflows kunnen ook verbinding maken, en je kunt je eigen API-sleutels aanmaken om dezelfde modellen te gebruiken in software van derden of eigen software: een boekingsassistent, een intakeformulier voor een kliniek of een conciërge-app voor een hotel. Je vult een saldo in USD aan, stelt uitgavenlimieten in en volgt elke aanvraag in realtime, allemaal vanaf één plek.

Snelle referentie

Waar je het vindt: Hoofdmenu → Model Router (faciliteiten met Technology Stack). De module staat in de groep AI Modules & Agents van het hoofdmenu.

Wie toegang heeft: Alleen Organisation Administrators (faciliteiten met Technology Stack).

Doel: AI-inferentie kopen met een prepaid saldo: API-sleutels, uitgavenlimieten, automatisch aanvullen en gebruik beheren.

Hoe het samenhangt

  • Je faciliteit heeft een prepaid saldo in USD. Je vult het aan met je opgeslagen betaalkaart (handmatig of automatisch), en elke AI-aanvraag wordt van het saldo afgeschreven tegen de prijs van het model dat de aanvraag heeft verwerkt.
  • De modelcatalogus omvat modellen van veel aanbieders. Alle modellen zijn standaard ingeschakeld; je kunt afzonderlijke modellen voor je faciliteit in- of uitschakelen en ze verder beperken per API-sleutel of per verbonden service.
  • Er zijn twee manieren om modellen te gebruiken:
    • Connected Services: gekoppelde AI-agent-apparaten maken automatisch verbinding, zonder dat een API-sleutel nodig is, en ook Workflows kunnen verbinding maken.
    • Je eigen API-sleutels: maak sleutels aan en laat elke OpenAI-compatibele SDK of tool naar het endpoint van Performance Hub verwijzen.
  • Met uitgavenlimieten (per dag, per maand en een harde limiet voor de hele looptijd) begrens je de uitgaven onafhankelijk van het saldo, voor alle sleutels en verbonden services, met daarbovenop strengere limieten per sleutel en per service.
  • Elke aanvraag wordt vastgelegd (model, tokens, kosten, latentie en status) in de analyses onder Activity en het tabblad Logs. De inhoud van prompts en antwoorden wordt nooit opgeslagen.

De hoofdonderdelen

De module heeft vier tabbladen plus een gedeelte Settings (tandwielpictogram, rechtsboven):

OnderdeelWat je er doet
OverviewHet dashboard: beschikbaar saldo, uitgaven vandaag en deze maand, geschatte resterende looptijd, grafieken van uitgaven en aanvragen, betrouwbaarheid in één oogopslag, budgetgebruik en de belangrijkste agents en sleutels.
ActivityUitgebreide gebruiksanalyses met vier weergaven (Overview, Trends, Performance, Explore), filters op sleutel/agent en model, en CSV-export.
Budgets & LimitsTwee subtabbladen: Spend Limits (limieten per dag/maand/looptijd voor het hele account en limieten per service) en Balance & Top-up (handmatig aanvullen, automatisch aanvullen, de transactiegeschiedenis en het maandelijkse gebruik).
LogsHet controlespoor per aanvraag: model, tokens, kosten, snelheid en status van elke aanvraag, met live vernieuwen, zoeken, filters en een detailpaneel.
Settings (tandwiel)Models (catalogusmodellen in- of uitschakelen, de Auto Router bewerken), Service Access & API Keys (verbonden services, API-sleutels en de gegevens voor de API-verbinding) en Guardrails (inhoudsbescherming en aangepaste inhoudsfilters).

Het dashboard Overview

Het tabblad Overview vat je account in één oogopslag samen.

De statistiekenband van Overview met overzichtschipsDe statistiekenband van Overview met overzichtschips

Afbeelding 1: De statistiekenband (Available balance, Spent today, Spent this month en Estimated runway) en de overzichtschips voor automatisch aanvullen, limieten, modellen en verbonden services

Onder de statistiekenband vatten chips het automatisch aanvullen, de uitgavenlimieten, de ingeschakelde modellen en het aantal online verbonden services samen. Er verschijnt een chip Low balance naast ze wanneer het saldo op of onder de drempel voor automatisch aanvullen ligt.

  • Available balance: het prepaid tegoed dat op dit moment over is.
  • Spent today / Spent this month: gebruikskosten in de huidige dag en kalendermaand (lokale tijd van de faciliteit).
  • Estimated runway: "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."

Grafieken Spend over time en Spend by modelGrafieken Spend over time en Spend by model

Afbeelding 2: Spend over time (afgelopen 14 dagen, met de verandering ten opzichte van de vorige periode) en Spend by model

Requests over time en Reliability & speedRequests over time en Reliability & speed

Afbeelding 3: Requests over time per model, en Reliability & speed met foutpercentage, p95-latentie en latentie in de tijd

Budget usage en Top agents & keysBudget usage en Top agents & keys

Afbeelding 4: Budget usage en Top agents & keys, gerangschikt op uitgaven

De heatmap ActivityDe heatmap Activity

Afbeelding 5: De heatmap Activity: een jaar aan gebruik, te wisselen tussen Tokens, Spend en Requests, met de langste reeks en dagelijkse en wekelijkse gemiddelden

Documentatiegids

Concepten

  • Hoe het werkt: het conceptuele model: prepaid saldo versus uitgavenlimieten, de twee toegangsroutes, hoe aanvragen worden geprijsd en de volledige woordenlijst.

Aan de slag

  • Aan de slag: de module inschakelen, je eerste aanvulling en je eerste aanvraag.
  • Je applicatie verbinden: de snelstart voor je eigen software: basis-URL, authenticatie en voorbeelden in curl, Python en TypeScript.

Toegang beheren

  • Models: de catalogus, modellen in- en uitschakelen, snelle voorinstellingen en de Auto Router.
  • API-sleutels: sleutels aanmaken, de eenmalige weergave van het geheim, uitgavenlimieten per sleutel, snelheidslimieten, modelbeperkingen en de levenscyclus van roteren, intrekken en verwijderen.
  • Connected Services: hoe gekoppelde AI Agents en Workflows verbinding maken en hoe je elk ervan begrenst.
  • Guardrails: inhoudsbescherming (maskeren van persoonsgegevens, verwijderen van geheimen, bescherming tegen promptinjectie) en aangepaste inhoudsfilters.

Geld en monitoring

  • Budgetten en aanvullingen: het saldo, handmatig en automatisch aanvullen, betalingsbewijzen, de transactiegeschiedenis, het maandelijkse gebruik en uitgavenlimieten.
  • Activiteit en logboeken: de analyseweergaven, CSV-export en het aanvraaglogboek.

Referentie

  • Referentie: elke instelling, standaardwaarde, limiet en foutreactie op één plek.
  • Probleemoplossing: oplossingen per symptoom voor geblokkeerde aanvragen, problemen met sleutels en vragen over het saldo.
  • Veelgestelde vragen: FAQ.

Checklist om aan de slag te gaan

Vink de items af terwijl je bezig bent. Je voortgang wordt in deze browser opgeslagen en je kunt de lijst afdrukken.

Checklist voor Model Router
0 van 6 voltooid

Een faciliteit selecteren

De module wordt per faciliteit geconfigureerd. Gebruik de faciliteitkiezer in de hoofdwerkbalk van Performance Hub om te kiezen welke faciliteit je configureert. Terwijl de faciliteitscontext wordt geladen, toont de module "Loading facility context…".