So funktioniert es

Diese Seite erklärt die Konzepte hinter Model Router – lesen Sie sie einmal, und alle anderen Seiten werden verständlicher.

Das Prepaid-Guthaben

Ihre Einrichtung verfügt über ein Prepaid-Guthaben in USD. Es verändert sich nur in zwei Richtungen:

• Nach oben, wenn Sie Guthaben aufladen (manuell, per automatischer Aufladung oder durch eine Ihrem Konto gutgeschriebene Anpassung). Aufladungen erscheinen sofort.
• Nach unten, wenn Nutzung anfällt. Die Nutzung wird vom Inferenzdienst live gemeldet und alle 15 Minuten mit Ihrem Prepaid-Guthaben abgeglichen, sodass ganz aktuelle Aktivitäten einige Minuten brauchen können, bis sie in Monthly usage erscheinen. Der Transaktionsverlauf listet nur Aufladungen und Guthabenanpassungen auf.

Das Guthaben ist die finanzielle Grenze: Erreicht es null, werden Inferenzanfragen mit einem insufficient credits-Fehler blockiert, bis Sie Guthaben aufladen. Das Auflisten der Modelle funktioniert auch bei einem Guthaben von null, sodass Integrationen den Katalog erkunden können, bevor Sie das Konto aufladen.

Der Modellkatalog

Der Katalog enthält Modelle vieler Anbieter, jeweils mit einem Preis pro Million Tokens (Eingabe und Ausgabe werden getrennt berechnet und in den Models-Einstellungen angezeigt). Alle Modelle sind für Ihre Einrichtung standardmäßig aktiviert; Sie können:

• Modelle kontoweit deaktivieren unter Einstellungen → Models (mindestens ein Modell muss aktiviert bleiben).
• Modelle pro API-Schlüssel oder pro verbundenem Dienst beschränken – eine engere Liste zusätzlich zu den für die Einrichtung aktivierten Modellen.

Ein besonderer Katalogeintrag, auto (der Auto Router), hat keinen eigenen Preis. Er wählt für jede Anfrage automatisch das beste Modell anhand der Komplexität des Prompts aus, und Ihnen wird der Tarif des ausgewählten Modells berechnet. Siehe Models.

Zwei Wege, Modelle zu nutzen

1. Verbundene Dienste

Mit Ihrer Einrichtung gekoppelte KI-Agent-Geräte verbinden sich automatisch mit Model Router – auf dem Gerät wird nie ein API-Schlüssel eingegeben –, und auch Workflows können sich verbinden. Jeder verbundene Dienst erscheint unter Einstellungen → Service Access & API Keys im Bereich Connected Services mit eigenen Ausgabenzahlen, und Sie können jedem eigene Ausgabenlimits, Modellbeschränkungen und abweichende Guardrails zuweisen. Siehe Connected Services.

2. Ihre eigenen API-Schlüssel

Sie können API-Schlüssel bereitstellen (sie beginnen mit phk_), damit sich Drittsoftware und -systeme, die BYOK (Bring Your Own Key) unterstützen, mit den vom Performance Hub veröffentlichten Modellen verbinden können. Der Endpunkt ist OpenAI-kompatibel – richten Sie ein beliebiges OpenAI SDK oder Werkzeug auf die Basis-URL aus und authentifizieren Sie sich mit Ihrem Schlüssel. Siehe API-Schlüssel und Ihre Anwendung verbinden.

Beide Wege greifen auf dasselbe Guthaben zu, unterliegen denselben kontoweiten Ausgabenlimits, erscheinen in denselben Activity-Analysen und Logs und lassen sich einzeln begrenzen.

Guthaben und Ausgabenlimits

Dies sind zwei unterschiedliche Mechanismen, und beide gelten:

Kontoweite Ausgabenlimits gibt es für drei Zeitfenster – täglich (wird jeden Tag um Mitternacht Ortszeit der Einrichtung zurückgesetzt), monatlich (wird am 1. jedes Monats Ortszeit der Einrichtung zurückgesetzt) und ein festes Gesamtlimit (zählt die Ausgaben seit dem letzten manuellen Zurücksetzen; wird nie von selbst zurückgesetzt). Beliebige Kombinationen können gleichzeitig aktiv sein, und die Limits gelten für alle API-Schlüssel und verbundenen Dienste zusammen. Das Prepaid-Guthaben gilt zusätzlich.

Limits pro Schlüssel und pro Dienst funktionieren genauso (täglich, monatlich, gesamt), zählen aber nur die Ausgaben dieses Schlüssels bzw. Dienstes. Wird ein Limit erreicht, wird nur dieser Schlüssel bzw. Dienst blockiert – der Rest der Einrichtung arbeitet weiter.

Wie eine Anfrage verarbeitet wird

Wenn eine Anfrage am Endpunkt eingeht, werden die Prüfungen in dieser Reihenfolge ausgeführt:

1. Authentifizierung – ein gültiger API-Schlüssel oder eine gültige Identität eines verbundenen Dienstes. Bei einem API-Schlüssel wird eine Einrichtung, für die Model Router nicht aktiviert ist, hier mit HTTP 403 abgelehnt ("Model Router is not enabled for this facility"). Das Auflisten der Modelle (GET /v1/models) wird direkt nach der Authentifizierung beantwortet und funktioniert daher auch bei einem Guthaben von null.
2. Prüfung des Prepaid-Guthabens – das verfügbare Guthaben muss über $0 liegen (bei verbundenen Diensten muss außerdem Model Router aktiviert sein); andernfalls wird die Anfrage mit einem insufficient credits-Fehler (HTTP 402) abgelehnt.
3. Kontoweite Ausgabenlimits – wird ein Tages-, Monats- oder Gesamtlimit überschritten, wird die Anfrage mit einem budget exceeded-Fehler (HTTP 402) abgelehnt, der angibt, wann das Zeitfenster in der Zeitzone Ihrer Einrichtung zurückgesetzt wird.
4. Ausgabenlimits pro Schlüssel / pro Dienst – dieselbe Prüfung, bezogen auf den aufrufenden Schlüssel oder Dienst.
5. Prompt-Prüfungen – der Prompt-Injection-Schutz und Ihre benutzerdefinierten Inhaltsfilter werden auf den Prompt angewendet. Ein Block-Filter oder ein Injection-Treffer lehnt die Anfrage ab (HTTP 403, content policy violation); Redact-Filter ersetzen Treffer durch [REDACTED] und lassen die Anfrage weiterlaufen.
6. Modell-Routing – auto wird vom Auto Router in ein konkretes Modell aufgelöst (eine Anfrage mit einem Bild wird an ein von Ihnen zugelassenes bildfähiges Modell gesendet). Fallback-Modelle werden auf die Modelle gefiltert, die der Schlüssel verwenden darf, Ihre Reasoning-Einstellung wird angewendet, wenn die Anfrage keine eigene festlegt, und angeforderte Ausgabelimits werden auf das vom Modell unterstützte Maß begrenzt.
7. Inferenz – PII-Maskierung und Schwärzung von Geheimnissen (sofern aktiviert) werden vom Inferenzdienst angewendet, bevor der Prompt das Modell erreicht; anschließend geht die Anfrage an den Modellanbieter, und die Antwort wird zurückgestreamt.

Ratenlimits (Anfragen/Min. und Tokens/Min., sofern für den Schlüssel oder Dienst festgelegt) werden durchgehend durchgesetzt; bei Überschreitung wird HTTP 429 zurückgegeben.

Was erfasst wird

Jede Anfrage wird mit ihren Metadaten protokolliert: Zeit, Modell (sowohl das angeforderte als auch das vom Router ermittelte Modell), Anbieter, Tokens (Prompt, Completion, zwischengespeichert, Reasoning), Kosten, Latenz, Zeit bis zum ersten Token, Geschwindigkeit, Status sowie der aufrufende Schlüssel oder Dienst. Prompt- und Antwortinhalte werden nie gespeichert.

Die im Modul angezeigten Nutzungs- und Ausgabenzahlen sind dieselben, die für die Durchsetzung verwendet werden. Was Sie als „Limit erreicht“ sehen, ist also genau das, was blockiert wird.

Glossar