Model Router

Model Router bietet Ihrer Einrichtung Prepaid-Zugriff auf einen Katalog führender KI-Modelle über einen einzigen OpenAI-kompatiblen Endpunkt. Ihre Performance Hub AI Agents verbinden sich automatisch und ohne Einrichtung damit, auch Workflows können sich verbinden, und Sie können eigene API-Schlüssel bereitstellen, um dieselben Modelle in Software von Drittanbietern oder in Eigenentwicklungen einzubinden – einen Buchungsassistenten, ein Aufnahmeformular für eine Praxis oder eine Concierge-App für ein Hotel. Sie laden ein Guthaben in USD auf, legen Ausgabenlimits fest und verfolgen jede Anfrage in Echtzeit – alles an einem Ort.

Kurzübersicht

Wo Sie es finden: Hauptmenü → Model Router (Einrichtungen mit Technology Stack). Das Modul befindet sich in der Gruppe AI Modules & Agents des Hauptmenüs.

Wer Zugriff hat: Nur Organisation Administrator (Einrichtungen mit Technology Stack).

Zweck: KI-Inferenz über ein Prepaid-Guthaben einkaufen: API-Schlüssel, Ausgabenlimits, automatische Aufladung und Nutzung verwalten.

So greift alles ineinander

• Ihre Einrichtung verfügt über ein Prepaid-Guthaben in USD. Sie laden es mit Ihrer hinterlegten Zahlungskarte auf (manuell oder automatisch), und jede KI-Anfrage verringert das Guthaben um den Preis des Modells, das sie beantwortet hat.
• Der Modellkatalog umfasst Modelle vieler Anbieter. Alle Modelle sind standardmäßig aktiviert; Sie können einzelne Modelle für Ihre Einrichtung ein- oder ausschalten und sie zusätzlich pro API-Schlüssel oder pro verbundenem Dienst einschränken.
• Es gibt zwei Möglichkeiten, Modelle zu nutzen:
  • Connected Services – gekoppelte KI-Agent-Geräte verbinden sich automatisch, ohne dass ein API-Schlüssel nötig ist, und auch Workflows können sich verbinden.
  • Ihre eigenen API-Schlüssel – stellen Sie Schlüssel bereit und richten Sie ein beliebiges OpenAI-kompatibles SDK oder Tool auf den Performance Hub-Endpunkt aus.
• Ausgabenlimits (täglich, monatlich und eine feste Obergrenze für die gesamte Laufzeit) begrenzen die Ausgaben unabhängig vom Guthaben, über alle Schlüssel und verbundenen Dienste hinweg – zusätzlich sind strengere Limits pro Schlüssel und pro Dienst möglich.
• Jede Anfrage wird aufgezeichnet – Modell, Tokens, Kosten, Latenz und Status – in den Analysen unter Activity und auf der Registerkarte Logs. Inhalte von Prompts und Antworten werden nie gespeichert.

Die Hauptbereiche

Das Modul hat vier Registerkarten sowie einen Einstellungsbereich (Zahnradsymbol oben rechts):

Das Overview-Dashboard

Die Registerkarte Overview fasst Ihr Konto auf einen Blick zusammen.

Abbildung 1: Die Kennzahlenleiste (Available balance, Spent today, Spent this month und Estimated runway) und die Übersichts-Chips für automatische Aufladung, Limits, Modelle und verbundene Dienste

Unter der Kennzahlenleiste fassen Chips die automatische Aufladung, die Ausgabenlimits, die aktivierten Modelle und die Anzahl der online befindlichen verbundenen Dienste zusammen. Daneben erscheint ein Chip Low balance, wenn das Guthaben den Schwellenwert für die automatische Aufladung erreicht oder unterschreitet.

• Available balance – das aktuell verbleibende Prepaid-Guthaben.
• Spent today / Spent this month – Nutzungsgebühren am aktuellen Tag und im aktuellen Kalendermonat (Ortszeit der Einrichtung).
• Estimated runway – "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."

Abbildung 2: Spend over time (letzte 14 Tage, mit der Veränderung gegenüber dem Vorzeitraum) und Spend by model

Abbildung 3: Requests over time nach Modell sowie Reliability & speed mit Fehlerquote, p95-Latenz und Latenz im Zeitverlauf

Abbildung 4: Budget usage und Top agents & keys, sortiert nach Ausgaben

Abbildung 5: Die Activity-Heatmap: ein Jahr Nutzung, umschaltbar zwischen Tokens, Spend und Requests, mit der längsten Serie sowie Tages- und Wochendurchschnitten

Leitfaden zur Dokumentation

Konzepte

• So funktioniert es – das konzeptionelle Modell: Prepaid-Guthaben im Vergleich zu Ausgabenlimits, die beiden Zugriffswege, die Preisberechnung von Anfragen und das vollständige Glossar.

Erste Schritte

• Erste Schritte – das Modul aktivieren, Ihre erste Aufladung und Ihre erste Anfrage.
• Ihre Anwendung verbinden – der Schnelleinstieg für Ihre eigene Software: Basis-URL, Authentifizierung und Beispiele für curl / Python / TypeScript.

Zugriff verwalten

• Models – der Katalog, das Aktivieren und Deaktivieren von Modellen, Schnellvorlagen und der Auto Router.
• API-Schlüssel – Schlüssel erstellen, die einmalige Anzeige des Geheimnisses, Ausgabenobergrenzen pro Schlüssel, Ratenlimits, Modelleinschränkungen und der Lebenszyklus mit Rotieren/Widerrufen/Löschen.
• Connected Services – wie sich gekoppelte AI Agents und Workflows verbinden und wie Sie jeden einzelnen begrenzen.
• Guardrails – Inhaltsschutz (Maskierung personenbezogener Daten, Schwärzung von Geheimnissen, Schutz vor Prompt-Injection) und benutzerdefinierte Inhaltsfilter.

Geld und Überwachung

• Budgets und Aufladungen – das Guthaben, manuelle und automatische Aufladungen, Belege, der Transaktionsverlauf, die monatliche Nutzung und Ausgabenlimits.
• Aktivität und Protokolle – die Analyseansichten, der CSV-Export und das Anfrageprotokoll.

Referenz

• Referenz – alle Einstellungen, Standardwerte, Grenzwerte und Fehlerantworten an einem Ort.
• Fehlerbehebung – Lösungen nach Symptom für blockierte Anfragen, Probleme mit Schlüsseln und Fragen zum Guthaben.
• Häufige Fragen – FAQ.

Checkliste für den Einstieg

Haken Sie die Punkte nach und nach ab – Ihr Fortschritt wird in diesem Browser gespeichert, und Sie können die Liste drucken.

Einrichtung auswählen

Das Modul wird pro Einrichtung konfiguriert. Wählen Sie über die Einrichtungsauswahl in der Hauptsymbolleiste des Performance Hub aus, welche Einrichtung Sie konfigurieren. Während der Einrichtungskontext geladen wird, zeigt das Modul "Loading facility context…" an.