Model Router

Model Router offre alla tua struttura un accesso prepagato a un catalogo dei principali modelli AI tramite un unico endpoint compatibile con OpenAI. Gli AI Agents del tuo Performance Hub si connettono automaticamente senza alcuna configurazione, anche i Workflows possono connettersi e puoi creare le tue chiavi API per collegare gli stessi modelli a software di terze parti o interni, come un assistente per le prenotazioni, un modulo di accettazione per una clinica o un'app di concierge per un hotel. Ricarichi un saldo in USD, imposti limiti di spesa e monitori ogni richiesta in tempo reale, tutto da un unico punto.

Riferimento rapido

Dove trovarlo: menu principale → Model Router (strutture Technology Stack). Il modulo si trova nel gruppo AI Modules & Agents del menu principale.

Chi può accedervi: solo gli Organisation Administrator (strutture Technology Stack).

Scopo: acquistare inferenza AI con un saldo prepagato: gestire chiavi API, limiti di spesa, ricarica automatica e utilizzo.

Come si collegano gli elementi

• La tua struttura dispone di un saldo prepagato in USD. Lo ricarichi con la carta di pagamento memorizzata (manualmente o automaticamente) e ogni richiesta AI scala il saldo al prezzo del modello che l'ha elaborata.
• Il catalogo dei modelli comprende modelli di molti fornitori. Tutti i modelli sono attivati per impostazione predefinita; puoi attivare o disattivare singoli modelli per la tua struttura e limitarli ulteriormente per chiave API o per servizio connesso.
• Esistono due modi per usare i modelli:
  • Connected Services: i dispositivi Agente AI associati si connettono automaticamente, senza bisogno di una chiave API, e anche i Workflows possono connettersi.
  • Le tue chiavi API: crea delle chiavi e indirizza qualsiasi SDK o strumento compatibile con OpenAI all'endpoint del Performance Hub.
• I limiti di spesa (giornaliero, mensile e un tetto massimo complessivo) ti consentono di contenere la spesa indipendentemente dal saldo, su tutte le chiavi e tutti i servizi connessi, con limiti più restrittivi disponibili in aggiunta per singola chiave e per singolo servizio.
• Ogni richiesta viene registrata (modello, token, costo, latenza e stato) nelle analisi Activity e nella scheda Logs. Il contenuto dei prompt e delle risposte non viene mai memorizzato.

Le aree principali

Il modulo ha quattro schede più un'area Settings (icona a forma di ingranaggio, in alto a destra):

Il pannello di controllo Overview

La scheda Overview riassume il tuo account a colpo d'occhio.

Figura 1: la fascia delle statistiche (Available balance, Spent today, Spent this month ed Estimated runway) e gli indicatori di riepilogo per ricarica automatica, limiti, modelli e servizi connessi

Sotto la fascia delle statistiche, alcuni indicatori riepilogano la ricarica automatica, i limiti di spesa, i modelli attivati e quanti servizi connessi sono online. Accanto a essi compare un indicatore Low balance quando il saldo è pari o inferiore alla soglia di ricarica automatica.

• Available balance: il credito prepagato rimanente in questo momento.
• Spent today / Spent this month: gli addebiti per l'utilizzo nella giornata e nel mese di calendario correnti (ora locale della struttura).
• Estimated runway: "Rough estimate based on average daily spend this month. Top up or enable auto top-up to extend it."

Figura 2: Spend over time (ultimi 14 giorni, con la variazione rispetto al periodo precedente) e Spend by model

Figura 3: Requests over time per modello e Reliability & speed con tasso di errore, latenza p95 e latenza nel tempo

Figura 4: Budget usage e Top agents & keys ordinati per spesa

Figura 5: la mappa di calore Activity: un anno di utilizzo, con la possibilità di passare tra Tokens, Spend e Requests, con la serie consecutiva più lunga e le medie giornaliere e settimanali

Guida alla documentazione

Concetti

• Come funziona: il modello concettuale: saldo prepagato e limiti di spesa a confronto, i due percorsi di accesso, come vengono calcolati i prezzi delle richieste e il glossario completo.

Per iniziare

• Per iniziare: attivazione del modulo, la tua prima ricarica e la tua prima richiesta.
• Connettere la tua applicazione: la guida rapida per il tuo software: URL di base, autenticazione ed esempi in curl / Python / TypeScript.

Gestione degli accessi

• Models: il catalogo, l'attivazione e la disattivazione dei modelli, i preset rapidi e l'Auto Router.
• Chiavi API: creazione delle chiavi, la visualizzazione una tantum del segreto, i limiti di spesa per chiave, i limiti di frequenza, le restrizioni sui modelli e il ciclo di vita di rotazione/revoca/eliminazione.
• Connected Services: come si connettono gli AI Agents associati e i Workflows e come impostare limiti per ciascuno.
• Guardrails: protezioni dei contenuti (mascheramento dei dati personali, oscuramento dei segreti, protezione dalla prompt injection) e filtri dei contenuti personalizzati.

Costi e monitoraggio

• Budget e ricariche: il saldo, le ricariche manuali e automatiche, le ricevute, la cronologia delle transazioni, l'utilizzo mensile e i limiti di spesa.
• Attività e log: le viste di analisi, l'esportazione CSV e il registro delle richieste.

Riferimento

• Riferimento: tutte le impostazioni, i valori predefiniti, i limiti e le risposte di errore in un unico posto.
• Risoluzione dei problemi: soluzioni sintomo per sintomo per richieste bloccate, problemi con le chiavi e domande sul saldo.
• Domande frequenti: FAQ.

Elenco di controllo per iniziare

Spunta le voci man mano che procedi: i tuoi progressi vengono salvati in questo browser e puoi stampare l'elenco.

Selezione di una struttura

Il modulo si configura per singola struttura. Usa il selettore della struttura nella barra degli strumenti principale del Performance Hub per scegliere la struttura che stai configurando. Durante il caricamento del contesto della struttura, il modulo mostra "Loading facility context…".